JP2007188407A - 画像処理装置及び画像処理プログラム - Google Patents

Abstract

【課題】人物の顔画像から安定に眉部分を検出できることを可能にする。
【解決手段】画像処理装置１０は、眉の特徴点以外の特徴点を検出する基準特徴点検出部１４と、検出された基準特徴点を元に検出すべき特徴点の探索範囲を決定する探索範囲設定部１６と、基準特徴点の位置関係から推定される分離度フィルタを計算する分離度マップ作成部１８と、分離度マップを複数の連結領域に分割する領域分割部２０と、各領域が特徴点を含む持つ領域であるかどうかを判定する領域判定部２２とで構成する。
【選択図】 図１

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

従来の眉を検出する技術には、特許文献１に開示されているように、探索領域において画像の２値化により、黒い部分を眉として取り出すものがあったが、照明条件や画質によっては正しく眉が検出できないという問題点があった。

また、良好な画像であったとしても、個人によって眉が薄い場合や、眉毛の色が黒くない場合などに、正しく検出できないという問題点があった。

また、顔特徴点を検出する技術としては、特許文献２に開示されているように、円形分離度フィルタを用いて瞳、鼻孔などの特徴点を検出するものがあったが、検出できる特徴点は円形またはそれに近い形状を示すものに限られるという問題点があった。
特開２０００‐３１１２４公報 特許第３２７９９１３号公報

上述したように、従来技術には眉が薄い場合や、眉毛の色が黒くない場合などに、正しく検出できないという問題があった。また、円形またはそれに近い形状のものしか検出できないという問題点があった。

そこで本発明は、上記従来技術の問題点を解決するためになされたものであって、安定的に人物の特徴点や領域を検出する画像処理装置及び画像処理プログラムを提供することを目的とする。

本発明は、画像中の人物の顔の特徴点、または、領域を検出する画像処理装置において、前記検出すべき検出特徴点、または、検出領域以外の特徴点を基準特徴点として検出する基準特徴点検出手段と、前記基準特徴点の位置に基づいて、前記検出特徴点または前記検出領域の探索範囲を決定する探索範囲設定手段と、前記探索範囲内の領域を、分離度フィルタの分離度値を用いて分離度マップを作成する分離度マップ作成手段と、前記分離度マップを、前記分離度値に基づいて複数の連結領域に分割する領域分割手段と、前記各連結領域が前記検出領域であるか、または、前記検出特徴点を含む領域であるか否かについて、前記各連結領域が所定の条件を具備するか否かで判定する領域判定手段と、を備えることを特徴とする画像処理装置である。

また、本発明は、画像中の人物の顔の特徴点、または、領域を検出する画像処理装置において、前記検出すべき検出特徴点、または、検出領域以外の特徴点を基準特徴点として検出する基準特徴点検出手段と、前記基準特徴点の位置に基づいて、前記検出特徴点または前記検出領域の探索範囲を決定する探索範囲設定手段と、前記探索範囲内の領域を、一または複数の分離度フィルタの分離度値を用いて分離度マップを作成する分離度マップ作成手段と、前記分離度マップを、前記分離度値に基づいて複数の連結領域に分割する領域分割手段と、前記各連結領域が前記検出領域であるか、または、前記検出特徴点を含む領域であるか否かについて、前記各連結領域が所定の条件を具備するか否かで判定する領域判定手段と、前記検出特徴点が人物の眉の端点、または、前記検出領域が眉領域であり、前記基準特徴点が前記人物の左右の瞳中心、または、目端の内の少なくとも２点以上であって、前記連結領域の端点を検出する端点検出手段と、を備え、前記領域判定手段は、前記端点の位置と前記各基準特徴点の位置との角度、距離の少なくとも一方から前記端点が前記人物の眉の端点であるか否かを判定することを特徴とする画像処理装置である。

本発明によれば、安定的に人物の顔特徴点や領域を検出することが可能となる。

以下、本発明の実施形態に係わる画像処理装置１０について図面に基づいて説明する。

（第１の実施形態）
第１の実施形態に係わる画像処理装置１０について図１から図５に基づいて説明する。本実施形態においては、眉の内側の端点を検出する例を示す。

（１）画像処理装置１０の構成
図１は、画像処理装置１０を示すブロック図である。

画像処理装置１０は、画像を入力する画像入力部１２と、検出すべき特徴点または領域以外の特徴点を検出する基準特徴点検出部１４と、検出された基準特徴点を元に所定の方法で検出すべき特徴点または領域の探索範囲を決定する探索範囲設定部１６と、基準特徴点の位置関係から推定される一つまたは複数の大きさの分離度フィルタの出力を計算する分離度マップ作成部１８と、分離度マップを複数の連結領域に分割する領域分割部２０と、各領域が検出対象であるかまたは特徴点を含む領域であるかどうかを判定する領域判定部２２と、結果を出力する出力部２４を備えている。

各部１２〜２２の機能は、コンピュータに記憶されたプログラムによって実現できる。

（２）画像処理装置１０の動作
次に、図１を用いて画像処理装置１０の動作について説明する。

（２−１）画像入力部１２
まず、画像入力部１２は、対象とする画像を入力する。

（２−２）基準特徴点検出部１４
次に、基準特徴点検出部１４は基準となる特徴点を検出する。本実施形態においては、左右の瞳の中心点を検出するものとする。

瞳を検出する方法としては、例えば、特許文献２で開示されている分離度フィルタとパターン照合を組み合わせた方法を用いる。

（２−３）探索範囲設定部１６
探索範囲設定部１６は、基準特徴点検出部１４で検出された基準特徴点を元に、探索範囲を設定する。図２は設定された探索範囲を示す図である。

図２に示すように、基準特徴点（ここでは瞳）の位置を基準として、予め統計的に取得した眉内端位置の分布を元に決定しておいたパラメータを使用して探索範囲を決定する。まず、両瞳を結ぶ直線が水平だった場合を想定する。

図３は詳細な探索範囲決定法を表わす図である。ここでは左眉を例にして説明するが、右も同様である。探索範囲は図３に示すように、左瞳中心３０１を基準に、パラメータｘmin，ｙmin，ｘmax，ｙmaxで表現される矩形の探索領域３０２を設定する。

各パラメータは正規化されており、例えば両瞳間距離で正規化されている場合には、正規化パラメータに両瞳間距離を乗じたものを用いる。

両瞳を結ぶ直線が水平とは限らないので、両瞳を結ぶ直線と水平線との角度θを算出し、両瞳を結ぶ線分の中点を中心にして、角度−θだけ回転させた画像を用いる。今後の処理はこの回転された空間内につき、探索領域の範囲内でのみ処理を行なうものとし、最後に得られた結果を、両瞳の中点を中心に角度θだけ回転させることにより、元の座標に戻すこととする。

（２−４）分離度マップ作成部１８
分離度マップ作成部１８においては、探索領域内の画像の各画素ｉに対して、円形分離度フィルタの出力値を計算して分離度マップを作成する。分離度値ηは、２つの領域間の分離度合いを表わす指標であり、数１で計算される値である。

通常は輝度Ｐｉとしては白黒画像における各画素ｉの輝度値を用いる。

領域１、２は、図４に示す円形分離度フィルタにおいて、半径ｒの円の外側（図４の領域１）と内側の（図４の領域２）として、２つの領域の分離度マップを作成する。

こうした形状の分離度フィルタにより、円形を示す形状部分の対象物を抽出することが可能なものであるが、同様に半径ｒの２倍と同じ幅を持つ細長い対象物についても抽出することが可能である。

スケールを表わすパラメータである半径ｒは、両瞳間の距離を基準として所定の係数をかけて算出する。具体的には、瞳間の距離から、標準の顔の大きさがわかり、この顔の大きさから標準的な眉の太さがわかるため、この太さから係数を算出する。

分離度マップの例は図５の５０２に示す通りである。また、眉部分は通常背景となる肌色領域より暗いことが多い。そのため、さらに数２のように、分離度フィルタの２領域の平均値の差を分離度値ηに加えて分離度値η’としてもよい。但し、αは所定の定数である。

また、この半径ｒは単一である必要はなく、複数用いてもよい。その場合にはその数だけ分離度マップを作成することになる。

（２−５）領域分割部２０
次に、領域分割部２０においては、まず、分離度マップ作成部１８で得られた分離度マップの２値化を行なう。２値化は分離度マップ内の各点の分離度値が、所定の閾値以上ならば値を１に、そうでなければ値を０にする。２値化した画像の例を図５の５０３に示す。

２値は分離度値のみならず、前記分離度フィルタの２領域の平均値の差に対しても閾値を設けて２値化してもよい、その場合は、両方の条件を満たすものを１にそれ以外を０とするものとする。ここでは便宜的に値を０または１に２値化したが、この値自体はこれに限らない。

次に、分離度マップに対してラベリング処理を行なう。ラベリング処理は、値がある（０でない）画素が連結している場合には同じラベルに属するとして、分離度マップ内の値がある画素を複数の連結領域に分割する処理である。例えば次のような４近傍による方法を用いる。

まず、画像上でラベルが付加されていない画素を見つけ、新しいラベルを付加する。

次に、画素に４方向に連結している画素に同じラベルを付加する。画像内にラベルを付加する画像がある限り、この操作を繰り返す。

これにより、分離度マップ内が、２値化の値が「０」の連結領域と２値化の値が「１」の連結領域とに分割される。

（２−６）領域判定部２２
次に領域判定部２２においては、領域分割部２０において分割された各連結領域について、これらの連結領域が、目的とする特徴点（ここでは眉内端）を含むものであるかの判定を行なう。すなわち、ラベリングされた座標値の最大値、最小値を求め、端点を求める。

判定は各連結領域が探索領域の右端に接し、かつ、上端、下端、左端に接しないという条件で行なう。

ここでこの条件を満たした候補のうち、連結領域の左端の点が所定の基準点に最も近いものを選択する。予め統計的に取得した眉内端位置の分布を元に決定しておく。

ここまで左眉内端の場合について述べたが、右の場合は左右を逆にして同様の処理を行なう。

（２−７）出力部２４
出力部２４においては、検出された眉内端点の位置を出力する。

（３）効果
このように、第１の実施形態に係わる画像処理装置１０によれば、円形分離度フィルタを用いることで一定の幅の領域を抽出することにより、照明条件など良好でない画像に対しても安定に眉端点を検出することが可能となる。

（第２の実施形態）
次に本発明の第２の実施形態について図６に基づいて説明する。

図６は、第２の実施形態に係わる画像処理装置１０を示すブロック図である。本実施形態においては、特徴点（眉内端）が検出されなかった場合、あるいは検出された左右の眉内端が所定の条件を満たさない場合について述べる。

本実施形態の画像処理装置１０の構成は、第１の実施形態の画像処理装置１０に端点推定部２６を追加したものであり、これ以外の構成は第１の実施形態と同様である。

領域判定部２２において、所定の条件を満たす領域が存在しない場合には、端点推定部２６において、領域判定部２２において用いた基準点を検出された端点の代わりに用いる。

但し、このようにして推定した点の場合には、信頼度を、実際に条件を満たす領域が存在する場合と比較して低くするものとする。

また、このようにして検出された左右の端点に対して、これらの端点を結ぶ直線と、左右の瞳中心を結ぶ直線との結ぶ角度が所定の角度（例えば、１０度〜２０度）より小さいという条件を満たす場合には双方の端点を検出された点とする。

条件を満たさない場合には、左右で先に述べた信頼度に差がある場合には、信頼度の高い方を活かし、信頼度の低い方に関しては、信頼度が高い方の点を探索領域内において、信頼度が低い側に左右対称となる位置を検出結果とする。信頼度に差がない場合は、基準点からの距離が近い方を信用し、信頼度に差がある場合と同様、逆側について、左右対称となる位置を検出結果とする。

（変更例）
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

上記実施形態では基準特徴点として、左右の瞳中心を用いたが、これに限定されるものではない。例えば、目尻、目頭等の目の端点それぞれ、または目尻目頭の中点等も同様に基準特徴点として用いることができる。

また、領域分割方法として２値化分離度マップをラベリングする方法について述べたが、これに限るものではなく、例えば距離変換を用いる方法、尾根線を求める方法なども考えられる。

また、端点を求める例を述べたが、領域そのものを出力してもよいし、眉の外側の端点を検出してもよい、また、眉端のみならず、目端、口端等も適切な探索範囲を設定することにより、同様に検出可能である。

また、上記実施形態における円形分離度フィルタに限らず、楕円形、多角形の分離度フィルタを用いてもよい。

本発明の第１の実施形態に係わる画像処理装置１０の構成を示すブロック図である。 設定された探索範囲を示す図である。 設定された探索範囲の詳細を示す図である。 分離度フィルタの例を示す図である。 処理結果の例を示す図である。 第２の実施形態に係わる画像処理装置１０の構成を示すブロック図である。

符号の説明

１０ 画像処理装置
１２ 画像入力部
１４ 基準特徴点検出部
１６ 探索範囲設定部
１８ 分離度マップ作成部
２０ 領域分割部
２２ 領域判定部
２４ 出力部

Claims (11)

1. 画像中の人物の顔の特徴点、または、領域を検出する画像処理装置において、
   前記検出すべき検出特徴点、または、検出領域以外の特徴点を基準特徴点として検出する基準特徴点検出手段と、
   前記基準特徴点の位置に基づいて、前記検出特徴点または前記検出領域の探索範囲を決定する探索範囲設定手段と、
   前記探索範囲内の領域を、一または複数の分離度フィルタの分離度値を用いて分離度マップを作成する分離度マップ作成手段と、
   前記分離度マップを、前記分離度値に基づいて複数の連結領域に分割する領域分割手段と、
   前記各連結領域が前記検出領域であるか、または、前記検出特徴点を含む領域であるか否かについて、前記各連結領域が所定の条件を具備するか否かで判定する領域判定手段と、
   を備える
   ことを特徴とする画像処理装置。
2. 画像中の人物の顔の特徴点、または、領域を検出する画像処理装置において、
   前記検出すべき検出特徴点、または、検出領域以外の特徴点を基準特徴点として検出する基準特徴点検出手段と、
   前記基準特徴点の位置に基づいて、前記検出特徴点または前記検出領域の探索範囲を決定する探索範囲設定手段と、
   前記探索範囲内の領域を、一または複数の分離度フィルタの分離度値を用いて分離度マップを作成する分離度マップ作成手段と、
   前記分離度マップを、前記分離度値に基づいて複数の連結領域に分割する領域分割手段と、
   前記各連結領域が前記検出領域であるか、または、前記検出特徴点を含む領域であるか否かについて、前記各連結領域が所定の条件を具備するか否かで判定する領域判定手段と、
   前記検出特徴点が人物の眉の端点、または、前記検出領域が眉領域であり、前記基準特徴点が前記人物の左右の瞳中心、または、目端の内の少なくとも２点以上であって、前記連結領域の端点を検出する端点検出手段と、
   を備え、
   前記領域判定手段は、前記端点の位置と前記各基準特徴点の位置との角度、距離の少なくとも一方から前記端点が前記人物の眉の端点であるか否かを判定する
   ことを特徴とする画像処理装置。
3. 前記領域判定手段は、
   前記所定の条件を具備する連結領域がないときは、前記各連結領域が第２の条件を具備するか否かで判定する
   ことを特徴とする請求項２記載の画像処理装置。
4. 前記分離度フィルタは、円形、楕円形、多角形である
   ことを特徴とする請求項２または３記載の画像処理装置。
5. 前記分離度フィルタの分離度値が、２領域の輝度値のクラス間分散の和をクラス間分散の和で割った値である
   ことを特徴とする請求項２から４の少なくとも一項に記載の画像処理装置。
6. 前記分離度フィルタの分離度値が、２領域の輝度値の平均値の差の値である
   ことを特徴とする請求項２から５の少なくとも一項に記載の画像処理装置。
7. 画像中の人物の顔の特徴点、または、領域をコンピュータによって検出する画像処理プログラムにおいて、
   前記検出すべき検出特徴点、または、検出領域以外の特徴点を基準特徴点として検出する基準特徴点検出機能と、
   前記基準特徴点の位置に基づいて、前記検出特徴点または前記検出領域の探索範囲を決定する探索範囲設定機能と、
   前記探索範囲内の領域を、分離度フィルタの分離度値を用いて分離度マップを作成する分離度マップ作成機能と、
   前記分離度マップを、前記分離度値に基づいて複数の連結領域に分割する領域分割機能と、
   前記各連結領域が前記検出領域であるか、または、前記検出特徴点を含む領域であるか否かについて、前記各連結領域が所定の条件を具備するか否かで判定する領域判定機能と、
   前記検出特徴点が人物の眉の端点、または、前記検出領域が眉領域であり、前記基準特徴点が前記人物の左右の瞳中心、または、目端の内の少なくとも２点以上であって、前記連結領域の端点を検出する端点検出機能と、
   を実現し、
   前記領域判定機能は、前記端点の位置と前記各基準特徴点の位置との角度、距離の少なくとも一方から前記端点が前記人物の眉の端点であるか否かを判定する
   ことを特徴とする画像処理プログラム。
8. 前記領域判定機能は、
   前記所定の条件を具備する連結領域がないときは、前記各連結領域が第２の条件を具備するか否かで判定する
   ことを特徴とする請求項７記載の画像処理プログラム。
9. 前記分離度フィルタは、円形、楕円形、多角形である
   ことを特徴とする請求項７または８記載の画像処理プログラム。
10. 前記分離度フィルタの分離度値が、２領域の輝度値のクラス間分散の和をクラス間分散の和で割った値である
    ことを特徴とする請求項７から９の少なくとも一項に記載の画像処理プログラム。
11. 前記分離度フィルタの分離度値が、２領域の輝度値の平均値の差の値である
    ことを特徴とする請求項７から１０の少なくとも一項に記載の画像処理プログラム。