JPH0863597A

JPH0863597A - 顔抽出方法

Info

Publication number: JPH0863597A
Application number: JP6196735A
Authority: JP
Inventors: Hiromichi Enomoto; 洋道榎本; Nariatsu Takizawa; 成温滝澤; Hirotetsu Ko; 博哲洪; Madoka Kawai; まどか河合
Original assignee: Konica Minolta Inc
Current assignee: Konica Minolta Inc
Priority date: 1994-08-22
Filing date: 1994-08-22
Publication date: 1996-03-08
Anticipated expiration: 2019-08-25
Also published as: JP3557659B2

Abstract

(57)【要約】【目的】ネガフィルムやポジフィルム等のカラー原画
像から、人手を介さず完全に自動で且つ精度よく人間の
顔を抽出する顔抽出方法を提供すること。【構成】人の顔の形状に相当する顔候補領域を決定
し、顔候補領域内の特徴量から顔領域を決定することに
より、カラー原画像から人の顔を抽出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、カメラなどで人を撮影
したネガフィルムやポジフィルムなどのカラー原画像か
ら顔の部分を抽出する顔抽出方法に関する。

【０００２】

【従来の技術】カメラで撮影したネガフィルムを陽画に
焼付ける場合のように、カラー原画像を複写材料に複写
する場合、適切な露光量で複写することが大切であり、
特に人を撮影したカラー写真の場合には、人の顔の色が
適正になるように焼付けると一般に写真を見た人に与え
る感じが良く、写真の質を高めることになる。

【０００３】写真撮影の場合、撮影条件が常に一定であ
ればその撮影条件に応じた適切な露光量で焼付けを行え
ばよいが、実際には逆光で撮影された原画像やストロボ
を用いて撮影された原画像等が１本のフィルムの中に混
在していることがある。このため、質の良い写真を得る
ためには原画像ごとに焼付け時の露光量を変更するのが
好ましく、この焼付け時の露光量を決めるのに、人が入
った写真の場合には人の顔の色に着目するのが便利であ
る。顔の色は肌色であることが前もってわかっているた
め、焼付けられた後の写真における人の顔の色が肌色に
なるように露光量を決めることができるからである。

【０００４】このように人の顔の色を基準として焼付け
時の露光量を決定する方法は従来から知られており、カ
ラーフィルムの現像、焼付けの一部作業を自動化する場
合に利用されている。

【０００５】たとえば、カラーフィルムの原画像中の顔
領域をオペレータがライトペンで指定して人の顔の濃度
データを抽出し、この抽出した濃度データに基づいて顔
の色が適正に焼付けられるように露光量を決定する方法
がすでに知られている。

【０００６】また、原画像中の人の顔を抽出する方法と
して、原画像から肌色データを抽出し、肌色範囲と判断
された測光点のクラスタを顔とする方法が知られている
（特開昭５２−１５６６２４号公報、特開昭５３−１４
５６２１号公報、特開昭５３−１４５６２２号公報）。
これは、カラー原画像を多数の測光点に分割するととも
に各測光点をＲ（赤）、Ｇ（緑）、Ｂ（青）の３色に分
解して測光し、測光データから計算した各測光点の色が
肌色範囲内か否かを判断し、肌色範囲と判断された測光
点のクラスタ（群）を顔の濃度データとする方法であ
る。

【０００７】さらに、特開平４−３４６３３３号公報に
は、測光したデータを色相値（Ｈ）、彩度値（Ｓ）に変
換し、Ｈ、Ｓの２次元ヒストグラムを作成し、このヒス
トグラムを単峰の山に分割し、原画像の各画素が分割さ
れた山のどれに属するかを判断して画素を分割すること
により顔の候補領域を抽出し、顔候補領域の輪郭、内部
構造から人か否かを判断する方法が開示されている。

【０００８】

【発明が解決しようとする課題】上述のオペレータが顔
領域をライトペンで指定する方法の場合には、カラー原
画像中の顔領域を間違いなく抽出することができるが、
画像毎にオペレータがライトペンで顔領域を指定しなけ
ればならないため、焼付け作業に時間がかかるという問
題がある。また、この方法の場合、オペレータが介在し
ない完全な無人化（自動化）は不可能である。

【０００９】一方、原画像から肌色データを抽出し、肌
色範囲と判断された測光点のクラスタを顔とする方法の
場合には、地面、木の幹、洋服等の肌色または肌色に近
似した色をした顔以外の部位も顔の濃度データとして抽
出されてしまい、精度に欠けるという問題がある。ま
た、フィルム種、光源によって、顔を抽出できない場合
もあるという問題がある。

【００１０】そして、特開平４−３４６３３３号公報に
開示された方法の場合には、顔と手、顔と顔が接触して
いる場合などでは、肌色領域の形状が複雑になり、顔だ
けを検出することができない場合があるという問題があ
る。

【００１１】本発明は上記の点にかんがみてなされたも
ので、ネガフィルムやポジフィルム等のカラー原画像か
ら、人手を介さず完全に自動で且つ精度よく人の顔を抽
出する顔抽出方法を提供することを目的とする。

【００１２】

【課題を解決するための手段】本発明は上記の目的を達
成するために、画像から人の顔を抽出するための抽出方
法において、人の顔の形状に相当する顔候補領域を決定
し、前記顔候補領域内の特徴量から顔領域を決定するよ
うにした。

【００１３】また、別の方法によれば、画像から人の顔
の輪郭を抽出することにより顔候補領域を検出するよう
にした。

【００１４】さらに、別の方法によれば、画像から人の
顔を抽出するための抽出方法において、顔の様々な形状
をした複数のテンプレートを用意しておき、このテンプ
レートと画像とのマッチング度を計算し、マッチング度
の最も高いテンプレートを選択し、最も高かったマッチ
ング度が予め定めたしきい値以上であれば、選択された
テンプレート内の領域を顔候補領域とするようにした。

【００１５】

【作用】本発明は以上の方法によって、人の顔の形状に
相当する顔候補領域を決定し、前記顔候補領域内の特徴
量から顔領域を決定することにより、カラー原画像から
人の顔を抽出する。

【００１６】また、別の方法によれば、画像から人の顔
の輪郭を抽出することにより顔候補領域を検出し、カラ
ー原画像から人の顔を抽出する。

【００１７】さらに、別の方法によれば、複数の顔の形
状をしたテンプレートを用意しておき、このテンプレー
トと画像とのマッチング度を計算し、マッチング度の最
も高いテンプレートを選択し、最も高かったマッチング
度が予め定めたしきい値以上であれば、選択されたテン
プレート内の領域を顔候補領域とすることにより、カラ
ー原画像から人の顔を抽出する。

【００１８】

【実施例】以下本発明を図面に基づいて説明する。

【００１９】図１は、本発明による顔抽出方法を用いた
顔領域抽出装置のブロック図である。

【００２０】フィルム１はカラー原画像が記録されたフ
ィルムであり、ネガフィルムであってもポジフィルムで
あってもかまわない。ポジ画像から肌色を抽出するとき
はポジの測光値から直接肌色を抽出すればよく、ネガ画
像から肌色を抽出するときはネガの測光値をポジに変換
して肌色を抽出してもよいし、ネガの測光値から直接肌
色を抽出してもよい。スキャナ２はフィルム１のカラー
原画像を光学的に読取り、色分解して各画素のＢ
（青）、Ｇ（緑）、Ｒ（赤）値を得ることができる。こ
のＢＧＲ値は、増幅器３で増幅された後にＡ／Ｄ変換器
４でデジタルデータに変換されてＣＰＵ５に入力され
る。ＣＰＵ５では、後述する顔抽出のための各処理を実
行する。

【００２１】図２は、本発明による顔抽出方法の第１の
実施例のフローチャートである。

【００２２】まず、スキャナ２によって得られた各画素
のＢＧＲ値から、明度、色相、彩度、色度、（Ｂ−
Ｒ）、（Ｇ−Ｒ）といった色の特徴量を求め（Ａ−
１）、これらの色の特徴量が予め定めた範囲内に入って
いれば、対象画素が肌色であると判定する（Ａ−２）。
もちろん、ネガ画像のＢＧＲ値から肌色を抽出する場合
と、ポジ画像のＢＧＲ値から肌色を抽出する場合とで
は、特徴量について予め定める範囲が異なる。また、求
めた色の特徴量をニューラルネットワークの入力値とし
て、肌色か否かを判定してもかまわない。

【００２３】次に、肌色と判定された画素から成る画像
に対してエッジ抽出を行なう（Ａ−３）。エッジ抽出方
法としては、たとえば、対象画素を中心として、周囲８
画素の明度平均を取り、その平均値と対象画素の明度と
の差が所定値よりも大きければ、対象画素をエッジ画素
とし、エッジ画素であるか否かで２値化する。ここで
は、このようにして得た画像をエッジ画像という。

【００２４】ステップ（Ａ−４）では、まず、サイズ、
長軸／短軸（ｌａ／ｌｂ）の比率の異なる複数の楕円あ
るいは円形の顔テンプレート（図３参照）を作成する。
これらの顔テンプレートは予め作成しておき記憶装置６
に記憶させておいてもよい。顔テンプレートは、楕円な
いしは円の輪郭か否かで２値化されている。実際の顔の
輪郭は、正確な楕円ないしは円でないために、顔テンプ
レートの輪郭は、数画素、好ましくは２〜３画素の幅を
もたせて、実際の顔の輪郭とのマッチング度を上げても
よい。

【００２５】ステップ（Ａ−４）では、続いて、エッジ
画像と顔テンプレートのマッチング度を求める。マッチ
ング度の求め方は、既存の手法を用いる。たとえば、数
１で表されるような手法でマッチング度ｍ（ｕ，ｖ）を
求める。

【００２６】

【数１】数１において、ｆは対象画像を表し、ｔは顔テンプレー
トを表し、Ｓはｔ（ｘ，ｙ）の値域を表す。ｆ’、ｔ’
はそれぞれｆ（ｘ＋ｕ，ｙ＋ｖ）、ｔ（ｘ，ｙ）のＳ内
での平均を表す。

【００２７】このような手法で、数種類の顔テンプレー
トを用いてマッチングを行ない、最もよく一致するテン
プレートを対象画素に対して求め（Ａ−４）、マッチン
グ度が予め定めたしきい値以上であれば、対象画素を中
心として、最もよく一致する顔テンプレートで囲まれる
領域を顔候補領域であると判定する（Ａ−６）。

【００２８】また、演算回数を減らすために、最初に大
まかな走査として、一定の大きさの顔テンプレートを１
画素ずつ、あるいは、何画素かおきにずらしていって、
マッチング度を求め、マッチング度が所定値以上の対象
画素に対してのみ、大きさの違うテンプレートをあては
めて、最適な候補領域を決定してもよい。

【００２９】図２に示した第１の実施例によれば、顔の
輪郭を抽出しているために、たとえば顔と手、顔と顔が
接触しているような画像であっても顔単体だけを正確に
抽出することができるという効果がある。

【００３０】また、肌色領域の抽出にあたり肌色とみな
す色の範囲を広く設定すれば、フィルムの種類や光源の
違いをカバーすることができる。

【００３１】さらに、肌色の範囲を、ネガ画像用、ポジ
画像用にそれぞれ設定することでネガ画像からでも、ポ
ジ画像からでも顔の抽出が可能になるという効果もあ
る。

【００３２】なお、図２に示した第１の実施例では肌色
領域の抽出を行ってから顔テンプレートとのマッチング
度を求めたが、本発明はこれに限らず、対象画像全体を
( 肌色抽出することなしに) 明度画像に変換し、その後
に、第１の実施例と同じ手法で顔候補領域を決定しても
よい。

【００３３】また、図２に示した第１の実施例ではエッ
ジであるか否かで２値化した画像とエッジの顔テンプレ
ートとのマッチングを行ったが、本発明はこれに限ら
ず、肌色領域抽出後、肌色であるか否かで２値化した画
像と、肌色か否かで２値化した顔テンプレートとのマッ
チングを行ってもよい。

【００３４】ところで、第１の実施例によって顔候補領
域と判定された部分を顔とみなしても十分であるが、画
像によっては顔ではない部分を顔候補領域と判定してし
まう場合がある。そこで、以下では第１の実施例で顔候
補領域と判定された複数の部分をさらに絞り込み、実際
に顔である部分を確実に抽出する方法について説明す
る。

【００３５】図４は、本発明による顔抽出方法の第２の
実施例のフローチャートである。

【００３６】まず、第１の実施例によって判定された顔
候補領域内で目のある領域（目候補領域）を推定し設定
する（Ｂ−１）。このとき、画像が縦である場合（図５
（ａ）参照）と横である場合（図５（ｂ）参照）のそれ
ぞれに対して推定する。この推定方法としては、たとえ
ば、画像の向きが縦の場合には顔候補領域の上半分と下
半分を目候補領域に設定し、一方、画像の向きが横の場
合には顔候補領域の右半分と左半分を目候補領域に設定
する。すなわち、顔候補領域に対して、上半分、下半
分、右半分、左半分を目候補領域と設定する。この目候
補領域の設定方法は、もっと狭く設定してもかまわな
い。たとえば、画像の向きが縦の場合、図６に示すよう
に、顔候補領域の下端の高さを０、上端の高さを１とし
たとき、高さが０．５〜０．８の範囲を目候補領域と設
定してもよい。

【００３７】次に、それぞれの目候補領域内で、図７に
示すような明度に関するヒストグラムを作成する（Ｂ−
２）。ここでは、明度を８ビットで表した場合について
説明する（明度０：０、明度１００：２５５）。まず明
度領域（０〜２５５）を均等に８分割して、それぞれの
明度領域内での出現頻度を求める。黒目の部分は明度が
低いので、ヒストグラムは少なくとも黒目の明度の部分
と肌色の明度の部分にピークを有する（図７参照）。こ
こでは明度のヒストグラムを作成したが、本発明はこれ
に限らず、明度の代わりに彩度、色相、色度を用いても
かまわない。

【００３８】さて、こうして作成したヒストグラムの形
状認識手法の１つとして、以下のような手法がある。ま
ず、肌色の領域と思われる明度範囲（たとえば８ビット
で９６以上）で最大のピーク（第１のピーク）を探す。
次に所定値よりも低い明度範囲で最大のピーク（第２の
ピーク）を探す。この所定値は、測定機器を用いていく
つかの目のサンプルを測光し経験的に求める。（第２の
ピークの頻度）／（第１のピークの頻度）の値を計算
し、この値を特徴量とする（Ｂ−３）。

【００３９】この特徴量が所定範囲内であれば（Ｂ−
４）、このヒストグラムの形状は顔を表していると判断
する。ステップ（Ｂ−４）における所定範囲は、目候補
領域の大きさによって異なるため、それぞれのケースご
とに最適範囲を求めておかなければならない。

【００４０】このようにして、それぞれの目候補領域ご
とに判断を行ない、目と判断される領域があれば、その
顔候補領域は顔であると判定し（Ｂ−４）、目と判断さ
れる領域がなければ、顔でないと判定される。

【００４１】また、図４に示した第２の実施例では、ス
テップ（Ｂ−１）で目候補領域を設定し、ステップ（Ｂ
−２）でその目候補領域内の明度のヒストグラムを作成
したが、本発明はこれに限らず、たとえば、目候補領域
を設定せずに、顔候補領域全体で明度のヒストグラムを
作成して顔であるか否かの判定を行うようにしてもよ
い。

【００４２】図４に示した第２の実施例によれば、顔候
補領域内に複数の目設定領域を設定することにより、画
像の向きの違いに対応することができる。

【００４３】また、言い換えれば、この手法により自動
的に画像の向きを判定することができるという効果もあ
る。

【００４４】なお、図４に示した第２の実施例では明度
の１次元のヒストグラムを作成したが、本発明はこれに
限らず、たとえば、明度と色相とを軸にした２次元ヒス
トグラムを作成し、肌色を表す領域のピークを第１ピー
ク、目の黒を表す領域のピークを第２ピークとして第２
の実施例と同じ手法で判定するようにしてもよいし、明
度と彩度の２次元ヒストグラムや、色相と彩度の２次元
ヒストグラムを用いてもよい。

【００４５】図８は、本発明による顔抽出方法の第３の
実施例のフローチャートである。

【００４６】まず、第１の実施例によって判定された顔
候補領域内の画像を明度に変換する（Ｃ−１）。本実施
例では顔候補領域内の画像を明度に変換するものとして
説明するが、本発明は明度画像でなく色度画像、色相画
像、彩度画像に変換してもかまわない。

【００４７】次に、顔候補領域の大きさを基準サイズに
合わせるために拡大、縮小を行い、顔候補領域のサイズ
を規格化する（Ｃ−２）。そして、規格化された顔候補
領域に対して２次元フーリエ変換を行う（Ｃ−３）。

【００４８】ここで、このフーリエ変換の結果におい
て、そのパワースペクトラムを最も大きなピーク値で規
格化しておく。そして、実際に顔を表すいくつかのパタ
ーン（以下「顔の基準データ」という）に対して同様に
２次元フーリエ変換を行ったものを予め記憶装置６に記
憶させておくことにより用意しておき、顔候補領域のフ
ーリエ変換結果と顔の基準データフーリエ変換結果との
間でマッチングをとり、このマッチング度の最も高い値
を特徴量とする（Ｃ−４）。

【００４９】そして、この特徴量がしきい値以上であれ
ば（Ｃ−５）、その顔候補領域は顔であると判定する
（Ｃ−６）。

【００５０】ところで、図８に示した第３の実施例では
ステップ（Ｃ−３）で２次元フーリエ変換を行ったが、
本発明はこれに限らず、１次元フーリエ変換を行っても
よい。ただし、この場合には、顔の基準データとして、
正面顔、横向き顔について、それぞれ画像の向きが上、
下、右、左の条件を組み合わせたパターンを準備する必
要がある。

【００５１】図８に示した第３の実施例によれば、顔候
補領域の抽出の不正確さにより顔の部位（目や口）の位
置がずれてしまったような場合にも、その影響を受けに
くく、顔の高い抽出率が得られるという効果がある。

【００５２】なお、図８に示した第３の実施例では２次
元フーリエ変換を行ったが、本発明は２次元フーリエ変
換を行わなくても、周波数特性に準ずるものであればか
まわない。たとえば、次に示すような方法であってもか
まわない。

【００５３】まず、画像の横軸、縦軸をそれぞれｘ軸、
ｙ軸とし、ｘ軸上ｘ₀ の位置の明度の値をｙ軸に沿って
加算しｘ₀ での値とする明度のｘ軸への投影と、同様に
明度のｙ軸への投影とを行なう。そして、ｘ軸への投影
とｙ軸への投影のそれぞれについてそれぞれのピーク値
で規格化し、このデータと実際に顔画像から同様にして
得られた基準データとの間でマッチングを取り、しきい
値より高ければ顔と判断する。もちろん、明度画像でな
くてもよく、色相、色度、彩度等の色を表す特徴量のｘ
軸、ｙ軸への投影を用いればよい。

【００５４】この場合、２次元フーリエ変換に比べて計
算時間が短くてすむので、高速に処理することができる
という効果がある。

【００５５】図９は、本発明による顔抽出方法の第４の
実施例のフローチャートである。

【００５６】まず、第１の実施例によって判定された顔
候補領域内の各画素の色相、明度を求め（Ｄ−１）、色
相、明度の２次元空間の共分散楕円の面積を求め、これ
を特徴量とする（Ｄ−２）。

【００５７】ステップ（Ｄ−２）で求めた共分散楕円の
面積が所定範囲内であれば（Ｄ−３）、その顔候補領域
は顔であると判定する（Ｄ−４）。

【００５８】なお、共分散楕円の代わりに、色空間（Ｌ
^* ａ^* ｂ^* 、Ｌ^* ｕ^* ｖ^* 等）での分散楕円体の体積、
色相の分散、明度の分散、彩度の分散を特徴量としても
かまわない。あるいはこれらの少なくとも2 つ以上を組
み合わせて判断すればより認識率が上がる。

【００５９】図９に示した第４の実施例によれば、画像
の向きに関係なく特徴抽出することができる。

【００６０】また、図４に示した第２の実施例で求めら
れた特徴量を組み合わせて判断すれば、より認識率を上
げることができる。

【００６１】図１０は本発明による顔抽出方法の第５の
実施例のフローチャートである。

【００６２】まず、第１の実施例によって判定された顔
候補領域を小領域に分割する（Ｅ−１）。分割方法とし
て、以下の（１）〜（３）の３つの方法が考えられる。（１）顔候補領域に外接する長方形を３×３の長方形に
分割し、顔候補領域と重なっている領域を小領域とす
る。上段３つの小領域を上の小領域、下段の真ん中の小
領域を下の小領域、中段と下段の両端の小領域を横の小
領域とする（図１１（ａ）参照）。（２）顔候補領域に外接する長方形を対角線状に４つの
三角形に分割し、顔候補領域と重なっている領域を小領
域とする。左右の領域を横の小領域とする（図１１
（ｂ）参照）。（３）顔候補領域に外接する長方形の４つの辺近傍と、
候補領域とが重なっている領域を小領域とする。左右の
領域を横の小領域とする（図１１（ｃ）参照）。

【００６３】次に、特徴量として各小領域での色の分布
量を求める（Ｅ−２）。色の分布量としては以下の種類
が考えられる。・色相、明度の２次元空間の共分散楕円の面積。・色空間（Ｌ^* ａ^* ｂ^* 、Ｌ^* ｕ^* ｖ^* 等）での分散楕
円体の体積。・色相の分散。・明度の分散。・彩度の分散。

【００６４】ここでは、目や口や髪の生え際に相当する
小領域では色の分布量が大きく、ほほに相当する小領域
では色の分布量が小さいことを利用して顔の認識を行
う。すなわち、上下の領域（上、下の小領域）のそれぞ
れの分布量もしくは分布量の平均が、左右の領域（横の
小領域）のそれぞれの分布量もしくは分布量の平均より
大きいとき（Ｅ−３）にその顔候補領域は顔であると判
定する（Ｅ−４）。そして、この作業を画像を９０°ず
つ回転させて行なう。

【００６５】ある一方向についての条件を式であらわす
と数２のようになる。数２において、v(X1) は小領域X1
での色の分布量を表している。

【００６６】

【数２】 v(X1) > v(X2) all X1, X2 or average(v(X1)) > average(v(X2)) or v(X1) > average(v(X2)) all X1 or average(v(X1)) > v(X2) all X2 ここで、X1: (x,y)=上の小領域、下の小領域であり、X
2: (x,y)=横の小領域である。

【００６７】なお、上、下の小領域のそれぞれの色の分
布量もしくは分布量の平均があるしきい値以上、横の小
領域のそれぞれの色の分布量もしくは分布量の平均があ
るしきい値以下、この二つの条件をともに満たすとき、
もしくは、どちらかを満たすときにその顔候補領域は顔
であると判定する方法もある。この場合も作業を９０°
ずつ回転させて行なう。この場合のある一方向について
条件を式であらわすと数３のようになる。数３におい
て、v(X1) は小領域X1での色の分布量を表している。

【００６８】

【数３】{ v(X1) > C1 all X1 and/or v(X2) < C2 all X2 } or { average(v(X1)) > C3 and/or average(v(X2)) < C4 } ここで、X1: (x,y)=上の小領域、下の小領域であり、X
2: (x,y)=横の小領域である。

【００６９】図１０に示した第５の実施例によれば、顔
の部位ごとの特徴を生かして認識するため認識率が高い
という効果がある。

【００７０】なお、図１０に示した第５の実施例では特
徴量として色の分布量を用いたが、特徴量として、小領
域の平均色の顔候補領域全体の平均色に対する色の差の
量と、方向とを用いる方法もある（図１２参照）。ここ
で、この方法について説明する。

【００７１】まず、第５の実施例と同様に顔候補領域を
小領域に分割し、特徴量として、小領域の平均色の顔候
補領域全体の平均色に対する色の差の量と方向を求め
る。目や髪を判断する際には明度、口を判断する際には
色相を用いるとよい。

【００７２】差としては以下の種類が考えられる。・色相、明度の２次元空間での二つの平均色の差ベクト
ル。・色空間（Ｌ^* ａ^* ｂ^* 、Ｌ^* ｕ^* ｖ^* 等）での二つの
平均色の差ベクトル。・色相の平均の差。・明度の平均の差。・彩度の平均の差。

【００７３】平均の計算方法としては以下の種類が考え
られる。・小領域内で均一な平均。・小領域の中央に重みをつけた平均。

【００７４】ここでは、目や口や髪の生え際に相当する
小領域で小領域の平均色と候補領域の平均色との色の差
の方向がそれぞれ黒、赤、黒の方向であるとき、顔と認
識する。具体的には、以下の３つの条件を同時にもしく
はいずれかを満たしているとき、その顔候補領域は顔で
あると判定する。（１）上の小領域の顔候補領域の平均色に対するそれぞ
れの色の差方向もしくは色の差の平均の方向が明度が小
さくなる方向であること。（２）下の小領域の顔候補領域の平均色に対するそれぞ
れの色の差方向もしくは色の差量の平均方向が肌色から
赤の方向であること。（３）横の小領域の顔候補領域の平均色に対するそれぞ
れの色の差量もしくは色の差量の平均があるしきい値よ
り小さいこと。

【００７５】そして、この作業を画像を９０°ずつ回転
させて行なう。

【００７６】また、図１０に示した第５の実施例では特
徴量として色の分布量を用いたが、特徴量として空間周
波数的性質を用いる方法もある（図１３参照）。ここ
で、この方法について説明する。

【００７７】まず、第５の実施例と同様に顔候補領域を
小領域に分割し、特徴量として空間周波数的性質の値を
求める。

【００７８】空間周波数の対象としては以下の種類が考
えられる。・色相。・明度。・彩度。

【００７９】そして、特徴量およびその求め方としては
以下の種類が考えられる。・２次元フーリエ変換を行い、高周波領域内での応答の
積分値と空間周波数領域全体での応答の積分値との割合
を特徴量とする。・２次元フーリエ変換を行いパワースペクトラムを求
め、高周波領域でのピークの高さを特徴量とする。・四方の隣接する画素との差の平均値のヒストグラムを
求め、差の平均値が所定値以上である画素の割合を特徴
量とする。

【００８０】ここでは、目や口や髪の生え際に相当する
小領域で特徴量が大きいとき、その顔候補領域は顔であ
ると判定する。すなわち、上、下の小領域の特徴量より
も横の小領域の特徴量が大きいときその顔候補領域は顔
であると判定する。やはり、この作業は画像を９０°ず
つ回転させて行なう。

【００８１】図１４は本発明による顔抽出方法の第６の
実施例のフローチャートである。

【００８２】まず、第１の実施例によって判定された顔
候補領域のサイズに基づいて目の大きさを推定し、図１
５（ａ）に示すような目のテンプレートおよび図１５
（ｂ）に示すような眼鏡をかけた目のテンプレートを作
成する（Ｆ−１）。

【００８３】そして、顔候補領域内の対象画像を目を表
す画像であるか否かで２値化する（Ｆ−２）。通常どお
りに明度、彩度、色相等の色情報で目を表す黒画素を検
出してもかまわないが、次に示す手法の方が好ましい。（１）まず、顔候補領域内で肌色画素の明度の平均を求
める。（２）この平均値との差（もちろん、目を表す画素の方
が小さくなる）がしきい値以上である場合に目を表す黒
画素であると判定する。

【００８４】こうすることで、顔の明るさの違いによる
目の黒画素の明るさの違いをカバーすることができる。

【００８５】ステップ（Ｆ−２）で２値化された顔候補
領域に対して、垂直方向、水平方向にそれぞれの目テン
プレートを走査させ（図１５（ａ）参照）、最も高いマ
ッチング度を求め、これを特徴量とする（Ｆ−３）。

【００８６】そして、この特徴量がしきい値以上であれ
ば（Ｆ−４）、その顔候補領域は顔であると判定する
（Ｆ−５）。

【００８７】図１４に示した第６の実施例によれば、対
象者が眼鏡をかけているかどうかの判定が可能であり、
また、画像の向きの判定も可能となる効果がある。

【００８８】図１６は本発明による顔抽出方法の第７の
実施例のフローチャートである。

【００８９】本実施例では、図１４に示した第６の実施
例の処理を行った後に、目のほかに口に関しても判断を
行う。従って、ステップ（Ｇ−１）〜（Ｇ−４）は図１
４に示したフローチャートと同様なので説明は省略す
る。

【００９０】ステップ（Ｇ−５）では、目の位置情報か
ら口の位置を推定する。たとえば、両目の位置がともに
顔の上半分にあった場合、口の位置は、顔の下半分にあ
ると推定する。また、両目の位置が共に顔の右半分にあ
った場合、口の位置は、顔の左半分にあると推定する。
また、通常行なわれているように、両目を結ぶ線分の中
点からの距離で口の位置を推定すればより高い検出精度
が得られる。

【００９１】次に、口の候補領域に対して、色情報から
口が存在するかどうかを判定する。具体的には、たとえ
ば、ＢＧＲ信号を８ビット（０〜２５５）で表し、顔候
補領域全体でＧ−Ｒを計算し、その平均値を求める。次
に、口の候補領域に対して同様にＧ−Ｒを計算し、この
計算した値と先に求めた平均値との差を求め、この差が
しきい値以上であれば口画素としてカウントする。

【００９２】そして、口画素の割合（口の画素とカウン
トされた画素数／顔候補領域内の全画素数）を求め、こ
れを第２の特徴量とする（Ｇ−６）。

【００９３】この第２の特徴量が所定範囲内であれば
（Ｇ−７）、口であると判定し、この顔候補領域は顔で
あると判定する（Ｇ−８）。各しきい値はそれぞれ測定
機器を用いて経験的に求めればよい。また、Ｇ−Ｒの代
わりに他の色情報、たとえば明度、色相、彩度、色度を
用いてもかまわない。

【００９４】図１６に示した第７の実施例によれば、口
の位置が顔の領域のどの部分にあるかがわかり、画像の
向きを判定することができる。また、より精度の高い顔
抽出ができるという効果もある。

【００９５】なお、図１６に示した第７の実施例では目
のほかに口を検出することにより、顔であるか否かを判
定したが、本発明はこれに限らず、たとえば、目のほか
に髪を検出し顔であるかどうかを判定してもよい。以下
に、具体的に説明する。

【００９６】目の位置が決定したら、その目の位置情報
から髪の位置を推定する。具体的には、図１７のよう
に、たとえば両目が顔候補領域の上半分にある場合、両
目を結ぶ線より上の境界領域を髪候補領域と推定し、こ
の領域内で髪を示す黒画素をカウントする。また、両目
が顔候補領域の右半分にある場合、両目を結ぶ線より右
の境界領域を髪候補領域と推定する。

【００９７】そして、髪画素の割合（黒画素数／髪候補
領域の面積）がしきい値以上であれば髪があると判定
し、この顔候補領域は顔であると判定する。ここで、顔
候補領域のサイズを数画素拡張してから髪を検出する
と、より検出精度が上がる。

【００９８】この場合には、髪の領域が顔の上半分にあ
るか、下半分にあるか、左半分にあるか、あるいは右半
分にあるかで、画像の向きを判定することができるとい
う効果がある。

【００９９】また、図１６に示した第７の実施例では目
のほかに口を検出することにより、顔であるか否かを判
定したが、本発明はこれに限らず、目のほかに首を検出
して顔であるかどうかを判定してもよい。以下に、具体
的に説明する。

【０１００】目の位置が決定したら、その目の位置情報
から首の位置を推定する。図１７のように、たとえば両
目が顔候補領域の上半分にある場合、下１／３を首候補
領域とする。下半分というように更に広い領域に限定し
てもかまわない。

【０１０１】次に、顔候補領域のサイズを３〜４画素拡
張し、首候補領域と接触する領域で、首を表す肌色の画
素をカウントする。首画素の割合（カウント数／顔の候
補領域の面積）がしきい値以上であれば首であると判定
し、この顔候補領域は顔であると判定する。

【０１０２】図１８は本発明による顔抽出方法の第７の
実施例のフローチャートである。

【０１０３】本実施例は顔候補領域内でマッチドフィル
タを用いて、その顔候補領域が顔であるか否かを判定す
るものである。

【０１０４】まず、第１の実施例によって判定された顔
候補領域内の画像を明度画像に変換する（Ｈ−１）。次
に、顔テンプレート画像を作成する。この画像は明度画
像で、目、鼻、口が備わり、顔の向きも正面、横向きで
上、下、左、右の画像の向きにそれぞれ対応したものが
好ましい。また、いくつかの大きさの異なるテンプレー
トを作成しておくことが好ましい。これらの顔テンプレ
ート画像は予め作成しておき、記憶装置６に記憶させて
おいてもよい。また、本実施例では、この顔テンプレー
ト画像に対して２次元フーリエ変換を行うので、予め２
次元フーリエ変換を行っておき、その結果を記憶装置６
に記憶させておいてもよい。

【０１０５】そして、ステップ（Ｈ−１）の明度画像に
対して２次元フーリエ変換を行ない（Ｈ−２）、このス
テップ（Ｈ−２）の結果の実部と、顔テンプレート画像
の２次元フーリエ変換結果の実部とを足し合わせ（Ｈ−
３）、さらに、ステップ（Ｈ−２）の結果の虚部と、顔
テンプレート画像の２次元フーリエ変換結果の虚部とを
足し合わせる（Ｈ−４）。

【０１０６】次に、足し合わせた結果得られた実部と虚
部とを逆フーリエ変換し（ここまでの過程をマッチドフ
ィルタをかけるという）、この値を特徴量とする（Ｈ−
５）。

【０１０７】逆フーリエ変換した値は、マッチング度が
高いほど大きくなるので、この特徴量がしきい値以上で
あれば（Ｈ−６）、その顔候補領域は顔であると判定す
る。

【０１０８】なお、図１８に示した第７の実施例では、
顔候補領域内の画像を明度画像に変換したが、これを、
色相画像や彩度画像にしてもかまわない。

【０１０９】図１８に示した第７の実施例によれば、周
波数特性を利用しているため、顔の各部位の個人差によ
る位置の違いに対する許容度が高いという効果がある。

【０１１０】図１９は本発明による顔抽出方法の第８の
実施例のフローチャートである。

【０１１１】本実施例は、顔候補領域内で顔の各部位の
特徴量をニューラルネットワークに入力し、その顔候補
領域が顔であるか否かを判定するものである。

【０１１２】まず、他の実施例において説明した顔の各
部位の特徴量を求める（Ｊ−１）。この特徴量としては
目のマッチング度、口画素の割合、髪画素の割合、首画
素の割合などが挙げられる。そして、これらの値をニュ
ーラルネットワークに入力する（Ｊ−２）。

【０１１３】用いるニューラルネットワークは、入力
層、中間層、出力層から成る３層構造で、それぞれの要
素数は、たとえば４、３、１とする。ニューラルネット
ワークにおける教師データは、正面顔、横向き顔と、画
像の向きが上、下、右、左の組み合わせをカバーするよ
うに、それぞれのパターンについて作成しておく。教師
データの出力は顔であれば１、そうでなければ０とす
る。ニューラルネットワークには、上記２×４＝８パタ
ーンについて、それぞれの教師データを用いてバックプ
ロパゲーション法によって学習させ、各係数が決定され
ている。また、用いるニューラルネットワークの構成
は、中間層の数が２層以上であってもかまわないし、ま
た、中間層の要素数も３でなくてもかまわず、最も認識
率が高くなるように決定すればよい。

【０１１４】このようにして求められた出力層からの出
力がしきい値以上であれば（Ｊ−３）、その顔候補領域
は顔であると判定する（Ｊ−４）。

【０１１５】なお、ニューラルネットワークへの入力と
して、色を表すパラメータ、たとえば、明度、色相、彩
度等を用いてもかまわない。

【０１１６】また、この抽出方法を組み込んだ機器を出
荷した際、環境の違いにより、微調整が必要な場合に
は、新たにいくつかの教師データを加えることにより微
調整をするようにすればよい。

【０１１７】図１９に示した第８の実施例によれば、ニ
ューラルネットワークをいくつかの教師データにより学
習させることにより、それぞれの入力値に対して最適な
重み係数を選択することができ、高い認識率を確保する
ことができるという効果がある。

【０１１８】また、測定システム等の環境の違いによる
認識率低下が発生した場合にも、いくつかの教師データ
を加えることにより簡単に微調整が可能であるという効
果もある。

【０１１９】本発明による顔抽出方法は、カラー原画像
を複写材料に複写する際の露光量を求めるためだけでは
なく、その他各種の画像処理に用いることができること
は言うまでもない。また、本発明は抽出対象を顔以外の
ものにすることも可能である。

【０１２０】

【発明の効果】以上説明したように、本発明によれば、
ネガフィルムやポジフィルム等のカラー原画像から、人
手を介さず完全に自動で且つ精度よく人間の顔を抽出す
ることができる。

【図面の簡単な説明】

【図１】本発明による顔抽出方法を用いた顔領域抽出装
置のブロック図である。

【図２】本発明による顔抽出方法の第１の実施例のフロ
ーチャートである。

【図３】顔テンプレートの一例を示す図である。

【図４】本発明による顔抽出方法の第２の実施例のフロ
ーチャートである。

【図５】顔候補領域内で目候補領域を設定する際の説明
図であり、（ａ）は縦画像の例、（ｂ）は横画像の例で
ある。

【図６】顔候補領域内で目候補領域を設定する際の説明
図である。

【図７】明度に関するヒストグラムである。

【図８】本発明による顔抽出方法の第３の実施例のフロ
ーチャートである。

【図９】本発明による顔抽出方法の第４の実施例のフロ
ーチャートである。

【図１０】本発明による顔抽出方法の第５の実施例のフ
ローチャートである。

【図１１】顔候補領域を小領域に分割する際の説明図で
あり、（ａ）、（ｂ）、（ｃ）は３つの分割方法のそれ
ぞれに対応した説明図である。

【図１２】特徴量として、小領域の平均色の顔候補領域
全体の平均色に対する色の差の量と、方向とを用いる方
法の説明図である。

【図１３】特徴量として、空間周波数的性質を用いる方
法の説明図である。

【図１４】本発明による顔抽出方法の第６の実施例のフ
ローチャートである。

【図１５】目テンプレートの例を示す図であり、（ａ）
は目テンプレートとその走査方向について説明する図で
あり、（ｂ）は眼鏡をかけた目テンプレートの例を示す
図である。

【図１６】本発明による顔抽出方法の第７の実施例のフ
ローチャートである。

【図１７】髪候補領域と首候補領域を推定する場合の説
明図である。

【図１８】本発明による顔抽出方法の第７の実施例のフ
ローチャートである。

【図１９】本発明による顔抽出方法の第８の実施例のフ
ローチャートである。

【符号の説明】

１フィルム２スキャナ３増幅器４Ａ／Ｄ変換器５ＣＰＵ６記憶装置

───────────────────────────────────────────────────── フロントページの続き (72)発明者河合まどか東京都日野市さくら町１番地コニカ株式会社内

Claims

【特許請求の範囲】

【請求項１】画像から人の顔を抽出するための抽出方
法において、人の顔の形状に相当する顔候補領域を決定
し、前記顔候補領域内の特徴量から顔領域を決定するこ
とを特徴とする顔抽出方法。
【請求項２】画像から人の顔の輪郭を抽出することに
より顔候補領域を検出することを特徴とする顔抽出方
法。
【請求項３】画像から人の顔を抽出するための抽出方
法において、複数の顔の形状をしたテンプレートと画像
とのマッチング度を計算し、マッチング度の最も高いテ
ンプレートを選択し、最も高かったマッチング度が予め
定めたしきい値以上であれば、選択されたテンプレート
内の領域を顔候補領域とすることを特徴とする顔抽出方
法。
【請求項４】前記顔候補領域内で、色を表すパラメー
タの１次元のヒストグラムを求め、該ヒストグラムの形
状から顔領域を決定することを特徴とする請求項１ない
し３のいずれか１項に記載の顔抽出方法。
【請求項５】前記顔候補領域内で、色を表すパラメー
タの２次元のヒストグラムを求め、該ヒストグラムの形
状から顔領域を決定することを特徴とする請求項１ない
し３のいずれか１項に記載の顔抽出方法。
【請求項６】前記色を表すパラメータの１次元のヒス
トグラムとして、明度のヒストグラムを用いることを特
徴とした請求項４に記載の顔抽出方法。
【請求項７】前記顔候補領域内で、色を表すパラメー
タの分布量から顔領域を決定することを特徴とする請求
項１ないし３のいずれか１項に記載の顔抽出方法。
【請求項８】前記色の分布量として色相と明度の２次
元空間の共分散楕円の面積を用いることを特徴とする請
求項７に記載の顔抽出方法。
【請求項９】前記顔候補領域の空間周波数応答から顔
領域を決定することを特徴とする請求項１ないし３のい
ずれか１項に記載の顔抽出方法。
【請求項１０】前記顔候補領域を小領域に分割し、そ
れぞれの小領域での特徴量を求め、顔候補領域内での特
徴量分布を用いて顔領域を決定することを特徴とする請
求項１ないし３のいずれか１項に記載の顔抽出方法。
【請求項１１】前記小領域に分割することにより、
目、口、ほほが分離されることを特徴とする請求項１０
に記載の顔抽出方法。
【請求項１２】前記特徴量として小領域の色の分布量
を用いることを特徴とする請求項１０または１１に記載
の顔抽出方法。
【請求項１３】前記色の分布量として色相と明度の２
次元空間の共分散楕円の面積を用いることを特徴とする
請求項１２に記載の顔抽出方法。
【請求項１４】前記特徴量として小領域における平均
色の顔候補領域における平均色に対する色の差の量と方
向とを用いることを特徴とする請求項１０または１１に
記載の顔抽出方法。
【請求項１５】前記小領域における平均色の顔候補領
域における平均色に対する色の差の量と方向として、色
相、明度の２次元空間での２つの平均色の差ベクトルを
用いることを特徴とする請求項１４に記載の顔抽出方
法。
【請求項１６】前記特徴量として小領域の空間周波数
的性質を用いることを特徴とする請求項１０または１１
に記載の顔抽出方法。
【請求項１７】前記小領域の空間周波数的性質として
色相の空間周波数応答を用いることを特徴とする請求項
１６に記載の顔抽出方法。
【請求項１８】前記顔候補領域内で、目を抽出し、顔
領域を決定することを特徴とする請求項１ないし３のい
ずれか１項に記載の顔抽出方法。
【請求項１９】前記顔候補領域内で、目の領域を抽出
し、目の位置情報から口を抽出し、顔領域を決定するこ
とを特徴とする請求項１ないし３のいずれか１項に記載
の顔抽出方法。
【請求項２０】前記顔候補領域内で、目の領域を抽出
し、目の位置情報から髪を抽出し、顔領域を決定するこ
とを特徴とする請求項１ないし３のいずれか１項に記載
の顔抽出方法。
【請求項２１】前記顔候補領域内で、目の領域を抽出
し、目の位置情報から首を抽出し、顔領域を決定するこ
とを特徴とする請求項１ないし３のいずれか１項に記載
の顔抽出方法。
【請求項２２】前記顔候補領域決定後、顔候補領域を
拡大し、髪の領域を抽出することにより顔領域を決定す
ることを特徴とする請求項１ないし３のいずれか１項に
記載の顔抽出方法。
【請求項２３】前記顔候補領域決定後、顔候補領域を
拡大し、首の領域を抽出することにより顔領域を決定す
ることを特徴とする請求項１ないし３のいずれか１項に
記載の顔抽出方法。
【請求項２４】前記顔候補領域内で、マッチドフィル
ターを使用して顔領域を決定することを特徴とする請求
項１ないし３のいずれか１項に記載の顔抽出方法。
【請求項２５】前記候補領域内で、特徴量を求め、該
特徴量をニューラルネットワークに入力し、顔領域を決
定することを特徴とする請求項１ないし３のいずれか１
項に記載の顔抽出方法。
【請求項２６】前記特徴量として、目を表す特徴量
と、口を表す特徴量と、髪を表す特徴量と、首を表す特
徴量とを用いることを特徴とした請求項２５に記載の顔
抽出方法。
【請求項２７】請求項２５または２６に記載の顔抽出
方法を組み込んだ機器を出荷後、前記ニューラルネット
ワークにおける新たな教師データを入力することにより
微調整可能なことを特徴とする顔認識装置。
【請求項２８】請求項１ないし２６のいずれか１項に
記載の顔抽出方法によって抽出された人の顔のデータに
基づいて複写材料への露光量を決定するカラープリン
タ。