JP4219521B2 - マッチング方法および装置並びに記録媒体 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、人物の顔を含む画像とテンプレートとのテンプレートマッチングを行うマッチング方法および装置、これらの方法および装置を用いた画像処理方法および装置並びにマッチング方法および画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体に関するものである。
【０００２】
【従来の技術】
ネガフイルムやリバーサルフイルムなどを用いて人物像を撮影することにより得られた写真などの画像において、最も注目される部位は人物の顔である。したがって、画像の見えをよくするためには人物の顔が適正な色、濃度および階調となるように画像に対して画像処理を施す必要がある。一方、人物の顔が適正な色、濃度および階調となるように画像処理を施すためには、画像から人物の顔領域を適切に抽出する必要がある。このため、例えば人物を含む画像中から肌色領域の候補を抽出し、各候補のクロマや輝度のヒストグラムに基づいて肌色の色空間を定義して肌色領域を決定し、この肌色領域を顔領域とする方法（特開平６−３０９４３３号）、複数の顔テンプレートを用意し、この顔テンプレートと画像とのテンプレートマッチングを行って顔領域候補を抽出した後に、顔領域候補内における肌色の分布に基づいて顔領域を抽出する方法（特開平８−６３５９７号）等により画像から顔領域を抽出して、画像処理を施すことが提案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記特開平６−３０９４３３号に記載された方法は、予め定められた肌色空間にある領域を肌色領域として抽出するものである。したがって、顔画像のコントラストが大きいと顔画像中の肌色の濃度が広範囲に亘って分布するため、定義された肌色空間に含まれない肌色を有する領域が顔領域に存在する可能性が高くなり、その結果顔の領域を全て抽出することができない場合がある。また、定義された肌色空間に顔の背景の色が含まれる場合には、顔画像とともに背景も抽出されてしまう。一方、上記特開平８−６３５９７号に記載された方法は、顔テンプレートを用いたテンプレートマッチングによりある程度の顔の領域を定めることができるものの、抽出された顔領域候補から肌色の分布に基づいて顔領域を抽出する際に、上記特開平６−３０９４３３号に記載された方法と同様の問題が生じる。
【０００４】
本発明は上記事情に鑑みなされたものであり、顔画像に含まれる顔のコントラストを考慮して、顔領域を適切に抽出するための情報を得ることができるマッチング方法および装置、このマッチング方法および装置を用いた画像処理方法および装置並びにマッチング方法および画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体を提供することを目的とするものである。
【０００５】
【課題を解決するための手段】
本発明によるマッチング方法は、顔の輪郭および顔の構成部品を含むとともに、顔の種類、顔の向きおよび顔に照射される光源の方向が少なくとも異なる複数の顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定し、
該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得することを特徴とするものである。
【０００６】
ここで、「顔テンプレート」とは、人間の顔について顔の輪郭、目、口、鼻および耳等の顔の構成部品を含むものであり、顔の種類、顔の向きおよび顔に照射される光源の方向を少なくとも変更することにより得られるものである。本発明における「顔テンプレート」においては、顔の向きが変わることにより、顔の輪郭の形状および顔の構成部品の配置位置が異なるものとなる。また、光源の方向が変わることにより、顔の輪郭に囲まれる領域の濃度分布が異なるものとなる。例えば、光源方向が顔の正面であれば濃度分布は均一なものとなるが、光源方向がテンプレートに向かって右側であれば、顔の輪郭に囲まれる領域の右側が明るく、左側が暗い濃度分布となる。なお、この「顔テンプレート」としては、顔を３次元的に表したものであっても２次元的に表したものであってもよい。また、「顔の種類」としては、大人、子供、女性、男性、黄色人種、白色人種あるいは黒色人種等が挙げられる。なお、顔の種類、顔の向きおよび光源の方向に加えて、顔のサイズが異なる顔テンプレートを用いてもよい。
【０００７】
なお、顔の輪郭の形状、目、鼻などの顔の構成部品の位置が分かれば顔の向きを知ることができる。したがって、「顔の向きに関する情報」とは、マッチング度が最も高い顔テンプレートにおける顔の輪郭形状および顔の構成部品の位置に関する情報のことをいう。
【０００８】
また、顔に照射する光源の方向を変化させると、顔における明るさの分布が種々変更され、その結果顔の濃度分布が種々変更されることとなる。したがって、「光源の方向に関する情報」とは、マッチング度が最も高い顔テンプレートにおける顔領域の濃度分布に関する情報のことをいう。
【０００９】
なお、本発明によるマッチング方法においては、前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定し、
該顔領域候補内において前記テンプレートマッチングを行うことが好ましい。
【００１０】
ここで、「顔領域を含む所定範囲の領域」は、顔画像をモニタなどの表示手段に表示して顔領域を矩形、円形等の領域で囲むことにより設定してもよく、顔画像を予め複数の領域に分割し、分割された領域から顔領域を含む領域を抽出することにより設定してもよい。
【００１１】
また、本発明によるマッチング方法においては、前記複数の顔テンプレートを予め作成してもよい。
【００１２】
さらに、前記複数の顔テンプレートを、前記顔の種類に応じて予め作成された複数の基準テンプレートにおける顔の向きおよび光源の方向を変更することにより作成し、
該顔の向きおよび光源の方向が変更された顔テンプレートを取得しつつ前記テンプレートマッチングを行うようにしてもよい。
【００１３】
さらにまた、本発明によるマッチング方法においては、前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行うことが好ましい。
【００１４】
ここで、「階層的にマッチング度を求める」とは、顔の種類、顔の向きおよび光源の方向の３要素のうち、２要素（例えば顔の向きおよび光源の方向）を固定して１要素（顔の種類）を変数とし、１要素のみを変更することによりテンプレートマッチングを行うことをいう。例えば、変数とする１要素を顔の種類とした場合、まず顔の種類についてテンプレートマッチングを行い、最もマッチング度が高いテンプレートを求めることにより、顔の種類が決定される。次いで、顔の種類を固定し、他の１要素（例えば顔の向き）を変数としてテンプレートマッチングを行い、最もマッチング度が高いテンプレートを求めることにより、顔の種類および顔の方向が決定される。そして、顔の種類および顔の向きを固定し、さらに他の１要素（光源の方向）を変数としてテンプレートマッチングを行い、最もマッチング度が高いテンプレートを求めることにより、顔画像における顔の種類、顔の方向および光源の方向が決定される。
【００１５】
本発明による画像処理方法は、本発明によるマッチング方法により取得された前記顔の向きおよび光源の方向に関する情報に基づいて、前記顔領域における肌色の濃度分布を求め、
該濃度分布に基づいて前記顔画像における肌色空間を定義し、
前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出することを特徴とするものである。
【００１６】
ここで、「顔の向きおよび光源の方向に関する情報に基づいて、顔領域における肌色の濃度分布を求める」とは、顔の向きに関する情報から顔領域の輪郭を推定し、顔の向きに関する情報における顔の構成部品の位置および光源の方向に関する情報から、顔領域の輪郭内の高濃度域および低濃度域の分布を得ることをいう。
【００１７】
また、「濃度分布に基づいて肌色空間を定義する」とは、濃度分布に基づいて顔領域中に存在する高濃度域および低濃度域の全ての肌色の領域が含まれるように肌色空間を定めることをいう。
【００１８】
なお、本発明による画像処理方法においては、前記肌色領域に対して所定の画像処理を施すことが好ましい。
【００１９】
ここで、「画像処理」としては、肌色領域を所望とする肌色に変換する色変換処理、顔領域の階調を変換する階調変換処理、シャープネス強調処理等の種々の処理を用いることができる。
【００２０】
本発明によるマッチング装置は、顔の輪郭および顔の構成部品を含むとともに、顔の種類、顔の向きおよび顔に照射される光源の方向が少なくとも異なる複数の顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定するテンプレートマッチング手段と、
該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得する情報取得手段とを備えたことを特徴とするものである。
【００２１】
なお、本発明によるマッチング装置においては、前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定する領域設定手段をさらに備え、
前記テンプレートマッチング手段は、前記顔領域候補内において前記テンプレートマッチングを行う手段であることが好ましい。
【００２２】
また、本発明によるマッチング装置においては、前記複数の顔テンプレートを記憶するテンプレート記憶手段をさらに備えるようにしてもよい。
【００２３】
さらに、本発明によるマッチング装置においては、前記顔の種類に応じて予め作成された複数の基準テンプレートを記憶する基準テンプレート記憶手段と、
前記複数の基準テンプレートにおける顔の向きおよび光源の方向を変更することにより前記複数の顔テンプレートを作成するテンプレート作成手段とをさらに備えるようにし、
前記テンプレートマッチング手段を、該テンプレート作成手段により作成された前記顔の向きおよび前記光源の方向が異なる顔テンプレートを取得しつつ前記テンプレートマッチングを行う手段としてもよい。
【００２４】
さらにまた、本発明によるマッチング装置においては、前記テンプレートマッチング手段は、前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行う手段であることが好ましい。
【００２５】
本発明による画像処理装置は、本発明によるマッチング装置により取得された前記顔の向きおよび光源の方向に関する情報に基づいて、前記顔領域における肌色の濃度分布を求める手段と、
該濃度分布に基づいて前記顔画像における肌色空間を定義する手段と、
前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出する手段とを備えたことを特徴とするものである。
【００２６】
なお、本発明による画像処理装置においては、前記肌色領域に対して所定の画像処理を施す手段をさらに備えることが好ましい。
【００２７】
なお、本発明によるマッチング方法および画像処理方法をコンピュータに実行させるためのプログラムとして、コンピュータ読取り可能な記録媒体に記録して提供してもよい。
【００２８】
【発明の効果】
本発明によるマッチング方法および装置によれば、複数の顔テンプレートと顔画像とのテンプレートマッチングを行って、顔画像に含まれる顔領域と最もマッチング度が高い顔テンプレートを決定し、この顔テンプレートに基づいて、顔画像上の顔領域における顔の向きおよび顔に照射される光源の方向に関する情報を取得するようにしたものである。ここで、顔の向きに関する情報から顔の輪郭の形状および顔の構成部品の位置を知ることができ、光源の方向に関する情報から顔に照射される光源の方向に応じて変動する顔領域の濃度分布を知ることができる。したがって、顔の向きおよび光源の方向に関する情報を用いることにより、肌色領域の抽出や、顔の構成部品の抽出などの種々の処理を行い易くすることができる。
【００２９】
また、顔画像において顔領域を含む所定範囲の領域を顔領域候補として設定し、この顔領域候補内においてテンプレートマッチングを行うことにより、顔画像全体においてテンプレートマッチングを行う場合と比較して、マッチングのための演算時間を短縮することができる。
【００３０】
さらに、複数の顔テンプレートを予め作成しておくことにより、顔テンプレートに何ら手を加えることなく、各顔テンプレートを順次使用するのみでテンプレートマッチングを行うことができる。
【００３１】
さらにまた、予め作成された基準テンプレートにおける顔の向きおよび光源の方向を変更することにより複数の顔テンプレートを作成し、顔の向きおよび光源の方向を変更しつつテンプレートマッチングを行うことにより、保存しておくテンプレートの数を少なくすることができ、これによりテンプレートを記憶する記憶手段の容量を低減することができる。
【００３２】
また、階層的にマッチング度を求めることにより、全ての顔テンプレートについてテンプレートマッチングを行う必要がなくなるため、テンプレートマッチングのための演算を高速に行うことができる。
【００３３】
本発明による画像処理方法および装置においては、本発明によるマッチング方法および装置により抽出された顔の向きおよび光源の方向に関する情報に基づいて、顔画像中の顔領域における肌色の濃度分布が求められる。すなわち、顔の向きに関する情報から顔領域の輪郭を推定し、顔の向きに関する情報における鼻等の顔の構成部品の位置および光源の方向に関する情報から、顔領域の輪郭内の高濃度域および低濃度域の分布を得、これが肌色の濃度分布として得られる。この濃度分布は、顔領域における高濃度域および低濃度域がどのように分布して顔の領域のコントラストを形成しているかを表す情報であり、この濃度分布に基づいて、顔領域中に存在する高濃度域および低濃度域の全ての肌色の領域が含まれるように肌色空間が定義される。このため、顔領域のコントラストが大きくても顔領域の肌色が全て抽出されるように肌色空間を定義することができ、これにより顔画像から肌色領域を正確に抽出することができる。
【００３４】
また、抽出された肌色領域に対して画像処理を施すことにより、顔画像中の顔領域を所望とする画像処理が施されたものとすることができる。
【００３５】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。
【００３６】
図１は本発明の実施形態によるマッチング装置を適用した画像処理装置の構成を示す概略ブロック図である。図１に示すように本実施形態による画像処理装置は、デジタルカメラにより撮像された、あるいはスキャナにより読取られた人物の顔を含む画像を表す画像データＳ０に対して処理を施して処理済み画像データＳ１を得るものであり、画像データＳ０が記録されたメディアから画像データＳ０を読み出す、あるいはネットワークを介して転送された画像データＳ０を読み出す読出手段１と、読み出した画像データＳ０により表される画像から人物の顔を抽出する顔抽出手段２と、画像データＳ０に対して画像処理を施して処理済み画像データＳ１を得る画像処理手段３と、処理済み画像データＳ１をプリンタ、ネットワーク、記録媒体、モニタ等に出力する出力手段４と、画像データＳ０等を表示するモニタ５と、顔抽出手段２、画像処理手段３および出力手段４に対して種々の入力を行うためのキーボード、マウス等からなる入力手段６とを備える。
【００３７】
顔抽出手段２は、画像データＳ０により表される画像に後述する顔領域候補Ｆを指定する領域指定手段１１と、領域指定手段１１において指定された顔領域候補Ｆを抽出する領域抽出手段１２と、複数のテンプレートＴを表すテンプレートデータＴＤを記憶したテンプレート記憶手段１３と、テンプレートＴと領域抽出手段１２において抽出された顔領域候補Ｆとのテンプレートマッチングを行って顔領域候補Ｆにおける顔の向きおよび光源の方向に関する情報Ｉを求めるマッチング手段１４と、マッチング手段１４において求められた情報Ｉに基づいて、顔領域候補Ｆから肌色領域Ｈを抽出する肌色領域抽出手段１５とを備える。
【００３８】
領域指定手段１１は、画像データＳ０をモニタ５に表示し、モニタ５に表示された画像（以下画像についてもＳ０で表すものとする）Ｓ０に対して入力手段６からの指示により、例えば図２に示すように顔を含む領域を顔領域候補Ｆとして指定するものである。なお、顔領域候補Ｆは矩形に限定されるものではなく、円形あるいは楕円形であってもよい。また、画像Ｓ０を複数の領域に分割して各領域を指定する番号を付与し、顔を含む領域の番号を指定することにより顔領域候補Ｆを指定してもよい。例えば図３に示すように、画像Ｓ０を５×５の領域に分割した場合、顔領域候補Ｆの番号は２２となる。
【００３９】
なお、画像データＳ０を取得した際に顔領域候補Ｆを予め設定しておき、設定された顔領域候補Ｆの情報（例えば顔領域候補の位置、顔を含む領域の番号）をタグ情報として画像データＳ０に予め付加しておいてもよい。これにより、領域指定手段１１においては、入力手段６からの指示がなくても、画像データＳ０のタグ情報に基づいて、顔領域候補Ｆが指定された画像Ｓ０をモニタ５に表示することができる。
【００４０】
領域抽出手段１２は、領域指定手段１１において指定された顔領域候補Ｆを抽出するものであるが、抽出の際には顔領域候補Ｆにおいて顔領域以外の領域ができるだけ少なくなるように、領域指定手段１１において指定された顔領域候補Ｆの大きさを多少変更してもよい。なお、領域抽出手段１２において顔領域候補Ｆを抽出することにより、モニタ５には抽出された顔領域候補Ｆのみを表示してもよいが、図２に示すように画像Ｓ０上に顔領域候補Ｆの境界を表示してもよい。
【００４１】
テンプレート記憶手段１３には、複数種類の顔について、大きさ、向きおよび照射される光源の方向を異なるものとした複数のテンプレートＴを表すテンプレートデータＴＤが、実写あるいはコンピュータグラフィックスによって作成されて記憶されている。ここで、コンピュータグラフィックスによりテンプレートデータＴＤを作成すれば、テンプレートＴがノイズや撮影時のぶれによる影響を受けないため、より好ましいものである。なお、テンプレートＴには、顔の種類、大きさおよび向きに応じた顔の輪郭および目、鼻、眉毛等の顔の構成部品が含まれる。
【００４２】
ここで、顔の種類としては、大人、子供、赤ちゃん、老人、女性、男性、黄色人種、白色人種あるいは黒色人種等が挙げられる。また、顔の向きを異なるものとするためには、例えば例えば顔が正面を向いた状態を０度とし、０〜３６０度まで１５度毎に異なる顔の向きに応じて、顔の輪郭および構成部品の配置を変更してテンプレートＴとすればよい。また、光源の方向を異なるものとするためには、光源が顔の正面にある状態を０度とし、上下左右および斜め方向の合計４方向について、±９０度の範囲で１５度毎に異なる方向から顔に向けて光を照射した状態の顔の画像をテンプレートＴとすればよい。なお、顔の大きさを考慮することなくテンプレートデータＴＤを作成してもよい。この場合、後述するマッチング手段１４においては、顔領域候補ＦとテンプレートＴとが正規化されてマッチングが行われることとなる。
【００４３】
また、テンプレートデータＴＤは、階層化してテンプレート記憶手段１３に記憶することが好ましい。例えば、図４に示すように、赤ちゃんの顔の下位の階層に顔の向きが異なる赤ちゃんの顔を対応付け、さらに個々の顔の向きにおける下位の階層に、顔上の影の位置すなわち光源の位置が異なる赤ちゃんの顔を対応付けておくことが好ましい。このように、テンプレートデータＴＤを階層化して記憶しておくことにより、まず顔の種類が決定された後、その種類に応じた顔の向きを決定し、さらにその後光源の方向を決定するよう階層的にテンプレートマッチングを行うことができる。したがって、全てのテンプレートＴを用いてテンプレートマッチングを行う場合と比較して、マッチング手段１４における顔領域候補ＦとテンプレートＴとのテンプレートマッチングを効率よく行うことができる。
【００４４】
なお、複数種類の顔を表す実写あるいはコンピュータグラフィックスの３次元形状モデルをテンプレートデータＴＤとして記憶してもよい。図５は男性の顔の３次元形状モデルを表すテンプレートデータＴＤを示す図である。このようにテンプレートデータＴＤを３次元形状モデルとした場合、３次元形状モデルをモニタ５に表示して入力手段６により顔の向きおよび照射される光源の方向を種々変更して後述するマッチング手段４において顔領域候補Ｆとのテンプレートマッチングを行うことができる。このように、テンプレートデータＴＤを３次元形状モデルとし、このテンプレートデータＴＤにより表されるテンプレートＴにおける顔の向きおよび光源の方向を変更して顔領域候補Ｆとのテンプレートマッチングを行うことにより、テンプレート記憶手段１３に記憶するテンプレートデータＴＤを少なくすることができ、これによりテンプレート記憶手段１３の容量を低減することができる。
【００４５】
また、この場合においても階層的に顔の向きおよび照射される光源の方向を変更してテンプレートマッチングを行うことができ、これにより顔領域候補ＦとテンプレートＴとのテンプレートマッチングを効率よく行うことができる。
【００４６】
また、テンプレートデータＴＤとしては２値化したテンプレートＴを表すものであってもよい。
【００４７】
マッチング手段１４は、領域抽出手段１２において抽出された顔領域候補Ｆを表すデータが入力されると、テンプレート記憶手段１３からテンプレートデータＴＤを順次読み出して、顔領域候補ＦとテンプレートＴとのテンプレートマッチングを行うものである。具体的には、顔領域候補ＦおよびテンプレートＴを２値化し、２値化した顔領域候補ＦおよびテンプレートＴとのマッチング度を求める。なおテンプレートＴが２値化されている場合には、テンプレートＴをそのまま用いる。そして、マッチング度が最大となるテンプレートＴにおける顔の向きおよび光源の方向を、顔領域候補Ｆにおける顔の向きおよび光源の方向を表す情報Ｉとして求めるものである。具体的には、２値化した顔領域候補ＦにおけるデータをＦ′、２値化したテンプレートＴのデータをＴＤ′とすると、テンプレートＴの位置および種類を変更する毎に下記の式（１）に示すように、データＦ′とデータＴＤ′とのマッチング度Ｍを算出する。
【００４８】
Ｍ＝（Σ｜Ｆij′−ＴＤij′｜）／ｎ （１）
但し、Ｆij′：データＦ′により表される画像の画素値
ＴＤij′：データＦ′と対応するデータＴＤ′により表される画像の画素値
ｎ：データＦij′またはデータＴＤij′により表される画像の画素数
そして、算出されたマッチング度Ｍが最大となったテンプレートＴにおける顔の向きおよび光源の方向を、顔領域候補Ｆにおける顔の向きおよび光源の方向を表す情報Ｉとして求めるものである。なお、テンプレートＴおよび顔領域候補Ｆを２値化することなくテンプレートマッチングを行ってもよい。
【００４９】
ここで、顔の輪郭の形状、目、鼻などの顔の構成部品の位置が分かれば顔の向きを知ることができる。したがって、顔の向きに関する情報とは、マッチング度が最も高いテンプレートＴにおける顔の輪郭形状、目、鼻などの顔の構成部品の位置に関する情報のことをいう。
【００５０】
また、顔に照射する光源の方向を変化させると、顔における明るさの分布が種々変更され、その結果顔の濃度分布が種々変更されることとなる。したがって、光源の方向に関する情報とは、マッチング度が最も高いテンプレートＴにおける顔の濃度分布に関する情報のことをいう。
【００５１】
なお、テンプレート記憶手段１３においてテンプレートデータＴＤが図４に示すように階層化されている場合、顔の種類のマッチング後は、マッチングされた種類の顔の下位階層において顔の向きについてのみのマッチングを行えばよく、さらに顔の向きのマッチング後は、顔の向きの下位階層において光源の方向についてのみマッチングを行えばよい。
【００５２】
また、領域指定手段１１における領域指定時に、画像Ｓ０に含まれる顔の種類（例えば女性の顔である、赤ちゃんの顔である等）を予め入力しておくことにより、マッチング手段１４において、入力された種類の顔を表すテンプレートＴを優先的にマッチングに使用することができ、これによってもテンプレートマッチングを効率よく行うことができる。
【００５３】
さらに、顔領域候補ＦおよびテンプレートＴをLog-Polar変換して、テンプレートマッチングを行ってもよい。ここで、人間の顔は円形に近い形状をなしているため、例えば図６に示すような右９０度の方向から光が照射された顔画像を、顔画像の中心を極とするとともに、図６におけるＹ軸を基準としてLog-Polar変換すると、顔の輪郭は図７に示すように、極座標上において略水平方向に延在するものとなる。したがって、顔領域候補ＦおよびテンプレートＴをLog-Polar変換することにより、円形に近い形状を有する領域同士をテンプレートマッチングする場合と比較して、テンプレートマッチングを行い易くすることができる。
【００５４】
肌色領域抽出手段１５は、マッチング手段１４において得られた顔領域候補Ｆにおける顔の向きおよび光源方向を表す情報Ｉに基づいて、顔領域候補Ｆを明るい領域すなわち低濃度域および暗い領域すなわち高濃度域に領域分割し、各領域毎に肌色空間を定義して肌色領域を抽出する。この肌色領域Ｈの抽出は以下のようにして行う。まず、顔の向きに関する情報から顔領域候補Ｆにおける顔の輪郭を知ることができ、さらに光源方向を表す情報から輪郭により囲まれる領域内における明るい領域および暗い領域の分布すなわち濃度分布を知ることができる。またこの際、顔の向きに関する情報から顔の構成部品の位置を知ることができるが、とくに鼻および目の位置に関する情報に基づいて、顔において他の領域よりも明るくなる鼻および目の下にある頬の位置を知ることができる。そして、濃度分布および鼻、頬の位置に基づいて肌色空間を定義して肌色領域Ｈを抽出する。
【００５５】
具体的には、図６に示すように正面を向いた顔の右側から光が照射されている場合、顔の右半分の領域（以下右領域とする）は明るいが左半分の領域（以下左領域とする）は暗いものとなる。また、人間の顔においては鼻および頬が突出しているため、右領域においては鼻の右側および頬が他の領域より明るくなる。また、左領域においても鼻および頬の部分が他の領域より明るくなる。
【００５６】
したがって、右領域については最も明るい部分すなわち鼻の右側と頬の部分を含むように肌色空間を定義して、顔の右半分の領域を抽出する。一方、顔の左半分についても鼻の左側と頬の部分を含むように肌色空間を定義して、顔の左半分の領域を抽出する。
【００５７】
画像処理手段３は、抽出された肌色領域Ｈが所望とする濃度および色となるように、この肌色領域Ｈの画像データＳ０に対して階調処理や色変換処理さらにはシャープネス処理等の画像処理を施して処理済み画像データＳ１を得る。なお、肌色領域Ｈ以外の領域について画像処理を施してもよい。ここで、シャープネス処理としては、肌色領域Ｈの大きさすなわち顔の大きさに応じて、顔が大きい場合にはシャープネス強調の程度を弱くし、顔が小さい場合にはシャープネス強調の程度を大きくするように処理を施すことができる。
【００５８】
次いで、本実施形態の動作について説明する。図８は本実施形態の動作を示すフローチャートである。まず、読出手段１において画像データＳ０が読み出されて（ステップＳ１）、顔領域抽出手段２に入力される。画像データＳ０はモニタ５に表示され（ステップＳ２）、入力手段６からの入力により顔領域候補Ｆが指定される（ステップＳ３）。そして、領域抽出手段１２において顔領域候補Ｆが抽出される（ステップＳ４）。抽出された顔領域候補Ｆはマッチング手段１４に入力され、ここでテンプレート記憶手段１３に記憶されたテンプレートデータＴＤを用いて、テンプレートデータＴＤにより表されるテンプレートＴと顔領域候補Ｆとのテンプレートマッチングが行われる（ステップＳ５）。そしてテンプレートマッチングが終了すると、マッチング度が最も大きいテンプレートＴに基づいて顔の向きおよび光源の方向を表す情報Ｉが生成される（ステップＳ６）。
【００５９】
肌色領域抽出手段１５は情報Ｉに基づいて、上述したように顔領域候補Ｆから肌色領域Ｈを抽出する（ステップＳ７）。そして、画像処理手段３において画像データＳ０により表される画像における肌色領域Ｈに対して階調処理、色変換処理、シャープネス処理等の画像処理が施されて処理済み画像データＳ１が得られる（ステップＳ８）。そして、処理済み画像データＳ１は出力手段４において出力され（ステップＳ９）、処理を終了する。
【００６０】
このように、本実施形態においては、顔領域候補Ｆを複数のテンプレートＴによりテンプレートマッチングして顔領域候補Ｆにおける顔の向きおよび光源の方向を表す情報Ｉを得るようにしたため、顔の向きに関する情報から顔の輪郭形状および顔の構成部品の位置を知ることができ、光源の方向に関する情報から顔に照射される光の方向に応じて変動する顔領域候補Ｆの濃度分布を知ることができる。そして、情報Ｉのうち顔の向きに関する情報から顔領域の輪郭を推定し、顔の向きに関する情報における鼻等の顔の構成部品の位置および光源の方向に関する情報から、顔の輪郭内における濃度分布が得られる。したがって、この濃度分布に基づいて、顔領域候補Ｆにおける顔の輪郭内の領域中に存在する高濃度域および低濃度域の全ての肌色の領域が含まれるように肌色空間を定義することにより、顔領域のコントラストが大きくとも顔領域候補Ｆの肌色が全て抽出されるように肌色空間を定義することができ、これにより肌色領域Ｈを正確に抽出することができる。
【００６１】
また、領域指定手段１１において顔を含む所定範囲の領域を顔領域候補Ｆとして設定し、この設定された顔領域候補Ｆにおいてテンプレートマッチングを行うようにしたため、顔画像全体においてテンプレートマッチングを行う場合と比較して、マッチングのための演算時間を短縮することができる。
【００６２】
なお、上記実施形態においては、情報Ｉとして顔の向きに関する情報および光源の方向に関する情報を得、これらに基づいて肌色領域Ｈを抽出しているが、情報Ｉに基づいて顔領域候補Ｆから目、鼻などの顔の構成部品の位置を知ることができ、これにより情報Ｉを用いて顔領域候補Ｆからの顔の構成部品の抽出を簡易に行うことができる。
【図面の簡単な説明】
【図１】本発明の実施形態による画像処理装置の構成を示すブロック図
【図２】顔領域候補Ｆの指定を説明するための図
【図３】顔領域候補Ｆの指定を説明するための図
【図４】階層化されたテンプレートを示す図
【図５】３次元テンプレートの例を示す図
【図６】肌色領域の抽出を説明するための図
【図７】 Log-Polar変換した顔領域候補を示す図
【図８】本実施形態の動作を示すフローチャート
【符号の説明】
１ 読出手段
２ 顔抽出手段
３ 画像処理手段
４ 出力手段
５ モニタ
６ 入力手段
１１ 領域指定手段
１２ 領域抽出手段
１３ テンプレート記憶手段
１４ マッチング手段
１５ 肌色領域抽出手段

Claims (33)

1. 顔の輪郭および顔の構成部品を含むとともに、少なくとも大人、子供、赤ちゃん、老人、女性、男性、黄色人種、白色人種または黒色人種別の顔の種類、顔の向きおよび顔に照射される光源の方向が少なくとも異なる複数の顔テンプレートを、前記顔の種類に応じて予め作成された複数の基準テンプレートにおける前記顔の向きおよび前記光源の方向を変更することにより取得しつつ、該顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定し、
   該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得することを特徴とするマッチング方法。
2. 前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定し、
   該顔領域候補内において前記テンプレートマッチングを行うことを特徴とする請求項１記載のマッチング方法。
3. 前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行うことを特徴とする請求項１または２記載のマッチング方法。
4. 請求項１から３のいずれか１項記載のマッチング方法により取得された前記顔の向きおよび光源の方向に関する情報に基づいて、前記顔領域における肌色の濃度分布を求め、
   該濃度分布に基づいて前記顔画像における肌色空間を定義し、
   前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出することを特徴とする画像処理方法。
5. 前記肌色領域に対して所定の画像処理を施すことを特徴とする請求項４記載の画像処理方法。
6. 顔の輪郭および顔の構成部品を含むとともに、少なくとも大人、子供、赤ちゃん、老人、女性、男性、黄色人種、白色人種または黒色人種別の顔の種類に応じて予め作成された複数の基準テンプレートを記憶する基準テンプレート記憶手段と、
   前記複数の基準テンプレートにおける顔の向きおよび光源の方向を変更することにより前記複数の顔テンプレートを作成するテンプレート作成手段と、
   該テンプレート作成手段により作成された前記顔の種類、前記顔の向きおよび前記光源の方向が異なる複数の顔テンプレートを取得しつつ、該顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定するテンプレートマッチング手段と、
   該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得する情報取得手段とを備えたことを特徴とするマッチング装置。
7. 前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定する領域設定手段をさらに備え、
   前記テンプレートマッチング手段は、前記顔領域候補内において前記テンプレートマッチングを行う手段であることを特徴とする請求項６記載のマッチング装置。
8. 前記テンプレートマッチング手段は、前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行う手段であることを特徴とする請求項６または７記載のマッチング装置。
9. 請求項６から８のいずれか１項記載のマッチング装置により取得された前記顔の向きおよび光源の方向に関する情報に基づいて、前記顔領域における肌色の濃度分布を求める手段と、
   該濃度分布に基づいて前記顔画像における肌色空間を定義する手段と、
   前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出する手段とを備えたことを特徴とする画像処理装置。
10. 前記肌色領域に対して所定の画像処理を施す手段をさらに備えたことを特徴とする請求項９記載の画像処理装置。
11. 顔の輪郭および顔の構成部品を含むとともに、少なくとも大人、子供、赤ちゃん、老人、女性、男性、黄色人種、白色人種または黒色人種別の顔の種類、顔の向きおよび顔に照射される光源の方向が少なくとも異なる複数の顔テンプレートを、前記顔の種類に応じて予め作成された複数の基準テンプレートにおける前記顔の向きおよび前記光源の方向を変更することにより取得しつつ、該顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定する手順と、
    該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得する手順とを有するマッチング方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
12. 前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定する手順をさらに有し、
    前記テンプレートマッチングを行う手順は、該顔領域候補内において前記テンプレートマッチングを行う手順であることを特徴とする請求項１１記載のコンピュータ読取り可能な記録媒体。
13. 前記テンプレートマッチングを行う手順は、前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行う手順であることを特徴とする請求項１１または１２記載のコンピュータ読取り可能な記録媒体。
14. 請求項１から３のいずれか１項記載のマッチング方法により取得された前記顔の向きおよび光源の方向に関する情報に基づいて、前記顔領域における肌色の濃度分布を求める手順と、
    該濃度分布に基づいて前記顔画像における肌色空間を定義する手順と、
    前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出する手順とを有することを特徴とするコンピュータ読取り可能な記録媒体。
15. 前記肌色領域に対して所定の画像処理を施す手順をさらに有することを特徴とする請求項１４記載のコンピュータ読取り可能な記録媒体。
16. 顔の輪郭および顔の構成部品を含むとともに、少なくとも大人、子供、赤ちゃん、老人、女性、男性、黄色人種、白色人種または黒色人種別の顔の種類、顔の向きおよび顔に照射される光源の方向が少なくとも異なる複数の顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定し、
    該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得し、
    該顔の向きおよび光源の方向に関する情報に基づいて、前記顔領域における肌色の濃度分布を求め、
    該濃度分布に基づいて前記顔画像における肌色空間を定義し、
    前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出することを特徴とする画像処理方法。
17. 前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定し、
    該顔領域候補内において前記テンプレートマッチングを行うことを特徴とする請求項１６記載の画像処理方法。
18. 前記複数の顔テンプレートが予め作成されてなることを特徴とする請求項１６または１７記載の画像処理方法。
19. 前記複数の顔テンプレートが、前記顔の種類に応じて予め作成された複数の基準テンプレートにおける顔の向きおよび光源の方向を変更することにより作成され、
    前記顔の向きおよび光源の方向が変更された顔テンプレートを取得しつつ前記テンプレートマッチングを行うことを特徴とする請求項１６または１７記載の画像処理方法。
20. 前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行うことを特徴とする請求項１６から１９のいずれか１項記載の画像処理方法。
21. 前記肌色領域に対して所定の画像処理を施すことを特徴とする請求項１６から２０のいずれか１項記載の画像処理方法。
22. 顔の輪郭および顔の構成部品を含むとともに、少なくとも大人、子供、赤ちゃん、老人、女性、男性、黄色人種、白色人種または黒色人種別の顔の種類、顔の向きおよび顔に照射される光源の方向が少なくとも異なる複数の顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定するテンプレートマッチング手段と、
    該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得する情報取得手段と、
    該顔の向きおよび光源の方向に関する情報に基づいて、前記顔領域における肌色の濃度分布を求める手段と、
    該濃度分布に基づいて前記顔画像における肌色空間を定義する手段と、
    前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出する手段とを備えたことを特徴とする画像処理装置。
23. 前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定する領域設定手段をさらに備え、
    前記テンプレートマッチング手段は、前記顔領域候補内において前記テンプレートマッチングを行う手段であることを特徴とする請求項２２記載の画像処理装置。
24. 前記複数の顔テンプレートを記憶するテンプレート記憶手段をさらに備えたことを特徴とする請求項２２または２３記載の画像処理装置。
25. 前記顔の種類に応じて予め作成された複数の基準テンプレートを記憶する基準テンプレート記憶手段と、
    前記複数の基準テンプレートにおける顔の向きおよび光源の方向を変更することにより前記複数の顔テンプレートを作成するテンプレート作成手段とをさらに備え、
    前記テンプレートマッチング手段は、該テンプレート作成手段により作成された前記顔の向きおよび光源の方向が異なる顔テンプレートを取得しつつ前記テンプレートマッチングを行う手段であることを特徴とする請求項２２または２３記載の画像処理装置。
26. 前記テンプレートマッチング手段は、前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行う手段であることを特徴とする請求項２２から２５のいずれか１項記載の画像処理装置。
27. 前記肌色領域に対して所定の画像処理を施す手段をさらに備えたことを特徴とする請求項２２から２６のいずれか１項記載の画像処理装置。
28. 顔の輪郭および顔の構成部品を含むとともに、少なくとも大人、子供、赤ちゃん、老人、女性、男性、黄色人種、白色人種または黒色人種別の顔の種類、顔の向きおよび顔に照射される光源の方向が少なくとも異なる複数の顔テンプレートと人物の顔を含む顔画像とのマッチング度を求めるテンプレートマッチングを行って、該マッチング度が最も高い顔テンプレートを決定する手順と、
    該マッチング度が最も高い顔テンプレートに基づいて、前記顔画像上の顔を含む顔領域における顔の向きおよび該顔に照射される光源の方向に関する情報を取得する手順と、
    該顔領域における肌色の濃度分布を求める手順と、
    該濃度分布に基づいて前記顔画像における肌色空間を定義する手順と、
    前記顔画像における前記肌色空間に対応する領域を前記顔領域として抽出する手順とを有することを特徴とする画像処理方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
29. 前記顔画像において前記顔領域を含む所定範囲の領域を顔領域候補として設定する手順をさらに有し、
    前記テンプレートマッチングを行う手順は、該顔領域候補内において前記テンプレートマッチングを行う手順であることを特徴とする請求項２８記載のコンピュータ読取り可能な記録媒体。
30. 前記複数の顔テンプレートが予め作成されてなることを特徴とする請求項２８または２９記載のコンピュータ読取り可能な記録媒体。
31. 前記複数の顔テンプレートを、前記顔の種類に応じて予め作成された複数の基準テンプレートにおける顔の向きおよび光源の方向を変更することにより作成する手順をさらに有し、
    前記テンプレートマッチングを行う手順は、前記顔の向きおよび光源の方向が変更された顔テンプレートを取得しつつ前記テンプレートマッチングを行う手順であることを特徴とする請求項２８または２９記載のコンピュータ読取り可能な記録媒体。
32. 前記テンプレートマッチングを行う手順は、前記テンプレートマッチングを、前記複数の顔テンプレートについて階層的にマッチング度を求めることにより行う手順であることを特徴とする請求項２８から３１のいずれか１項記載のコンピュータ読取り可能な記録媒体。
33. 前記肌色領域に対して所定の画像処理を施す手順をさらに有することを特徴とする請求項２８から３２のいずれか１項記載のコンピュータ読取り可能な記録媒体。

Images