JP2004005384A - 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置、並びに肖像写真撮影装置 - Google Patents
画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置、並びに肖像写真撮影装置 Download PDFInfo
- Publication number
- JP2004005384A JP2004005384A JP2002371033A JP2002371033A JP2004005384A JP 2004005384 A JP2004005384 A JP 2004005384A JP 2002371033 A JP2002371033 A JP 2002371033A JP 2002371033 A JP2002371033 A JP 2002371033A JP 2004005384 A JP2004005384 A JP 2004005384A
- Authority
- JP
- Japan
- Prior art keywords
- mouth
- area
- region
- eye
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
【課題】肌色による顔抽出処理と簡単な判別処理の組み合わせにより、高速かつ正確に顔領域を抽出する。
【解決手段】画像処理装置は、入力されたカラー画像をデジタルデータとして出力する画像入力部１１と、このカラー画像から肌色領域を抽出する肌色領域抽出部１２と、カラー画像及び肌色領域から人物の頭頂部の位置を検出する頭頂部検出部１３と、肌色領域及び頭頂部の位置から人物の口を検出する口検出部１４と、カラー画像並びに肌色領域及び頭頂部の位置から人物の眼を検出する眼検出部１５と、眼及び口の位置から人物の顎位置を算出する顎検出部１６と、カラー画像並びに口及び眼の位置から人物の顔の中心線を検出する中心線検出部１７と、頭頂部、眼、顎の位置及び顔中心線に基づき顔領域を修正する領域修正部１８と、カラー画像、肌色領域、眼及び口の位置、並びに修正済み長方形領域が入力され、抽出された肌色領域が人物の顔であるか否かを判定する判定部１９とから構成される。
【選択図】 図１
【解決手段】画像処理装置は、入力されたカラー画像をデジタルデータとして出力する画像入力部１１と、このカラー画像から肌色領域を抽出する肌色領域抽出部１２と、カラー画像及び肌色領域から人物の頭頂部の位置を検出する頭頂部検出部１３と、肌色領域及び頭頂部の位置から人物の口を検出する口検出部１４と、カラー画像並びに肌色領域及び頭頂部の位置から人物の眼を検出する眼検出部１５と、眼及び口の位置から人物の顎位置を算出する顎検出部１６と、カラー画像並びに口及び眼の位置から人物の顔の中心線を検出する中心線検出部１７と、頭頂部、眼、顎の位置及び顔中心線に基づき顔領域を修正する領域修正部１８と、カラー画像、肌色領域、眼及び口の位置、並びに修正済み長方形領域が入力され、抽出された肌色領域が人物の顔であるか否かを判定する判定部１９とから構成される。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、例えば、ビデオカメラ、スチルカメラ、監視用カメラ、ＴＶ電話、画像データベース及びプリンタ等から入力される画像から人物の顔領域を抽出し、人物の追尾、パラメータ制御、画質補正、又は検索等を行なう際等に使用される画像処理方法、画像処理装置、画像処理を実行するプログラム及びそのプログラムを記録した記録媒体、並びにその画像処理を使用した自動トリミング装置及び肖像写真撮影装置に関する。
【０００２】
【従来の技術】
画像から人物の顔領域を抽出する方法は大きく２つに分類できる。第１の方法は、顔の顕著な特徴の１つである色の情報を利用するものであり、何らかの色空間上において、肌色に相当する範囲を予め設定しておき、その範囲内に含まれる色を有する画素の集合として顔領域を抽出する。この方法は処理が簡単なこと及び顔の向きや大きさが変化しても色自体はあまり変化しない等の理由から広く用いられているが、顔以外の物体が同一の色を有する可能性は排除できず、本質的に過検出を回避することは不可能である。そこで抽出された領域を最終的に抽出すべき領域の候補とみなし、その後段において領域形状や領域内の濃淡パターン等を用いてより詳細に判別を施す方法が多く提案されている。この場合、顔には対応しない領域が色情報によって抽出されたとしても、その他の情報によって除去することが可能となり、より正確な抽出処理を行なうことができる（従来例１）。
【０００３】
一方、第２の方法は、顔の特徴を表すテンプレートを予め用意しておき、入力された画像上の全ての位置においてパターンマッチングを行うものであり、テンプレートとの一致度が大きい領域を顔領域と判定する。この方法では、顔の濃淡パターンの特徴を用いることで、照明条件及び人種の違い等による顔色の変化に影響を受けにくいという利点を有する。また、多くのデータを用いた適切な学習により、良質なテンプレートが生成できれば、精度の高い抽出が期待できる（従来例２）。
【０００４】
ところで、各種照明写真では、顔領域の大きさ及び位置に対する制約がある場合があり、本来必要とされるよりも大きなサイズで撮影した後、顔領域が所定の大きさとなるようにトリミングが施されている。
【０００５】
例えば下記特許文献１には、均一な色の背景上に上半身が撮影された肖像画像を所定の大きさのフレーム内において人物の頭部が所定位置になるように処理する画像処理装置が開示されている（以下、従来例３という。）。
【０００６】
従来例３に記載の画像処理装置においては、先ず、読み込んだ肖像画像に対し、肖像画像内の人物の頭部が収まるように、例えば証明写真入りカードに印刷される顔写真の大きさのフレームをオペレータにより設定し、次に、フレーム内の人物の頭部左端、頭部右端及び頭頂部を検出し、この検出結果に基づきフレームの位置を修正し、最後にフレームの外側の背景を削除するトリミングを行うものである。
【０００７】
また、下記特許文献２には、１枚の画像から背景画像を消去して前景画像を抽出する前景画像抽出方法が開示されている（以下、従来例４という。）。
【０００８】
従来例４に記載の前景画像抽出方法においては、先ず、対象物が存在しない背景画像を撮影し、この背景画像と同一フレームで前景に対象物を位置させた対象画像を撮影し、次いで背景画像と対象画像との所定共通領域における明るさの差分を算出する。そして、背景画像と対象画像とから差分画像を求め、上記共通領域の差分から差分画像を補正し、第１のマスク画像を得る。次に、この第１のマスク画像に対して、明るさの膨張・縮小処理及び色の膨張・縮小処理を施し、更に、対象物と背景との境界を判別してこの境界にて領域を分割した第２のマスク画像を生成する。最後に、対象画像と第２のマスク画像とを重ね合わせ、対象画像の背景を単一色に変換した画像を生成する。
【特許文献１】
特開２００２−４２１１６号公報
【特許文献２】
特開２０００−３６０３２号公報
【０００９】
【発明が解決しようとする課題】
ところで、色に基づく領域抽出において、個体差及び照明条件等の変化に対応するために抽出する色の範囲をある程度広く設定すると、不要な領域を抽出してしまう過検出が増加してしまう。一方、過検出を抑制するために、色の範囲を小さくすると、個体差及び照明条件等の変化による影響により、所望の領域が抽出されない検出漏れが増加するという問題点がある。
【００１０】
しかしながら、従来例１のように、後段になんらかの判別処理を設けることを前提とすれば、前処理における検出漏れは大きな問題となり、むしろ過検出は許容され得ると考えられるが、実際には過検出された領域が判別処理の性能を大きく劣化させる可能性がある。例えば、隣接する異なる物体が類似した色を有する場合、各物体に対応する領域が画像上で連結し、１つの領域として抽出される可能性があるが、この場合、もはやその領域形状及び領域内部の濃淡パターンは対応する物体の性質を反映しないため、正しい判別を行なうことが困難になるという問題点がある。
【００１１】
これに対して、従来例２のように、抽出された領域内を走査し、特定の形状及び濃淡パターンを探索する方法もあるが、大きさの正規化処理等が複雑になり、判別処理に要する演算量が大きくなるといった問題点がある。
【００１２】
また、従来例３に記載の技術においては、多くの画像を取り込んだ後、一括してトリミングを行うものであるが、少なくとも１枚目の画像についてはフレーム位置を決定するためにオペレータの介在を必要とする。このように、通常の各種照明写真の撮影は、顔領域の位置及び大きさの要求条件を満足するため、その撮影及び後処理等に人手の介入が必要となり、煩雑となるといった問題点がある。
【００１３】
更に、従来例３に記載の技術においては、２枚目以降の画像に対しては、１枚目のフレームの設定条件を使用することにより、再度フレームを設定し直すことなく自動処理を行うことができるものの、処理対象となる肖像画像における頭部が全て１枚目の画像で設定したフレーム位置の内部に存在するとは限らず、撮影時に頭部の位置を制限するか、又はトリミング処理時にフレームの再設定を繰り返す必要がある。更にまた、頭部左端、頭部右端及び頭頂部は、輝度情報が大きく変化した位置として検出するものであるが、このような検出方法は、背景輝度の影響を受けやすく、例えば、背景輝度が均一であることを仮定しても、実際には証明条件等によって陰影及び背景の輝度ムラ等が生じ、このことにより、誤った位置が検出される可能性があるという問題点がある。
【００１４】
また、従来例４に記載の技術においては、背景画像と対象画像との差分によって被写体を抽出するため、予め背景のみの画像を撮影しておく必要がある。更に、背景画像との差分を求めるため、対象画像の背景色の変化に上記差分が影響を受ける虞がある。このため、従来例４に記載の技術においては、背景画像の背景色の補正を行っているものの、背景画像を補正するための閾値の設定が難しく必ずしも正確に補正できるとは限らない。また、従来例４に記載されている大局的な方法では、照明条件によっては被写体自身による影が背景部分に生じる等の局所的な変化を補正することができない。
【００１５】
更にまた、従来例４に記載の技術においては、顔画像の中心線を肌色画像の水平方向の重心配列により求めているが、顔に水平方向の陰影がある場合、暗い部分が肌色画素として抽出されずに中心線が大きくずれる可能性がある。また、肌色閉鎖領域の最下部をあごの位置としているため、顔の領域が首の領域と連結した閉鎖領域となった場合、あごの位置が大きくずれてしまうという問題が生じる。この問題を回避するため、抽出する肌色の範囲を明るさによって変化させているものの、これについても閾値の問題であり、常に顔と首とが分離されるとは限らないという問題点がある。
【００１６】
また、上述の従来例１乃至４においては、複数の人物が存在する画像、即ち、複数の顔領域（肌色領域）が存在するような画像においては、適切なトリミングができないという問題点がある。
【００１７】
本発明はこのような事情に鑑みて提案なされたものであり、肌色による顔抽出処理と簡単な判別処理の組み合わせにより、複数の顔領域が存在する場合であっても、高速かつ正確に顔領域を抽出する方法、装置及びそれらをコンピュータによって実行するためのプログラムを記録した記録媒体、これらの処理によって抽出された顔領域を自動でトリミングする自動トリミング装置、この自動トリミングの機能を備えた肖像画像撮影装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像処理方法は、入力されたカラー画像から、人物の顔領域を抽出するための画像処理方法において、肌色の領域を抽出する肌色領域抽出工程と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点の位置を検出する特徴点検出工程と、上記肌色領域及び上記特徴点の位置に基づき、上記肌色領域が顔領域であるか否かを判定する判定工程とを有することを特徴とする。
【００１９】
本発明においては、入力画像から肌色領域を抽出し、この肌色領域に基づき顔の特徴点の位置を検出し、この特徴点の位置に基づき肌色領域が顔であるか否かを判定するため、複数の肌色領域が抽出された場合においても、それらの肌色領域が顔か否か判定することが可能であり、誤検出を低減し、精度よく顔領域を抽出することができる。
【００２０】
また、上記特徴点検出工程は、上記肌色領域を含む閉領域における水平方向の赤みの強さを示す赤み強度分布に基づき口の位置としての垂直方向の座標を検出する工程を有し、例えば、上記赤み強度の平均値が最も大きい垂直方向の位置座標を口の位置とすることができ、赤みの強さを示す赤み強度の分布に基づいて口の位置を検出するため、口の位置を精度よく検出することができる。
【００２１】
更に、上記赤み強度は、各画素における３原色の値をＲ、Ｇ、Ｂとしたとき、ＧがＢよりも大きい場合はＧに対するＲの比とＧに対するＢの比とを積算した値とし、ＧがＢよりも小さい場合はＢに対するＲの比とＢに対するＧの比とを積算した値とすることができる。
【００２２】
更にまた、上記口検出工程では、上記閉領域内に存在し、かつ肌色領域に属さない画素の上記赤み強度のみを使用して上記口の位置を検出することができ、口となる領域は、肌色領域には属さないことを利用して口の位置を検出するため、口の位置検出の精度を更に高いものとすることができる。
【００２３】
また、上記口検出工程では、上記閉域内における画素の位置及び／又は明るさに応じて上記赤み強度に異なる重み付けをし、上記水平方向の重み付け平均値の最も大きい位置の垂直方向の座標位置を上記口の位置として検出することができ、これにより、口となる領域の位置及び輝度情報が事前に把握できる場合等の検出精度を向上することができる。
【００２４】
更に、上記特徴点検出工程は、上記人物の頭頂部における垂直方向の座標位置を検出する頭頂部検出工程と、上記閉領域における水平方向の赤み強度分布に基づき口の位置としての垂直方向の座標を検出する口検出工程とを有し、上記眼検出工程は、上記口の位置と上記頭頂部の位置とに基づき眼の探索範囲を設定し、この探索範囲内から上記眼の位置を検出することができ、検索範囲を設定して眼の位置を検出するため、検出精度が極めて高い。
【００２５】
更にまた、上記頭頂部検出工程では、人物の背景が単一色である場合、上記肌色領域の上方の領域を上記入力カラー画像最上部から下部方向に走査し、上記背景色と異なる色の画素が出現する位置を上記頭頂部の位置として検出することができ、更に、上記入力カラー画像最上部から下部方向への走査では、随時更新した背景色と各画素との色の比較することができ、これにより、精度よく頭頂部の検出をすることができる。
【００２６】
また、上記頭頂部検出工程では、上記人物を含まない背景のみの画像と、上記人物が含まれる画像との画素毎の差分を算出し、この差分が予め設定された閾値以上の画素のうち、最も上部に存在する画素の座標を上記頭頂部の位置として検出してもよく、差分画像を使用することにより、更に高精度に頭頂部を検出することができる。
【００２７】
更に、上記特徴点検出工程は、上記人物の頭頂部における垂直方向の座標位置を検出する頭頂部検出工程を有し、上記頭頂部検出工程は、上記頭頂部が上記入力カラー画像内に存在するか否かを判定する頭頂部判定工程を有し、該頭頂部判定結果に基づき上記肌色領域が顔領域であるか否かを判定することができ、上記頭頂部判定工程では、上記肌色領域の上方の領域を上記入力カラー画像最上部から下方へ予め設定された数の走査線における画素値の分散が算出され、この分散値が所定の閾値よりも大きい場合には、上記頭頂部が上記入力カラー画像内に存在しないと判定することができ、画像中に頭頂部が含まれていない場合、適切に人物の顔領域が撮影されていないとして、撮影のしなおしを促すことが可能となる。
【００２８】
更にまた、上記特徴点検出工程は、上記口の位置に基づき、上記人物の顔を左右に分割する中心線の位置を検出する中心線検出工程を有することができ、更に、上記中心線検出工程では、上記口の位置近傍座標における上記赤み強度が大きい画素の重心位置を算出しこの重心位置の水平方向の位置座標を検出するか、又はロバスト推定を使用して重心位置を算出することができ、極めて高精度に顔中心線を検出することができる。
【００２９】
また、上記中心線検出工程では、上記口の位置近傍の座標において上記肌色領域に属さず、かつ上記赤み強度が大きい画素の重心位置を算出し、この重心位置の水平方向の位置座標を検出することが好ましく、これにより、肌色領域に属さず、赤み強度が所定の閾値以上であるような大きい画素の重心位置を算出して顔中心線を求めれば、肌色領域に属す画素の影響を受けることなく、更に高精度に顔中心線を検出することができる。
【００３０】
更に、上記特徴点検出工程は、上記肌色領域を構成する画素の空間的な分布から顔を左右に分割する中心線の位置を検出する中心線検出工程を有し、上記口検出工程では、上記赤み強度に対して上記中心線からの距離に応じた重み付けを行って上記口の位置が検出することができ、赤みが強い服を着用している場合にも、正確に口の位置及び中心線を検出することが可能となる。
【００３１】
更にまた、上記口検出工程では、検出された上記口の位置近傍における画素の赤み強度の空間的な分布から、上記口の位置の信頼度を算出し、上記信頼度が所定の閾値以上である場合に、例えばロバスト推定により上記中心線の位置を修正することができ、これにより、肌色領域が影などの影響で欠落している場合にも正確に中心線を検出することが可能となる。
【００３２】
更に、上記判定工程では、上記眼の位置近傍における水平方向のエッジの分布状態から眼のパターンらしさを算出し、上記口の位置近傍における水平方向のエッジの分布状態及び色の分布状態から口のパターンらしさを算出し、上記眼のパターンらしさ及び上記口のパターンらしさが所定の閾値以上である場合に上記肌色領域が顔領域であると判定することができる。
【００３３】
ここで、上記眼のパターンらしさは、上記眼の位置近傍に右眼領域及び左眼領域を設定し、該右眼領域及び左眼領域内の水平方向のエッジを構成する画素が上記眼の位置近傍における該右眼領域及び左眼領域以外の領域内の水平方向のエッジを構成する画素よりも多い場合か、該右眼領域及び左眼領域内の水平方向のエッジを構成する画素の密度が大きい場合か、又は上記右眼領域及び上記左眼領域、並びに該右眼領域と左眼領域との間の両眼間領域内の水平方向のエッジを構成する画素の密度が大きい場合に、大きいと判定することができる。
【００３４】
また、上記判定工程は、眼鏡の有無を検出する眼鏡検出工程を有し、この眼鏡検出結果に応じて眼のパターンらしさを評価することができ、眼鏡装着の有無の判定を行うことにより、眼鏡装着の場合にもより正確に眼のパターンらしさを判定することが可能となる。
【００３５】
更に、上記眼検出工程では、上記眼の位置として順位付けされた１以上の眼の位置候補が検出され、上記判定工程では、上記１以上の眼の位置候補のうち順位が高いものから眼のパターンらしさが算出することができ、複数の眼の位置の候補を算出し、それぞれの候補に対して眼のパターンらしさの評価を行うため、眼の位置の検出における誤検出を軽減することが可能となる。
【００３６】
また、上記口のパターンらしさは、上記口の位置近傍に口領域を設定し、この口領域内の水平方向のエッジを構成する画素が上記口の位置近傍における上記口領域以外の領域内の水平方向のエッジを構成する画素よりも多い場合か、この口領域内の水平方向のエッジを構成する画素の密度が大きい場合か、この口領域内の赤み強度が大きい場合か、又はこの口領域内の赤み強度が、上記口領域以外の領域内の赤み強度より大きい場合に、大きいと判定することができる。
【００３７】
更に、上記口検出工程では、検出された上記口の位置近傍における画素の赤み強度の空間的な分布から、上記口の位置の信頼度が算出され、上記判定工程では、上記口の位置の信頼度に応じて上記口のパターンらしさが評価されるため、口の位置の信頼度を考慮することにより、より正確に口パターンらしさを評価することが可能となる。
【００３８】
更にまた、上記判定工程では、上記眼の位置と上記口の位置との間の距離が、上記口領域の幅から算出される上限値よりも大きい場合、又は上記口領域の幅から算出される下限値よりも小さい場合には、上記眼のパターンらしさ及び上記口のパターンらしさが小さいと評価することができ、口の幅に対する眼と口の距離を評価し、口のパターンらしさ及び眼のパターンらしさに反映させるため、より正確に顔領域の判定を行うことが可能となる。
【００３９】
また、上記眼の位置近傍及び上記口の位置近傍に、大きさが異なる複数の夫々右眼領域及び左眼領域並びに口領域を設定し、上記眼のパターンらしさ及び口のパターンらしさを算出することができ、各特徴点に対応する複数の領域を使用することにより、信頼性が高い判定結果を得ることができる。
【００４０】
更に、上記判定工程において、複数の上記肌色領域が顔領域であると判定された場合に、この複数の顔領域の例えば位置等に基づいて１以上の顔領域を選択する選択工程を有することができ、複数の顔領域から目的に応じて例えば１つの顔領域を選択して抽出することができ、複数の顔領域を有する画像、即ち、複数の人物が存在している画像から特定の顔を抽出してトリミング等を行うことができる。
【００４１】
本発明に係る画像処理装置は、入力されたカラー画像から、人物の顔領域を抽出するための画像処理装置において、肌色の領域を抽出する肌色領域抽出手段と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点の位置を検出する特徴点検出手段と、上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定手段とを有することを特徴とする。
【００４２】
本発明に係るプログラムは、入力されたカラー画像から、人物の顔領域を抽出する動作を実行するためのプログラムにおいて、肌色の領域を抽出する肌色領域抽出工程と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点の位置を検出する特徴点検出工程と、上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定工程とを有することを特徴とする。
【００４３】
本発明に係る記録媒体は、入力されたカラー画像から、人物の顔領域を抽出する動作をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、肌色の領域を抽出する肌色領域抽出工程と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点の位置を検出する特徴点検出工程と、上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定工程とを有することを特徴とする。
【００４４】
本発明に係る自動トリミング装置は、入力されたカラー画像から、人物の顔領域を抽出し該顔領域が所定の位置となるようにトリミングを行なう自動トリミング装置において、肌色の領域を抽出する肌色領域抽出手段と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点の位置を検出する特徴点検出手段と、上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定手段と、上記判定手段で顔領域であると判定された肌色領域を含む閉領域を顔領域として抽出する抽出手段とを具備する顔領域抽出手段と、上記顔領域抽出手段によって抽出された顔領域から、トリミングの対象となる顔領域を選択する選択手段と、上記選択された顔の領域からトリミングの位置決めを行なう位置決め手段とを有することを特徴とする。
【００４５】
本発明においては、顔領域抽出手段により顔領域が検出されると共に、人物の顔における特徴点の位置が検出されるため、これらのデータを使用してトリミングを行うため、自動処理が可能であると共に極めて精度よくトリミング処理を行うことができる。
【００４６】
また、上記顔領域抽出手段は、上記特徴点の位置に基づき上記人物の顔を左右に分割する顔中心線の位置を検出し、上記位置決め手段は、上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点の位置と、上記顔中心線とに基づきトリミングの位置決めを行なうことができ、精度よくトリミングの位置決めを行うことができる。
【００４７】
本発明に係る肖像写真撮影装置は、人物を撮影して肖像写真の作成を行なう肖像写真撮影装置において、入力カラー画像から肌色の領域を抽出する肌色領域抽出手段と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点の位置を検出する特徴点検出手段と、上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定手段と、上記判定手段で顔領域であると判定された肌色領域を含む閉領域を顔領域として抽出する抽出手段を具備する顔領域抽出手段と、上記顔領域抽出手段によって抽出された顔領域から、トリミングの対象となる顔領域を選択する選択手段と、上記選択された顔の領域からトリミングの位置決めを行なう位置決め手段とを有し、上記カラー画像から上記人物の顔領域を抽出し該顔領域が所定の位置となるように自動的にトリミングを行なう自動トリミング手段を有することを特徴とする。
【００４８】
本発明によれば、顔領域抽出手段により、入力カラー画像から高速且つ正確に顔領域を抽出し、正確に顔領域を顔であるか否かを判定することができ、顔領域抽出手段より検出された肌色領域及び各特徴点の位置情報を使用してトリミング処理をするため、正確に自動トリミング処理を行なうことが可能であり、これにより、良好な肖像写真を自動で撮影することが可能となる。
【００４９】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００５０】
第１の実施の形態
この実施の形態は、入力されたカラー画像から人物の顔領域を抽出する画像処理装置に適用したものである。図１は、本発明の第１の実施の形態における画像処理装置１０を示すブロック図である。
【００５１】
図１に示すように、画像処理装置１０は、電子スチルカメラ、ビデオカメラ、又はスキャナ等からカラー画像が入力され、このカラー画像をデジタルデータ（以下、これを単にカラー画像という。）として出力する画像入力部１１と、このカラー画像から肌色領域を抽出する肌色領域抽出部１２と、カラー画像及び肌色領域が入力され、人物の頭頂部を検出する頭頂部検出部１３と、肌色領域及びカラー画像が入力され、人物の口を検出する口検出部１４と、カラー画像、肌色領域並びに頭頂部及び口のデータが入力され、人物の眼を検出する眼検出部１５と、眼及び口のデータから人物の顎位置を算出する顎検出部１６と、カラー画像及び口及び眼のデータが入力され人物の顔の中心線を検出する中心線検出部１７と、頭頂部、眼、顎及び顔の中心線のデータが入力され顔領域を修正する領域修正部１８と、カラー画像と、肌色領域、眼、口、及び領域修正部１８からの修正データとが入力され、抽出された肌色領域が人物の顔であるか否かを判定する判定部１９とから構成されている。
【００５２】
画像入力部１１から出力されたカラー画像は、肌色領域抽出部１２、頭頂部検出部１３、口検出部１４、眼検出部１５、中心線検出部１６及び判定部１９に送られる。なお、画像入力部１１から出力されるカラー画像における色の表現方法には各種のものがあるが、本実施の形態においては、各画素は色の３原色であるＲ、Ｇ、Ｂで表されているものとする。また、画像上の位置（ｘ，ｙ）における値を表す場合には、Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）として表現することとする。更に、位置（座標）（ｘ，ｙ）は、ｘは入力カラー画像の水平方向の座標、ｙは入力カラー画像の垂直方向の座標を示すものとする。
【００５３】
以下、本実施の形態の画像処理装置の各構成要素について詳細に説明する。
【００５４】
（１）肌色抽出
肌色領域抽出部１２は、肌色を有する画素の集合として肌色領域を抽出する。肌色領域を抽出する方法としては、既存のどのようなものを使用してもよい。例えば、下記式（１）に示すようなｒ，ｇを２つの座標軸とする２次元平面において、予め抽出すべき肌色の範囲を設定し、この肌色範囲に含まれる色を有する画素を肌色画素として抽出することができる。
【００５５】
【数１】
【００５６】
ここで、Ｒ、Ｇ、Ｂは、各画素の３原色の値を示す。また、抽出すべき肌色の範囲は、例えば、ｒ及びｇの各値に対する夫々下限値ｒｍｉｎ及びｇｍｉｎと、夫々上限値ｒｍａｘ及びｇｍａｘとを定めた下記式（２）により設定することができる。
【００５７】
【数２】
【００５８】
これにより、上記式（２）を満たす画素の集合として肌色領域が抽出される。但し、図２に示すように、抽出された肌色画素４１が、画像４０上において、例えば塊４２，４３等の複数の塊を構成している場合には、この画素の塊４２，４３毎に領域４０を分割し、各塊を異なる領域として区別する。画像４０の分割には、例えば、連結する画素の集合を１つの塊とし、この塊に対応する領域を抽出するラベリング処理等を使用することができる。
【００５９】
抽出された各肌色領域は、固有の番号が割り当てられ、２次元配列である領域マップＡ（ｘ，ｙ）上に多値画像として表現される。即ち、座標（ｘ，ｙ）の色が肌色領域ｎに含まれている場合、領域マップＡは、下記式（３）として示される。
【００６０】
【数３】
【００６１】
また、各肌色領域に対しては、それを取り囲む閉領域が算出される。閉領域としては、例えば、図３に示すように、肌色領域５１，５２を夫々取り囲む長方形領域５３，５４とすることができる。長方形領域は、図４に示すように、対角線上で相対する２つの頂点座標で示されるが、１つの肌色領域に対応する頂点座標｛（ｓｔｘ、ｓｔｙ），（ｅｄｘ、ｅｄｙ）｝は、例えば、次のように算出することができる。即ち、先ず、肌色領域に含まれる画素のｘ座標の平均値ｘａｖｅ、ｙ座標の平均値ｙａｖｅ、ｘ座標の標準偏差ｘｓｄｖ、及びｙ座標の標準偏差ｙｓｄｖを夫々下記式（４）により算出する。
【００６２】
【数４】
【００６３】
ここで、ｎは現在注目している肌色領域を識別する上記式（３）に示す番号である。これらの値を用いて、長方形領域の頂点座標は下記式（５）により算出することができる。
【００６４】
【数５】
【００６５】
ここで、ａは予め設定された係数である。肌色領域ｎに対して算出された長方形領域の頂点座標は、１次元配列である頂点リストＶに下記式（６）として格納される。
【００６６】
【数６】
【００６７】
肌色領域を表す領域マップＡは、口検出部１４及び判定部１９へ送られ、頂点リストＶは、頭頂部検出部１３、口検出部１４及び眼検出部１５へ送られる。
【００６８】
（２）特徴点検出
特徴点検出部では、肌色領域抽出部１２によって抽出された各肌色領域を顔領域と仮定し、この肌色領域に対応する頂点座標Ｖ（ｎ）が示す長方形領域に基づき、各特徴点が検出される。特徴点検出部は、人物の頭頂部の位置を検出する頭頂部検出部１３と、肌色領域内の赤みの強さに基づき、人物の口の位置を検出する口検出部１４と、頭頂部及び口の位置に基づき検索範囲を設定して眼を検出する眼検出部１５と、眼及び口の位置から顎の位置を算出する顎検出部１６と、口の位置から口領域を設定し、この口領域内の赤み強度に基づいて顔の中心線を検出する中心線検出部１７と、頭頂部、顎及び顔中心線の位置から、肌色抽出部１２にて算出された頂点座標Ｖ（ｎ）を修正する領域修正部１８とから構成される。以下、各検出部について更に詳細に説明する。
【００６９】
（２−１）人物の頭頂部の検出
頭頂部検出部１３は、肌色領域を顔として有する人物の頭頂部を検出する。頭頂部の検出は、例えば人物以外の背景領域は単一色であること及び人物の上方、即ち、垂直座標が小さい側には背景領域のみが存在し得ることを仮定し、背景色とは異なる色を有する画素の中で垂直座標が最も小さい位置を検出する。以下、頭頂部の位置における垂直方向の座標を頭頂部の高さという。
【００７０】
具体的には、図５に示すように、画像入力部１１から送られる入力カラー画像６０において、注目する肌色領域６１に対応する長方形領域６２の図中上方の領域、即ち、長方形領域６２よりも垂直座標が小さい領域であって、Ｖ（ｎ）．ｓｔｘ≦水平座標（ｘ座標）≦Ｖ（ｎ）．ｅｄｘの範囲に設定した頭頂部探索範囲６３を図中上方から走査し、各画素の値と背景領域６４の背景色との差ｄを下記式（７）によって算出する。
【００７１】
【数７】
【００７２】
ここで、Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）はカラー画像上の座標（ｘ，ｙ）における画素のＲ、Ｇ、Ｂの値であり、Ｒｂｇ、Ｇｂｇ、Ｂｂｇは背景色のＲ、Ｇ、Ｂの値である。この背景色としては、例えば下記式（８）に示すように、現在の注目画素よりも上方、即ち、垂直座標（ｙ座標）が小さい領域における画素の平均値を使用することができる。
【００７３】
【数８】
【００７４】
ここで、Ｖ（ｎ）は肌色領域抽出部１２において得られた肌色領域ｎに対応する長方形領域の頂点座標であり、従って、上記式（８）は、探索範囲６３の内部において、現在の注目画素の座標位置（ｘ，ｙ）の上方のｍライン分の平均値を背景色とすることを示している。この場合、画像６０の最上部からｍラインにおいては上記式（８）による背景色の算出が不可能となる。即ち、画像６０最上部のｙ座標をｙ＝ｙ０としたとき背景を算出する際に使用されるのは、最上部（ｙ＝ｙ０）からｙ＝ｙ１＝ｙ０＋ｍまでであり、従って、この領域（ｙ０≦ｙ≦ｙ１）の背景を利用する最小の注目画素のｙ座標＝ｙ２＝ｙ１＋１＝ｙ０＋（ｍ＋１）であり、最上部（ｙ＝ｙ０）からｍ＋１ライン目となる。この場合は、利用できるラインのみを使用して上記式（８）と同様に背景色を算出したり、又は探索範囲６３の開始を、画像最上部からｍ＋１ライン目から始める等の方法をとることができる。
【００７５】
上記式（８）によって順次更新される背景色に対し、上記式（７）の色の差ｄを算出し、この値が所定の閾値Ｔよりも大きい画素が出現した時点で、その垂直座標ｙを頭頂部の高さＴＯＨとする。検出された頭頂部の高さＴＯＨは眼検出部１５及び領域修正部１８に送られる。
【００７６】
なお、検索範囲の各画素の値と背景色との差ｄに対する閾値は、予め設定された固定値を使用することもできるが、次に述べるように適応的に変化させることもできる。即ち、例えば背景色の更新に応じて、注目画素（ｘ，ｙ）の上方ｍラインにおける画素値の分散から下記式（９）により閾値Ｔを算出することができる。このように、背景色の更新に応じて差ｄに対する閾値を変化させることにより、より正確に頭頂部の検出を行うことができる。
【００７７】
【数９】
【００７８】
ここで、ｗは予め設定された係数である。またｖａｒ（Ｒ（ｘ，ｙ））、ｖａｒ（Ｇ（ｘ，ｙ））、ｖａｒ（Ｂ（ｘ，ｙ））はそれぞれＲ、Ｇ、Ｂの値の分散であり下記式（１０）によって算出される。
【００７９】
【数１０】
【００８０】
（２−２）人物の口検出
次に、口検出部１４は、肌色領域抽出部１２により抽出された各肌色領域に対し、口の位置（高さ）を検出する。先ず、頂点リストＶ（ｎ）によって表される長方形領域内において、肌色領域としては抽出されていない各画素（ｘ，ｙ）に対して、赤みの強さを示す下記式（１１）の値ｒｄｓｈ（ｘ，ｙ）を算出する。
【００８１】
【数１１】
【００８２】
ここで、Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）はカラー画像の座標（ｘ，ｙ）における各値を示す。算出された値ｒｄｓｈ（ｘ，ｙ）は、図６に示すように水平方向（ｘ軸方向）に累積されて、下記式（１２）に示すヒストグラムＨｒｄｓｈ（ｙ）が生成される。
【００８３】
【数１２】
【００８４】
ここで、Ｖ（ｎ）及びＡ（ｘ，ｙ）は、いずれも肌色領域抽出部１２から送られたデータであって、夫々肌色領域ｎに対応する長方形領域の頂点座標、及び領域マップを示す。
【００８５】
次に、ヒストグラムＨｒｄｓｈ（ｙ）は、ノイズ等を除去するため、必要に応じて１次元ローパスフィルタによって平滑化された後、ヒストグラムＨｒｄｓｈ（ｙ）の最大値における垂直座標ｙが口の高さＨＯＭとして検出される。検出された口の高さＭＯＵは、眼検出部１５、顎検出部１６、中心線検出部１７、及び判定部１９に送られる。
【００８６】
なお、更に正確に口の高さを検出するために、赤みの強さｒｄｓｈを算出する際に、注目画素の位置及び注目画素の明るさ等に応じて重み付けすることもできる。例えば、頂点リストＶにおける頂点座標Ｖ（ｎ）で表される長方形領域内において、水平方向の中央位置に口が出現する可能性が高いことが予め期待できる場合には、注目画素のｘ座標が（Ｖ（ｎ）．ｓｔｘ＋Ｖ（ｎ）．ｅｄｘ）／２に近いほど大きな係数を上記式（１１）で算出される値ｒｄｓｈに積算し、その結果を上記式（１２）によって累積することもできる。また、口の領域の明るさとして適当な範囲を限定できる場合には、注目画素の明るさがその範囲に近いほど大きな係数を上記式（１１）で算出される値ｒｄｓｈに積算し、その結果を上記式（１２）によって累積すること等もできる。
【００８７】
（２−３）人物の眼検出
次に、眼検出部１５は、肌色領域抽出部１２で抽出された各肌色領域に対して眼の位置（高さ）を検出する。先ず、頭頂部検出部１３によって検出された頭頂部の高さＴＯＨと口検出部１４によって検出された口の高さＨＯＭとから、垂直方向（ｙ軸方向）の眼の探索範囲を例えば下記式（１３）により算出する。
【００８８】
【数１３】
【００８９】
ここで、ｅ１及びｅ２は予め設定された係数である。ｅｔｏｐ及びｅｂｔｍは、夫々検索範囲の垂直座標における下限値及び上限値である。そして、これら垂直座標における下限値及び上限値に挟まれ、且つ注目する肌色領域に対応する長方形領域内に存在する画素に対して水平方向のエッジ（以下、水平エッジという。）の強度ｅｄｇｅ（ｘ，ｙ）を検出する。水平エッジの強度を検出する方法としては、既存のどのようなものを使用してもよいが、例えば図７に示すようなフィルタ係数を有する微分フィルタを、Ｒ、Ｇ、Ｂの各画像に施し、各画像に対するフィルタ出力の絶対値和を水平エッジの強度として使用することができる。
【００９０】
入力カラー画像の各座標において算出された水平エッジの強度ｅｄｇｅ（ｘ，ｙ）は、水平方向（ｘ軸方向）に累積されて、長方形領域内における垂直方向の水平エッジを示すヒストグラムＨｅｄｇｅ（ｙ）が下記式（１４）により算出される。
【００９１】
【数１４】
【００９２】
ここで、Ｖ（ｎ）は肌色領域抽出部１２で得られた肌色領域ｎに対応する長方形領域の頂点座標である。図８は、生成されたヒストグラムＨｅｄｇｅ（ｙ）と肌色領域７１に対応する長方形領域７２との関係を示す模式図である。
【００９３】
ヒストグラムＨｅｄｇｅ（ｙ）は、ノイズ等を除去するため、必要に応じて１次元ローパスフィルタによって平滑化された後、その最大値に対応する垂直座標ｙが眼の高さＨＯＥとして検出される。
【００９４】
なお、眼の高さの探索範囲としては、上記式（１３）に示したものの他に、対応する長方形領域の頂点座標を使用して、下記式（１５）により設定することもできる。
【００９５】
【数１５】
【００９６】
ここで、ｅ３、ｅ４は予め設定された係数である。また、上記式（１３）によって算出されるｅｂｔｍが、肌色領域を囲む長方形領域の頂点座標のＶ（ｎ）．ｓｔｙより小さい場合、頭頂部の高さＴＯＨ又は口の高さＨＯＭの検出が適切に行なわれていない可能性が高い。そこで、このような場合には、対応する長方形領域の頂点座標Ｖ（ｎ）に位置座標としては無効な値である例えば−１を格納して頂点リストＶを修正することができる。
【００９７】
検出された眼の高さＨＯＥは、顎検出部１６及び判定部１９に送られる。また、修正された頂点リストＶは顎検出部１６、中心線検出部１７、及び領域修正部１８に送られる。
【００９８】
（２−４）人物の顎検出
顎検出部１６では、眼検出部１５において修正された頂点リストＶに無効ではない頂点座標を有する各肌色領域に対して、顎の位置（高さ）を検出する。顎の高さの検出は、例えば図９に示すように、人物の顔８０においては顎と口との間の距離８１と、眼と口との間の距離８２との比がほぼ一定であると仮定して、下記式（１５）により推定することができる。
【００９９】
【数１６】
【０１００】
ここで、ｃは、予め設定された係数であり、ＨＯＣは顎の高さを示す。算出された顎の高さＨＯＣは領域修正部１８に送られる。
【０１０１】
（２−５）人物の顔の中心線検出
次に、顔の中心線検出部１７は、眼検出部１５において修正された頂点リストＶに無効ではない頂点座標を有する各肌色領域に対して、顔を左右に分割する中心線の位置を検出する。
【０１０２】
ここでは、はじめに口検出部１４で検出された口の高さＨＯＭを中心として垂直方向の座標における口探索範囲を設定する。この探索範囲は、例えば対応する長方形領域の垂直方向における幅から下記式（１７）により算出することができる。
【０１０３】
【数１７】
【０１０４】
ここで、ｍは予め設定された係数であり、Ｖ（ｎ）は肌色領域ｎに対応する長方形領域の頂点座標である。上記式（１７）により算出された夫々ｍｔｏｐ及びｍｂｔｍを、探索範囲のｙ座標の夫々下限値及び上限値とする。また、水平方向の探索範囲は、長方形領域の水平方向の幅とすることができる。即ち、ｘ座標の上限及び下限は、長方形領域の夫々左端Ｖ（ｎ）．ｓｔｘ及び右端Ｖ（ｎ）．ｅｄｘとすることができる。図１０は、肌色領域９１に対応する長方形領域９２における口の高さＨＯＭ及び検索範囲ｍｔｏｐ、ｍｂｔｍを示す模式図である。
【０１０５】
次に、設定された探索範囲に存在し、かつ肌色領域に含まれない画素に対して上記式（１１）により赤みの強さを算出し、図１０に示すように、赤みの強さの値が閾値よりも大きくなる画素の水平座標の平均値を中心線の水平座標位置ＣＯＨとして検出する。赤みの強さを算出する際に、肌色領域に属する画素を除くことにより、肌色領域に属する画素の影響を排除することができ、極めて高精度に顔の中心線を検出することができる。こうして、検出された顔中心線の位置ＣＯＨは領域修正部１８及び判定部１９に送られる。
【０１０６】
なお、赤みの強さに対する閾値は予め設定された固定値を使用することもできるが、次に述べるように適応的に変化させることもできる。即ち、はじめに探索範囲内における全ての画素の平均値、又は最大値を算出し、これらに予め設定された係数を積算して得られる値を閾値として使用ようにすることもできる。
【０１０７】
また、水平座標の平均値を算出する際、ノイズ等の影響を軽減するために，ロバスト推定と呼ばれる方法を使用することもできる。即ち、例えば赤みの強さが閾値よりも大きい画素のｘ座標の算術平均値を初期値ｃｅｎｔｅｒ（０）として、下記式（１８）に示す演算を繰り返し行なう。
【０１０８】
【数１８】
【０１０９】
ここで、ｃｅｎｔｅｒ（ｎ）は第ｎ回目の繰り返しにおいて算出される中心位置であり、ｒｄｓｈ（ｘ，ｙ）は座標（ｘ，ｙ）おける赤みの強さを示し、Ｔｒｄｓｈはその赤みの強さに対する閾値を表している。ｈ（ｄ）は、各ｘ座標に対する重みを示し、既に算出されている中心位置ｃｅｎｔｅｒ（ｎ）とｘ座標との差ｄの関数として与えられる。関数ｈ（ｄ）としては、差ｄが大きいｘ座標ほど小さな重みが与えられるように、例えば下記式（１９）に示すものを使用することができる。
【０１１０】
【数１９】
【０１１１】
ｇは、関数ｈ（ｄ）の広がりを示すパラメータであり、各繰り返し毎に予め定められた方法により減少させていく。繰り返し処理は、ｇの値が予め設定された閾値よりも小さくなるか、あるいは算出されたｃｅｎｔｅｒ（ｎ＋１）と前の繰り返しにおいて算出されたｃｅｎｔｅｒ（ｎ）との差が、予め設定された別の閾値よりも小さくなるまで行なわれる。
【０１１２】
なお、収束するまでの繰り返し回数は増大するが、より確実に正しい値に収束させるために、同じｇを使用して、上記式（１８）の演算を繰り返すこともできる。即ち、同じｇを使用して、ｃｅｎｔｅｒ（ｎ＋１）とｃｅｎｔｅｒ（ｎ）との差が閾値よりも小さくなるまで繰り返し、ｃｅｎｔｅｒ（ｎ）が収束した後、ｇの値を所定の方法により減少させる。この場合、ｇの値が閾値よりも小さくなった時点で繰り返し処理を終了する。
【０１１３】
（２−６）長方形領域の修正
領域修正部１８は、眼検出部１５において修正された頂点リストＶに無効ではない頂点座標を有する各肌色領域に対して、長方形領域を改めて算出し、頂点リストＶの修正を行なう。例えば、頭頂部検出部１３で得られた頭頂部の高さＴＯＨ、顎検出部１６で得られた顎の高さＨＯＣ、及び中心線検出で得られた中心線の位置ＣＯＨを使用して、図１１に示すように、長方形領域１００を設定することができる。即ち、修正後の長方形領域１００を示す２つの頂点座標｛（ｓｔｘ、ｓｔｙ），（ｅｄｘ、ｅｄｙ）｝は下記式（２０）により算出することができる。
【０１１４】
【数２０】
【０１１５】
ここで、ａｓｐは人物の顔の幅に対する高さの比を示す係数であり、適当な値が予め設定されているものとする。
【０１１６】
肌色領域ｎに対して新たに算出された頂点座標は、頂点リストＶに上書きされ判定部１９に送られる。
【０１１７】
（３）顔判定
判定部１９は、領域修正部１８において修正された頂点リストＶに無効ではない頂点座標を有する各肌色領域に対して、その肌色領域が顔領域であるか否かの判定を行なう。顔領域の判定は、例えば人物の顔領域では眼の部分及び口の部分に水平エッジが多く分布すること、また唇の色が他の部分に比べて赤みが強いことを利用し、これらの条件が口検出部１３で検出された口の高さＨＯＭ、及び眼検出部１４で検出された眼の高さＨＯＥにおいて成立しているか否かを検証することにより行なうことができる。判定結果は、顔領域であるか否かを表す２値のフラグｆａｃｅｆｌａｇとして出力される。
【０１１８】
以下、判定部１９について更に詳細に説明する。図１２は判定部１９を示すブロック図である。図１２に示すように、判定部１９は、領域修正部１８において修正された頂点リストＶと、口の高さＨＯＭ、眼の高さＨＯＥ及び顔の中心線の位置ＣＯＨとが入力され、左右の眼の領域及び口領域を設定する領域設定部２１と、修正された頂点リストＶとカラー画像とが入力されて、長方形領域内の肌色画素における水平方向のエッジ（水平エッジ）を算出する水平エッジ検出部２２と、左右の眼の領域データ及び長方形領域の水平方向のエッジデータが入力され、眼であるか否かを判定する眼パターン判定部２３と、口領域のデータ及び長方形領域の水平方向のエッジデータが入力され、口であるか否かを判定する口パターン判定部２４と、眼パターン判定部２３及び口パターン判定部２４の判定結果から顔であるか否かを判定する総合判定部２５とから構成される。
【０１１９】
（３−１）各特徴点の領域設定
領域設定部２１は、頂点座標Ｖ（ｎ）、口の高さＨＯＭ、及び眼の高さＨＯＥから推定される右眼、左眼及び口の領域を図１３に示すように、口の高さＨＯＭ、及び眼の高さＨＯＥ近傍の長方形領域として設定する。
【０１２０】
即ち、右眼領域は、例えば下記式（２１）によって算出される頂点座標｛（ｅｙｅＲｓｔｘ、ｅｙｅＲｓｔｙ），（ｅｙｅＲｅｄｘ、ｅｙｅＲｅｄｙ）｝を有する長方形領域とすることができる。
【０１２１】
【数２１】
【０１２２】
ここで、ｅｙｅｓｉｚｅｘは片眼の領域の水平方向の幅を示し、頂点座標Ｖ（ｎ）で表される長方形領域の幅に係数ｓ１を積算することで算出する。また、ｂｅｙｅｓは両眼間の距離であり、同様に、頂点座標Ｖ（ｎ）で表される長方形領域の幅に係数ｓ２を積算することで算出することができる。また、ｅｙｅｓｉｚｅｙは眼の領域の高さ（垂直方向の幅）を示し、上記眼の幅に予め設定された割合ｅｙｅａｓｐを積算することで算出する。
【０１２３】
同様に、左眼の領域は、下記式（２２）によって算出される頂点座標｛（ｅｙｅＲｓｔｘ、ｅｙｅＬｓｔｙ），（ｅｙｅＬｅｄｘ、ｅｙｅＬｅｄｙ）｝を有する長方形領域とすることができる。
【０１２４】
【数２２】
【０１２５】
ここで、ｅｙｅｓｉｚｅｘ、ｅｙｅｓｉｚｅｙ、ｂｅｙｅｓは上記式（２１）と同一の値を有する。
【０１２６】
一方、口領域は下記式（２３）によって算出される頂点座標｛（ｍｏｕｓｔｘ、ｍｏｕｓｔｙ），（ｍｏｕｅｄｘ、ｍｏｕｅｄｙ）｝を有する長方形領域とすることができる。
【０１２７】
【数２３】
【０１２８】
ここで、ｍｏｕｓｉｚｅｘは口領域の水平方向の幅を示し、頂点座標Ｖ（ｎ）で表される長方形領域の水平方向の幅に係数ｓ３を積算することで算出する。また、ｍｏｕｓｉｚｅｙは口領域の高さ（垂直方向の幅）を示し、口の幅に予め設定された割合ｍｏｕａｓｐを積算することで算出することができる。
【０１２９】
設定された右眼領域、左眼領域、及び口領域の頂点座標は、夫々頂点リストＶｅｙｅＲ、ＶｅｙｅＬ、Ｖｍｏｕに上記式（６）と同様に格納される。ＶｅｙｅＲ、ＶｅｙｅＬは眼パターン判定部２３に、Ｖｍｏｕは口パターン判定部２４にそれぞれ送られる。
【０１３０】
（３−２）各領域の水平エッジの検出
水平エッジ検出部２２は、各肌色領域に対して、頂点座標Ｖ（ｎ）で表される長方形領域内に存在し、且つ領域マップＡ（ｘ，ｙ）の値がｎである肌色画素において水平方向のエッジの検出を行なう。水平エッジを検出する方法は既存のどのようなものを用いてもよいが、例えば対象となる画素毎において、図７に示すフィルタ係数を有する微分フィルタで水平方向のエッジ強度を算出し、図１４に示す微分係数を有する微分フィルタを使用して垂直方向のエッジ強度を算出し、下記式（２０）に示す条件を満たす画素を水平方向のエッジを構成する画素（水平方向のエッジが所定の閾値以上である画素）として検出する等の方法がある。
【０１３１】
【数２４】
【０１３２】
ここで、ｅｄｇｅＨ、ｅｄｇｅＶ及びＴｅは、夫々水平方向のエッジ強度、垂直方向のエッジ強度及び閾値を表している。
【０１３３】
水平方向のエッジを構成する画素の検出結果は、２次元配列であるエッジマップＭｅｄｇｅに２値画像として格納される。例えば、座標（ｘ，ｙ）の画素が上記式（２４）の条件を満足する画素、即ち、水平エッジを構成する画素として検出された場合には１がＭｅｄｇｅ（ｘ，ｙ）に格納され、座標（ｘ，ｙ）の画素が水平エッジを構成しない場合には０がＭｅｄｇｅ（ｘ，ｙ）に格納される。生成されたエッジマップＭｅｄｇｅは眼パターン判定部２３、及び口パターン判定部２４に送られる。
【０１３４】
なお、水平エッジ検出のための閾値Ｔｅは、予め設定された固定値を使用することもできるが、次のように適応的に変化させることも可能である。即ち、例えば予め対象となる画素、即ち、肌色領域抽出部１２において抽出された肌色領域に含まれる画素全てに対して水平エッジ強度を算出し、その平均値に予め設定された係数を積算した値を閾値として使用することもできる。
【０１３５】
また、ここでは肌色領域抽出部１２において抽出された肌色領域に含まれる画素のみを対象に水平エッジの検出を行なう例を示したが、通常、眼及び口の部分の色は肌色とは異なるため、これらの部分自体は肌色領域としては抽出されない。従って、眼及び口のエッジはちょうど肌色領域と非肌色領域との境界部に相当するため、肌色領域上のみでエッジの検出を行なうとエッジを構成する十分な数の画素が検出されない可能性がある。従って、より安定にエッジを検出するためには、例えば、領域修正部１８により修正された頂点座標により示される長方形領域内の肌色ではない画素であって、その隣接画素が肌色領域ｎに含まれるものに対しても水平エッジを検出するようにしてもよい。
【０１３６】
（３−３）眼領域における眼パターンらしさの判定
眼パターン判定部２３は、右眼頂点リストＶｅｙｅＲ及び左眼頂点リストＶｅｙｅＬ、及びエッジマップＭｅｄｇｅを使用して、眼検出部１５において検出された眼の高さＨＯＥ近傍の領域が眼の特徴を備えているか否かを判定する。
【０１３７】
ここでは、先ず、右眼頂点リストＶｅｙｅＲ及び左眼頂点リストＶｅｙｅＬで示される夫々右眼領域及び左眼領域内に存在する水平方向のエッジを構成する夫々画素数ｅｃｏｕｎｔＲ及びｅｃｏｕｎｔＬを下記式（２５）としてカウントする。
【０１３８】
【数２５】
【０１３９】
ここで、ｅｙｅＲ及びｅｙｅＬは、夫々右眼領域及び左眼領域の内部に存在する画素の集合である。
【０１４０】
また、垂直方向の座標が右眼領域又は左眼領域の下限と上限との間であり、且ついずれの眼領域にも含まれていない水平エッジの画素数ｅｃｏｕｎｔＯを下記式（２６）としてカウントする。
【０１４１】
【数２６】
【０１４２】
一般に、人物の顔領域の眼の位置においては、実際に眼が存在する部分（領域）に多くの水平方向のエッジを構成する画素が多く存在し、それ以外の部分では水平方向のエッジを構成する画素が少ない。これに従い、下記式（２７）に示す眼のパターンらしさの条件が満たされた場合に、眼検出部１５において検出された眼の高さＨＯＥ近傍の領域が眼の特徴を備えているものと判定する。
【０１４３】
【数２７】
【０１４４】
ここで、上記式（２７）の第１の条件における左辺の値は、右眼と左眼の領域に含まれる水平方向のエッジを構成する画素が多く、またそれ以外の領域に水平方向のエッジを構成する画素数が少ない場合に大きくなる。また、上記式（２７）の第２の条件におけるａｒｅａＲ及びａｒｅａＬは、夫々右眼領域及び左眼領域の内部に存在する画素の総数であり、左辺全体は右眼領域及び左眼領域における水平方向のエッジを構成する画素の密度を示す。即ち、いずれの条件も上述した眼の特徴を反映していることになる。この各条件における閾値であるＴｅｄｓｔ及びＴｅｄｎｓは、予め適切な値が設定される。
【０１４５】
上記式（２７）による判定結果は２値のフラグによって表される。例えば、上記式（２７）の条件が全て満たされる場合には、フラグに１を設定し、判定結果が眼であることを示す。一方、上記式（２７）の条件がいずれか一方でも満足されない場合は、フラグに０を設定し判定結果が眼ではないことを示す。判定結果を表すフラグｅｙｅｆｌａｇは総合判定器２５に送られる。
【０１４６】
なお、ここでは判定条件として上記式（２７）式を使用したが、上述した眼の特徴を反映したものであれば他の条件を使用することも可能である。
【０１４７】
（３−４）口領域における口パターンらしさの判定
口パターン判定部２４では、口領域Ｖｍｏｕ及びエッジマップＭｅｄｇｅを使用して、口検出部１４において検出された口の高さＨＯＭ近傍の領域が口の特徴を備えているか否かを判定する。
【０１４８】
ここでは、先ず、口領域Ｖｍｏｕの内部に存在する水平方向のエッジを構成する画素数ｍｃｏｕｎｔＭ及び口領域Ｖｍｏｕ内部に存在する全画素の赤み強さの平均値ａｖｅｒｄｓｈＭを下記式（２８）により算出する。
【０１４９】
【数２８】
【０１５０】
ここで、ｍｏｕは口領域内部に存在する画素の集合であり、ＮＭは口領域内部に存在する画素の総数である。また、ｒｄｓｈ（ｘ，ｙ）は画素（ｘ，ｙ）における赤み強さで、例えば上記式（１１）によって算出される値を使用することができる。
【０１５１】
次に、垂直方向の座標が口領域の下限と上限との間であり、且つ口領域に含まれていない画素のうち、水平エッジを構成する画素の数ｍｃｏｕｎｔＯ、及び垂直方向の座標が口領域の下限と上限との間であり、且つ口領域に含まれていない全画素の赤み強さの平均値ａｖｅｒｄｓｈＯを下記式（２９）により算出する。
【０１５２】
【数２９】
【０１５３】
ここで、ＮＯは、対象としている領域、即ち、垂直方向の座標が口領域の下限と上限との間であり、且つ口領域に含まれていない画素の総数を示す。
【０１５４】
一般に、人物の顔領域の口の高さ位置では、実際に口が存在する部分（領域）に水平方向のエッジを構成する画素が多く存在し、それ以外の部分では水平方向のエッジを構成する画素が少ない。また、口の部分はその他の部分と比べて赤みが強い。これに従い、下記式（３０）に示す口のパターンらしさの条件が満たされた場合に、口検出部１４において検出された口の高さＨＯＭ近傍の領域（口領域）が口の特徴を備えているものと判定する。
【０１５５】
【数３０】
【０１５６】
ここで、上記式（３０）の第１の条件における左辺の値は、口領域に含まれる水平方向のエッジを構成する画素が多く、口領域以外の領域に水平方向のエッジを構成する画素が少ない場合に大きくなる。また、上記式（３０）の第２の条件の左辺におけるａｒｅａＭは、口眼領域内に存在する画素の総数であり、左辺全体は口領域における水平方向のエッジを構成する画素の密度を示す。更に、上記式（３０）の第３の条件における左辺の値は、口領域における赤みが強く、口領域以外の領域における赤みが弱い場合に大きくなる。更にまた、上記式（３０）の第４の条件は、口領域内部の赤みの強さ自体が所定の閾値Ｔｒｄｓｈｍより大きいことを要求するものである。即ち、いずれの条件も上述した口の特徴を反映していることになる。上記式（３０）の第１乃至第４の条件における夫々閾値Ｔｅｄｓｔｍ、Ｔｅｄｎｓｍ、Ｔｃｄｓｔｍ及びＴｒｄｓｈｍは、予め適切な値が設定される。
【０１５７】
上記式（３０）による判定結果は、２値のフラグによって表される。例えば、上記式（３０）の条件が全て満たされる場合には、フラグに１に設定し、口領域を口のパターンと判定したことを示す。一方、上記式（３０）のうち、いずれか１つでも条件が満たされていない場合には、フラグに０を設定し、口領域を口ではないと判定したことを示す。この判定結果を表すフラグｍｏｕｆｌａｇは総合判定器２５に送られる。
【０１５８】
なお、ここでは判定条件として上記式（３０）を使用したが、上述した口の特徴を反映したものであれば他の条件を使用することも可能である。
【０１５９】
（３−５）抽出された領域が顔であるか否かの判定
総合判定部２５は、眼判定部２３及び口領域２４から送られてくる夫々フラグｅｙｅｆｌａｇ及びｍｏｕｆｌａｇがいずれも１である場合、即ち、領域設定部２１で設定した眼の領域及び口の領域が、夫々眼の特徴及び口の特徴を具えていると判定された場合に限り、現在注目している肌色領域を顔領域と判定し、その結果を２値のフラグｆａｃｅｆｌａｇとして出力する。
【０１６０】
なお、本実施の形態では、頭頂部の高さＴＯＨは眼の探索範囲を制限するために使用されているが、眼の高さＨＯＥが検出された後、この眼の高さＨＯＥと口の高さＨＯＭとを使用し、頭頂部の高さＴＯＨの検証を行なうようにしてもよい。即ち、眼と口との距離から頭頂部が存在すべき上限及び下限を例えば夫々下記式（３１）により算出する。
【０１６１】
【数３１】
【０１６２】
頭頂部の高さＴＯＨがこれら２つの値の間にない場合には、頭頂部検出部１３において正しい高さが検出されなかったものとして、予め定められた方法により頭頂部の高さの修正を行なう。例えば、眼と口との距離に対する頭頂部と口との距離の比ｈ３を予め設定しておき、下記式（３２）により、頭頂部の高さＴＯＨを設定し直す。
【０１６３】
【数３２】
【０１６４】
また、ここでは眼の領域、両眼間距離、及び口の領域の大きさを、上記式（２１）、（２２）、及び（２３）に示す肌色領域を囲む長方形領域の大きさに対して相対的に算出する方法について述べたが、肌色領域抽出において、影によって顔の一部が欠けて抽出されたり、又は、顔から肩のあたりまでが１つの肌色領域として抽出された場合、眼領域や口領域が適切に設定されない可能性がある。この問題を回避するために、例えば上記式（２１）乃至（２３）において、領域の大きさを決める係数Ｓ１、Ｓ２、Ｓ３を複数用意しておき、それぞれの値に対して判定を行なうようにすることができる。そして、何れかの係数に対して顔領域であるという判定が得られた場合、現在注目している肌色領域を顔領域と判定する。
【０１６５】
本実施の形態においては、抽出された肌色領域に基づき、頭頂部及び口の位置を検出し、これらの位置から眼の検索範囲を設定して眼の位置を検出するため、極めて高精度に眼の位置を検出することができる。また、顎の位置は、眼と口の位置から算出することにより、顔と首との輝度及び色の差が小さく、高精度に検出することが難しい場合にも顎の位置の検出を正確に行うことができる。更に、顔の中心線は、口の赤みの強さに基づき検出されるため、極めて高精度に顔中心線を検出することができる。更にまた、顔判定部において、眼のパターンらしさ及び口のパターンらしさを判定し、この判定結果に基づき顔であるか否かの総合判定をするため、複数の顔が含まれている場合であっても、顔であるか否かの判定結果の信頼性が高い。
【０１６６】
また、判定部１９により顔と判定される肌色領域が複数存在する場合に、複数の顔領域から、例えばその顔領域の位置に基づき１つの顔領域を選択する選択部（図示せず）を設けることもできる。これにより、例えば、複数の顔領域が存在する画像から１つの顔領域を抽出してトリミング処理を施すことができる。なお、判定部１９に、顔領域を選択する機能をもたせるようにしてもよい。
【０１６７】
第２の実施の形態
次に、本発明の第２の実施の形態について説明する。図１５は、本実施の形態の肖像画像撮影装置を示すブロック図である。本実施の形態においては、第１の実施の形態における画像処理装置を肖像画像（写真）撮影装置に応用したものである。
【０１６８】
図１５に示すように、肖像画像撮像装置３０は、電子スチルカメラ及びビデオカメラ等により、人物が撮影されたカラー画像が入力され、デジタルデータとして出力する撮像器３１と、画像データが入力されて顔領域を検出する顔検出器３２と、検出された顔領域が複数ある場合に、トリミングの対象となる顔領域を選択する領域選択器３３と、選択された顔領域のトリミングを行うトリミング器３４とから構成される。
【０１６９】
顔領域抽出器３２は、第１の実施の形態における画像処理装置の処理方法に従って、人物の顔領域を抽出する。但し、第１の実施の形態における判定部１９では、各肌色領域に対して顔であるか否かを表すフラグｆａｃｅｆｌａｇを出力するものとしたが、本実施の形態では、顔領域ではないと判定された肌色領域に対応する頂点座標Ｖ（ｎ）に、位置座標として無効な値の例えば−１を格納した後、これを領域選択器３３に送る。
【０１７０】
領域選択器３３では、顔領域判定器３２によって複数の領域が顔と判定された場合、これらの複数の領域の中からトリミングの対象となる顔領域を１つ選択する。例えば、撮像された画像には１人の人物しか存在していないことが明らかであれば、真の顔領域は１つであり、その他の領域は顔領域判定器３２における誤検出と考えられる。このような場合、真の顔領域は他の肌色領域よりも上部に位置するものと推定される場合は、頂点リストＶに含まれる有効な長方形のうち、その中心が最も上部に位置するものを選択するようにすることができる。
【０１７１】
また、撮像された画像に複数の人物が存在している可能性がある場合でも、撮像時の指示等により、入力画像においてトリミングの対象となる人物の顔が、例えば最も画像中央に近い位置に存在することを期待できる場合には、頂点リストＶに含まれる有効な長方形のうち、その中心が画像中央に最も近いものを選択するようにすることができる。
【０１７２】
更に、複数の顔の領域が抽出される主な理由が、例えば子供の顔を撮像するために、親がその子供を抱いて撮像することである場合、トリミングの対象となる子供の顔領域は、抽出された顔の領域の中で最も下部に位置すると推定できるため、頂点リストＶに含まれる有効な長方形のうち、その中心が最も下部に位置するものを選択するようにすることができる。
【０１７３】
これら対象領域選択の方法は、利用形態を考慮して予め設定しておく他に、インターフェース（図示せず）を設けることにより、撮影者及び／又は被撮影者等が手動で設定できるようにしておくことも可能である。
【０１７４】
選択された顔の領域以外の肌色領域に対応する頂点リストＶには位置座標として無効な値、例えば−１等が格納される。修正された頂点リストＶは、トリミング器３４に送られる。
【０１７５】
トリミング器３４は、送られてきた頂点リストＶに含まれる有効な長方形領域Ｖ（ｎ）に対応して、切り出す部分画像の位置を決定する。図１６は、入力カラー画像から切り出す部分画像の切り出し位置を示す模式図である。図１６に示すように、カラー画像１１０において、頂点リストＶの頂点座標Ｖ（ｎ）によって示される長方形領域１１１の中心位置（ｘ０、ｙ０）がトリミング後の画像１１２の所定の位置（ｔｘ０，ｔｙ０）と一致するように、下記式（３３）に示す２つの頂点座標で表される長方形領域を部分画像１１２として切り出す。
【０１７６】
【数３３】
【０１７７】
ここで、ｔｗｄｔ及びｔｈｇｔは、予め設定されたトリミング後の画像の夫々幅（水平方向の長さ）及び高さ（垂直方向の長さ）を示す。
【０１７８】
トリミングされた画像は、プリンタ及びモニタ等、図示しない画像表示装置や、画像記憶装置等に出力される。
【０１７９】
なお、トリミング器３４におけるトリミング処理は、ここで述べたものに限定されるものではなく、例えば次に述べるような方法を用いることも可能である。
【０１８０】
即ち、顔領域抽出器３２は、頂点リストＶのほかに、各顔領域に対して算出された眼の高さＨＯＥ、及び中心線位置ＣＯＨをトリミング器３４に送る。トリミング器３４では、眼の高さと中心線がトリミングされた画像上において所定の位置となるように部分画像の切り出しを行なう。眼の高さＨＯＥの代わりに頭頂部の高さＴＯＨ又は口の高さＨＯＭを使用してもよい。
【０１８１】
特に、トリミング後の画像において頭部がはみ出すことが許容されない場合には、頭頂部の高さＴＯＨを用いることが有効である。但し、図１７に示すように、同一の入力カラー画像１２０において、複数の人物１２１，１２２が存在し、この人物１２１，１２２が水平方向に重なっている場合には、夫々頭頂部探索１２３，１２４範囲も重なってしまうため、人物１２１，１２２のうち、真の頭頂部がより下方（垂直座標が大きい）に位置する顔領域、即ち、肌色領域に対応する長方形領域の水平方向の辺のうち垂直座標が小さい方の辺における垂直座標が、より大きい顔領域を有する人物１２２に対しては頭頂部の高さＴＯＨが正しく検出できないことになる。従って、頭頂部の高さを使用したトリミングでは、トリミングすべき顔領域が一番上に位置していない限り、良好な結果が得られない可能性がある。このような問題を回避するために、頭頂部の高さのチェックを行なうと共に、その値が不適切である場合には修正を行なうようにしてもよい。
【０１８２】
例えば、ＴＯＨのチェックとしては、既に検出されている眼の高さＨＯＥ及び口の高さを使用し、下記式（３４）に示す条件が満たされているか否かを判定する。
【０１８３】
【数３４】
【０１８４】
ここで、ｍｅｄｓｔは眼の高さと口の高さとの差ＨＯＥ−ＨＯＭであり、ｈ１，ｈ２は予め設定された係数である。上記式（３４）に示す条件が満たされない場合には、下記式（３５）によってＴＯＨの値を修正する。
【０１８５】
【数３５】
【０１８６】
また、顔領域判定器３２において複数の領域が顔と判定された場合、複数の領域全てをトリミングの対象として選択するようにすることもできる。この場合、トリミング器３４では、顔と判定された複数の領域を全て含むような部分画像を切り出し、必要に応じて縮小処理を施して所定の大きさの画像を得る。
【０１８７】
本実施の形態においては、第１の実施の形態における画像処理装置を使用しているため、顔領域検出器により顔として検出された領域の信頼性が高く、更に顔領域検出器により、顔領域だけでなく、特徴点情報、即ち、人物の頭頂部、顔の口及び眼、顔中心線の位置を検出し、これらのデータを使用してトリミングを行うため、誤検出がなく、高信頼度及び高精度で所望の顔領域のトリミングが自動的に行える肖像画像撮影装置を得ることができる。
【０１８８】
また、画像に複数の人物が含まれている場合においても、アプリケーションに応じて適切なトリミングを行うことができる。例えば、病院等におけるフォトブースで親が子供を抱いて撮影した場合、抽出される顔領域の位置又は大きさ等の情報に基づき、領域選択器３３により、複数の顔領域から特定の顔領域を選択することができる。即ち、例えば、顔領域が２つ抽出された場合に、領域選択器３３により、その位置が画面下方又はその大きさが小さいものを選択するように設定しておけば、親が子供を抱いて撮影した場合に、子供の顔を抽出してトリミングすることができる。また、何れの顔領域についてもトリミングを行うように設定しておけば、１回の画像で複数のトリミング画像を得ることができる。
【０１８９】
第３の実施の形態
次に、本発明の第３の実施の形態について説明する。本実施の形態は、第２の実施の形態と同様に画像処理装置を肖像画像撮影装置に適用したものであって、図１５に示す第２の実施の形態と同様の構成を有する。即ち、撮像器３１、顔領域抽出器３２、領域選択器３３及びトリミング器３４から構成されるものであるが、トリミング器３４における処理が異なる。第２の実施の形態では、入力画像から所定の大きさの部分画像を切り出すことでトリミングを行なっているが、本実施の形態においては、切り出す顔領域の大きさの調整も合わせて行なうものとする。
【０１９０】
例えば、上述した第１の実施の形態と同様の方法で顔領域を抽出する図１５に示す顔領域抽出器３２により、頂点リストＶのほかに、人物の眼の高さＨＯＥ、口の高さＨＯＭ、及び中心線ＣＯＨがトリミング器３４に送られる。
【０１９１】
トリミング器３４は、先ず、トリミング画像上で要求される眼と口との間隔ｍｅｄｓｔと、入力カラー画像から得られたＨＯＥとＨＯＭとの差の比ｐとを下記式（３５）により算出し、縦及び横の長さがそれぞれｐ倍となるように入力画像を拡大又は縮小する。
【０１９２】
【数３６】
【０１９３】
画像の拡大又は縮小に応じて、眼の高さＨＯＥ、口の高さＨＯＭ、及び中心線位置ＣＯＨの値もそれぞれ修正を行なう。画像の拡大処理及び縮小処理については既存のいかなる方法を使用してもよい。
【０１９４】
拡大又は縮小の施された画像に対して、眼の高さと中心線とがトリミングされた画像上において所定の位置となるように部分画像の切り出しを行なう。
【０１９５】
なお、ここでは大きさの調整を行なうために眼と口との間の間隔を使用したが、顔領域検出器３２で算出されている他の情報を使用できることもできることはいうまでもない。例えば、頭頂部と顎との間の間隔に基づいて上記式（３５）の比の値を算出してもよい。
【０１９６】
また、トリミングのための位置決めは、大きさの調整に使用した特徴点、即ち、眼及び口とは異なる特徴点に基づいて行なうことも可能である。即ち、眼と口との間の間隔で大きさの調整を行うとともに、頭頂部の高さ又は顎の高さと中心線とによって位置決めを行なうこともできる。
【０１９７】
更に、頭頂部の高さを使用する場合には、第２の実施の形態と同様、眼及び口の高さを使用してその値ＴＯＨを修正するようにしてもよい。
【０１９８】
本実施の形態においては、第２の実施の形態と同様に、顔領域抽出器から極めて高精度に検出された顔領域が入力されると共に、人物（顔）の特徴点を示す各データが入力されるため、トリミングの位置決め精度が高く、トリミングの際に拡大・縮小処理を行うことができる。
【０１９９】
第４の実施の形態
次に、本発明の第４の実施の形態について説明する。図１８は、本実施の形態における画像処理装置を示すブロック図である。本実施の形態は、上述の第１の実施の形態の画像処理装置と同様に、入力されたカラー画像から人物の顔領域を抽出する画像処理装置に適用したものであり、以下に示す第４の実施の形態において、図１乃至図１４に示す第１の実施の形態とは異なる部分についてのみ詳細な説明を行う。
【０２００】
本実施の形態における画像処理装置２１０は、カラー画像が入力され、このカラー画像をデジタルデータとして出力する画像入力部２１１と、このカラー画像から肌色領域を抽出する肌色領域抽出部２１２と、人物の頭頂部を検出する頭頂部検出部２１３と、人物の顔の中心線を検出する中心線検出部２１７と、人物の口を検出する口検出部２１４と、必要に応じて中心線を再検出し、中心線の修正を行う中心線修正部２２０と、人物の眼を検出する眼検出部２１５と、人物の顎位置を算出する顎検出部２１６と、顔領域を修正する領域修正部２１８と、抽出された肌色領域が人物の顔であるか否かを判定する判定部２１９とから構成されている。
【０２０１】
画像入力部２１１は、第１の実施の形態と同じものであるが、その出力であるカラー画像は、肌色領域抽出部２１２、頭頂部検出部２１３、口検出部２１４、眼検出部２１５、判定部２１９、及び中心線修正部２２０に送られる。
【０２０２】
また、肌色領域抽出部２１２も第１の実施の形態と同じものであるが、算出された領域マップＡは口検出部２１４、中心線検出部２１７、判定部２１９、及び中心線修正部２２０へ、頂点リストＶ（ｎ）は頭頂部検出部２１３へ送られる。
【０２０３】
頭頂部検出部２１３は、第１の実施の形態と同様に、頭頂部の高さＴＯＨを検出するものであるが、その検出に先立ち、頭頂部がカラー画像内に含まれているか否かの判定を行う機能を有している。頭頂部がカラー画像内に存在するか否かの判定には、例えば上記式（１０）と同様な方法によって、画像最上部からｍラインにおけるＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）の値の分散を算出し、それらの和が予め設定された閾値以下であるか否かで判定することができる。即ち、上記分散値の和が予め設定された閾値より大きい場合には、頭頂部がカラー画像内に存在しないと判定する。カラー画像内に頭頂部が存在しないと判定された肌色領域に対応する頂点リストＶ（ｎ）には、位置座標としては無効な値、例えばー１が格納される。ここで、頭頂部がカラー画像内に存在しないと判定された場合、カラー画像の最上端を頭頂部の位置としてもよい。又は、頭頂部が検出されなかった旨を例えば音声又は音等により通知し、使用者に再度撮影するよう催促するようにしてもよい。
【０２０４】
一方、頭頂部が存在すると判定された場合は、頭頂部の高さＴＯＨの検出を行い、検出された頭頂部の高さＴＯＨは、眼検出部２１５、及び領域修正部２１８に送られ、修正された頂点リストＶ（ｎ）は、口検出部２１４、眼検出部２１５、顎検出部２１６、中心線検出部２１７、領域修正部２１８、及び中心線修正部２２０に送られる。
【０２０５】
中心線検出部２１７は、頭頂部検出部２１３で修正された頂点リストＶ（ｎ）に無効ではない頂点座標を持つ各肌色領域に対して、肌色領域を左右に２分割する中心線の位置を検出する。但しここでは、第１の実施の形態と異なり、頂点リストＶ（ｎ）によって表される長方形内部において、肌色領域として抽出された画素（ｘ，ｙ）の水平方向の座標ｘの平均値を中心線の位置ＣＯＨとして検出する。検出された中心線位置ＣＯＨは口検出部２１４、及び中心線修正部２２０に送られる。
【０２０６】
口検出部２１４は、頭頂部検出部２１３で修正された頂点リストＶ（ｎ）に無効ではない頂点座標を持つ各肌色領域に対して、口の高さを検出する。第１の実施の形態と同様に、本実施の形態においても、赤みの強さを表す上記式（１１）の値ｒｄｓｈ（ｘ，ｙ）を水平方向に累積して得られるヒストグラムＨｒｄｓｈ（ｙ）を用いる。このとき、その累積範囲は、図１９の斜線で示すように、中心線検出部２１７によって検出された中心線位置ＣＯＨの周辺部の領域２４１に制限する。すなわち本実施の形態におけるヒストグラムＨｒｄｓｈ（ｙ）は下記式（３７）によって生成される。
【０２０７】
【数３７】
【０２０８】
ここで、ｌｗは、あらかじめ設定された０より大きく１より小さい係数である。ヒストグラムＨｒｄｓｈ（ｙ）は、必要に応じて１次元ローパスフィルタによって平滑化された後、その最大値に対応する垂直座標ｙが口の高さＨＯＭとして検出される。
【０２０９】
更に、本実施の形態においては、赤みの強い画素の空間的な分布に応じて検出された口の高さＨＯＭの信頼度ｌｉｐｃｏｎｆを算出する。口は、水平方向には顔の中心にあり、口を構成する画素は中心線位置ＣＯＨを中心として比較的狭い範囲に存在していると推測できる。そこで、赤みの強い画素が空間的に大きく広がっている場合、即ち、赤みが所定の閾値以上である画素の分布が大きい場合には、検出された口の高さの信頼度が低いと評価する。
【０２１０】
信頼度ｌｉｐｃｏｎｆは例えば、次のように算出することができる。即ち、先ず、検出された中心線位置ＣＯＨと口の高さＨＯＭとから決まる座標（ＣＯＨ，ＨＭＯ）を中心とする図２０に斜線で示すような長方形領域Ｒｍを設定して、この長方形領域Ｒｍの内部に存在する各画素に対して上記式（１１）によって定義される赤みの強さを算出すると共に、算出された赤みの強さｒｄｓｈ（ｘ，ｙ）が予め設定された閾値Ｔｒｄｓｈよりも大きい画素を選択し、それらの水平座標ｘの標準偏差をｘｓｄｖ算出する。即ち、ｘｓｄｖの算出は、下記式（３８）に示すように行われる。
【０２１１】
【数３８】
【０２１２】
信頼度ｌｉｐｃｏｎｆを算出するための長方形領域Ｒｍは、中心線位置ＣＯＨと現在注目している肌色領域に対応する頂点リストＶ（ｎ）から、例えば下記式（３９）のように設定することができる。
【０２１３】
【数３９】
【０２１４】
ここで、ｍｔｏｐ，ｍｂｔｍは上記式（１７）に示したものと同じである。
【０２１５】
次に、下記式（４０）に示すように、値域が０以上１以下である適当な単調増加関数Ｆを用い、算出された標準偏差ｘｓｄｖを信頼度ｌｉｐｃｏｎｆに変換する。
【０２１６】
【数４０】
【０２１７】
ここで、Ｖ（ｎ）．ｅｄｘ−Ｖ（ｎ）．ｓｔｘ＋１は、現在注目している肌色領域を囲む長方形領域の水平方向の幅を表している。
【０２１８】
検出された口の高さＨＯＭは眼検出部２１５、顎検出部２１６、中心線修正部２２０及び判定部２１９に送られる。また、信頼度ｌｉｐｃｏｎｆは中心線修正部２２０、判定部２１９に送られる。
【０２１９】
なお、更に正確に口の高さを検出するために、第１の実施の形態と同様に、注目画素の位置やその注目画素の明るさに応じて赤みの強さｒｄｓｈに重み付けを行なうようにすることもできることはいうまでもない。また、口の高さの信頼度ｌｉｐｃｏｎｆを算出する際には、各画素の水平座標に対して同様の重み付けを行うこともできる。更に、ここでは信頼度の計算に寄与する画素を予め設定された閾値Ｔｒｄｓｈに基づいて選択しているが、この閾値を適応的に設定することも可能である。例えば、図１９に斜線で示した領域２４４の内部において、各画素の赤みの強さの平均値を算出し、その値に適当な係数を積算して得られる値を信頼度算出のための閾値Ｔｒｄｓｈとして用いることもできる。
【０２２０】
中心線修正部２２０は、頭頂部検出部２１３で修正された頂点リストＶ（ｎ）に無効ではない頂点座標を持つ各肌色領域に対して、口検出部２１４で算出された口の高さの信頼度ｌｉｐｃｏｎｆの値が予め設定された閾値よりも大きい場合にのみ、第１の実施の形態における中心線検出部１７と同様の方法、即ち例えば赤みの強さの値が閾値よりも大きくなる画素の水平座標の平均値をロバスト推定により求め、これを中心線の水平座標位置として検出する再検出を行い、その結果を出力する。信頼度ｌｉｐｃｏｎｆが閾値以下であるときは、第１の実施の形態のように、赤みの強さに基づいて中心線を検出すると誤検出が生じるおそれがあるため、既に中心線検出部２１７で検出された中心線位置ＣＯＨをそのまま出力する。出力された中心線位置ＣＯＨは領域修正部２１８、判定部２１９に送られる。
【０２２１】
眼検出部２１５は、頭頂部検出部２１３で修正された頂点リストＶ（ｎ）に無効ではない頂点座標を持つ各肌色領域に対して、眼の高さを検出する。但し、第１の実施の形態では、上記式（１４）に示したエッジ強度のヒストグラムＨｅｄｇｅ（ｙ）の最大値に対応する唯一の垂直座標のみを眼の高さＨＯＥとして検出したが、本実施の形態においては、このヒストグラムの極大点に対応する複数の垂直座標を眼の高さ候補として検出するものとする。ヒストグラムＨｅｄｇｅ（ｙ）の極大点座標は、例えば下記式（４１）を満たすような座標ｙとして検出することができる。
【０２２２】
【数４１】
【０２２３】
肌色領域ｎに対して検出された眼の高さの候補の座標は、予め定められた優先順位ｉに従って、リストｅｙｅｌｉｓｔ（ｎ，ｉ）に格納される。優先順位の決定には、例えば、ヒストグラムＨｅｄｇｅ（ｙ）の値を用いることができる。この場合、リストｅｙｅｌｉｓｔ（ｎ，ｉ）には、肌色領域ｎに対して得られたヒストグラムＨｅｄｇｅ（ｙ）の値がｉ番目に大きな極大点の垂直座標が格納されることになる。眼の高さの候補の座標が格納されたリストｅｙｅｌｉｓｔ（ｎ，ｉ）は、顎検出部２１６及び判定部２１９に送られる。
【０２２４】
なお、各肌色領域に対する眼の高さ候補の座標リストｅｙｅｌｉｓｔ（ｎ，ｉ）には、検出された全ての極大点の垂直座標を格納する必要はなく、例えばノイズなどの影響を避けるため、ヒストグラムの値が大きいものから順に、あらかじめ設定された個数の極大点のみを格納するようにしてもよい。
【０２２５】
顎検出部２１６では、頭頂部検出部２１３で修正された頂点リストＶ（ｎ）に無効ではない頂点座標を持つ各肌色領域に対して、第１の実施の形態１と同様の方法によって顎の高さを検出する。但し、本実施の形態においては、第１の実施の形態にて説明した１つの眼の高さＨＯＥではなく、複数の眼の高さ候補があるため、各眼の高さ候補に対して顎の高さの候補を算出し、顎の高さリストｃｈｉｎｌｉｓｔ（ｎ，ｉ）に格納する。ここで、ｎは現在処理している肌色領域の番号であり、ｉは対応する眼の高さ候補の優先順位を表している。算出されたリストｃｈｉｎｌｉｓｔ（ｎ，ｉ）は、領域修正部２１８に送られる。
【０２２６】
領域修正部２１８は、頭頂部検出部２１３で修正された頂点リストＶ（ｎ）に無効ではない頂点座標を持つ各肌色領域に対して、第１の実施の形態における上記式（２０）と同様の方法によって肌色領域ｎを囲む長方形領域を算出する。但し、本実施の形態においては、目の高さ候補に対応して複数の顎の高さ候補ｃｈｉｎｌｉｓｔ（ｉ）が存在するため、各顎の高さ候補に対して長方形領域を算出するとともに、その頂点座標を上記式（６）で示したのと同様の方法によって頂点リストＶ’（ｎ，ｉ）に格納する。ここで、ｉは顎の高さ候補に対応する眼の高さ候補の優先順位を表している。算出された新たな頂点リストＶ’（ｎ，ｉ）は、判定部２１９に送られる。なお、肌色領域ｎに対応する頂点リストＶ（ｎ）に格納された頂点座標が無効である場合には、新たな頂点リストＶ’（ｎ，ｉ）の全ての優先順位ｉに対しても無効な座標値を格納することとする。
【０２２７】
判定部２１９は、領域修正部２１８において算出された頂点リストＶ’（ｎ，ｉ）に無効ではない頂点座標を持つ各肌色領域に対して、その肌色領域が顔領域であるか否かの判定を行ない、その判定結果を表す２値のフラグｆａｃｅｆｌａｇを出力するが、その判定の方法が第１の実施の形態とは異なる。第１の実施の形態においては、眼の高さＨＯＥと口の高さＨＯＭとがそれぞれ１つずつ検出されるため、その組み合わせは１通りであり、第１の実施の形態における判定部１９ではこの１つの組み合わせについて顔領域であるか否かの判定を行う。これに対して、本実施の形態において、眼の高さに関して複数の眼の高さ候補が検出されており、眼の高さ候補の数をＮ個とした場合、口の高さＨＯＭとの組み合わせはＮ個存在することになる。判定部２１９は、これら複数個の組み合わせに対して顔領域であるか否かの判定を行い、いずれかの組み合わせにおいて顔領域の条件を満足するものが存在した場合には、対応する肌色領域を顔領域と判定すると共に、その組み合わせにおける眼の高さ候補を真の眼の高さＨＯＥとする。顔領域の条件を満たす複数の組み合わせが存在する場合には、最も優先順位ｉが高い眼の高さ候補をＨＯＥとする。なお、いずれの組み合わせに対しても顔領域の条件が満足されない場合、対応する肌色領域が顔領域ではないと判定する。
【０２２８】
図２１は、本実施の形態の判定部２１９を示すブロック図である。図２１に示すように、判定部２１９は、左右の眼の領域及び口領域を設定する領域設定部２３１と、長方形領域内の肌色画素における水平方向のエッジ（水平エッジ）を算出する水平エッジ検出部２３２と、眼であるか否かを判定する眼パターン判定部２３３と、口であるか否かを判定する口パターン判定部２３４と、口の高さに基づき眼の高さが正確か否かを判定する目口間距離判定部２３６と、眼パターン判定部２３３、口パターン判定部２３４及び目口間距離判定部２３６の判定結果から顔であるか否かを判定する総合判定部２３５とから構成される。
【０２２９】
領域設定部２３１では、肌色領域ｎに対して、口の高さＨＯＭ及び頂点リストＶ’（ｎ，ｉ）から、第１の実施の形態と同様な方法によって口領域が設定され、その結果がＶｍｏｕに格納される。一方、リストｅｙｅｌｉｓｔ（ｎ，ｉ）から眼の高さ候補が１つ選択され、これと頂点リストＶ’（ｎ，ｉ）から、第１の実施の形態と同様な方法によって右眼領域、及び左眼領域が設定され、夫々ＶｅｙｅＲ及びＶｅｙｅＬに格納される。このとき、選択される眼の高さ候補は、この時点までにいまだ顔領域の判定に用いていないものの中で、もっとも優先順位ｉが高いものとする。設定された右眼領域ＶｅｙｅＲ、左眼領域ＶｅｙｅＬ及び口領域Ｖｍｏｕは、眼口間距離判定部６６に送られると共に、ＶｅｙｅＲ、ＶｅｙｅＬは眼パターン判定部２３３へ、Ｖｍｏｕは口判定部２３４へも送られる。
【０２３０】
なお、この領域設定部２３１において設定された右眼領域、左眼領域及び口領域に基づいて顔領域の判定が行われるが、その結果である２値のフラグｆａｃｅｆｌａｇは後述する総合判定部２３５から領域設定部２３１に戻される。この判定結果が顔領域でないことを示す場合には、リストｅｙｅｌｉｓｔ（ｎ，ｉ）に格納された眼の高さ候補のうち、次に優先順位ｉの高い眼の高さ候補が選択されて、右眼領域ＶｅｙｅＲ。左眼領域ＶｅｙｅＬが再設定されると共に。これらを用いた顔領域の判定が繰り返される。
【０２３１】
また、ここで用いた眼の高さ候補がリストｅｙｅｌｉｓｔ（ｎ，ｉ）における最低順位のものである場合には、２値のフラグｌａｓｔｏｆｌｉｓｔに、例えば１の値を設定する。これに対し、判定に用いるべき眼の高さ候補がまだ存在する場合には、フラグｌａｓｔｏｆｌｉｓｔに、例えば０の値を設定する。値の設定されたフラグｌａｓｔｏｆｌｉｓｔは後述の総合判定部２３５に送られる。
【０２３２】
眼口間距離判定部２３６では，図２２に示すように、口の高さＨＯＭに対して領域設定部２３１で選択された眼の高さ候補ｅｙｅｌｉｓｔ（ｎ，ｉ）が適切であるか否かの判定を行う。この判定は、例えば、領域設定部２３１で設定された口領域の幅ｍｏｕｓｉｚｅｘを用いて、下記式（４２）式が満たされるか否かを調べることによって行うことができる。
【０２３３】
【数４２】
【０２３４】
ここで、ｔ１，ｔ２は眼と口との間の垂直方向の距離Ｌｍｅに対する閾値を決めるための係数であり、あらかじめ適切な値が設定されている。
【０２３５】
上記式（４２）が満たされない場合には、口の幅ｍｏｕｓｉｚｅｘに対して、眼と口との間の距離Ｌｍｅが大きすぎるか、又は小さすぎると判断し、眼の高さ候補ｅｙｅｌｉｓｔ（ｎ，ｉ）が不適切であると判定する。これに対し、上記式（４２）が満足される場合には、眼の高さ候補ｅｙｅｌｉｓｔ（ｎ，ｉ）が適切であると判定する。この判定結果は２値のフラグｅｙｅｌｉｐｄｓｔで表され、例えば眼の高さ候補が適切であると判定された場合には１の値が、また、不適切であると判定された場合には０の値が設定される。ここで設定されたフラグｅｙｅｌｉｐｄｓｔは後述の総合判定部２３５に送られる。
【０２３６】
水平エッジ検出部２１２は、第１の実施の形態のものと同一のものとすることができ、ここで生成されたエッジマップＭｅｄｇｅは眼パターン判定部２１３，及び口パターン判定部２１４に送られる。
【０２３７】
眼パターン判定部２３３は、図１２に示した第１の実施の形態における眼パターン判定部２３とほぼ同様の処理を行うが、本実施の形態では、更に眼鏡の有無を判定し、その判定結果に応じて眼のパターン判定を行う点が異なる。
【０２３８】
被写体が眼鏡を装着している場合、図２３に示すように眼鏡フレーム２４２の両眼２つのレンズをつなぐ部分２４２ａが両眼の間に存在するため、眼鏡のデザインによっては、水平エッジ検出部２３２において両眼間の領域に多くのエッジが検出される。ところが、上記式（２７）に示した第１の判定条件は、両眼間に存在する水平エッジが少ないことを仮定しているため、被写体が眼鏡を装着している場合には、その眼のパターンが正しく判定されない可能性が高くなる。
【０２３９】
そこで本実施例では、領域設定部２３１で設定した右眼領域及び左眼領域の周辺部分において、眼鏡の特徴を示すパターンが存在するか否かを調べ、眼鏡の特徴が検出された場合には、上記式（２７）の閾値Ｔｅｄｓｔとして、より小さい値を用いることで、眼鏡を装着した被写体の眼のパターンが正しく判定されるようにする。
【０２４０】
眼鏡の特徴としては、例えば、両眼間に存在する眼鏡のフレームが水平方向に細長く伸びていることを利用し、下記式（４３）に示すような条件によって、その特徴の存在を判定することができる。
【０２４１】
【数４３】
【０２４２】
上記式（４３）の第１の不等式において、ａｒｅａＭは，右眼領域２４３Ｒと左眼領域２４３Ｌとに挟まれた、図２４に斜線で示すような両眼間の領域２４４に存在する画素の総数であり、ｅｃｏｕｎｔＭはこの両眼間領２４４において下記式（４４）のようにカウントされる水平エッジの画素数である。
【０２４３】
【数４４】
【０２４４】
ここでｅｙｅＭは両眼間領域２４４に存在する画素の集合を現す。また、（４３）式の第２の不等式におけるｅｓｄｖｘ，及びｅｓｄｖｙは、両眼間領域２４４における夫々水平エッジ画素の水平座標ｘの標準偏差及び垂直座標ｙの標準偏差を表している。Ｔｇｌｓｄｎｓｔｙ，Ｔｇｌｓａｓｐｃｔは、予め設定された閾値である。
【０２４５】
以上のことより、上記式（４３）式の条件は、両眼間領域２４４における水平エッジの密度が高く、またそれらの水平エッジが水平方向に広がっている場合に、これを眼鏡のフレームによるパターンであるとみなして被写体が眼鏡を装着しているものと判定することを表している。
【０２４６】
口パターン判定部２３４は、図１２に示した第１の実施の形態における口パターン判定部２４とほぼ同様の処理を行うが、本実施の形態では、更に口検出部２３４で算出された口の高さの信頼性ｌｉｐｃｏｎｆに応じて口のパターン判定を行う点が異なる。
【０２４７】
第１の実施の形態の口パターン判定部２４では、上記式（３０）によって口のパターン判定を行うが、その中の第３の判定条件は、口の高さにおいて、口領域Ｖｍｏｕ内部における赤みの強さがその周辺よりも強いという仮定に基づいている。しかしながら、図２５に示すように、赤い服の着用等により赤みの強い領域が口と同じ高さに存在すると、上述の仮定が必ずしも成立するとは限らず、正しい顔領域の判定が行えない場合がある。
【０２４８】
そこで、本実施の形態においては、口の高さを検出する際に算出した口の高さの信頼性ｌｉｐｃｏｎｆが低い場合には、上記式（３０）における第３の判定条件を緩和する。図２５の例のように、赤みの強い服２４５を着用する等、被写体の着用した服によって顔の両側に赤みの強い領域が存在する場合、赤みの強い画素は水平方向に広く分布することになるが、これにより、上記式（３８）によって算出される赤みの強い画素の水平座標ｘの標準偏差は大きな値となるため、口の高さの信頼性ｌｉｐｃｏｎｆが低下する。このとき、上記式（３０）の第３の判定条件における閾値Ｔｃｄｓｔｍを、例えば下記式（４５）に示すようにｌｉｐｃｏｎｆに応じて小さくすることにより、口パターンを正しく判定することができるようになる。
【０２４９】
【数４５】
【０２５０】
総合判定部２３５では、眼口間距離判定部２３６、眼パターン判定部２３３、並びに口パターン判定部２３４から送られてくる２値のフラグｅｙｅｌｉｐｄｓｔ、ｅｙｅｆｌａｇ、及びｍｏｕｆｌａｇがいずれも１である場合、即ち、領域設定部２３１で設定した眼の領域及び口の領域がそれぞれ眼の特徴、口の特徴を備えていると判定された場合、判定結果を表す２値のフラグｆａｃｅｆｌａｇに、例えば１の値を設定して出力するとともに、現在の肌色領域ｎに対する顔領域の判定処理を修了し、次の肌色領域ｎ＋１に対する顔領域の判定を開始する。
【０２５１】
一方，ｅｙｅｌｉｐｄｓｔ、ｅｙｅｆｌａｇ及びｍｏｕｆｌａｇのいずれかのフラグが１でない場合には、フラグｆａｃｅｆｌａｇに例えば０の値を設定する。このとき、領域設定部２３１から送られてくるフラグｌａｓｔｏｆｌｉｓｔを参照し、その値が１である場合、即ち用いた眼の高さ候補がリストｅｙｅｌｉｓｔ（ｎ，ｉ）の最低順位のものである場合には、現在の肌色領域ｎが顔領域ではないと判定し、例えば０に設定されたｆａｃｅｆｌａｇを出力すると共に、現在の肌色領域ｎに対する顔領域の判定処理を修了し、次の肌色領域ｎ＋１に対する顔領域の判定を開始する。
【０２５２】
これに対して、フラグ（制御信号）ｌａｓｔｏｆｌｉｓｔが０である場合には、判定結果であるｆａｃｅｆｌａｇを領域判定部２３１に戻し、次に優先順位ｉが大きい眼の高さ候補を用いて同じ肌色領域ｎに対する顔領域の判定処理を継続する。
【０２５３】
なお、本実施の形態においても、第１の実施の形態と同様、顔や肌色領域の連結の問題を回避するために、上記式（２１）、（２３）において領域の大きさを決める係数Ｓ１，Ｓ２，Ｓ３を複数用意しておき、それぞれの値に対して判定を行なうようにすることが可能なことは言うまでもない。
【０２５４】
本実施の形態においては、カラー画像内に頭頂部が含まれていない場合、適切に人物の顔領域が撮影されていないとして、撮影のしなおしを促すことが可能となる。
【０２５５】
また、顔を左右に分割する中心線を、肌色領域を構成する画素の空間的な分布から算出すると共に、口の高さを中心線周辺における赤みの強さから検出するため、赤みの強い服を着用している場合にも、正確に口の高さ及び中心線を検出することができ、検出された口の高さの信頼度を算出し、この信頼度が高い場合にはロバスト推定によって中心線位置の修正を行うため、肌色領域が影などの影響で欠落している場合にも、正確に中心線を検出することが可能となる。
【０２５６】
更に、口の高さの信頼度を考慮することにより、より正確に口パターンらしさを評価することができ、また、複数の眼の高さの候補を算出し、各眼の高さ候補に対して眼のパターンらしさの判定を行うと共に、眼鏡装着の有無の判定を行うことにより、眼鏡装着の場合にもより正確に眼のパターンらしさを判定することができ、眼の高さの検出における誤検出を軽減することが可能となる。
【０２５７】
更にまた、口の幅に対する眼と口との間の距離を評価し、口のパターンらしさ及び眼のパターンらしさに反映させるため、より正確に顔領域の判定を行うことが可能となる。
【０２５８】
なお、本実施の形態における画像処理装置を上述した第２及び第３の実施の形態における肖像画像撮影装置に適用できることは言うまでもない。
【０２５９】
【発明の効果】
以上詳細に説明したように本発明に係る画像処理方法によれば、入力されたカラー画像から肌色の領域を抽出する肌色領域抽出工程と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点を検出する特徴点検出工程と、上記特徴点に基づき、上記肌色領域が顔領域であるか否かを判定する判定工程とを有して顔領域を抽出するので、抽出した肌色領域に基づき顔の特徴点を検出し、この特徴点に基づき肌色領域が顔であるか否かを判定することができ、誤検出を低減し、入力カラー画像から高速且つ正確に顔領域を抽出することが可能となると共に、特徴点に基づき顔か否かを判定するため、正確な判定をすることができる。
【０２６０】
また、本発明に係る肖像写真撮影装置によれば、人物を撮影して肖像写真の作成を行なう肖像写真撮影装置において、入力カラー画像から肌色の領域を抽出する肌色領域抽出手段と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点を検出する特徴点検出手段と、上記特徴点から、上記肌色領域が顔領域であるか否かを判定する判定手段とを具備し、顔領域を抽出する顔領域抽出手段と、上記顔領域抽出手段によって抽出された顔領域から、トリミングの対象となる顔領域を選択する選択手段と、上記選択された顔の領域からトリミングの位置決めを行なう位置決め手段とを有し、上記カラー画像から上記人物の顔領域を抽出し該顔領域が所定の位置となるように自動的にトリミングを行なう自動トリミング手段を有するので、顔領域抽出手段により、入力カラー画像から高速且つ正確に顔領域を抽出し、正確に顔領域を顔であるか否かを判定することができ、顔領域抽出手段より検出された肌色領域及び各特徴点の情報を使用してトリミング処理をするため、正確に自動トリミング処理を行なうことが可能であり、これにより、良好な肖像写真を自動で撮影することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像処理装置１０を示すブロック図である。
【図２】抽出された肌色画素を示す模式図である。
【図３】肌色領域を囲む閉領域を示す模式図である。
【図４】長方形領域の頂点座標を示す模式図である。
【図５】カラー画像における人物の頭頂部を検索する際の検索範囲を示す模式図である。
【図６】長方形領域の水平方向の赤み強度が累積されて生成されたヒストグラムＨｒｄｓｈと長方形領域との関係を示す模式図である。
【図７】水平エッジの強度を算出する際に使用される微分フィルタの微分係数を示す図である。
【図８】人物の眼、口及び顎の位置の関係を示す模式図である。
【図９】エッジを構成する画素が水平方向に累積されて生成されたヒストグラムＨｅｄｇｅ（ｙ）と肌色領域７１に対応する長方形領域７２との関係を示す模式図である。
【図１０】肌色領域に対応する長方形領域における口の高さＨＯＭ及び検索範囲ｍｔｏｐ、ｍｂｔｍを示す模式図である。
【図１１】修正後の長方形領域の頂点座標｛（ｓｔｘ、ｓｔｙ），（ｅｄｘ、ｅｄｙ）｝を示す模式図である。
【図１２】本発明の第１の実施の形態における画像処理装置の判定部を示すブロック図である。
【図１３】口の高さＨＯＭ、及び眼の高さＨＯＥから推定され、頂点座標Ｖ（ｎ）が示す長方形領域内に設定された右眼、左眼及び口の領域を示す模式図である。
【図１４】垂直エッジ強度を算出する際に使用する微分フィルタの微分係数を示す図である
【図１５】本発明の第２の実施の形態の肖像画像撮影装置を示すブロック図である。
【図１６】入力カラー画像から切り出す部分画像の切り出し位置を示す模式図である
【図１７】同一の入力カラー画像１２０において、複数の人物１２１，１２２が存在し、この人物１２１，１２２が水平方向に重なっている場合の頭頂部検索範囲を示す模式図である。
【図１８】本発明の第４の実施の形態における画像処理装置を示すブロック図である。
【図１９】長方形領域における赤み強さの累積範囲を示す模式図である。
【図２０】口の高さの信頼性を算出するために設定される長方形領域Ｒｍを示す模式図である。
【図２１】本発明の第４の実施の形態における画像処理装置の判定部を詳細に示すブロック図である。
【図２２】口の高さＨＯＭに対して眼の高さ候補ｅｙｅｌｉｓｔ（ｎ，ｉ）が適切であるか否かの判定を行う眼口間距離判定部における判定方法を説明するための模式図である。
【図２３】眼鏡を装着している被写体を示す模式図である。
【図２４】右眼領域と左眼領域とに挟まれた両眼間の領域を示す模式図である。
【図２５】赤い服の着用等により赤みの強い領域が口と同じ高さに存在する場合を示す模式図である。
【符号の説明】
１０，２１０ 画像処理装置、１１，２１１ 画像入力部、１２，２１２ 肌色領域抽出部、１３，２１３ 頭頂部検出部、１４，２１４ 口検出部、１５，２１５ 眼検出部、１６，２１６ 顎検出部、１７，２１７ 中心線検出部、１８，２１８ 領域修正部、１９，２１９ 判定部、２１，２３１ 領域設定部、２２，２３２ 水平エッジ検出部、２３，２３３ 眼パターン判定部、２４，２３４ 口パターン判定部、２５，２３５ 総合判定部、３０ 肖像画像撮像装置、３１ 撮像器、３２ 顔検出器、３３ 領域選択器、３４ トリミング器、２２０ 中心線修正部、 ２３６ 目口間距離判定部
【発明の属する技術分野】
本発明は、例えば、ビデオカメラ、スチルカメラ、監視用カメラ、ＴＶ電話、画像データベース及びプリンタ等から入力される画像から人物の顔領域を抽出し、人物の追尾、パラメータ制御、画質補正、又は検索等を行なう際等に使用される画像処理方法、画像処理装置、画像処理を実行するプログラム及びそのプログラムを記録した記録媒体、並びにその画像処理を使用した自動トリミング装置及び肖像写真撮影装置に関する。
【０００２】
【従来の技術】
画像から人物の顔領域を抽出する方法は大きく２つに分類できる。第１の方法は、顔の顕著な特徴の１つである色の情報を利用するものであり、何らかの色空間上において、肌色に相当する範囲を予め設定しておき、その範囲内に含まれる色を有する画素の集合として顔領域を抽出する。この方法は処理が簡単なこと及び顔の向きや大きさが変化しても色自体はあまり変化しない等の理由から広く用いられているが、顔以外の物体が同一の色を有する可能性は排除できず、本質的に過検出を回避することは不可能である。そこで抽出された領域を最終的に抽出すべき領域の候補とみなし、その後段において領域形状や領域内の濃淡パターン等を用いてより詳細に判別を施す方法が多く提案されている。この場合、顔には対応しない領域が色情報によって抽出されたとしても、その他の情報によって除去することが可能となり、より正確な抽出処理を行なうことができる（従来例１）。
【０００３】
一方、第２の方法は、顔の特徴を表すテンプレートを予め用意しておき、入力された画像上の全ての位置においてパターンマッチングを行うものであり、テンプレートとの一致度が大きい領域を顔領域と判定する。この方法では、顔の濃淡パターンの特徴を用いることで、照明条件及び人種の違い等による顔色の変化に影響を受けにくいという利点を有する。また、多くのデータを用いた適切な学習により、良質なテンプレートが生成できれば、精度の高い抽出が期待できる（従来例２）。
【０００４】
ところで、各種照明写真では、顔領域の大きさ及び位置に対する制約がある場合があり、本来必要とされるよりも大きなサイズで撮影した後、顔領域が所定の大きさとなるようにトリミングが施されている。
【０００５】
例えば下記特許文献１には、均一な色の背景上に上半身が撮影された肖像画像を所定の大きさのフレーム内において人物の頭部が所定位置になるように処理する画像処理装置が開示されている（以下、従来例３という。）。
【０００６】
従来例３に記載の画像処理装置においては、先ず、読み込んだ肖像画像に対し、肖像画像内の人物の頭部が収まるように、例えば証明写真入りカードに印刷される顔写真の大きさのフレームをオペレータにより設定し、次に、フレーム内の人物の頭部左端、頭部右端及び頭頂部を検出し、この検出結果に基づきフレームの位置を修正し、最後にフレームの外側の背景を削除するトリミングを行うものである。
【０００７】
また、下記特許文献２には、１枚の画像から背景画像を消去して前景画像を抽出する前景画像抽出方法が開示されている（以下、従来例４という。）。
【０００８】
従来例４に記載の前景画像抽出方法においては、先ず、対象物が存在しない背景画像を撮影し、この背景画像と同一フレームで前景に対象物を位置させた対象画像を撮影し、次いで背景画像と対象画像との所定共通領域における明るさの差分を算出する。そして、背景画像と対象画像とから差分画像を求め、上記共通領域の差分から差分画像を補正し、第１のマスク画像を得る。次に、この第１のマスク画像に対して、明るさの膨張・縮小処理及び色の膨張・縮小処理を施し、更に、対象物と背景との境界を判別してこの境界にて領域を分割した第２のマスク画像を生成する。最後に、対象画像と第２のマスク画像とを重ね合わせ、対象画像の背景を単一色に変換した画像を生成する。
【特許文献１】
特開２００２−４２１１６号公報
【特許文献２】
特開２０００−３６０３２号公報
【０００９】
【発明が解決しようとする課題】
ところで、色に基づく領域抽出において、個体差及び照明条件等の変化に対応するために抽出する色の範囲をある程度広く設定すると、不要な領域を抽出してしまう過検出が増加してしまう。一方、過検出を抑制するために、色の範囲を小さくすると、個体差及び照明条件等の変化による影響により、所望の領域が抽出されない検出漏れが増加するという問題点がある。
【００１０】
しかしながら、従来例１のように、後段になんらかの判別処理を設けることを前提とすれば、前処理における検出漏れは大きな問題となり、むしろ過検出は許容され得ると考えられるが、実際には過検出された領域が判別処理の性能を大きく劣化させる可能性がある。例えば、隣接する異なる物体が類似した色を有する場合、各物体に対応する領域が画像上で連結し、１つの領域として抽出される可能性があるが、この場合、もはやその領域形状及び領域内部の濃淡パターンは対応する物体の性質を反映しないため、正しい判別を行なうことが困難になるという問題点がある。
【００１１】
これに対して、従来例２のように、抽出された領域内を走査し、特定の形状及び濃淡パターンを探索する方法もあるが、大きさの正規化処理等が複雑になり、判別処理に要する演算量が大きくなるといった問題点がある。
【００１２】
また、従来例３に記載の技術においては、多くの画像を取り込んだ後、一括してトリミングを行うものであるが、少なくとも１枚目の画像についてはフレーム位置を決定するためにオペレータの介在を必要とする。このように、通常の各種照明写真の撮影は、顔領域の位置及び大きさの要求条件を満足するため、その撮影及び後処理等に人手の介入が必要となり、煩雑となるといった問題点がある。
【００１３】
更に、従来例３に記載の技術においては、２枚目以降の画像に対しては、１枚目のフレームの設定条件を使用することにより、再度フレームを設定し直すことなく自動処理を行うことができるものの、処理対象となる肖像画像における頭部が全て１枚目の画像で設定したフレーム位置の内部に存在するとは限らず、撮影時に頭部の位置を制限するか、又はトリミング処理時にフレームの再設定を繰り返す必要がある。更にまた、頭部左端、頭部右端及び頭頂部は、輝度情報が大きく変化した位置として検出するものであるが、このような検出方法は、背景輝度の影響を受けやすく、例えば、背景輝度が均一であることを仮定しても、実際には証明条件等によって陰影及び背景の輝度ムラ等が生じ、このことにより、誤った位置が検出される可能性があるという問題点がある。
【００１４】
また、従来例４に記載の技術においては、背景画像と対象画像との差分によって被写体を抽出するため、予め背景のみの画像を撮影しておく必要がある。更に、背景画像との差分を求めるため、対象画像の背景色の変化に上記差分が影響を受ける虞がある。このため、従来例４に記載の技術においては、背景画像の背景色の補正を行っているものの、背景画像を補正するための閾値の設定が難しく必ずしも正確に補正できるとは限らない。また、従来例４に記載されている大局的な方法では、照明条件によっては被写体自身による影が背景部分に生じる等の局所的な変化を補正することができない。
【００１５】
更にまた、従来例４に記載の技術においては、顔画像の中心線を肌色画像の水平方向の重心配列により求めているが、顔に水平方向の陰影がある場合、暗い部分が肌色画素として抽出されずに中心線が大きくずれる可能性がある。また、肌色閉鎖領域の最下部をあごの位置としているため、顔の領域が首の領域と連結した閉鎖領域となった場合、あごの位置が大きくずれてしまうという問題が生じる。この問題を回避するため、抽出する肌色の範囲を明るさによって変化させているものの、これについても閾値の問題であり、常に顔と首とが分離されるとは限らないという問題点がある。
【００１６】
また、上述の従来例１乃至４においては、複数の人物が存在する画像、即ち、複数の顔領域（肌色領域）が存在するような画像においては、適切なトリミングができないという問題点がある。
【００１７】
本発明はこのような事情に鑑みて提案なされたものであり、肌色による顔抽出処理と簡単な判別処理の組み合わせにより、複数の顔領域が存在する場合であっても、高速かつ正確に顔領域を抽出する方法、装置及びそれらをコンピュータによって実行するためのプログラムを記録した記録媒体、これらの処理によって抽出された顔領域を自動でトリミングする自動トリミング装置、この自動トリミングの機能を備えた肖像画像撮影装置を提供することを目的とする。
【００１８】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像処理方法は、入力されたカラー画像から、人物の顔領域を抽出するための画像処理方法において、肌色の領域を抽出する肌色領域抽出工程と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点の位置を検出する特徴点検出工程と、上記肌色領域及び上記特徴点の位置に基づき、上記肌色領域が顔領域であるか否かを判定する判定工程とを有することを特徴とする。
【００１９】
本発明においては、入力画像から肌色領域を抽出し、この肌色領域に基づき顔の特徴点の位置を検出し、この特徴点の位置に基づき肌色領域が顔であるか否かを判定するため、複数の肌色領域が抽出された場合においても、それらの肌色領域が顔か否か判定することが可能であり、誤検出を低減し、精度よく顔領域を抽出することができる。
【００２０】
また、上記特徴点検出工程は、上記肌色領域を含む閉領域における水平方向の赤みの強さを示す赤み強度分布に基づき口の位置としての垂直方向の座標を検出する工程を有し、例えば、上記赤み強度の平均値が最も大きい垂直方向の位置座標を口の位置とすることができ、赤みの強さを示す赤み強度の分布に基づいて口の位置を検出するため、口の位置を精度よく検出することができる。
【００２１】
更に、上記赤み強度は、各画素における３原色の値をＲ、Ｇ、Ｂとしたとき、ＧがＢよりも大きい場合はＧに対するＲの比とＧに対するＢの比とを積算した値とし、ＧがＢよりも小さい場合はＢに対するＲの比とＢに対するＧの比とを積算した値とすることができる。
【００２２】
更にまた、上記口検出工程では、上記閉領域内に存在し、かつ肌色領域に属さない画素の上記赤み強度のみを使用して上記口の位置を検出することができ、口となる領域は、肌色領域には属さないことを利用して口の位置を検出するため、口の位置検出の精度を更に高いものとすることができる。
【００２３】
また、上記口検出工程では、上記閉域内における画素の位置及び／又は明るさに応じて上記赤み強度に異なる重み付けをし、上記水平方向の重み付け平均値の最も大きい位置の垂直方向の座標位置を上記口の位置として検出することができ、これにより、口となる領域の位置及び輝度情報が事前に把握できる場合等の検出精度を向上することができる。
【００２４】
更に、上記特徴点検出工程は、上記人物の頭頂部における垂直方向の座標位置を検出する頭頂部検出工程と、上記閉領域における水平方向の赤み強度分布に基づき口の位置としての垂直方向の座標を検出する口検出工程とを有し、上記眼検出工程は、上記口の位置と上記頭頂部の位置とに基づき眼の探索範囲を設定し、この探索範囲内から上記眼の位置を検出することができ、検索範囲を設定して眼の位置を検出するため、検出精度が極めて高い。
【００２５】
更にまた、上記頭頂部検出工程では、人物の背景が単一色である場合、上記肌色領域の上方の領域を上記入力カラー画像最上部から下部方向に走査し、上記背景色と異なる色の画素が出現する位置を上記頭頂部の位置として検出することができ、更に、上記入力カラー画像最上部から下部方向への走査では、随時更新した背景色と各画素との色の比較することができ、これにより、精度よく頭頂部の検出をすることができる。
【００２６】
また、上記頭頂部検出工程では、上記人物を含まない背景のみの画像と、上記人物が含まれる画像との画素毎の差分を算出し、この差分が予め設定された閾値以上の画素のうち、最も上部に存在する画素の座標を上記頭頂部の位置として検出してもよく、差分画像を使用することにより、更に高精度に頭頂部を検出することができる。
【００２７】
更に、上記特徴点検出工程は、上記人物の頭頂部における垂直方向の座標位置を検出する頭頂部検出工程を有し、上記頭頂部検出工程は、上記頭頂部が上記入力カラー画像内に存在するか否かを判定する頭頂部判定工程を有し、該頭頂部判定結果に基づき上記肌色領域が顔領域であるか否かを判定することができ、上記頭頂部判定工程では、上記肌色領域の上方の領域を上記入力カラー画像最上部から下方へ予め設定された数の走査線における画素値の分散が算出され、この分散値が所定の閾値よりも大きい場合には、上記頭頂部が上記入力カラー画像内に存在しないと判定することができ、画像中に頭頂部が含まれていない場合、適切に人物の顔領域が撮影されていないとして、撮影のしなおしを促すことが可能となる。
【００２８】
更にまた、上記特徴点検出工程は、上記口の位置に基づき、上記人物の顔を左右に分割する中心線の位置を検出する中心線検出工程を有することができ、更に、上記中心線検出工程では、上記口の位置近傍座標における上記赤み強度が大きい画素の重心位置を算出しこの重心位置の水平方向の位置座標を検出するか、又はロバスト推定を使用して重心位置を算出することができ、極めて高精度に顔中心線を検出することができる。
【００２９】
また、上記中心線検出工程では、上記口の位置近傍の座標において上記肌色領域に属さず、かつ上記赤み強度が大きい画素の重心位置を算出し、この重心位置の水平方向の位置座標を検出することが好ましく、これにより、肌色領域に属さず、赤み強度が所定の閾値以上であるような大きい画素の重心位置を算出して顔中心線を求めれば、肌色領域に属す画素の影響を受けることなく、更に高精度に顔中心線を検出することができる。
【００３０】
更に、上記特徴点検出工程は、上記肌色領域を構成する画素の空間的な分布から顔を左右に分割する中心線の位置を検出する中心線検出工程を有し、上記口検出工程では、上記赤み強度に対して上記中心線からの距離に応じた重み付けを行って上記口の位置が検出することができ、赤みが強い服を着用している場合にも、正確に口の位置及び中心線を検出することが可能となる。
【００３１】
更にまた、上記口検出工程では、検出された上記口の位置近傍における画素の赤み強度の空間的な分布から、上記口の位置の信頼度を算出し、上記信頼度が所定の閾値以上である場合に、例えばロバスト推定により上記中心線の位置を修正することができ、これにより、肌色領域が影などの影響で欠落している場合にも正確に中心線を検出することが可能となる。
【００３２】
更に、上記判定工程では、上記眼の位置近傍における水平方向のエッジの分布状態から眼のパターンらしさを算出し、上記口の位置近傍における水平方向のエッジの分布状態及び色の分布状態から口のパターンらしさを算出し、上記眼のパターンらしさ及び上記口のパターンらしさが所定の閾値以上である場合に上記肌色領域が顔領域であると判定することができる。
【００３３】
ここで、上記眼のパターンらしさは、上記眼の位置近傍に右眼領域及び左眼領域を設定し、該右眼領域及び左眼領域内の水平方向のエッジを構成する画素が上記眼の位置近傍における該右眼領域及び左眼領域以外の領域内の水平方向のエッジを構成する画素よりも多い場合か、該右眼領域及び左眼領域内の水平方向のエッジを構成する画素の密度が大きい場合か、又は上記右眼領域及び上記左眼領域、並びに該右眼領域と左眼領域との間の両眼間領域内の水平方向のエッジを構成する画素の密度が大きい場合に、大きいと判定することができる。
【００３４】
また、上記判定工程は、眼鏡の有無を検出する眼鏡検出工程を有し、この眼鏡検出結果に応じて眼のパターンらしさを評価することができ、眼鏡装着の有無の判定を行うことにより、眼鏡装着の場合にもより正確に眼のパターンらしさを判定することが可能となる。
【００３５】
更に、上記眼検出工程では、上記眼の位置として順位付けされた１以上の眼の位置候補が検出され、上記判定工程では、上記１以上の眼の位置候補のうち順位が高いものから眼のパターンらしさが算出することができ、複数の眼の位置の候補を算出し、それぞれの候補に対して眼のパターンらしさの評価を行うため、眼の位置の検出における誤検出を軽減することが可能となる。
【００３６】
また、上記口のパターンらしさは、上記口の位置近傍に口領域を設定し、この口領域内の水平方向のエッジを構成する画素が上記口の位置近傍における上記口領域以外の領域内の水平方向のエッジを構成する画素よりも多い場合か、この口領域内の水平方向のエッジを構成する画素の密度が大きい場合か、この口領域内の赤み強度が大きい場合か、又はこの口領域内の赤み強度が、上記口領域以外の領域内の赤み強度より大きい場合に、大きいと判定することができる。
【００３７】
更に、上記口検出工程では、検出された上記口の位置近傍における画素の赤み強度の空間的な分布から、上記口の位置の信頼度が算出され、上記判定工程では、上記口の位置の信頼度に応じて上記口のパターンらしさが評価されるため、口の位置の信頼度を考慮することにより、より正確に口パターンらしさを評価することが可能となる。
【００３８】
更にまた、上記判定工程では、上記眼の位置と上記口の位置との間の距離が、上記口領域の幅から算出される上限値よりも大きい場合、又は上記口領域の幅から算出される下限値よりも小さい場合には、上記眼のパターンらしさ及び上記口のパターンらしさが小さいと評価することができ、口の幅に対する眼と口の距離を評価し、口のパターンらしさ及び眼のパターンらしさに反映させるため、より正確に顔領域の判定を行うことが可能となる。
【００３９】
また、上記眼の位置近傍及び上記口の位置近傍に、大きさが異なる複数の夫々右眼領域及び左眼領域並びに口領域を設定し、上記眼のパターンらしさ及び口のパターンらしさを算出することができ、各特徴点に対応する複数の領域を使用することにより、信頼性が高い判定結果を得ることができる。
【００４０】
更に、上記判定工程において、複数の上記肌色領域が顔領域であると判定された場合に、この複数の顔領域の例えば位置等に基づいて１以上の顔領域を選択する選択工程を有することができ、複数の顔領域から目的に応じて例えば１つの顔領域を選択して抽出することができ、複数の顔領域を有する画像、即ち、複数の人物が存在している画像から特定の顔を抽出してトリミング等を行うことができる。
【００４１】
本発明に係る画像処理装置は、入力されたカラー画像から、人物の顔領域を抽出するための画像処理装置において、肌色の領域を抽出する肌色領域抽出手段と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点の位置を検出する特徴点検出手段と、上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定手段とを有することを特徴とする。
【００４２】
本発明に係るプログラムは、入力されたカラー画像から、人物の顔領域を抽出する動作を実行するためのプログラムにおいて、肌色の領域を抽出する肌色領域抽出工程と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点の位置を検出する特徴点検出工程と、上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定工程とを有することを特徴とする。
【００４３】
本発明に係る記録媒体は、入力されたカラー画像から、人物の顔領域を抽出する動作をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、肌色の領域を抽出する肌色領域抽出工程と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点の位置を検出する特徴点検出工程と、上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定工程とを有することを特徴とする。
【００４４】
本発明に係る自動トリミング装置は、入力されたカラー画像から、人物の顔領域を抽出し該顔領域が所定の位置となるようにトリミングを行なう自動トリミング装置において、肌色の領域を抽出する肌色領域抽出手段と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点の位置を検出する特徴点検出手段と、上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定手段と、上記判定手段で顔領域であると判定された肌色領域を含む閉領域を顔領域として抽出する抽出手段とを具備する顔領域抽出手段と、上記顔領域抽出手段によって抽出された顔領域から、トリミングの対象となる顔領域を選択する選択手段と、上記選択された顔の領域からトリミングの位置決めを行なう位置決め手段とを有することを特徴とする。
【００４５】
本発明においては、顔領域抽出手段により顔領域が検出されると共に、人物の顔における特徴点の位置が検出されるため、これらのデータを使用してトリミングを行うため、自動処理が可能であると共に極めて精度よくトリミング処理を行うことができる。
【００４６】
また、上記顔領域抽出手段は、上記特徴点の位置に基づき上記人物の顔を左右に分割する顔中心線の位置を検出し、上記位置決め手段は、上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点の位置と、上記顔中心線とに基づきトリミングの位置決めを行なうことができ、精度よくトリミングの位置決めを行うことができる。
【００４７】
本発明に係る肖像写真撮影装置は、人物を撮影して肖像写真の作成を行なう肖像写真撮影装置において、入力カラー画像から肌色の領域を抽出する肌色領域抽出手段と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点の位置を検出する特徴点検出手段と、上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定手段と、上記判定手段で顔領域であると判定された肌色領域を含む閉領域を顔領域として抽出する抽出手段を具備する顔領域抽出手段と、上記顔領域抽出手段によって抽出された顔領域から、トリミングの対象となる顔領域を選択する選択手段と、上記選択された顔の領域からトリミングの位置決めを行なう位置決め手段とを有し、上記カラー画像から上記人物の顔領域を抽出し該顔領域が所定の位置となるように自動的にトリミングを行なう自動トリミング手段を有することを特徴とする。
【００４８】
本発明によれば、顔領域抽出手段により、入力カラー画像から高速且つ正確に顔領域を抽出し、正確に顔領域を顔であるか否かを判定することができ、顔領域抽出手段より検出された肌色領域及び各特徴点の位置情報を使用してトリミング処理をするため、正確に自動トリミング処理を行なうことが可能であり、これにより、良好な肖像写真を自動で撮影することが可能となる。
【００４９】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００５０】
第１の実施の形態
この実施の形態は、入力されたカラー画像から人物の顔領域を抽出する画像処理装置に適用したものである。図１は、本発明の第１の実施の形態における画像処理装置１０を示すブロック図である。
【００５１】
図１に示すように、画像処理装置１０は、電子スチルカメラ、ビデオカメラ、又はスキャナ等からカラー画像が入力され、このカラー画像をデジタルデータ（以下、これを単にカラー画像という。）として出力する画像入力部１１と、このカラー画像から肌色領域を抽出する肌色領域抽出部１２と、カラー画像及び肌色領域が入力され、人物の頭頂部を検出する頭頂部検出部１３と、肌色領域及びカラー画像が入力され、人物の口を検出する口検出部１４と、カラー画像、肌色領域並びに頭頂部及び口のデータが入力され、人物の眼を検出する眼検出部１５と、眼及び口のデータから人物の顎位置を算出する顎検出部１６と、カラー画像及び口及び眼のデータが入力され人物の顔の中心線を検出する中心線検出部１７と、頭頂部、眼、顎及び顔の中心線のデータが入力され顔領域を修正する領域修正部１８と、カラー画像と、肌色領域、眼、口、及び領域修正部１８からの修正データとが入力され、抽出された肌色領域が人物の顔であるか否かを判定する判定部１９とから構成されている。
【００５２】
画像入力部１１から出力されたカラー画像は、肌色領域抽出部１２、頭頂部検出部１３、口検出部１４、眼検出部１５、中心線検出部１６及び判定部１９に送られる。なお、画像入力部１１から出力されるカラー画像における色の表現方法には各種のものがあるが、本実施の形態においては、各画素は色の３原色であるＲ、Ｇ、Ｂで表されているものとする。また、画像上の位置（ｘ，ｙ）における値を表す場合には、Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）として表現することとする。更に、位置（座標）（ｘ，ｙ）は、ｘは入力カラー画像の水平方向の座標、ｙは入力カラー画像の垂直方向の座標を示すものとする。
【００５３】
以下、本実施の形態の画像処理装置の各構成要素について詳細に説明する。
【００５４】
（１）肌色抽出
肌色領域抽出部１２は、肌色を有する画素の集合として肌色領域を抽出する。肌色領域を抽出する方法としては、既存のどのようなものを使用してもよい。例えば、下記式（１）に示すようなｒ，ｇを２つの座標軸とする２次元平面において、予め抽出すべき肌色の範囲を設定し、この肌色範囲に含まれる色を有する画素を肌色画素として抽出することができる。
【００５５】
【数１】
ここで、Ｒ、Ｇ、Ｂは、各画素の３原色の値を示す。また、抽出すべき肌色の範囲は、例えば、ｒ及びｇの各値に対する夫々下限値ｒｍｉｎ及びｇｍｉｎと、夫々上限値ｒｍａｘ及びｇｍａｘとを定めた下記式（２）により設定することができる。
【００５７】
【数２】
これにより、上記式（２）を満たす画素の集合として肌色領域が抽出される。但し、図２に示すように、抽出された肌色画素４１が、画像４０上において、例えば塊４２，４３等の複数の塊を構成している場合には、この画素の塊４２，４３毎に領域４０を分割し、各塊を異なる領域として区別する。画像４０の分割には、例えば、連結する画素の集合を１つの塊とし、この塊に対応する領域を抽出するラベリング処理等を使用することができる。
【００５９】
抽出された各肌色領域は、固有の番号が割り当てられ、２次元配列である領域マップＡ（ｘ，ｙ）上に多値画像として表現される。即ち、座標（ｘ，ｙ）の色が肌色領域ｎに含まれている場合、領域マップＡは、下記式（３）として示される。
【００６０】
【数３】
また、各肌色領域に対しては、それを取り囲む閉領域が算出される。閉領域としては、例えば、図３に示すように、肌色領域５１，５２を夫々取り囲む長方形領域５３，５４とすることができる。長方形領域は、図４に示すように、対角線上で相対する２つの頂点座標で示されるが、１つの肌色領域に対応する頂点座標｛（ｓｔｘ、ｓｔｙ），（ｅｄｘ、ｅｄｙ）｝は、例えば、次のように算出することができる。即ち、先ず、肌色領域に含まれる画素のｘ座標の平均値ｘａｖｅ、ｙ座標の平均値ｙａｖｅ、ｘ座標の標準偏差ｘｓｄｖ、及びｙ座標の標準偏差ｙｓｄｖを夫々下記式（４）により算出する。
【００６２】
【数４】
ここで、ｎは現在注目している肌色領域を識別する上記式（３）に示す番号である。これらの値を用いて、長方形領域の頂点座標は下記式（５）により算出することができる。
【００６４】
【数５】
ここで、ａは予め設定された係数である。肌色領域ｎに対して算出された長方形領域の頂点座標は、１次元配列である頂点リストＶに下記式（６）として格納される。
【００６６】
【数６】
肌色領域を表す領域マップＡは、口検出部１４及び判定部１９へ送られ、頂点リストＶは、頭頂部検出部１３、口検出部１４及び眼検出部１５へ送られる。
【００６８】
（２）特徴点検出
特徴点検出部では、肌色領域抽出部１２によって抽出された各肌色領域を顔領域と仮定し、この肌色領域に対応する頂点座標Ｖ（ｎ）が示す長方形領域に基づき、各特徴点が検出される。特徴点検出部は、人物の頭頂部の位置を検出する頭頂部検出部１３と、肌色領域内の赤みの強さに基づき、人物の口の位置を検出する口検出部１４と、頭頂部及び口の位置に基づき検索範囲を設定して眼を検出する眼検出部１５と、眼及び口の位置から顎の位置を算出する顎検出部１６と、口の位置から口領域を設定し、この口領域内の赤み強度に基づいて顔の中心線を検出する中心線検出部１７と、頭頂部、顎及び顔中心線の位置から、肌色抽出部１２にて算出された頂点座標Ｖ（ｎ）を修正する領域修正部１８とから構成される。以下、各検出部について更に詳細に説明する。
【００６９】
（２−１）人物の頭頂部の検出
頭頂部検出部１３は、肌色領域を顔として有する人物の頭頂部を検出する。頭頂部の検出は、例えば人物以外の背景領域は単一色であること及び人物の上方、即ち、垂直座標が小さい側には背景領域のみが存在し得ることを仮定し、背景色とは異なる色を有する画素の中で垂直座標が最も小さい位置を検出する。以下、頭頂部の位置における垂直方向の座標を頭頂部の高さという。
【００７０】
具体的には、図５に示すように、画像入力部１１から送られる入力カラー画像６０において、注目する肌色領域６１に対応する長方形領域６２の図中上方の領域、即ち、長方形領域６２よりも垂直座標が小さい領域であって、Ｖ（ｎ）．ｓｔｘ≦水平座標（ｘ座標）≦Ｖ（ｎ）．ｅｄｘの範囲に設定した頭頂部探索範囲６３を図中上方から走査し、各画素の値と背景領域６４の背景色との差ｄを下記式（７）によって算出する。
【００７１】
【数７】
ここで、Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）はカラー画像上の座標（ｘ，ｙ）における画素のＲ、Ｇ、Ｂの値であり、Ｒｂｇ、Ｇｂｇ、Ｂｂｇは背景色のＲ、Ｇ、Ｂの値である。この背景色としては、例えば下記式（８）に示すように、現在の注目画素よりも上方、即ち、垂直座標（ｙ座標）が小さい領域における画素の平均値を使用することができる。
【００７３】
【数８】
ここで、Ｖ（ｎ）は肌色領域抽出部１２において得られた肌色領域ｎに対応する長方形領域の頂点座標であり、従って、上記式（８）は、探索範囲６３の内部において、現在の注目画素の座標位置（ｘ，ｙ）の上方のｍライン分の平均値を背景色とすることを示している。この場合、画像６０の最上部からｍラインにおいては上記式（８）による背景色の算出が不可能となる。即ち、画像６０最上部のｙ座標をｙ＝ｙ０としたとき背景を算出する際に使用されるのは、最上部（ｙ＝ｙ０）からｙ＝ｙ１＝ｙ０＋ｍまでであり、従って、この領域（ｙ０≦ｙ≦ｙ１）の背景を利用する最小の注目画素のｙ座標＝ｙ２＝ｙ１＋１＝ｙ０＋（ｍ＋１）であり、最上部（ｙ＝ｙ０）からｍ＋１ライン目となる。この場合は、利用できるラインのみを使用して上記式（８）と同様に背景色を算出したり、又は探索範囲６３の開始を、画像最上部からｍ＋１ライン目から始める等の方法をとることができる。
【００７５】
上記式（８）によって順次更新される背景色に対し、上記式（７）の色の差ｄを算出し、この値が所定の閾値Ｔよりも大きい画素が出現した時点で、その垂直座標ｙを頭頂部の高さＴＯＨとする。検出された頭頂部の高さＴＯＨは眼検出部１５及び領域修正部１８に送られる。
【００７６】
なお、検索範囲の各画素の値と背景色との差ｄに対する閾値は、予め設定された固定値を使用することもできるが、次に述べるように適応的に変化させることもできる。即ち、例えば背景色の更新に応じて、注目画素（ｘ，ｙ）の上方ｍラインにおける画素値の分散から下記式（９）により閾値Ｔを算出することができる。このように、背景色の更新に応じて差ｄに対する閾値を変化させることにより、より正確に頭頂部の検出を行うことができる。
【００７７】
【数９】
ここで、ｗは予め設定された係数である。またｖａｒ（Ｒ（ｘ，ｙ））、ｖａｒ（Ｇ（ｘ，ｙ））、ｖａｒ（Ｂ（ｘ，ｙ））はそれぞれＲ、Ｇ、Ｂの値の分散であり下記式（１０）によって算出される。
【００７９】
【数１０】
（２−２）人物の口検出
次に、口検出部１４は、肌色領域抽出部１２により抽出された各肌色領域に対し、口の位置（高さ）を検出する。先ず、頂点リストＶ（ｎ）によって表される長方形領域内において、肌色領域としては抽出されていない各画素（ｘ，ｙ）に対して、赤みの強さを示す下記式（１１）の値ｒｄｓｈ（ｘ，ｙ）を算出する。
【００８１】
【数１１】
ここで、Ｒ（ｘ，ｙ）、Ｇ（ｘ，ｙ）、Ｂ（ｘ，ｙ）はカラー画像の座標（ｘ，ｙ）における各値を示す。算出された値ｒｄｓｈ（ｘ，ｙ）は、図６に示すように水平方向（ｘ軸方向）に累積されて、下記式（１２）に示すヒストグラムＨｒｄｓｈ（ｙ）が生成される。
【００８３】
【数１２】
ここで、Ｖ（ｎ）及びＡ（ｘ，ｙ）は、いずれも肌色領域抽出部１２から送られたデータであって、夫々肌色領域ｎに対応する長方形領域の頂点座標、及び領域マップを示す。
【００８５】
次に、ヒストグラムＨｒｄｓｈ（ｙ）は、ノイズ等を除去するため、必要に応じて１次元ローパスフィルタによって平滑化された後、ヒストグラムＨｒｄｓｈ（ｙ）の最大値における垂直座標ｙが口の高さＨＯＭとして検出される。検出された口の高さＭＯＵは、眼検出部１５、顎検出部１６、中心線検出部１７、及び判定部１９に送られる。
【００８６】
なお、更に正確に口の高さを検出するために、赤みの強さｒｄｓｈを算出する際に、注目画素の位置及び注目画素の明るさ等に応じて重み付けすることもできる。例えば、頂点リストＶにおける頂点座標Ｖ（ｎ）で表される長方形領域内において、水平方向の中央位置に口が出現する可能性が高いことが予め期待できる場合には、注目画素のｘ座標が（Ｖ（ｎ）．ｓｔｘ＋Ｖ（ｎ）．ｅｄｘ）／２に近いほど大きな係数を上記式（１１）で算出される値ｒｄｓｈに積算し、その結果を上記式（１２）によって累積することもできる。また、口の領域の明るさとして適当な範囲を限定できる場合には、注目画素の明るさがその範囲に近いほど大きな係数を上記式（１１）で算出される値ｒｄｓｈに積算し、その結果を上記式（１２）によって累積すること等もできる。
【００８７】
（２−３）人物の眼検出
次に、眼検出部１５は、肌色領域抽出部１２で抽出された各肌色領域に対して眼の位置（高さ）を検出する。先ず、頭頂部検出部１３によって検出された頭頂部の高さＴＯＨと口検出部１４によって検出された口の高さＨＯＭとから、垂直方向（ｙ軸方向）の眼の探索範囲を例えば下記式（１３）により算出する。
【００８８】
【数１３】
ここで、ｅ１及びｅ２は予め設定された係数である。ｅｔｏｐ及びｅｂｔｍは、夫々検索範囲の垂直座標における下限値及び上限値である。そして、これら垂直座標における下限値及び上限値に挟まれ、且つ注目する肌色領域に対応する長方形領域内に存在する画素に対して水平方向のエッジ（以下、水平エッジという。）の強度ｅｄｇｅ（ｘ，ｙ）を検出する。水平エッジの強度を検出する方法としては、既存のどのようなものを使用してもよいが、例えば図７に示すようなフィルタ係数を有する微分フィルタを、Ｒ、Ｇ、Ｂの各画像に施し、各画像に対するフィルタ出力の絶対値和を水平エッジの強度として使用することができる。
【００９０】
入力カラー画像の各座標において算出された水平エッジの強度ｅｄｇｅ（ｘ，ｙ）は、水平方向（ｘ軸方向）に累積されて、長方形領域内における垂直方向の水平エッジを示すヒストグラムＨｅｄｇｅ（ｙ）が下記式（１４）により算出される。
【００９１】
【数１４】
ここで、Ｖ（ｎ）は肌色領域抽出部１２で得られた肌色領域ｎに対応する長方形領域の頂点座標である。図８は、生成されたヒストグラムＨｅｄｇｅ（ｙ）と肌色領域７１に対応する長方形領域７２との関係を示す模式図である。
【００９３】
ヒストグラムＨｅｄｇｅ（ｙ）は、ノイズ等を除去するため、必要に応じて１次元ローパスフィルタによって平滑化された後、その最大値に対応する垂直座標ｙが眼の高さＨＯＥとして検出される。
【００９４】
なお、眼の高さの探索範囲としては、上記式（１３）に示したものの他に、対応する長方形領域の頂点座標を使用して、下記式（１５）により設定することもできる。
【００９５】
【数１５】
ここで、ｅ３、ｅ４は予め設定された係数である。また、上記式（１３）によって算出されるｅｂｔｍが、肌色領域を囲む長方形領域の頂点座標のＶ（ｎ）．ｓｔｙより小さい場合、頭頂部の高さＴＯＨ又は口の高さＨＯＭの検出が適切に行なわれていない可能性が高い。そこで、このような場合には、対応する長方形領域の頂点座標Ｖ（ｎ）に位置座標としては無効な値である例えば−１を格納して頂点リストＶを修正することができる。
【００９７】
検出された眼の高さＨＯＥは、顎検出部１６及び判定部１９に送られる。また、修正された頂点リストＶは顎検出部１６、中心線検出部１７、及び領域修正部１８に送られる。
【００９８】
（２−４）人物の顎検出
顎検出部１６では、眼検出部１５において修正された頂点リストＶに無効ではない頂点座標を有する各肌色領域に対して、顎の位置（高さ）を検出する。顎の高さの検出は、例えば図９に示すように、人物の顔８０においては顎と口との間の距離８１と、眼と口との間の距離８２との比がほぼ一定であると仮定して、下記式（１５）により推定することができる。
【００９９】
【数１６】
ここで、ｃは、予め設定された係数であり、ＨＯＣは顎の高さを示す。算出された顎の高さＨＯＣは領域修正部１８に送られる。
【０１０１】
（２−５）人物の顔の中心線検出
次に、顔の中心線検出部１７は、眼検出部１５において修正された頂点リストＶに無効ではない頂点座標を有する各肌色領域に対して、顔を左右に分割する中心線の位置を検出する。
【０１０２】
ここでは、はじめに口検出部１４で検出された口の高さＨＯＭを中心として垂直方向の座標における口探索範囲を設定する。この探索範囲は、例えば対応する長方形領域の垂直方向における幅から下記式（１７）により算出することができる。
【０１０３】
【数１７】
ここで、ｍは予め設定された係数であり、Ｖ（ｎ）は肌色領域ｎに対応する長方形領域の頂点座標である。上記式（１７）により算出された夫々ｍｔｏｐ及びｍｂｔｍを、探索範囲のｙ座標の夫々下限値及び上限値とする。また、水平方向の探索範囲は、長方形領域の水平方向の幅とすることができる。即ち、ｘ座標の上限及び下限は、長方形領域の夫々左端Ｖ（ｎ）．ｓｔｘ及び右端Ｖ（ｎ）．ｅｄｘとすることができる。図１０は、肌色領域９１に対応する長方形領域９２における口の高さＨＯＭ及び検索範囲ｍｔｏｐ、ｍｂｔｍを示す模式図である。
【０１０５】
次に、設定された探索範囲に存在し、かつ肌色領域に含まれない画素に対して上記式（１１）により赤みの強さを算出し、図１０に示すように、赤みの強さの値が閾値よりも大きくなる画素の水平座標の平均値を中心線の水平座標位置ＣＯＨとして検出する。赤みの強さを算出する際に、肌色領域に属する画素を除くことにより、肌色領域に属する画素の影響を排除することができ、極めて高精度に顔の中心線を検出することができる。こうして、検出された顔中心線の位置ＣＯＨは領域修正部１８及び判定部１９に送られる。
【０１０６】
なお、赤みの強さに対する閾値は予め設定された固定値を使用することもできるが、次に述べるように適応的に変化させることもできる。即ち、はじめに探索範囲内における全ての画素の平均値、又は最大値を算出し、これらに予め設定された係数を積算して得られる値を閾値として使用ようにすることもできる。
【０１０７】
また、水平座標の平均値を算出する際、ノイズ等の影響を軽減するために，ロバスト推定と呼ばれる方法を使用することもできる。即ち、例えば赤みの強さが閾値よりも大きい画素のｘ座標の算術平均値を初期値ｃｅｎｔｅｒ（０）として、下記式（１８）に示す演算を繰り返し行なう。
【０１０８】
【数１８】
ここで、ｃｅｎｔｅｒ（ｎ）は第ｎ回目の繰り返しにおいて算出される中心位置であり、ｒｄｓｈ（ｘ，ｙ）は座標（ｘ，ｙ）おける赤みの強さを示し、Ｔｒｄｓｈはその赤みの強さに対する閾値を表している。ｈ（ｄ）は、各ｘ座標に対する重みを示し、既に算出されている中心位置ｃｅｎｔｅｒ（ｎ）とｘ座標との差ｄの関数として与えられる。関数ｈ（ｄ）としては、差ｄが大きいｘ座標ほど小さな重みが与えられるように、例えば下記式（１９）に示すものを使用することができる。
【０１１０】
【数１９】
ｇは、関数ｈ（ｄ）の広がりを示すパラメータであり、各繰り返し毎に予め定められた方法により減少させていく。繰り返し処理は、ｇの値が予め設定された閾値よりも小さくなるか、あるいは算出されたｃｅｎｔｅｒ（ｎ＋１）と前の繰り返しにおいて算出されたｃｅｎｔｅｒ（ｎ）との差が、予め設定された別の閾値よりも小さくなるまで行なわれる。
【０１１２】
なお、収束するまでの繰り返し回数は増大するが、より確実に正しい値に収束させるために、同じｇを使用して、上記式（１８）の演算を繰り返すこともできる。即ち、同じｇを使用して、ｃｅｎｔｅｒ（ｎ＋１）とｃｅｎｔｅｒ（ｎ）との差が閾値よりも小さくなるまで繰り返し、ｃｅｎｔｅｒ（ｎ）が収束した後、ｇの値を所定の方法により減少させる。この場合、ｇの値が閾値よりも小さくなった時点で繰り返し処理を終了する。
【０１１３】
（２−６）長方形領域の修正
領域修正部１８は、眼検出部１５において修正された頂点リストＶに無効ではない頂点座標を有する各肌色領域に対して、長方形領域を改めて算出し、頂点リストＶの修正を行なう。例えば、頭頂部検出部１３で得られた頭頂部の高さＴＯＨ、顎検出部１６で得られた顎の高さＨＯＣ、及び中心線検出で得られた中心線の位置ＣＯＨを使用して、図１１に示すように、長方形領域１００を設定することができる。即ち、修正後の長方形領域１００を示す２つの頂点座標｛（ｓｔｘ、ｓｔｙ），（ｅｄｘ、ｅｄｙ）｝は下記式（２０）により算出することができる。
【０１１４】
【数２０】
ここで、ａｓｐは人物の顔の幅に対する高さの比を示す係数であり、適当な値が予め設定されているものとする。
【０１１６】
肌色領域ｎに対して新たに算出された頂点座標は、頂点リストＶに上書きされ判定部１９に送られる。
【０１１７】
（３）顔判定
判定部１９は、領域修正部１８において修正された頂点リストＶに無効ではない頂点座標を有する各肌色領域に対して、その肌色領域が顔領域であるか否かの判定を行なう。顔領域の判定は、例えば人物の顔領域では眼の部分及び口の部分に水平エッジが多く分布すること、また唇の色が他の部分に比べて赤みが強いことを利用し、これらの条件が口検出部１３で検出された口の高さＨＯＭ、及び眼検出部１４で検出された眼の高さＨＯＥにおいて成立しているか否かを検証することにより行なうことができる。判定結果は、顔領域であるか否かを表す２値のフラグｆａｃｅｆｌａｇとして出力される。
【０１１８】
以下、判定部１９について更に詳細に説明する。図１２は判定部１９を示すブロック図である。図１２に示すように、判定部１９は、領域修正部１８において修正された頂点リストＶと、口の高さＨＯＭ、眼の高さＨＯＥ及び顔の中心線の位置ＣＯＨとが入力され、左右の眼の領域及び口領域を設定する領域設定部２１と、修正された頂点リストＶとカラー画像とが入力されて、長方形領域内の肌色画素における水平方向のエッジ（水平エッジ）を算出する水平エッジ検出部２２と、左右の眼の領域データ及び長方形領域の水平方向のエッジデータが入力され、眼であるか否かを判定する眼パターン判定部２３と、口領域のデータ及び長方形領域の水平方向のエッジデータが入力され、口であるか否かを判定する口パターン判定部２４と、眼パターン判定部２３及び口パターン判定部２４の判定結果から顔であるか否かを判定する総合判定部２５とから構成される。
【０１１９】
（３−１）各特徴点の領域設定
領域設定部２１は、頂点座標Ｖ（ｎ）、口の高さＨＯＭ、及び眼の高さＨＯＥから推定される右眼、左眼及び口の領域を図１３に示すように、口の高さＨＯＭ、及び眼の高さＨＯＥ近傍の長方形領域として設定する。
【０１２０】
即ち、右眼領域は、例えば下記式（２１）によって算出される頂点座標｛（ｅｙｅＲｓｔｘ、ｅｙｅＲｓｔｙ），（ｅｙｅＲｅｄｘ、ｅｙｅＲｅｄｙ）｝を有する長方形領域とすることができる。
【０１２１】
【数２１】
ここで、ｅｙｅｓｉｚｅｘは片眼の領域の水平方向の幅を示し、頂点座標Ｖ（ｎ）で表される長方形領域の幅に係数ｓ１を積算することで算出する。また、ｂｅｙｅｓは両眼間の距離であり、同様に、頂点座標Ｖ（ｎ）で表される長方形領域の幅に係数ｓ２を積算することで算出することができる。また、ｅｙｅｓｉｚｅｙは眼の領域の高さ（垂直方向の幅）を示し、上記眼の幅に予め設定された割合ｅｙｅａｓｐを積算することで算出する。
【０１２３】
同様に、左眼の領域は、下記式（２２）によって算出される頂点座標｛（ｅｙｅＲｓｔｘ、ｅｙｅＬｓｔｙ），（ｅｙｅＬｅｄｘ、ｅｙｅＬｅｄｙ）｝を有する長方形領域とすることができる。
【０１２４】
【数２２】
ここで、ｅｙｅｓｉｚｅｘ、ｅｙｅｓｉｚｅｙ、ｂｅｙｅｓは上記式（２１）と同一の値を有する。
【０１２６】
一方、口領域は下記式（２３）によって算出される頂点座標｛（ｍｏｕｓｔｘ、ｍｏｕｓｔｙ），（ｍｏｕｅｄｘ、ｍｏｕｅｄｙ）｝を有する長方形領域とすることができる。
【０１２７】
【数２３】
ここで、ｍｏｕｓｉｚｅｘは口領域の水平方向の幅を示し、頂点座標Ｖ（ｎ）で表される長方形領域の水平方向の幅に係数ｓ３を積算することで算出する。また、ｍｏｕｓｉｚｅｙは口領域の高さ（垂直方向の幅）を示し、口の幅に予め設定された割合ｍｏｕａｓｐを積算することで算出することができる。
【０１２９】
設定された右眼領域、左眼領域、及び口領域の頂点座標は、夫々頂点リストＶｅｙｅＲ、ＶｅｙｅＬ、Ｖｍｏｕに上記式（６）と同様に格納される。ＶｅｙｅＲ、ＶｅｙｅＬは眼パターン判定部２３に、Ｖｍｏｕは口パターン判定部２４にそれぞれ送られる。
【０１３０】
（３−２）各領域の水平エッジの検出
水平エッジ検出部２２は、各肌色領域に対して、頂点座標Ｖ（ｎ）で表される長方形領域内に存在し、且つ領域マップＡ（ｘ，ｙ）の値がｎである肌色画素において水平方向のエッジの検出を行なう。水平エッジを検出する方法は既存のどのようなものを用いてもよいが、例えば対象となる画素毎において、図７に示すフィルタ係数を有する微分フィルタで水平方向のエッジ強度を算出し、図１４に示す微分係数を有する微分フィルタを使用して垂直方向のエッジ強度を算出し、下記式（２０）に示す条件を満たす画素を水平方向のエッジを構成する画素（水平方向のエッジが所定の閾値以上である画素）として検出する等の方法がある。
【０１３１】
【数２４】
ここで、ｅｄｇｅＨ、ｅｄｇｅＶ及びＴｅは、夫々水平方向のエッジ強度、垂直方向のエッジ強度及び閾値を表している。
【０１３３】
水平方向のエッジを構成する画素の検出結果は、２次元配列であるエッジマップＭｅｄｇｅに２値画像として格納される。例えば、座標（ｘ，ｙ）の画素が上記式（２４）の条件を満足する画素、即ち、水平エッジを構成する画素として検出された場合には１がＭｅｄｇｅ（ｘ，ｙ）に格納され、座標（ｘ，ｙ）の画素が水平エッジを構成しない場合には０がＭｅｄｇｅ（ｘ，ｙ）に格納される。生成されたエッジマップＭｅｄｇｅは眼パターン判定部２３、及び口パターン判定部２４に送られる。
【０１３４】
なお、水平エッジ検出のための閾値Ｔｅは、予め設定された固定値を使用することもできるが、次のように適応的に変化させることも可能である。即ち、例えば予め対象となる画素、即ち、肌色領域抽出部１２において抽出された肌色領域に含まれる画素全てに対して水平エッジ強度を算出し、その平均値に予め設定された係数を積算した値を閾値として使用することもできる。
【０１３５】
また、ここでは肌色領域抽出部１２において抽出された肌色領域に含まれる画素のみを対象に水平エッジの検出を行なう例を示したが、通常、眼及び口の部分の色は肌色とは異なるため、これらの部分自体は肌色領域としては抽出されない。従って、眼及び口のエッジはちょうど肌色領域と非肌色領域との境界部に相当するため、肌色領域上のみでエッジの検出を行なうとエッジを構成する十分な数の画素が検出されない可能性がある。従って、より安定にエッジを検出するためには、例えば、領域修正部１８により修正された頂点座標により示される長方形領域内の肌色ではない画素であって、その隣接画素が肌色領域ｎに含まれるものに対しても水平エッジを検出するようにしてもよい。
【０１３６】
（３−３）眼領域における眼パターンらしさの判定
眼パターン判定部２３は、右眼頂点リストＶｅｙｅＲ及び左眼頂点リストＶｅｙｅＬ、及びエッジマップＭｅｄｇｅを使用して、眼検出部１５において検出された眼の高さＨＯＥ近傍の領域が眼の特徴を備えているか否かを判定する。
【０１３７】
ここでは、先ず、右眼頂点リストＶｅｙｅＲ及び左眼頂点リストＶｅｙｅＬで示される夫々右眼領域及び左眼領域内に存在する水平方向のエッジを構成する夫々画素数ｅｃｏｕｎｔＲ及びｅｃｏｕｎｔＬを下記式（２５）としてカウントする。
【０１３８】
【数２５】
ここで、ｅｙｅＲ及びｅｙｅＬは、夫々右眼領域及び左眼領域の内部に存在する画素の集合である。
【０１４０】
また、垂直方向の座標が右眼領域又は左眼領域の下限と上限との間であり、且ついずれの眼領域にも含まれていない水平エッジの画素数ｅｃｏｕｎｔＯを下記式（２６）としてカウントする。
【０１４１】
【数２６】
一般に、人物の顔領域の眼の位置においては、実際に眼が存在する部分（領域）に多くの水平方向のエッジを構成する画素が多く存在し、それ以外の部分では水平方向のエッジを構成する画素が少ない。これに従い、下記式（２７）に示す眼のパターンらしさの条件が満たされた場合に、眼検出部１５において検出された眼の高さＨＯＥ近傍の領域が眼の特徴を備えているものと判定する。
【０１４３】
【数２７】
ここで、上記式（２７）の第１の条件における左辺の値は、右眼と左眼の領域に含まれる水平方向のエッジを構成する画素が多く、またそれ以外の領域に水平方向のエッジを構成する画素数が少ない場合に大きくなる。また、上記式（２７）の第２の条件におけるａｒｅａＲ及びａｒｅａＬは、夫々右眼領域及び左眼領域の内部に存在する画素の総数であり、左辺全体は右眼領域及び左眼領域における水平方向のエッジを構成する画素の密度を示す。即ち、いずれの条件も上述した眼の特徴を反映していることになる。この各条件における閾値であるＴｅｄｓｔ及びＴｅｄｎｓは、予め適切な値が設定される。
【０１４５】
上記式（２７）による判定結果は２値のフラグによって表される。例えば、上記式（２７）の条件が全て満たされる場合には、フラグに１を設定し、判定結果が眼であることを示す。一方、上記式（２７）の条件がいずれか一方でも満足されない場合は、フラグに０を設定し判定結果が眼ではないことを示す。判定結果を表すフラグｅｙｅｆｌａｇは総合判定器２５に送られる。
【０１４６】
なお、ここでは判定条件として上記式（２７）式を使用したが、上述した眼の特徴を反映したものであれば他の条件を使用することも可能である。
【０１４７】
（３−４）口領域における口パターンらしさの判定
口パターン判定部２４では、口領域Ｖｍｏｕ及びエッジマップＭｅｄｇｅを使用して、口検出部１４において検出された口の高さＨＯＭ近傍の領域が口の特徴を備えているか否かを判定する。
【０１４８】
ここでは、先ず、口領域Ｖｍｏｕの内部に存在する水平方向のエッジを構成する画素数ｍｃｏｕｎｔＭ及び口領域Ｖｍｏｕ内部に存在する全画素の赤み強さの平均値ａｖｅｒｄｓｈＭを下記式（２８）により算出する。
【０１４９】
【数２８】
ここで、ｍｏｕは口領域内部に存在する画素の集合であり、ＮＭは口領域内部に存在する画素の総数である。また、ｒｄｓｈ（ｘ，ｙ）は画素（ｘ，ｙ）における赤み強さで、例えば上記式（１１）によって算出される値を使用することができる。
【０１５１】
次に、垂直方向の座標が口領域の下限と上限との間であり、且つ口領域に含まれていない画素のうち、水平エッジを構成する画素の数ｍｃｏｕｎｔＯ、及び垂直方向の座標が口領域の下限と上限との間であり、且つ口領域に含まれていない全画素の赤み強さの平均値ａｖｅｒｄｓｈＯを下記式（２９）により算出する。
【０１５２】
【数２９】
ここで、ＮＯは、対象としている領域、即ち、垂直方向の座標が口領域の下限と上限との間であり、且つ口領域に含まれていない画素の総数を示す。
【０１５４】
一般に、人物の顔領域の口の高さ位置では、実際に口が存在する部分（領域）に水平方向のエッジを構成する画素が多く存在し、それ以外の部分では水平方向のエッジを構成する画素が少ない。また、口の部分はその他の部分と比べて赤みが強い。これに従い、下記式（３０）に示す口のパターンらしさの条件が満たされた場合に、口検出部１４において検出された口の高さＨＯＭ近傍の領域（口領域）が口の特徴を備えているものと判定する。
【０１５５】
【数３０】
ここで、上記式（３０）の第１の条件における左辺の値は、口領域に含まれる水平方向のエッジを構成する画素が多く、口領域以外の領域に水平方向のエッジを構成する画素が少ない場合に大きくなる。また、上記式（３０）の第２の条件の左辺におけるａｒｅａＭは、口眼領域内に存在する画素の総数であり、左辺全体は口領域における水平方向のエッジを構成する画素の密度を示す。更に、上記式（３０）の第３の条件における左辺の値は、口領域における赤みが強く、口領域以外の領域における赤みが弱い場合に大きくなる。更にまた、上記式（３０）の第４の条件は、口領域内部の赤みの強さ自体が所定の閾値Ｔｒｄｓｈｍより大きいことを要求するものである。即ち、いずれの条件も上述した口の特徴を反映していることになる。上記式（３０）の第１乃至第４の条件における夫々閾値Ｔｅｄｓｔｍ、Ｔｅｄｎｓｍ、Ｔｃｄｓｔｍ及びＴｒｄｓｈｍは、予め適切な値が設定される。
【０１５７】
上記式（３０）による判定結果は、２値のフラグによって表される。例えば、上記式（３０）の条件が全て満たされる場合には、フラグに１に設定し、口領域を口のパターンと判定したことを示す。一方、上記式（３０）のうち、いずれか１つでも条件が満たされていない場合には、フラグに０を設定し、口領域を口ではないと判定したことを示す。この判定結果を表すフラグｍｏｕｆｌａｇは総合判定器２５に送られる。
【０１５８】
なお、ここでは判定条件として上記式（３０）を使用したが、上述した口の特徴を反映したものであれば他の条件を使用することも可能である。
【０１５９】
（３−５）抽出された領域が顔であるか否かの判定
総合判定部２５は、眼判定部２３及び口領域２４から送られてくる夫々フラグｅｙｅｆｌａｇ及びｍｏｕｆｌａｇがいずれも１である場合、即ち、領域設定部２１で設定した眼の領域及び口の領域が、夫々眼の特徴及び口の特徴を具えていると判定された場合に限り、現在注目している肌色領域を顔領域と判定し、その結果を２値のフラグｆａｃｅｆｌａｇとして出力する。
【０１６０】
なお、本実施の形態では、頭頂部の高さＴＯＨは眼の探索範囲を制限するために使用されているが、眼の高さＨＯＥが検出された後、この眼の高さＨＯＥと口の高さＨＯＭとを使用し、頭頂部の高さＴＯＨの検証を行なうようにしてもよい。即ち、眼と口との距離から頭頂部が存在すべき上限及び下限を例えば夫々下記式（３１）により算出する。
【０１６１】
【数３１】
頭頂部の高さＴＯＨがこれら２つの値の間にない場合には、頭頂部検出部１３において正しい高さが検出されなかったものとして、予め定められた方法により頭頂部の高さの修正を行なう。例えば、眼と口との距離に対する頭頂部と口との距離の比ｈ３を予め設定しておき、下記式（３２）により、頭頂部の高さＴＯＨを設定し直す。
【０１６３】
【数３２】
また、ここでは眼の領域、両眼間距離、及び口の領域の大きさを、上記式（２１）、（２２）、及び（２３）に示す肌色領域を囲む長方形領域の大きさに対して相対的に算出する方法について述べたが、肌色領域抽出において、影によって顔の一部が欠けて抽出されたり、又は、顔から肩のあたりまでが１つの肌色領域として抽出された場合、眼領域や口領域が適切に設定されない可能性がある。この問題を回避するために、例えば上記式（２１）乃至（２３）において、領域の大きさを決める係数Ｓ１、Ｓ２、Ｓ３を複数用意しておき、それぞれの値に対して判定を行なうようにすることができる。そして、何れかの係数に対して顔領域であるという判定が得られた場合、現在注目している肌色領域を顔領域と判定する。
【０１６５】
本実施の形態においては、抽出された肌色領域に基づき、頭頂部及び口の位置を検出し、これらの位置から眼の検索範囲を設定して眼の位置を検出するため、極めて高精度に眼の位置を検出することができる。また、顎の位置は、眼と口の位置から算出することにより、顔と首との輝度及び色の差が小さく、高精度に検出することが難しい場合にも顎の位置の検出を正確に行うことができる。更に、顔の中心線は、口の赤みの強さに基づき検出されるため、極めて高精度に顔中心線を検出することができる。更にまた、顔判定部において、眼のパターンらしさ及び口のパターンらしさを判定し、この判定結果に基づき顔であるか否かの総合判定をするため、複数の顔が含まれている場合であっても、顔であるか否かの判定結果の信頼性が高い。
【０１６６】
また、判定部１９により顔と判定される肌色領域が複数存在する場合に、複数の顔領域から、例えばその顔領域の位置に基づき１つの顔領域を選択する選択部（図示せず）を設けることもできる。これにより、例えば、複数の顔領域が存在する画像から１つの顔領域を抽出してトリミング処理を施すことができる。なお、判定部１９に、顔領域を選択する機能をもたせるようにしてもよい。
【０１６７】
第２の実施の形態
次に、本発明の第２の実施の形態について説明する。図１５は、本実施の形態の肖像画像撮影装置を示すブロック図である。本実施の形態においては、第１の実施の形態における画像処理装置を肖像画像（写真）撮影装置に応用したものである。
【０１６８】
図１５に示すように、肖像画像撮像装置３０は、電子スチルカメラ及びビデオカメラ等により、人物が撮影されたカラー画像が入力され、デジタルデータとして出力する撮像器３１と、画像データが入力されて顔領域を検出する顔検出器３２と、検出された顔領域が複数ある場合に、トリミングの対象となる顔領域を選択する領域選択器３３と、選択された顔領域のトリミングを行うトリミング器３４とから構成される。
【０１６９】
顔領域抽出器３２は、第１の実施の形態における画像処理装置の処理方法に従って、人物の顔領域を抽出する。但し、第１の実施の形態における判定部１９では、各肌色領域に対して顔であるか否かを表すフラグｆａｃｅｆｌａｇを出力するものとしたが、本実施の形態では、顔領域ではないと判定された肌色領域に対応する頂点座標Ｖ（ｎ）に、位置座標として無効な値の例えば−１を格納した後、これを領域選択器３３に送る。
【０１７０】
領域選択器３３では、顔領域判定器３２によって複数の領域が顔と判定された場合、これらの複数の領域の中からトリミングの対象となる顔領域を１つ選択する。例えば、撮像された画像には１人の人物しか存在していないことが明らかであれば、真の顔領域は１つであり、その他の領域は顔領域判定器３２における誤検出と考えられる。このような場合、真の顔領域は他の肌色領域よりも上部に位置するものと推定される場合は、頂点リストＶに含まれる有効な長方形のうち、その中心が最も上部に位置するものを選択するようにすることができる。
【０１７１】
また、撮像された画像に複数の人物が存在している可能性がある場合でも、撮像時の指示等により、入力画像においてトリミングの対象となる人物の顔が、例えば最も画像中央に近い位置に存在することを期待できる場合には、頂点リストＶに含まれる有効な長方形のうち、その中心が画像中央に最も近いものを選択するようにすることができる。
【０１７２】
更に、複数の顔の領域が抽出される主な理由が、例えば子供の顔を撮像するために、親がその子供を抱いて撮像することである場合、トリミングの対象となる子供の顔領域は、抽出された顔の領域の中で最も下部に位置すると推定できるため、頂点リストＶに含まれる有効な長方形のうち、その中心が最も下部に位置するものを選択するようにすることができる。
【０１７３】
これら対象領域選択の方法は、利用形態を考慮して予め設定しておく他に、インターフェース（図示せず）を設けることにより、撮影者及び／又は被撮影者等が手動で設定できるようにしておくことも可能である。
【０１７４】
選択された顔の領域以外の肌色領域に対応する頂点リストＶには位置座標として無効な値、例えば−１等が格納される。修正された頂点リストＶは、トリミング器３４に送られる。
【０１７５】
トリミング器３４は、送られてきた頂点リストＶに含まれる有効な長方形領域Ｖ（ｎ）に対応して、切り出す部分画像の位置を決定する。図１６は、入力カラー画像から切り出す部分画像の切り出し位置を示す模式図である。図１６に示すように、カラー画像１１０において、頂点リストＶの頂点座標Ｖ（ｎ）によって示される長方形領域１１１の中心位置（ｘ０、ｙ０）がトリミング後の画像１１２の所定の位置（ｔｘ０，ｔｙ０）と一致するように、下記式（３３）に示す２つの頂点座標で表される長方形領域を部分画像１１２として切り出す。
【０１７６】
【数３３】
ここで、ｔｗｄｔ及びｔｈｇｔは、予め設定されたトリミング後の画像の夫々幅（水平方向の長さ）及び高さ（垂直方向の長さ）を示す。
【０１７８】
トリミングされた画像は、プリンタ及びモニタ等、図示しない画像表示装置や、画像記憶装置等に出力される。
【０１７９】
なお、トリミング器３４におけるトリミング処理は、ここで述べたものに限定されるものではなく、例えば次に述べるような方法を用いることも可能である。
【０１８０】
即ち、顔領域抽出器３２は、頂点リストＶのほかに、各顔領域に対して算出された眼の高さＨＯＥ、及び中心線位置ＣＯＨをトリミング器３４に送る。トリミング器３４では、眼の高さと中心線がトリミングされた画像上において所定の位置となるように部分画像の切り出しを行なう。眼の高さＨＯＥの代わりに頭頂部の高さＴＯＨ又は口の高さＨＯＭを使用してもよい。
【０１８１】
特に、トリミング後の画像において頭部がはみ出すことが許容されない場合には、頭頂部の高さＴＯＨを用いることが有効である。但し、図１７に示すように、同一の入力カラー画像１２０において、複数の人物１２１，１２２が存在し、この人物１２１，１２２が水平方向に重なっている場合には、夫々頭頂部探索１２３，１２４範囲も重なってしまうため、人物１２１，１２２のうち、真の頭頂部がより下方（垂直座標が大きい）に位置する顔領域、即ち、肌色領域に対応する長方形領域の水平方向の辺のうち垂直座標が小さい方の辺における垂直座標が、より大きい顔領域を有する人物１２２に対しては頭頂部の高さＴＯＨが正しく検出できないことになる。従って、頭頂部の高さを使用したトリミングでは、トリミングすべき顔領域が一番上に位置していない限り、良好な結果が得られない可能性がある。このような問題を回避するために、頭頂部の高さのチェックを行なうと共に、その値が不適切である場合には修正を行なうようにしてもよい。
【０１８２】
例えば、ＴＯＨのチェックとしては、既に検出されている眼の高さＨＯＥ及び口の高さを使用し、下記式（３４）に示す条件が満たされているか否かを判定する。
【０１８３】
【数３４】
ここで、ｍｅｄｓｔは眼の高さと口の高さとの差ＨＯＥ−ＨＯＭであり、ｈ１，ｈ２は予め設定された係数である。上記式（３４）に示す条件が満たされない場合には、下記式（３５）によってＴＯＨの値を修正する。
【０１８５】
【数３５】
また、顔領域判定器３２において複数の領域が顔と判定された場合、複数の領域全てをトリミングの対象として選択するようにすることもできる。この場合、トリミング器３４では、顔と判定された複数の領域を全て含むような部分画像を切り出し、必要に応じて縮小処理を施して所定の大きさの画像を得る。
【０１８７】
本実施の形態においては、第１の実施の形態における画像処理装置を使用しているため、顔領域検出器により顔として検出された領域の信頼性が高く、更に顔領域検出器により、顔領域だけでなく、特徴点情報、即ち、人物の頭頂部、顔の口及び眼、顔中心線の位置を検出し、これらのデータを使用してトリミングを行うため、誤検出がなく、高信頼度及び高精度で所望の顔領域のトリミングが自動的に行える肖像画像撮影装置を得ることができる。
【０１８８】
また、画像に複数の人物が含まれている場合においても、アプリケーションに応じて適切なトリミングを行うことができる。例えば、病院等におけるフォトブースで親が子供を抱いて撮影した場合、抽出される顔領域の位置又は大きさ等の情報に基づき、領域選択器３３により、複数の顔領域から特定の顔領域を選択することができる。即ち、例えば、顔領域が２つ抽出された場合に、領域選択器３３により、その位置が画面下方又はその大きさが小さいものを選択するように設定しておけば、親が子供を抱いて撮影した場合に、子供の顔を抽出してトリミングすることができる。また、何れの顔領域についてもトリミングを行うように設定しておけば、１回の画像で複数のトリミング画像を得ることができる。
【０１８９】
第３の実施の形態
次に、本発明の第３の実施の形態について説明する。本実施の形態は、第２の実施の形態と同様に画像処理装置を肖像画像撮影装置に適用したものであって、図１５に示す第２の実施の形態と同様の構成を有する。即ち、撮像器３１、顔領域抽出器３２、領域選択器３３及びトリミング器３４から構成されるものであるが、トリミング器３４における処理が異なる。第２の実施の形態では、入力画像から所定の大きさの部分画像を切り出すことでトリミングを行なっているが、本実施の形態においては、切り出す顔領域の大きさの調整も合わせて行なうものとする。
【０１９０】
例えば、上述した第１の実施の形態と同様の方法で顔領域を抽出する図１５に示す顔領域抽出器３２により、頂点リストＶのほかに、人物の眼の高さＨＯＥ、口の高さＨＯＭ、及び中心線ＣＯＨがトリミング器３４に送られる。
【０１９１】
トリミング器３４は、先ず、トリミング画像上で要求される眼と口との間隔ｍｅｄｓｔと、入力カラー画像から得られたＨＯＥとＨＯＭとの差の比ｐとを下記式（３５）により算出し、縦及び横の長さがそれぞれｐ倍となるように入力画像を拡大又は縮小する。
【０１９２】
【数３６】
画像の拡大又は縮小に応じて、眼の高さＨＯＥ、口の高さＨＯＭ、及び中心線位置ＣＯＨの値もそれぞれ修正を行なう。画像の拡大処理及び縮小処理については既存のいかなる方法を使用してもよい。
【０１９４】
拡大又は縮小の施された画像に対して、眼の高さと中心線とがトリミングされた画像上において所定の位置となるように部分画像の切り出しを行なう。
【０１９５】
なお、ここでは大きさの調整を行なうために眼と口との間の間隔を使用したが、顔領域検出器３２で算出されている他の情報を使用できることもできることはいうまでもない。例えば、頭頂部と顎との間の間隔に基づいて上記式（３５）の比の値を算出してもよい。
【０１９６】
また、トリミングのための位置決めは、大きさの調整に使用した特徴点、即ち、眼及び口とは異なる特徴点に基づいて行なうことも可能である。即ち、眼と口との間の間隔で大きさの調整を行うとともに、頭頂部の高さ又は顎の高さと中心線とによって位置決めを行なうこともできる。
【０１９７】
更に、頭頂部の高さを使用する場合には、第２の実施の形態と同様、眼及び口の高さを使用してその値ＴＯＨを修正するようにしてもよい。
【０１９８】
本実施の形態においては、第２の実施の形態と同様に、顔領域抽出器から極めて高精度に検出された顔領域が入力されると共に、人物（顔）の特徴点を示す各データが入力されるため、トリミングの位置決め精度が高く、トリミングの際に拡大・縮小処理を行うことができる。
【０１９９】
第４の実施の形態
次に、本発明の第４の実施の形態について説明する。図１８は、本実施の形態における画像処理装置を示すブロック図である。本実施の形態は、上述の第１の実施の形態の画像処理装置と同様に、入力されたカラー画像から人物の顔領域を抽出する画像処理装置に適用したものであり、以下に示す第４の実施の形態において、図１乃至図１４に示す第１の実施の形態とは異なる部分についてのみ詳細な説明を行う。
【０２００】
本実施の形態における画像処理装置２１０は、カラー画像が入力され、このカラー画像をデジタルデータとして出力する画像入力部２１１と、このカラー画像から肌色領域を抽出する肌色領域抽出部２１２と、人物の頭頂部を検出する頭頂部検出部２１３と、人物の顔の中心線を検出する中心線検出部２１７と、人物の口を検出する口検出部２１４と、必要に応じて中心線を再検出し、中心線の修正を行う中心線修正部２２０と、人物の眼を検出する眼検出部２１５と、人物の顎位置を算出する顎検出部２１６と、顔領域を修正する領域修正部２１８と、抽出された肌色領域が人物の顔であるか否かを判定する判定部２１９とから構成されている。
【０２０１】
画像入力部２１１は、第１の実施の形態と同じものであるが、その出力であるカラー画像は、肌色領域抽出部２１２、頭頂部検出部２１３、口検出部２１４、眼検出部２１５、判定部２１９、及び中心線修正部２２０に送られる。
【０２０２】
また、肌色領域抽出部２１２も第１の実施の形態と同じものであるが、算出された領域マップＡは口検出部２１４、中心線検出部２１７、判定部２１９、及び中心線修正部２２０へ、頂点リストＶ（ｎ）は頭頂部検出部２１３へ送られる。
【０２０３】
頭頂部検出部２１３は、第１の実施の形態と同様に、頭頂部の高さＴＯＨを検出するものであるが、その検出に先立ち、頭頂部がカラー画像内に含まれているか否かの判定を行う機能を有している。頭頂部がカラー画像内に存在するか否かの判定には、例えば上記式（１０）と同様な方法によって、画像最上部からｍラインにおけるＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）の値の分散を算出し、それらの和が予め設定された閾値以下であるか否かで判定することができる。即ち、上記分散値の和が予め設定された閾値より大きい場合には、頭頂部がカラー画像内に存在しないと判定する。カラー画像内に頭頂部が存在しないと判定された肌色領域に対応する頂点リストＶ（ｎ）には、位置座標としては無効な値、例えばー１が格納される。ここで、頭頂部がカラー画像内に存在しないと判定された場合、カラー画像の最上端を頭頂部の位置としてもよい。又は、頭頂部が検出されなかった旨を例えば音声又は音等により通知し、使用者に再度撮影するよう催促するようにしてもよい。
【０２０４】
一方、頭頂部が存在すると判定された場合は、頭頂部の高さＴＯＨの検出を行い、検出された頭頂部の高さＴＯＨは、眼検出部２１５、及び領域修正部２１８に送られ、修正された頂点リストＶ（ｎ）は、口検出部２１４、眼検出部２１５、顎検出部２１６、中心線検出部２１７、領域修正部２１８、及び中心線修正部２２０に送られる。
【０２０５】
中心線検出部２１７は、頭頂部検出部２１３で修正された頂点リストＶ（ｎ）に無効ではない頂点座標を持つ各肌色領域に対して、肌色領域を左右に２分割する中心線の位置を検出する。但しここでは、第１の実施の形態と異なり、頂点リストＶ（ｎ）によって表される長方形内部において、肌色領域として抽出された画素（ｘ，ｙ）の水平方向の座標ｘの平均値を中心線の位置ＣＯＨとして検出する。検出された中心線位置ＣＯＨは口検出部２１４、及び中心線修正部２２０に送られる。
【０２０６】
口検出部２１４は、頭頂部検出部２１３で修正された頂点リストＶ（ｎ）に無効ではない頂点座標を持つ各肌色領域に対して、口の高さを検出する。第１の実施の形態と同様に、本実施の形態においても、赤みの強さを表す上記式（１１）の値ｒｄｓｈ（ｘ，ｙ）を水平方向に累積して得られるヒストグラムＨｒｄｓｈ（ｙ）を用いる。このとき、その累積範囲は、図１９の斜線で示すように、中心線検出部２１７によって検出された中心線位置ＣＯＨの周辺部の領域２４１に制限する。すなわち本実施の形態におけるヒストグラムＨｒｄｓｈ（ｙ）は下記式（３７）によって生成される。
【０２０７】
【数３７】
ここで、ｌｗは、あらかじめ設定された０より大きく１より小さい係数である。ヒストグラムＨｒｄｓｈ（ｙ）は、必要に応じて１次元ローパスフィルタによって平滑化された後、その最大値に対応する垂直座標ｙが口の高さＨＯＭとして検出される。
【０２０９】
更に、本実施の形態においては、赤みの強い画素の空間的な分布に応じて検出された口の高さＨＯＭの信頼度ｌｉｐｃｏｎｆを算出する。口は、水平方向には顔の中心にあり、口を構成する画素は中心線位置ＣＯＨを中心として比較的狭い範囲に存在していると推測できる。そこで、赤みの強い画素が空間的に大きく広がっている場合、即ち、赤みが所定の閾値以上である画素の分布が大きい場合には、検出された口の高さの信頼度が低いと評価する。
【０２１０】
信頼度ｌｉｐｃｏｎｆは例えば、次のように算出することができる。即ち、先ず、検出された中心線位置ＣＯＨと口の高さＨＯＭとから決まる座標（ＣＯＨ，ＨＭＯ）を中心とする図２０に斜線で示すような長方形領域Ｒｍを設定して、この長方形領域Ｒｍの内部に存在する各画素に対して上記式（１１）によって定義される赤みの強さを算出すると共に、算出された赤みの強さｒｄｓｈ（ｘ，ｙ）が予め設定された閾値Ｔｒｄｓｈよりも大きい画素を選択し、それらの水平座標ｘの標準偏差をｘｓｄｖ算出する。即ち、ｘｓｄｖの算出は、下記式（３８）に示すように行われる。
【０２１１】
【数３８】
信頼度ｌｉｐｃｏｎｆを算出するための長方形領域Ｒｍは、中心線位置ＣＯＨと現在注目している肌色領域に対応する頂点リストＶ（ｎ）から、例えば下記式（３９）のように設定することができる。
【０２１３】
【数３９】
ここで、ｍｔｏｐ，ｍｂｔｍは上記式（１７）に示したものと同じである。
【０２１５】
次に、下記式（４０）に示すように、値域が０以上１以下である適当な単調増加関数Ｆを用い、算出された標準偏差ｘｓｄｖを信頼度ｌｉｐｃｏｎｆに変換する。
【０２１６】
【数４０】
ここで、Ｖ（ｎ）．ｅｄｘ−Ｖ（ｎ）．ｓｔｘ＋１は、現在注目している肌色領域を囲む長方形領域の水平方向の幅を表している。
【０２１８】
検出された口の高さＨＯＭは眼検出部２１５、顎検出部２１６、中心線修正部２２０及び判定部２１９に送られる。また、信頼度ｌｉｐｃｏｎｆは中心線修正部２２０、判定部２１９に送られる。
【０２１９】
なお、更に正確に口の高さを検出するために、第１の実施の形態と同様に、注目画素の位置やその注目画素の明るさに応じて赤みの強さｒｄｓｈに重み付けを行なうようにすることもできることはいうまでもない。また、口の高さの信頼度ｌｉｐｃｏｎｆを算出する際には、各画素の水平座標に対して同様の重み付けを行うこともできる。更に、ここでは信頼度の計算に寄与する画素を予め設定された閾値Ｔｒｄｓｈに基づいて選択しているが、この閾値を適応的に設定することも可能である。例えば、図１９に斜線で示した領域２４４の内部において、各画素の赤みの強さの平均値を算出し、その値に適当な係数を積算して得られる値を信頼度算出のための閾値Ｔｒｄｓｈとして用いることもできる。
【０２２０】
中心線修正部２２０は、頭頂部検出部２１３で修正された頂点リストＶ（ｎ）に無効ではない頂点座標を持つ各肌色領域に対して、口検出部２１４で算出された口の高さの信頼度ｌｉｐｃｏｎｆの値が予め設定された閾値よりも大きい場合にのみ、第１の実施の形態における中心線検出部１７と同様の方法、即ち例えば赤みの強さの値が閾値よりも大きくなる画素の水平座標の平均値をロバスト推定により求め、これを中心線の水平座標位置として検出する再検出を行い、その結果を出力する。信頼度ｌｉｐｃｏｎｆが閾値以下であるときは、第１の実施の形態のように、赤みの強さに基づいて中心線を検出すると誤検出が生じるおそれがあるため、既に中心線検出部２１７で検出された中心線位置ＣＯＨをそのまま出力する。出力された中心線位置ＣＯＨは領域修正部２１８、判定部２１９に送られる。
【０２２１】
眼検出部２１５は、頭頂部検出部２１３で修正された頂点リストＶ（ｎ）に無効ではない頂点座標を持つ各肌色領域に対して、眼の高さを検出する。但し、第１の実施の形態では、上記式（１４）に示したエッジ強度のヒストグラムＨｅｄｇｅ（ｙ）の最大値に対応する唯一の垂直座標のみを眼の高さＨＯＥとして検出したが、本実施の形態においては、このヒストグラムの極大点に対応する複数の垂直座標を眼の高さ候補として検出するものとする。ヒストグラムＨｅｄｇｅ（ｙ）の極大点座標は、例えば下記式（４１）を満たすような座標ｙとして検出することができる。
【０２２２】
【数４１】
肌色領域ｎに対して検出された眼の高さの候補の座標は、予め定められた優先順位ｉに従って、リストｅｙｅｌｉｓｔ（ｎ，ｉ）に格納される。優先順位の決定には、例えば、ヒストグラムＨｅｄｇｅ（ｙ）の値を用いることができる。この場合、リストｅｙｅｌｉｓｔ（ｎ，ｉ）には、肌色領域ｎに対して得られたヒストグラムＨｅｄｇｅ（ｙ）の値がｉ番目に大きな極大点の垂直座標が格納されることになる。眼の高さの候補の座標が格納されたリストｅｙｅｌｉｓｔ（ｎ，ｉ）は、顎検出部２１６及び判定部２１９に送られる。
【０２２４】
なお、各肌色領域に対する眼の高さ候補の座標リストｅｙｅｌｉｓｔ（ｎ，ｉ）には、検出された全ての極大点の垂直座標を格納する必要はなく、例えばノイズなどの影響を避けるため、ヒストグラムの値が大きいものから順に、あらかじめ設定された個数の極大点のみを格納するようにしてもよい。
【０２２５】
顎検出部２１６では、頭頂部検出部２１３で修正された頂点リストＶ（ｎ）に無効ではない頂点座標を持つ各肌色領域に対して、第１の実施の形態１と同様の方法によって顎の高さを検出する。但し、本実施の形態においては、第１の実施の形態にて説明した１つの眼の高さＨＯＥではなく、複数の眼の高さ候補があるため、各眼の高さ候補に対して顎の高さの候補を算出し、顎の高さリストｃｈｉｎｌｉｓｔ（ｎ，ｉ）に格納する。ここで、ｎは現在処理している肌色領域の番号であり、ｉは対応する眼の高さ候補の優先順位を表している。算出されたリストｃｈｉｎｌｉｓｔ（ｎ，ｉ）は、領域修正部２１８に送られる。
【０２２６】
領域修正部２１８は、頭頂部検出部２１３で修正された頂点リストＶ（ｎ）に無効ではない頂点座標を持つ各肌色領域に対して、第１の実施の形態における上記式（２０）と同様の方法によって肌色領域ｎを囲む長方形領域を算出する。但し、本実施の形態においては、目の高さ候補に対応して複数の顎の高さ候補ｃｈｉｎｌｉｓｔ（ｉ）が存在するため、各顎の高さ候補に対して長方形領域を算出するとともに、その頂点座標を上記式（６）で示したのと同様の方法によって頂点リストＶ’（ｎ，ｉ）に格納する。ここで、ｉは顎の高さ候補に対応する眼の高さ候補の優先順位を表している。算出された新たな頂点リストＶ’（ｎ，ｉ）は、判定部２１９に送られる。なお、肌色領域ｎに対応する頂点リストＶ（ｎ）に格納された頂点座標が無効である場合には、新たな頂点リストＶ’（ｎ，ｉ）の全ての優先順位ｉに対しても無効な座標値を格納することとする。
【０２２７】
判定部２１９は、領域修正部２１８において算出された頂点リストＶ’（ｎ，ｉ）に無効ではない頂点座標を持つ各肌色領域に対して、その肌色領域が顔領域であるか否かの判定を行ない、その判定結果を表す２値のフラグｆａｃｅｆｌａｇを出力するが、その判定の方法が第１の実施の形態とは異なる。第１の実施の形態においては、眼の高さＨＯＥと口の高さＨＯＭとがそれぞれ１つずつ検出されるため、その組み合わせは１通りであり、第１の実施の形態における判定部１９ではこの１つの組み合わせについて顔領域であるか否かの判定を行う。これに対して、本実施の形態において、眼の高さに関して複数の眼の高さ候補が検出されており、眼の高さ候補の数をＮ個とした場合、口の高さＨＯＭとの組み合わせはＮ個存在することになる。判定部２１９は、これら複数個の組み合わせに対して顔領域であるか否かの判定を行い、いずれかの組み合わせにおいて顔領域の条件を満足するものが存在した場合には、対応する肌色領域を顔領域と判定すると共に、その組み合わせにおける眼の高さ候補を真の眼の高さＨＯＥとする。顔領域の条件を満たす複数の組み合わせが存在する場合には、最も優先順位ｉが高い眼の高さ候補をＨＯＥとする。なお、いずれの組み合わせに対しても顔領域の条件が満足されない場合、対応する肌色領域が顔領域ではないと判定する。
【０２２８】
図２１は、本実施の形態の判定部２１９を示すブロック図である。図２１に示すように、判定部２１９は、左右の眼の領域及び口領域を設定する領域設定部２３１と、長方形領域内の肌色画素における水平方向のエッジ（水平エッジ）を算出する水平エッジ検出部２３２と、眼であるか否かを判定する眼パターン判定部２３３と、口であるか否かを判定する口パターン判定部２３４と、口の高さに基づき眼の高さが正確か否かを判定する目口間距離判定部２３６と、眼パターン判定部２３３、口パターン判定部２３４及び目口間距離判定部２３６の判定結果から顔であるか否かを判定する総合判定部２３５とから構成される。
【０２２９】
領域設定部２３１では、肌色領域ｎに対して、口の高さＨＯＭ及び頂点リストＶ’（ｎ，ｉ）から、第１の実施の形態と同様な方法によって口領域が設定され、その結果がＶｍｏｕに格納される。一方、リストｅｙｅｌｉｓｔ（ｎ，ｉ）から眼の高さ候補が１つ選択され、これと頂点リストＶ’（ｎ，ｉ）から、第１の実施の形態と同様な方法によって右眼領域、及び左眼領域が設定され、夫々ＶｅｙｅＲ及びＶｅｙｅＬに格納される。このとき、選択される眼の高さ候補は、この時点までにいまだ顔領域の判定に用いていないものの中で、もっとも優先順位ｉが高いものとする。設定された右眼領域ＶｅｙｅＲ、左眼領域ＶｅｙｅＬ及び口領域Ｖｍｏｕは、眼口間距離判定部６６に送られると共に、ＶｅｙｅＲ、ＶｅｙｅＬは眼パターン判定部２３３へ、Ｖｍｏｕは口判定部２３４へも送られる。
【０２３０】
なお、この領域設定部２３１において設定された右眼領域、左眼領域及び口領域に基づいて顔領域の判定が行われるが、その結果である２値のフラグｆａｃｅｆｌａｇは後述する総合判定部２３５から領域設定部２３１に戻される。この判定結果が顔領域でないことを示す場合には、リストｅｙｅｌｉｓｔ（ｎ，ｉ）に格納された眼の高さ候補のうち、次に優先順位ｉの高い眼の高さ候補が選択されて、右眼領域ＶｅｙｅＲ。左眼領域ＶｅｙｅＬが再設定されると共に。これらを用いた顔領域の判定が繰り返される。
【０２３１】
また、ここで用いた眼の高さ候補がリストｅｙｅｌｉｓｔ（ｎ，ｉ）における最低順位のものである場合には、２値のフラグｌａｓｔｏｆｌｉｓｔに、例えば１の値を設定する。これに対し、判定に用いるべき眼の高さ候補がまだ存在する場合には、フラグｌａｓｔｏｆｌｉｓｔに、例えば０の値を設定する。値の設定されたフラグｌａｓｔｏｆｌｉｓｔは後述の総合判定部２３５に送られる。
【０２３２】
眼口間距離判定部２３６では，図２２に示すように、口の高さＨＯＭに対して領域設定部２３１で選択された眼の高さ候補ｅｙｅｌｉｓｔ（ｎ，ｉ）が適切であるか否かの判定を行う。この判定は、例えば、領域設定部２３１で設定された口領域の幅ｍｏｕｓｉｚｅｘを用いて、下記式（４２）式が満たされるか否かを調べることによって行うことができる。
【０２３３】
【数４２】
ここで、ｔ１，ｔ２は眼と口との間の垂直方向の距離Ｌｍｅに対する閾値を決めるための係数であり、あらかじめ適切な値が設定されている。
【０２３５】
上記式（４２）が満たされない場合には、口の幅ｍｏｕｓｉｚｅｘに対して、眼と口との間の距離Ｌｍｅが大きすぎるか、又は小さすぎると判断し、眼の高さ候補ｅｙｅｌｉｓｔ（ｎ，ｉ）が不適切であると判定する。これに対し、上記式（４２）が満足される場合には、眼の高さ候補ｅｙｅｌｉｓｔ（ｎ，ｉ）が適切であると判定する。この判定結果は２値のフラグｅｙｅｌｉｐｄｓｔで表され、例えば眼の高さ候補が適切であると判定された場合には１の値が、また、不適切であると判定された場合には０の値が設定される。ここで設定されたフラグｅｙｅｌｉｐｄｓｔは後述の総合判定部２３５に送られる。
【０２３６】
水平エッジ検出部２１２は、第１の実施の形態のものと同一のものとすることができ、ここで生成されたエッジマップＭｅｄｇｅは眼パターン判定部２１３，及び口パターン判定部２１４に送られる。
【０２３７】
眼パターン判定部２３３は、図１２に示した第１の実施の形態における眼パターン判定部２３とほぼ同様の処理を行うが、本実施の形態では、更に眼鏡の有無を判定し、その判定結果に応じて眼のパターン判定を行う点が異なる。
【０２３８】
被写体が眼鏡を装着している場合、図２３に示すように眼鏡フレーム２４２の両眼２つのレンズをつなぐ部分２４２ａが両眼の間に存在するため、眼鏡のデザインによっては、水平エッジ検出部２３２において両眼間の領域に多くのエッジが検出される。ところが、上記式（２７）に示した第１の判定条件は、両眼間に存在する水平エッジが少ないことを仮定しているため、被写体が眼鏡を装着している場合には、その眼のパターンが正しく判定されない可能性が高くなる。
【０２３９】
そこで本実施例では、領域設定部２３１で設定した右眼領域及び左眼領域の周辺部分において、眼鏡の特徴を示すパターンが存在するか否かを調べ、眼鏡の特徴が検出された場合には、上記式（２７）の閾値Ｔｅｄｓｔとして、より小さい値を用いることで、眼鏡を装着した被写体の眼のパターンが正しく判定されるようにする。
【０２４０】
眼鏡の特徴としては、例えば、両眼間に存在する眼鏡のフレームが水平方向に細長く伸びていることを利用し、下記式（４３）に示すような条件によって、その特徴の存在を判定することができる。
【０２４１】
【数４３】
上記式（４３）の第１の不等式において、ａｒｅａＭは，右眼領域２４３Ｒと左眼領域２４３Ｌとに挟まれた、図２４に斜線で示すような両眼間の領域２４４に存在する画素の総数であり、ｅｃｏｕｎｔＭはこの両眼間領２４４において下記式（４４）のようにカウントされる水平エッジの画素数である。
【０２４３】
【数４４】
ここでｅｙｅＭは両眼間領域２４４に存在する画素の集合を現す。また、（４３）式の第２の不等式におけるｅｓｄｖｘ，及びｅｓｄｖｙは、両眼間領域２４４における夫々水平エッジ画素の水平座標ｘの標準偏差及び垂直座標ｙの標準偏差を表している。Ｔｇｌｓｄｎｓｔｙ，Ｔｇｌｓａｓｐｃｔは、予め設定された閾値である。
【０２４５】
以上のことより、上記式（４３）式の条件は、両眼間領域２４４における水平エッジの密度が高く、またそれらの水平エッジが水平方向に広がっている場合に、これを眼鏡のフレームによるパターンであるとみなして被写体が眼鏡を装着しているものと判定することを表している。
【０２４６】
口パターン判定部２３４は、図１２に示した第１の実施の形態における口パターン判定部２４とほぼ同様の処理を行うが、本実施の形態では、更に口検出部２３４で算出された口の高さの信頼性ｌｉｐｃｏｎｆに応じて口のパターン判定を行う点が異なる。
【０２４７】
第１の実施の形態の口パターン判定部２４では、上記式（３０）によって口のパターン判定を行うが、その中の第３の判定条件は、口の高さにおいて、口領域Ｖｍｏｕ内部における赤みの強さがその周辺よりも強いという仮定に基づいている。しかしながら、図２５に示すように、赤い服の着用等により赤みの強い領域が口と同じ高さに存在すると、上述の仮定が必ずしも成立するとは限らず、正しい顔領域の判定が行えない場合がある。
【０２４８】
そこで、本実施の形態においては、口の高さを検出する際に算出した口の高さの信頼性ｌｉｐｃｏｎｆが低い場合には、上記式（３０）における第３の判定条件を緩和する。図２５の例のように、赤みの強い服２４５を着用する等、被写体の着用した服によって顔の両側に赤みの強い領域が存在する場合、赤みの強い画素は水平方向に広く分布することになるが、これにより、上記式（３８）によって算出される赤みの強い画素の水平座標ｘの標準偏差は大きな値となるため、口の高さの信頼性ｌｉｐｃｏｎｆが低下する。このとき、上記式（３０）の第３の判定条件における閾値Ｔｃｄｓｔｍを、例えば下記式（４５）に示すようにｌｉｐｃｏｎｆに応じて小さくすることにより、口パターンを正しく判定することができるようになる。
【０２４９】
【数４５】
総合判定部２３５では、眼口間距離判定部２３６、眼パターン判定部２３３、並びに口パターン判定部２３４から送られてくる２値のフラグｅｙｅｌｉｐｄｓｔ、ｅｙｅｆｌａｇ、及びｍｏｕｆｌａｇがいずれも１である場合、即ち、領域設定部２３１で設定した眼の領域及び口の領域がそれぞれ眼の特徴、口の特徴を備えていると判定された場合、判定結果を表す２値のフラグｆａｃｅｆｌａｇに、例えば１の値を設定して出力するとともに、現在の肌色領域ｎに対する顔領域の判定処理を修了し、次の肌色領域ｎ＋１に対する顔領域の判定を開始する。
【０２５１】
一方，ｅｙｅｌｉｐｄｓｔ、ｅｙｅｆｌａｇ及びｍｏｕｆｌａｇのいずれかのフラグが１でない場合には、フラグｆａｃｅｆｌａｇに例えば０の値を設定する。このとき、領域設定部２３１から送られてくるフラグｌａｓｔｏｆｌｉｓｔを参照し、その値が１である場合、即ち用いた眼の高さ候補がリストｅｙｅｌｉｓｔ（ｎ，ｉ）の最低順位のものである場合には、現在の肌色領域ｎが顔領域ではないと判定し、例えば０に設定されたｆａｃｅｆｌａｇを出力すると共に、現在の肌色領域ｎに対する顔領域の判定処理を修了し、次の肌色領域ｎ＋１に対する顔領域の判定を開始する。
【０２５２】
これに対して、フラグ（制御信号）ｌａｓｔｏｆｌｉｓｔが０である場合には、判定結果であるｆａｃｅｆｌａｇを領域判定部２３１に戻し、次に優先順位ｉが大きい眼の高さ候補を用いて同じ肌色領域ｎに対する顔領域の判定処理を継続する。
【０２５３】
なお、本実施の形態においても、第１の実施の形態と同様、顔や肌色領域の連結の問題を回避するために、上記式（２１）、（２３）において領域の大きさを決める係数Ｓ１，Ｓ２，Ｓ３を複数用意しておき、それぞれの値に対して判定を行なうようにすることが可能なことは言うまでもない。
【０２５４】
本実施の形態においては、カラー画像内に頭頂部が含まれていない場合、適切に人物の顔領域が撮影されていないとして、撮影のしなおしを促すことが可能となる。
【０２５５】
また、顔を左右に分割する中心線を、肌色領域を構成する画素の空間的な分布から算出すると共に、口の高さを中心線周辺における赤みの強さから検出するため、赤みの強い服を着用している場合にも、正確に口の高さ及び中心線を検出することができ、検出された口の高さの信頼度を算出し、この信頼度が高い場合にはロバスト推定によって中心線位置の修正を行うため、肌色領域が影などの影響で欠落している場合にも、正確に中心線を検出することが可能となる。
【０２５６】
更に、口の高さの信頼度を考慮することにより、より正確に口パターンらしさを評価することができ、また、複数の眼の高さの候補を算出し、各眼の高さ候補に対して眼のパターンらしさの判定を行うと共に、眼鏡装着の有無の判定を行うことにより、眼鏡装着の場合にもより正確に眼のパターンらしさを判定することができ、眼の高さの検出における誤検出を軽減することが可能となる。
【０２５７】
更にまた、口の幅に対する眼と口との間の距離を評価し、口のパターンらしさ及び眼のパターンらしさに反映させるため、より正確に顔領域の判定を行うことが可能となる。
【０２５８】
なお、本実施の形態における画像処理装置を上述した第２及び第３の実施の形態における肖像画像撮影装置に適用できることは言うまでもない。
【０２５９】
【発明の効果】
以上詳細に説明したように本発明に係る画像処理方法によれば、入力されたカラー画像から肌色の領域を抽出する肌色領域抽出工程と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点を検出する特徴点検出工程と、上記特徴点に基づき、上記肌色領域が顔領域であるか否かを判定する判定工程とを有して顔領域を抽出するので、抽出した肌色領域に基づき顔の特徴点を検出し、この特徴点に基づき肌色領域が顔であるか否かを判定することができ、誤検出を低減し、入力カラー画像から高速且つ正確に顔領域を抽出することが可能となると共に、特徴点に基づき顔か否かを判定するため、正確な判定をすることができる。
【０２６０】
また、本発明に係る肖像写真撮影装置によれば、人物を撮影して肖像写真の作成を行なう肖像写真撮影装置において、入力カラー画像から肌色の領域を抽出する肌色領域抽出手段と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点を検出する特徴点検出手段と、上記特徴点から、上記肌色領域が顔領域であるか否かを判定する判定手段とを具備し、顔領域を抽出する顔領域抽出手段と、上記顔領域抽出手段によって抽出された顔領域から、トリミングの対象となる顔領域を選択する選択手段と、上記選択された顔の領域からトリミングの位置決めを行なう位置決め手段とを有し、上記カラー画像から上記人物の顔領域を抽出し該顔領域が所定の位置となるように自動的にトリミングを行なう自動トリミング手段を有するので、顔領域抽出手段により、入力カラー画像から高速且つ正確に顔領域を抽出し、正確に顔領域を顔であるか否かを判定することができ、顔領域抽出手段より検出された肌色領域及び各特徴点の情報を使用してトリミング処理をするため、正確に自動トリミング処理を行なうことが可能であり、これにより、良好な肖像写真を自動で撮影することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における画像処理装置１０を示すブロック図である。
【図２】抽出された肌色画素を示す模式図である。
【図３】肌色領域を囲む閉領域を示す模式図である。
【図４】長方形領域の頂点座標を示す模式図である。
【図５】カラー画像における人物の頭頂部を検索する際の検索範囲を示す模式図である。
【図６】長方形領域の水平方向の赤み強度が累積されて生成されたヒストグラムＨｒｄｓｈと長方形領域との関係を示す模式図である。
【図７】水平エッジの強度を算出する際に使用される微分フィルタの微分係数を示す図である。
【図８】人物の眼、口及び顎の位置の関係を示す模式図である。
【図９】エッジを構成する画素が水平方向に累積されて生成されたヒストグラムＨｅｄｇｅ（ｙ）と肌色領域７１に対応する長方形領域７２との関係を示す模式図である。
【図１０】肌色領域に対応する長方形領域における口の高さＨＯＭ及び検索範囲ｍｔｏｐ、ｍｂｔｍを示す模式図である。
【図１１】修正後の長方形領域の頂点座標｛（ｓｔｘ、ｓｔｙ），（ｅｄｘ、ｅｄｙ）｝を示す模式図である。
【図１２】本発明の第１の実施の形態における画像処理装置の判定部を示すブロック図である。
【図１３】口の高さＨＯＭ、及び眼の高さＨＯＥから推定され、頂点座標Ｖ（ｎ）が示す長方形領域内に設定された右眼、左眼及び口の領域を示す模式図である。
【図１４】垂直エッジ強度を算出する際に使用する微分フィルタの微分係数を示す図である
【図１５】本発明の第２の実施の形態の肖像画像撮影装置を示すブロック図である。
【図１６】入力カラー画像から切り出す部分画像の切り出し位置を示す模式図である
【図１７】同一の入力カラー画像１２０において、複数の人物１２１，１２２が存在し、この人物１２１，１２２が水平方向に重なっている場合の頭頂部検索範囲を示す模式図である。
【図１８】本発明の第４の実施の形態における画像処理装置を示すブロック図である。
【図１９】長方形領域における赤み強さの累積範囲を示す模式図である。
【図２０】口の高さの信頼性を算出するために設定される長方形領域Ｒｍを示す模式図である。
【図２１】本発明の第４の実施の形態における画像処理装置の判定部を詳細に示すブロック図である。
【図２２】口の高さＨＯＭに対して眼の高さ候補ｅｙｅｌｉｓｔ（ｎ，ｉ）が適切であるか否かの判定を行う眼口間距離判定部における判定方法を説明するための模式図である。
【図２３】眼鏡を装着している被写体を示す模式図である。
【図２４】右眼領域と左眼領域とに挟まれた両眼間の領域を示す模式図である。
【図２５】赤い服の着用等により赤みの強い領域が口と同じ高さに存在する場合を示す模式図である。
【符号の説明】
１０，２１０ 画像処理装置、１１，２１１ 画像入力部、１２，２１２ 肌色領域抽出部、１３，２１３ 頭頂部検出部、１４，２１４ 口検出部、１５，２１５ 眼検出部、１６，２１６ 顎検出部、１７，２１７ 中心線検出部、１８，２１８ 領域修正部、１９，２１９ 判定部、２１，２３１ 領域設定部、２２，２３２ 水平エッジ検出部、２３，２３３ 眼パターン判定部、２４，２３４ 口パターン判定部、２５，２３５ 総合判定部、３０ 肖像画像撮像装置、３１ 撮像器、３２ 顔検出器、３３ 領域選択器、３４ トリミング器、２２０ 中心線修正部、 ２３６ 目口間距離判定部
Claims (60)
- 入力されたカラー画像から、人物の顔領域を抽出するための画像処理方法において、
肌色の領域を抽出する肌色領域抽出工程と、
上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点の位置を検出する特徴点検出工程と、
上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定工程と
を有することを特徴とする画像処理方法。 - 上記特徴点検出工程は、上記肌色領域を含む閉領域における水平方向の赤み強度分布に基づき口の位置としての垂直方向の位置座標を検出する口検出工程を有する
ことを特徴とする請求項１記載の画像処理方法。 - 上記特徴点検出工程は、上記肌色領域を含む閉領域における水平方向の赤み強度の累積値が最も大きい垂直方向の位置座標を口の位置として検出する口検出工程を有する
ことを特徴とする請求項２記載の画像処理方法。 - 上記赤み強度は、各画素における３原色の値をＲ、Ｇ、Ｂとしたとき、ＧがＢよりも大きい場合はＧに対するＲの比とＧに対するＢの比とを積算した値とし、ＧがＢよりも小さい場合はＢに対するＲの比とＢに対するＧの比とを積算した値とする
ことを特徴とする請求項２記載の画像処理方法。 - 上記口検出工程では、上記閉領域内に存在し、かつ肌色領域に属さない画素の上記赤み強度のみを使用して上記口の位置が検出される
ことを特徴とする請求項２記載の画像処理方法。 - 上記口検出工程では、上記閉域内における画素の位置に応じて上記赤み強度に異なる重み付けをして上記赤み強度分布が求められる
ことを特徴とする請求項２記載の画像処理方法。 - 上記口検出工程では、上記閉域内における画素の明るさに応じて上記赤み強度に異なる重み付けをして上記赤み強度分布が求められる
ことを特徴とする請求項２記載の画像処理方法。 - 上記特徴点検出工程は、上記肌色領域を含む閉領域内の水平方向のエッジの強度分布に基づき眼の位置としての垂直方向の位置座標を検出する眼検出工程を有する
ことを特徴とする請求項１記載の画像処理方法。 - 上記特徴点検出工程は、上記閉領域内の水平方向のエッジの強度の水平方向の累積値が最も大きい垂直方向の位置座標を眼の位置として検出する眼検出工程を有する
ことを特徴とする請求項８記載の画像処理方法。 - 上記特徴点検出工程は、上記人物の頭頂部における垂直方向の座標位置を検出する頭頂部検出工程と、上記閉領域における水平方向の赤み強度分布に基づき口の位置としての垂直方向の位置座標を検出する口検出工程とを有し、
上記眼検出工程では、上記口の位置と上記頭頂部の位置とに基づき眼の探索範囲を設定し、この探索範囲内から上記眼の位置が検出される
ことを特徴とする請求項９記載の画像処理方法。 - 上記頭頂部検出工程では、人物の背景が単一色である場合、上記肌色領域の上方の領域を上記入力カラー画像最上部から下方へ走査し、上記背景色と異なる色の画素が出現する位置が上記頭頂部の位置として検出される
ことを特徴とする請求項１０記載の画像処理方法。 - 上記入力カラー画像最上部から下方への走査では、随時更新した背景色と各画素との色の比較する
ことを特徴とする請求項１１記載の画像処理方法。 - 上記頭頂部検出工程では、上記人物を含まない背景のみの画像と、上記人物が含まれる画像との画素毎の差分を算出し、この差分が予め設定された閾値以上の画素のうち、最上部に存在する画素の座標が上記頭頂部の位置として検出される
ことを特徴とする請求項１０記載の画像処理方法。 - 上記特徴点検出工程は、上記人物の頭頂部における垂直方向の座標位置を検出する頭頂部検出工程を有し、
上記頭頂部検出工程は、上記頭頂部が上記入力カラー画像内に存在するか否かを判定する頭頂部判定工程を有し、該頭頂部判定結果に基づき上記肌色領域が顔領域であるか否かを判定することを特徴とする請求項１記載の画像処理方法。 - 上記頭頂部判定工程では、上記肌色領域の上方の領域を上記入力カラー画像最上部から下方へ予め設定された数の走査線における画素値の分散が算出され、この分散値が所定の閾値よりも大きい場合には、上記頭頂部が上記入力カラー画像内に存在しないと判定されることを特徴とする請求項１４記載の画像処理方法。
- 上記特徴点検出工程では、上記頭頂部判定工程にて、上記頭頂部が上記入力カラー画像内に存在しないと判定された場合、該入力カラー画像の最上部が上記頭頂部の位置とされることを特徴とする請求項１４記載の画像処理方法。
- 上記判定工程では、上記頭頂部判定工程にて、上記頭頂部が上記入力カラー画像内に存在しないと判定された場合、上記肌色領域が顔領域ではないと判定されることを特徴とする請求項１４記載の画像処理方法。
- 上記特徴点検出工程は、上記口の位置に基づき、上記人物の顔を左右に分割する中心線の位置を検出する中心線検出工程を有する
ことを特徴とする請求項２記載の画像処理方法。 - 上記中心線検出工程では、上記口の位置近傍の座標における上記赤み強度が大きい画素の重心位置を算出し、この重心位置の水平方向の位置座標を検出する
ことを特徴とする請求項１８記載の画像処理方法。 - 上記中心線検出工程では、上記口の位置近傍の座標において上記肌色領域に属さず、かつ上記赤み強度が所定の閾値以上の画素の重心位置を算出し、この重心位置の水平方向の位置座標を検出する
ことを特徴とする請求項１８記載の画像処理方法。 - 上記中心線検出工程では、ロバスト推定を使用して上記重心位置を算出する
ことを特徴とする請求項１９記載の画像処理方法。 - 上記特徴点検出工程は、上記肌色領域を構成する画素の空間的な分布から顔を左右に分割する中心線の位置を検出する中心線検出工程を有し、
上記口検出工程では、上記赤み強度に対して上記中心線からの距離に応じた重み付けを行って上記口の位置が検出されることを特徴とする請求項２記載の画像処理方法。 - 上記口検出工程では、検出された上記口の位置近傍における画素の赤み強度の空間的な分布から、上記口の位置の信頼度を算出し、上記信頼度が所定の閾値以上である場合に、上記中心線の位置を修正することを特徴とする請求項２２記載の画像処理方法。
- 上記口の位置の信頼度は、上記検出された口の位置近傍における赤み強度が所定の閾値以上の画素の空間的な分布が大きいほど小さくなることを特徴とする請求項２３記載の画像処理方法。
- 上記検出された口の位置近傍における赤みの強度が所定の閾値以上の画素の空間的な分布は、当該画素の位置座標に当該画素の明るさに応じた重み付けがなされて算出されることを特徴とする請求項２４記載の画像処理方法。
- 上記中心線の位置の修正には、ロバスト推定が使用されることを特徴とする請求項２３記載の画像処理方法。
- 上記判定工程では、上記眼の位置近傍の領域における水平方向のエッジが所定の閾値以上となる画素の分布状態に基づき眼のパターンらしさを評価し、上記口の位置近傍の領域における水平方向のエッジが所定の閾値以上となる画素の分布状態及び色の分布状態に基づき口のパターンらしさを評価し、上記眼のパターンらしさ及び上記口のパターンらしさの評価が所定の閾値以上である場合に上記肌色領域が顔領域であると判定する
ことを特徴とする請求項８記載の画像処理方法。 - 上記判定工程は、眼鏡の有無を検出する眼鏡検出工程を有し、この眼鏡検出結果に応じて眼のパターンらしさを評価することを特徴とする請求項２７記載の画像処理方法。
- 上記眼の位置近傍に右眼領域及び左眼領域を設定し、該右眼領域及び左眼領域内の水平方向のエッジが所定の閾値以上となる画素が上記眼の位置近傍における該右眼領域及び左眼領域以外の領域内の水平方向のエッジが所定の閾値以上となる画素よりも多い場合に、上記眼のパターンらしさの評価が大きくなる
ことを特徴とする請求項２８記載の画像処理方法。 - 上記眼鏡検出工程では、上記右眼領域と上記左眼領域とにはさまれた両眼間の領域の水平エッジの密度が所定の閾値以上であり、且つ上記両眼間の領域内における当該所定の閾値以上の水平エッジを構成する画素の水平方向の分布が所定の閾値以上である場合に、眼鏡有りと検出されることを特徴とする請求項２９記載の画像処理方法。
- 該右眼領域及び左眼領域内の水平方向のエッジが所定の閾値以上となる画素密度が大きい場合に、上記眼のパターンらしさの評価が大きくなる
ことを特徴とする請求項２７記載の画像処理方法。 - 上記右眼領域及び上記左眼領域、並びに該右眼領域と左眼領域との間の両眼間領域内の水平方向のエッジが所定の閾値以上となる画素密度が大きい場合に、上記眼のパターンらしさの評価が大きくなる
ことを特徴とする請求項２７記載の画像処理方法。 - 上記眼検出工程では、上記眼の位置として順位付けされた１以上の眼の位置候補が検出され、
上記判定工程では、上記１以上の眼の位置候補のうち順位が高いものから眼のパターンらしさが算出されることを特徴とする請求項２７記載の画像処理方法。 - 上記眼の位置候補の順位は、上記水平方向のエッジ強度の水平方向の累積値が大きい垂直座標ほど高くなることを特徴とする請求項３３記載の画像処理方法。
- 上記口の位置近傍に口領域を設定し、この口領域内の水平方向のエッジが所定の閾値以上となる画素が上記口の位置近傍における上記口領域以外の領域内の水平方向のエッジが所定の閾値以上となる画素よりも多い場合に、上記口のパターンらしさの評価が大きくなる
ことを特徴とする請求項２７記載の画像処理方法。 - 上記口の位置近傍に口領域を設定し、この口領域内の水平方向のエッジが所定の閾値以上となる画素密度が大きい場合に、上記口のパターンらしさの評価が大きくなる
ことを特徴とする請求項２７記載の画像処理方法。 - 上記口の位置近傍に口領域を設定し、この口領域内の赤み強度が大きい場合に、上記口のパターンらしさの評価が大きくなる
ことを特徴とする請求項２７記載の画像処理方法。 - 上記口の位置近傍に口領域を設定し、この口領域内の赤み強度が、上記口領域以外の領域内の赤み強度より大きい場合に、上記口のパターンらしさの評価が大きくなる
ことを特徴とする請求項２７記載の画像処理方法。 - 上記口検出工程では、検出された上記口の位置近傍における画素の赤み強度の空間的な分布から、上記口の位置の信頼度が算出され、
上記判定工程では、上記口の位置の信頼度に応じて上記口のパターンらしさが評価されることを特徴とする請求項２７記載の画像処理方法。 - 上記口の位置の信頼度が所定の閾値未満である場合、上記口領域内の赤み強度と上記口の位置近傍におけるその他の領域内の赤み強度との関係を示す値が上記口のパターンらしさの評価に寄与する度合いを小さくすることを特徴とする請求項３９記載の画像処理方法。
- 上記判定工程では、上記眼の位置と上記口の位置との間の距離が、上記口領域の幅から算出される上限値よりも大きい場合、又は上記口領域の幅から算出される下限値よりも小さい場合には、上記眼のパターンらしさ及び上記口のパターンらしさが小さいと評価されることを特徴とする請求項１記載の画像処理方法。
- 上記眼の位置近傍及び上記口の位置近傍に、大きさが異なる複数の夫々右眼領域及び左眼領域並びに口領域を設定し、この複数の夫々右眼領域及び左眼領域並びに口領域における上記眼のパターンらしさ及び口のパターンらしさを算出する
ことを特徴とする請求項２７記載の画像処理方法。 - 上記判定工程において、複数の上記肌色領域が顔領域であると判定された場合に、この複数の顔領域から１以上の顔領域を選択する選択工程を有する
ことを特徴とする請求項１記載の画像処理方法。 - 上記選択工程では、複数の上記顔領域の位置に基づいて１つの顔領域を選択する
ことを特徴とする請求項４３記載の画像処理方法。 - 入力されたカラー画像から、人物の顔領域を抽出するための画像処理装置において、
肌色の領域を抽出する肌色領域抽出手段と、
上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点の位置を検出する特徴点検出手段と、
上記肌色領域及び特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定手段と
を有することを特徴とする画像処理装置。 - 入力されたカラー画像から、人物の顔領域を抽出する動作を実行するためのプログラムにおいて、
肌色の領域を抽出する肌色領域抽出工程と、
上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点の位置を検出する特徴点検出工程と、
上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定工程と
を有することを特徴とするプログラム。 - 入力されたカラー画像から、人物の顔領域を抽出する動作をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体において、
肌色の領域を抽出する肌色領域抽出工程と、
上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点の位置を検出する特徴点検出工程と、
上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定工程と
を有することを特徴とするプログラムを記録した記録媒体。 - 入力されたカラー画像から、人物の顔領域を抽出し該顔領域が所定の位置となるようにトリミングを行なう自動トリミング装置において、
肌色の領域を抽出する肌色領域抽出手段と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点の位置を検出する特徴点検出手段と、上記肌色領域及び特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定手段と、上記判定手段で顔領域であると判定された肌色領域を含む閉領域を顔領域として抽出する抽出手段とを具備する顔領域抽出手段と、
上記顔領域抽出手段によって抽出された顔領域から、トリミングの対象となる顔領域を選択する選択手段と、
上記選択された顔の領域からトリミングの位置決めを行なう位置決め手段と
を有することを特徴とする自動トリミング装置。 - 上記顔領域抽出手段は、上記特徴点の位置に基づき上記人物の顔を左右に分割する顔中心線の位置を検出し、
上記位置決め手段は、上記頭頂部の位置と上記顔中心線とに基づきトリミングの位置決めを行なう
ことを特徴とする請求項４８記載の自動トリミング装置。 - 上記顔領域抽出手段は、上記特徴点の位置に基づき上記人物の顔を左右に分割する顔中心線の位置を検出し、
上記位置決め手段は、上記人物の眼の位置と上記顔中心線とに基づきトリミングの位置決めを行なう
ことを特徴とする請求項４８記載の自動トリミング装置。 - 上記顔領域抽出手段は、上記特徴点の位置に基づき上記人物の顔を左右に分割する顔中心線の位置を検出し、
上記位置決め手段は、上記人物の口の位置と上記顔中心線とに基づきトリミングの位置決めを行なう
ことを特徴とする請求項４８記載の自動トリミング装置。 - 上記人物の顎の位置は、上記人物の眼及び口の位置から算出されることを特徴とする請求項４８記載の自動トリミング装置。
- 上記顔領域抽出手段は、上記特徴点の位置に基づき上記人物の顔を左右に分割する顔中心線の位置を検出し、
上記位置決め手段は、上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点の位置と、上記顔中心線とに基づきトリミングの位置決めを行なう
ことを特徴とする請求項４８記載の自動トリミング装置。 - 上記選択手段は、上記カラー画像上における上記顔領域の位置に基づいてトリミングの対象を選択する
ことを特徴とする請求項４８記載の自動トリミング装置。 - 上記選択手段は、上記カラー画像において中央に最も近い位置の上記顔領域をトリミングの対象として選択する
ことを特徴とする請求項４８記載の自動トリミング装置。 - 上記選択手段は、上記カラー画像において最も上部に位置する上記顔領域をトリミングの対象として選択する
ことを特徴とする請求項４８記載の自動トリミング装置。 - 上記選択手段は、上記カラー画像において最も下部に位置する上記顔領域をトリミングの対象として選択する
ことを特徴とする請求項４８記載の自動トリミング装置。 - 上記選択手段は、抽出された全ての顔領域をトリミングの対象として選択する
ことを特徴とする請求項４８記載の自動トリミング装置。 - 上記位置決め手段は、トリミング後の画像において顔領域が所定の位置及び大きさとする拡大又は縮小処理を行なうことを特徴とする請求項４８記載の自動トリミング装置。
- 人物を撮影して肖像写真の作成を行なう肖像写真撮影装置において、
入力カラー画像から肌色の領域を抽出する肌色領域抽出手段と、上記肌色領域に基づき上記人物の頭頂部、上記人物の口、上記人物の眼、及び上記人物の顎からなる群から選択される１以上の特徴点の位置を検出する特徴点検出手段と、上記肌色領域及び上記特徴点の位置に基づき上記肌色領域が顔領域であるか否かを判定する判定手段と、上記判定手段で顔領域であると判定された肌色領域を含む閉領域を顔領域として抽出する抽出手段とを具備する顔領域抽出手段と、上記顔領域抽出手段によって抽出された顔領域から、トリミングの対象となる顔領域を選択する選択手段と、上記選択された顔の領域からトリミングの位置決めを行なう位置決め手段とを有し、上記カラー画像から上記人物の顔領域を抽出し該顔領域が所定の位置となるように自動的にトリミングを行なう自動トリミング手段を有する
ことを特徴とする肖像写真撮影装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002371033A JP2004005384A (ja) | 2002-04-19 | 2002-12-20 | 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置、並びに肖像写真撮影装置 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002118519 | 2002-04-19 | ||
| JP2002371033A JP2004005384A (ja) | 2002-04-19 | 2002-12-20 | 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置、並びに肖像写真撮影装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004005384A true JP2004005384A (ja) | 2004-01-08 |
| JP2004005384A5 JP2004005384A5 (ja) | 2006-02-02 |
Family
ID=30447241
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002371033A Pending JP2004005384A (ja) | 2002-04-19 | 2002-12-20 | 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置、並びに肖像写真撮影装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004005384A (ja) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005269563A (ja) * | 2004-03-22 | 2005-09-29 | Fuji Photo Film Co Ltd | 画像処理装置及び画像再生装置 |
| JP2006072506A (ja) * | 2004-08-31 | 2006-03-16 | Noritsu Koki Co Ltd | 写真処理装置 |
| JP2007233517A (ja) * | 2006-02-28 | 2007-09-13 | Fujifilm Corp | 顔検出装置および方法並びにプログラム |
| JP2008027401A (ja) * | 2006-07-25 | 2008-02-07 | Fujifilm Corp | 画像トリミング装置 |
| JP2008520039A (ja) * | 2004-11-10 | 2008-06-12 | イーストマン コダック カンパニー | 人間の画像における虹彩及び瞳孔の検出方法 |
| US7840035B2 (en) | 2006-03-02 | 2010-11-23 | Fuji Xerox, Co., Ltd. | Information processing apparatus, method of computer control, computer readable medium, and computer data signal |
| JP2011210280A (ja) * | 2011-06-29 | 2011-10-20 | Aisin Seiki Co Ltd | 顔向き判別装置 |
| US8116536B2 (en) | 2006-08-04 | 2012-02-14 | Sony Corporation | Face detection device, imaging apparatus, and face detection method |
| US8385607B2 (en) | 2006-11-21 | 2013-02-26 | Sony Corporation | Imaging apparatus, image processing apparatus, image processing method and computer program |
| US8897501B2 (en) | 2006-08-04 | 2014-11-25 | Sony Corporation | Face detection device, imaging apparatus, and face detection method |
| EP3585053A1 (en) * | 2018-06-19 | 2019-12-25 | Panasonic Intellectual Property Management Co., Ltd. | Intercom door station, intercom system, control method, and program |
| CN111402407A (zh) * | 2020-03-23 | 2020-07-10 | 杭州相芯科技有限公司 | 基于单幅rgbd图像的高精度肖像模型快速生成方法 |
| JP2020135034A (ja) * | 2019-02-13 | 2020-08-31 | 株式会社東海理化電機製作所 | 頭部判別装置、コンピュータプログラム、および記憶媒体 |
| CN111626143A (zh) * | 2020-05-06 | 2020-09-04 | 深圳市梦网视讯有限公司 | 一种基于眼睛定位的反向人脸检测方法、***及设备 |
| WO2021054217A1 (ja) * | 2019-09-20 | 2021-03-25 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP2021051375A (ja) * | 2019-09-20 | 2021-04-01 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP2021051376A (ja) * | 2019-09-20 | 2021-04-01 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CN117036411A (zh) * | 2023-08-21 | 2023-11-10 | 深圳伯德睿捷健康科技有限公司 | 人脸健康特征对象的跟踪方法、***及存储介质 |
-
2002
- 2002-12-20 JP JP2002371033A patent/JP2004005384A/ja active Pending
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005269563A (ja) * | 2004-03-22 | 2005-09-29 | Fuji Photo Film Co Ltd | 画像処理装置及び画像再生装置 |
| JP2006072506A (ja) * | 2004-08-31 | 2006-03-16 | Noritsu Koki Co Ltd | 写真処理装置 |
| JP2008520039A (ja) * | 2004-11-10 | 2008-06-12 | イーストマン コダック カンパニー | 人間の画像における虹彩及び瞳孔の検出方法 |
| JP2007233517A (ja) * | 2006-02-28 | 2007-09-13 | Fujifilm Corp | 顔検出装置および方法並びにプログラム |
| US7840035B2 (en) | 2006-03-02 | 2010-11-23 | Fuji Xerox, Co., Ltd. | Information processing apparatus, method of computer control, computer readable medium, and computer data signal |
| US8116535B2 (en) | 2006-07-25 | 2012-02-14 | Fujifilm Corporation | Image trimming apparatus |
| JP2008027401A (ja) * | 2006-07-25 | 2008-02-07 | Fujifilm Corp | 画像トリミング装置 |
| JP4683339B2 (ja) * | 2006-07-25 | 2011-05-18 | 富士フイルム株式会社 | 画像トリミング装置 |
| US9495578B2 (en) | 2006-08-04 | 2016-11-15 | Sony Corporation | Face detection device, imaging apparatus and face detection method |
| US8897501B2 (en) | 2006-08-04 | 2014-11-25 | Sony Corporation | Face detection device, imaging apparatus, and face detection method |
| US10037455B2 (en) | 2006-08-04 | 2018-07-31 | Sony Corporation | Face detection device, imaging apparatus, and face detection method |
| US8116536B2 (en) | 2006-08-04 | 2012-02-14 | Sony Corporation | Face detection device, imaging apparatus, and face detection method |
| US8385607B2 (en) | 2006-11-21 | 2013-02-26 | Sony Corporation | Imaging apparatus, image processing apparatus, image processing method and computer program |
| JP2011210280A (ja) * | 2011-06-29 | 2011-10-20 | Aisin Seiki Co Ltd | 顔向き判別装置 |
| EP3585053A1 (en) * | 2018-06-19 | 2019-12-25 | Panasonic Intellectual Property Management Co., Ltd. | Intercom door station, intercom system, control method, and program |
| TWI818035B (zh) * | 2018-06-19 | 2023-10-11 | 日商松下知識產權經營股份有限公司 | 對講機門站、對講機系統、控制方法及程式 |
| JP2020135034A (ja) * | 2019-02-13 | 2020-08-31 | 株式会社東海理化電機製作所 | 頭部判別装置、コンピュータプログラム、および記憶媒体 |
| JP2021051376A (ja) * | 2019-09-20 | 2021-04-01 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| WO2021054217A1 (ja) * | 2019-09-20 | 2021-03-25 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP2021051375A (ja) * | 2019-09-20 | 2021-04-01 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| CN111402407B (zh) * | 2020-03-23 | 2023-05-02 | 杭州相芯科技有限公司 | 基于单幅rgbd图像的高精度肖像模型快速生成方法 |
| CN111402407A (zh) * | 2020-03-23 | 2020-07-10 | 杭州相芯科技有限公司 | 基于单幅rgbd图像的高精度肖像模型快速生成方法 |
| CN111626143A (zh) * | 2020-05-06 | 2020-09-04 | 深圳市梦网视讯有限公司 | 一种基于眼睛定位的反向人脸检测方法、***及设备 |
| CN111626143B (zh) * | 2020-05-06 | 2023-12-08 | 深圳市梦网视讯有限公司 | 一种基于眼睛定位的反向人脸检测方法、***及设备 |
| CN117036411A (zh) * | 2023-08-21 | 2023-11-10 | 深圳伯德睿捷健康科技有限公司 | 人脸健康特征对象的跟踪方法、***及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10304164B2 (en) | Image processing apparatus, image processing method, and storage medium for performing lighting processing for image data | |
| US9251589B2 (en) | Depth measurement apparatus, image pickup apparatus, and depth measurement program | |
| JP4954081B2 (ja) | 人間の画像における虹彩及び瞳孔の検出方法 | |
| JP4772839B2 (ja) | 画像識別方法および撮像装置 | |
| CN105122302B (zh) | 无重影高动态范围图像的产生 | |
| US8861806B2 (en) | Real-time face tracking with reference images | |
| EP1918872B1 (en) | Image segmentation method and system | |
| US8135184B2 (en) | Method and apparatus for detection and correction of multiple image defects within digital images using preview or other reference images | |
| JP2004005384A (ja) | 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置、並びに肖像写真撮影装置 | |
| JP3684017B2 (ja) | 画像処理装置及び方法 | |
| JP4078334B2 (ja) | 画像処理装置および画像処理方法 | |
| US9256928B2 (en) | Image processing apparatus, image processing method, and storage medium capable of determining a region corresponding to local light from an image | |
| WO2012120697A1 (ja) | 画像処理装置、画像処理方法、および制御プログラム | |
| JP2004520735A (ja) | 電子画像の自動クロッピング方法および装置 | |
| US8885971B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| JP2013026938A (ja) | 画像処理装置、画像処理方法およびプログラム | |
| US20080199073A1 (en) | Red eye detection in digital images | |
| JP2007048108A (ja) | 画像評価システム及び画像評価方法並びに画像評価プログラム | |
| JP2004005383A (ja) | 画像処理方法、画像処理装置、プログラム及び記録媒体、自動トリミング装置並びに肖像写真撮影装置 | |
| M Corcoran et al. | Advances in the detection & repair of flash-eye defects in digital images-a review of recent patents | |
| JP6776532B2 (ja) | 画像処理装置、撮像装置、電子機器及び画像処理プログラム | |
| JP5093540B2 (ja) | 目の位置の検出方法および検出システム | |
| JP3927979B2 (ja) | 画像処理装置及び方法 | |
| JP2009086834A (ja) | 人物顔面画像についての両眼位置検出方法および検出装置 | |
| JP4831361B2 (ja) | 目の位置の検出方法および検出システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051212 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051212 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081110 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081118 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090119 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090217 |