JP2005196241A - 顔領域抽出方法、顔領域抽出装置及び顔領域抽出プログラム - Google Patents

Abstract

【課題】少ない計算量で顔領域を適正に抽出できるようにすること。
【解決手段】画像調整処理部７０４は、元画像から顔領域を抽出する際、元画像からエッジと目領域を抽出し、当該エッジ画像に対し当該目領域を中心とした対数極座標変換を施し、当該変換後の画像に対し、目形状や顔形状のテンプレートを用いたパターンマッチングを行うことにより顔領域を抽出する。
【選択図】図４

Description

本発明は、画像から人物の顔領域を抽出するための顔領域抽出方法、顔領域抽出装置及び顔領域抽出プログラムに関する。

従来、カラー写真フィルムに形成された画像をＣＣＤ（Charge Coupled Device）センサー等で光電的に読み取って画像信号に変換する技術が広く用いられている。

このような画像信号は、ネガポジ反転、輝度調整、カラーバランス調整、粒状除去、鮮鋭性強調等の種々の画像処理が施された後、ＣＤ−Ｒ（CD-Recordable）、ＣＤ−ＲＷ（CD-ReWitable）、ＦＤ（フロッピー（登録商標）ディスク）、メモリーカード等の記録媒体やインターネット等を介して配布される。当該配布された画像信号は、銀塩印画紙、インクジェットプリンタ、サーマルプリンタ等によりハードコピー画像として出力されたり、ＣＲＴ（Cathode Ray Tube）、液晶ディスプレイ、プラズマディスプレイ等に表示されたりして鑑賞される。

また、近年では、デジタルスチルカメラ（携帯電話やパソコン等の機器に組み込まれたものを含み、以下、ＤＳＣと略称する。）が広く普及し、カラー写真フィルムと同様にハードコピー画像として出力されたり、ＣＲＴ等に表示されたりして鑑賞される。

ここで、鑑賞対象となる画像に人物の顔が含まれている場合には、鑑賞時に最も注目されるのは人物の顔である。このため、高品質な画像を出力するためには、人物の顔に適正な色、明るさ、鮮鋭感、ノイズ感、立体感等を持たせる必要がある。

しかし、画像撮影時には、人物の顔が、適正な色、明るさ、鮮鋭感、ノイズ感、立体感等を持った画像として撮影されるような環境になっていないのが一般的である。

例えば、逆光での撮影では、顔が暗く撮影されてしまうため、高品質画像の出力が困難となる。また安価なカメラ・ＤＳＣでの撮影では、固定焦点での撮影となり、画像全体にピントがあったような状態で撮影されるため、人物の顔部分に立体感が感じられない画像が出力されることとなる。

このような問題を解決するためには、人物の顔が画像に含まれているか否かを判定すること、更には、人物の顔の位置を特定すること等が重要となる。

画像から人物の顔画像領域（以下、顔領域という。）を抽出する方法としては、複数種類の顔形状のテンプレートを用いてマッチング度を算出し、当該算出したマッチング度に基づいて顔であるか否かを判定する方法が提案されている（例えば、特許文献１を参照。）。
特開平８―６３５９７号公報

しかし、本発明者等は、詳細な検討の結果、特許文献１に開示されたような顔領域の抽出方法では、顔領域を正確に抽出するのは困難であるとの結論に至った。
すなわち、顔領域の画像全体に対する大きさ（以下、顔領域サイズという。）は非常に多様なため、上記抽出方法により顔領域を抽出するためには顔領域サイズに応じた非常に多くのテンプレートマッチングを実施しなければならず、膨大な計算が必要となる。また、一或いは複数の顔が、縦、横、斜め等の種々の角度で混在するような場合等には、上記抽出方法により顔領域を抽出するためには全ての角度に応じた非常に多くのテンプレートマッチングを更に実施しなければならず、より膨大な計算が必要となる。
本発明の課題は、少ない計算量で顔領域を適正に抽出できるようにすることである。

上記課題を解決するため、請求項１記載の発明は、
複数画素から成る画像を取得する工程と、
前記複数画素から人物の目領域に対応する画素を抽出する工程と、
前記画像に対し前記目領域の画素を中心とした対数極座標変換を施す工程と、
前記対数極座標変換後の画像に対し、当該画像から顔領域を抽出するためのテンプレートを用いたパターンマッチングを行う工程と、
前記パターンマッチングの結果に基づき、前記対数極座標変換後の画像から顔領域を抽出する工程と、
を含むことを特徴とする。

更に、請求項２に記載の発明のように、請求項１に記載の発明において、
前記テンプレートは、目の形状を有しているのが好ましい。

更に、請求項３に記載の発明のように、請求項１に記載の発明において、
前記テンプレートは、片目を中心に対数極座標変換された後の顔の形状を有しているのが好ましい。

また、上記課題を解決するため、請求項４に記載の発明は、
複数画素から成る画像を取得する取得手段と、
前記複数画素から人物の目領域に対応する画素を抽出する目領域抽出手段と、
前記画像に対し前記目領域の画素を中心とした対数極座標変換を施す変換手段と、
前記対数極座標変換後の画像に対し、当該画像から顔領域を抽出するためのテンプレートを用いたパターンマッチングを行うパターンマッチング手段と、
前記パターンマッチングの結果に基づき、前記対数極座標変換後の画像から顔領域を抽出する顔領域抽出手段と、
を備えたことを特徴とする。

更に、請求項５に記載の発明のように、請求項４に記載の発明において、
前記テンプレートは、目の形状を有しているのが好ましい。

更に、請求項６に記載の発明のように、請求項４に記載の発明において、
前記テンプレートは、片目を中心に対数極座標変換された後の顔の形状を有しているのが好ましい。

また、上記課題を解決するため、請求項７に記載の発明は、
画像処理を行うコンピュータに、
複数画素から成る画像を取得する機能と、
前記複数画素から人物の目領域に対応する画素を抽出する機能と、
前記画像に対し前記目領域の画素を中心とした対数極座標変換を施す機能と、
前記対数極座標変換後の画像に対し、当該画像から顔領域を抽出するためのテンプレートを用いたパターンマッチングを行う機能と、
前記パターンマッチングの結果に基づき、前記対数極座標変換後の画像から顔領域を抽出する機能と、
を実現させる。

更に、請求項８に記載の発明は、請求項７に記載の発明において、
前記テンプレートは、目の形状を有しているのが好ましい。

更に、請求項９に記載の発明は、請求項７に記載の発明において、
前記テンプレートは、片目を中心に対数極座標変換された後の顔の形状を有しているのが好ましい。

一般に、対数極座標変換では、顔領域の重心や両目間の中点等が変換の中心に設定されるのが一般的であるが、顔領域の重心や両目間の中点等の位置を決定するためには非常に時間がかかり、更に、このようにして決定された顔領域の重心や両目間の中点等の位置が常に正確な位置であるとは限らない。しかし、本発明によれば、画像から目に該当する画像領域（以下、目領域という。）を抽出することは比較的容易であり、目領域を中心とした対数極座標変換を行うことにより、顔領域サイズや顔の向き（縦、横、斜め等の角度。）に関係なく、テンプレートマッチングの際に要する計算量を大幅に低減化できると共に、顔領域の抽出が正確に行える。
更に、片目を中心とした対数極座標変換では、もう片方の目の画像サイズ及び角度（位置）は、顔領域サイズや顔の向きに関係なく、対数極座標上で常に略一定のサイズ、角度（水平）に変換されるので、片目を中心とした対数極座標変換後に目の形状を用いたテンプレートマッチングを行って顔領域の抽出を行えば、計算量を大幅に低減化可能となる。
更に、目領域を中心に極座標変換した画像からもう片方の目が特定できれば、両目が特定できたこととなり、顔の位置が正確に特定可能となる。
更に、片目を中心に対数極座標変換した後の人物の顔の形状のテンプレートを用いてテンプレートマッチングを行う事によってもテンプレートマッチングの計算量を大幅に低減化できると共に、顔領域の抽出が正確に行える。

以下、図面を参照して本発明を適用した一実施の形態について詳細に説明する。

〈画像処理装置１の外観構成〉
まず、図１を参照して画像処理装置１の外観構成を説明する。

画像処理装置１は、図１に示すように、筐体２の一側面に、感光材料を装填するためのマガジン装填部３が設けられている。筐体２の内側には、感光材料に露光する露光処理部４と、露光された感光材料を現像処理して乾燥し、プリントを作成するためのプリント作成部５が設けられている。筐体２の他側面には、プリント作成部５で作成されたプリントを排出するためのトレー６が設けられている。

また、筐体２の上部には、表示装置としてのＣＲＴ８、透過原稿を読み込む装置であるフィルムスキャナ部９、反射原稿入力装置１０、操作部１１が設けられている。更に、筐体２には、各種デジタル記録媒体に記録された画像を読み取る画像読込部１４、各種デジタル記録媒体に画像信号を書き込む（出力）画像書込部１５が設けられている。また、筐体２の内部には、画像処理装置１を構成する各部を統括的に制御する制御部７が設けられている。

画像読込部１４には、ＰＣカード用アダプタ１４ａ、ＦＤ用アダプタ１４ｂが設けられ、ＰＣカード１３ａやＦＤ１３ｂが差し込み可能になっている。

画像書込部１５には、ＦＤ用アダプタ１５ａ、ＭＯ（Magneto-Optical）用アダプタ１５ｂ、光ディスク用アダプタ１５ｃが設けられ、それぞれ、ＦＤ１６ａ、ＭＯ１６ｂ、光ディスク１６ｃが差し込み可能になっている。光ディスク１６ｃとしては、ＣＤ−Ｒ、ＤＶＤ−Ｒ（Digital Versatile Disk-Recordable）、ＤＶＤ−ＲＷ（DVD-ReWritable）等がある。

なお、図１では、操作部１１、ＣＲＴ８、フィルムスキャナ部９、反射原稿入力装置１０、画像読込部１４が、筐体２に一体的に設けられた構成となっているが、これらのうち何れかを別体として設けた構成であってもよい。

なお、図１に示した画像処理装置１では、感光材料に露光して現像してプリントを作成するものが例示されているが、プリント作成方式はこれに限定されず、例えば、インクジェット方式、電子写真方式、感熱方式、昇華方式等の方式を用いてもよい。

〈画像処理装置１の内部構成〉
次に、図２を参照して、画像処理装置１の内部構造を説明する。画像処理装置１は、図２に示すように、制御部７、露光処理部４、プリント生成部５、フィルムスキャナ部９、反射原稿入力装置１０、画像読込部１４、通信手段（入力）３２、画像書込部１５、データ蓄積手段７１、操作部１１、ＣＲＴ８、通信手段（出力）３３を備える。

露光処理部４は、感光材料に画像の露光を行い、この感光材料をプリント作成部５に出力する。プリント作成部５は、露光された感光材料を現像処理して乾燥し、プリントＰ１、Ｐ２、Ｐ３を作成する。

制御部７は、マイクロコンピュータにより構成され、ＲＯＭ（Read Only Memory）等（図示略）に記憶されている画像処理プログラム等の各種制御プログラムと、ＣＰＵ（Central Processing Unit）（図示略）との協働により、画像処理装置１を構成する各部の動作を統括的に制御する。

制御部７は、画像処理部７０を有し、操作部１１からの入力信号（指令情報）に基づいて、フィルムスキャナ部９、反射原稿入力装置１０、画像読込部１４、外部機器から通信手段（入力）３２から入力された各画像に対して露光用の画像を形成し、露光処理部４に出力する。画像処理部７０については後に詳述する。

フィルムスキャナ部９は、アナログカメラにより撮像された現像済みのネガフィルムＮやリバーサルフィルム等の透過原稿に記録された画像を読み取る。

反射原稿入力装置１０は、図示しないフラットベットスキャナにより、プリントＰ（写真プリント、書画、各種の印刷物）に形成された画像を読み取る。

操作部１１は、情報入力手段１２を有する。情報入力手段１２は、例えば、タッチパネル等により構成されており、情報入力手段１２の押下信号を入力信号として制御部７に出力する。なお、操作部１１は、キーボードやマウス等を備えて構成されるようであってもよい。ＣＲＴ８は、制御部７から入力された表示制御信号に従って画像等を表示する。

画像読込部１４は、画像転送手段３０を有し、ＰＣカード１３ａやＦＤ１３ｂに記録された画像を読み出して制御部７に転送する。画像転送手段３０は、ＰＣカード用アダプタ１４ａ、ＦＤ用アダプタ１４ｂ等を有する。

画像読込部１４は、ＰＣカード用アダプタ１４ａに差し込まれたＰＣカード１３ａや、ＦＤ用アダプタ１４ｂに差し込まれたＦＤ１３ｂに記録された画像を読み出し、当該読み出した画像を画像転送手段３０を用いて制御部７に転送する。

画像書込部１５は、画像搬送部３１を備え、画像搬送部３１は、ＦＤ用アダプタ１５ａ、ＭＯ用アダプタ１５ｂ、光ディスク用アダプタ１５ｃ等を備える。画像書込部１５は、制御部７から入力される書込信号に従って、ＦＤ用アダプタ１５ａに差し込まれたＦＤ１６ａ、ＭＯ用アダプタ１５ｂに差し込まれたＭＯ１６ｂ、光ディスク用アダプタ１５ｃに差し込まれた光ディスク１６ｃに対し各種データを書き込む。

通信手段（入力）３２は、画像処理装置１が設置された施設内の別のコンピュータやインターネット等を介した遠方のコンピュータから画像や各種コマンド等を受信する。

通信手段（出力）３３は、画像や注文情報等を、画像処理装置１が設置された施設内の他のコンピュータや、インターネット等を介した遠方のコンピュータに対して送信する。

データ蓄積手段７１は、画像や注文情報（どの駒の画像から何枚プリントを作成するかの情報、プリントサイズの情報等）等のデータを格納する。

〈画像処理部７０の構成〉
次に、図３を参照して画像処理部７０の構成を説明する。画像処理部７０は、図３に示すように、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４（特許請求の範囲に記載の取得手段、目領域抽出手段、変換手段、パターンマッチング手段、顔領域抽出手段の各々に対応。）、ＣＲＴ固有処理部７０５、プリンタ固有処理部７０６、プリンタ固有処理部７０７、画像データ書式作成処理部７０８を備える。

フィルムスキャンデータ処理部７０１は、フィルムスキャナ部９から入力された画像に対し、フィルムスキャナ部９に固有の校正操作、ネガ原稿の場合のネガポジ反転、グレーバランス調整、コントラスト調整等を施し、画像調整処理部７０４に出力する。また、フィルムスキャンデータ処理部７０１は、フィルムサイズ、ネガポジ種別、フィルムに光学的又は磁気的に記録されたＩＳＯ（International Organization for Standardization）感度、メーカー名、主要被写体に関わる情報、撮影条件に関する情報（例えばＡＰＳ（Advanced Photo System）の記載情報内容）等も併せて画像調整処理部７０４に出力する。

反射原稿スキャンデータ処理部７０２は、反射原稿入力装置１０から入力された画像に対し、反射原稿入力装置１０に固有の校正操作、ネガ原稿の場合のネガポジ反転、グレーバランス調整、コントラスト調整等を施し、画像調整処理部７０４に出力する。

画像データ書式解読処理部７０３は、画像転送手段３０や通信手段（入力）３２から入力された画像信号のデータ書式に従って、圧縮符号の復元、色データの表現方法の変換等を行い、画像調整処理部７０４に出力する。

画像調整処理部７０４は、フィルムスキャナ部９、反射原稿入力装置１０、画像転送手段３０、通信手段（入力）３２から入力された画像に対し、各種画像処理を施す。特に、画像調整処理部７０４は、図４のフローチャートに示す顔領域抽出処理を行う。

画像調整処理部７０４は、上記画像処理済みの画像を、ＣＲＴ固有処理部７０５、プリンタ固有処理部７０６、プリンタ固有処理部７０７、画像データ書式作成部７０８、データ蓄積手段７１に出力する。

ＣＲＴ固有処理部７０５は、画像調整処理部７０４から入力された画像に対して、画素数変更、カラーマッチング等の処理を施し、各種表示情報とともにＣＲＴ８に出力する。

プリンタ固有処理部７０６は、画像調整処理部７０４から入力された画像処理済みの画像信号に対して、プリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、露光処理部４に出力する。

本実施の形態の画像処理装置１に、インクジェットプリンタ等の外部プリンタ３４に応じたプリンタ固有処理部７０７が設けられている。このプリンタ固有処理部７０７は、画像調整処理部７０４から入力された画像に対して、プリンタ固有の適正な校正処理、カラーマッチング、画素数変更等を行う。

画像データ書式作成処理部７０８は、画像調整処理部７０４から入力された画像に対して、ＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、Ｅｘｉｆ（Exchangeable image file format）等に代表される各種の汎用画像フォーマットへの変換を行い、画像搬送部３１や通信手段（出力）３３に出力する。

なお、制御部７の上記各部（例えば、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部７０６及び７０７、画像データ書式作成処理部７０８等。）は、必ずしも物理的に独立したデバイスとして実現される必要はなく、制御部７が具備するＣＰＵにより処理されるプログラムが有する機能を表したものであってもよい。また、画像処理装置１は、上述の内容に限定されるものではなく、デジタルフォトプリンタ、プリンタドライバ、各種の画像処理ソフトのプラグイン等、種々の形態に適用することができる。

＜実施例１＞
次に、図４を参照して、本発明を適用した顔領域抽出処理の一形態について説明する。本実施例１で説明する顔領域抽出処理は、画像調整処理部７０４により実行される。

まず、フィルムスキャナ部９、反射原稿入力装置１０、画像転送装置３０、通信手段（入力）３２等を介して元画像を取得すると（ステップＳ１）、元画像のエッジを抽出すると共に（ステップＳ２）、目領域を抽出する（ステップＳ３）。

ここで、画像エッジの抽出は、公知のエッジ抽出フィルターを用いて行うことも可能であるが、本実施の形態では、二項ウェーブレット変換によって得られる高周波成分を用いて行うのが適正な画像エッジを抽出する上で好ましい。

また、画像信号から目領域を抽出する方法としては、公知の種々の方法が利用可能である。例えば、円又は楕円を抽出する際に用いられるＨｏｕｇｈ変換等を用いた抽出方法等がある。抽出された目領域の画素の位置（画素を識別するための情報、以下同じ。）は、データ蓄積手段７１や制御部７の内蔵メモリ等に蓄積される。

次に、上記抽出したエッジ画像に対しステップＳ３で抽出した目領域を中心に対数極座標変換を施す（ステップＳ４）。

ここで、対数極座標変換による画像変換の様子を図６に例示する。元画像Ｇ１１、Ｇ１２、Ｇ１３は、それぞれ、目候補領域Ｉ１１、Ｉ１２、Ｉ１３を中心とした対数極座標変換により、画像Ｇ２１、Ｇ２２、Ｇ２３に変換される。ここで、元画像Ｇ１２は、元画像Ｇ１１が１．５倍に拡大された後の画像であり、元画像Ｇ１３は、元画像Ｇ１１が左９０度回転された後の画像である。画像Ｇ２１、Ｇ２２、Ｇ２３における顔の各部（鼻や口等。）の位置や大きさは、上記元画像Ｇ１１、Ｇ１２、Ｇ１３の違いによらず、略同一となっている。すなわち、元画像の顔が同一であれば、元画像の顔が拡大・縮小されたり、回転されたりしても、対数極座標変換されれば、このような拡大・縮小や回転によらずに略同一の画像が得られる。また、元画像の顔の向きが異なっていても、対数極座標変換された画像では、略同一の画像が得られる。

ステップＳ４の後、対数極座標変換後の画像に対し、目形状のテンプレートを用いたパターンマッチングを行う（ステップＳ５）。

ここで、テンプレートマッチングは、二値化されたエッジ画像（対数極座標変換後のエッジ画像。）を用いて行うのが、演算効率上好ましい。

この際、対数極座標変換の中心とした目領域が右目の場合と左目の場合とでは、対数極座標上では互いの目の角度（位置）が反転するので、このような場合には、目のテンプレートを反転させるか、又は対数極座標のθ（偏角）軸の向きを反転させてテンプレートマッチングを行う必要がある。

また、目形状のテンプレートは、右目、左目や、目の開き方の異なる複数の目の形状等を、公知のニューロネットワークの自己組織化学習による手法を用いて作成することが好ましい。このような目形状のテンプレートは、データ蓄積手段７１や制御部７の内蔵メモリ等に予め複数格納されている。

ステップＳ５の後、目形状のテンプレートを用いたパターンマッチングによるマッチング度を判定し（ステップＳ６）、マッチング度が所定基準値より高い場合（ステップＳ６；高い）、当該パターンマッチングの対象となっている画像領域を目領域と判定して当該目領域の画素の位置を特定する（ステップＳ７）。これにより、両方の目の目領域の画素の位置が最終的に特定される。

ここで、上記マッチング度（特開平８−６３５９７号公報）は、パターンマッチングの対象となる画像領域とテンプレートとの重なりの度合いを示す数値であり、例えば、互いに重なり合う領域面積の、全テンプレート面積に対する割合（パーセント）等で表される（以下同様）。

一方、ステップＳ６の段階で、マッチング度が所定基準値より低い場合（ステップＳ６；低い）、当該パターンマッチングの対象となっている画像領域を目領域ではないと判定し（ステップＳ１１）、ステップＳ１２に移行する。

ステップＳ７の後、上記特定された両目領域の画素の位置を、対数極座標から元の座標に戻して元画像中の画素の位置に変換し（ステップＳ８）、当該元画像中の両目領域の画素の位置に基づいて元画像から顔画像を抽出する（ステップＳ９）。この場合、両方の目の位置関係（距離、角度）から顔のサイズを確定したり、また両目の周囲の肌色領域を単純領域拡張等を用いて分割する等して顔領域が適切に抽出できる。

ステップＳ９の後、抽出した顔領域に対し、カラー調整、粒状除去、鮮鋭性強調、ダイナミックレンジ調整等の画像処理を施す（ステップＳ１０）。これにより、画像品質の向上が図られる。

ステップＳ１０の後、或いはステップＳ１１の後、ステップＳ３の段階で他に抽出した目領域があるか否かを判定し（ステップＳ１２）、他に抽出した目領域がある場合（ステップＳ１２；Ｙｅｓ）、ステップＳ４に移行して上記ステップＳ４以降の処理を行い、他に抽出した目領域がない場合（ステップＳ１２；Ｎｏ）、本処理を終了する。

＜実施例２＞
次に、図５を参照して、本発明を適用した顔領域抽出処理の他の形態について説明する。本実施例２で説明する画像処理は、画像調整処理部７０４により実行される。

まず、フィルムスキャナ部９、反射原稿入力装置１０、画像転送装置３０、通信手段（入力）３２等を介して元画像を取得すると（ステップＳ２０）、元画像のエッジを抽出すると共に（ステップＳ２１）、目領域を抽出する（ステップＳ２２）。

ここで、画像エッジの抽出は、公知のエッジ抽出フィルターを用いて行うことも可能であるが、本実施の形態では、二項ウェーブレット変換によって得られる高周波成分を用いて行うのが適正な画像エッジを抽出する上で好ましい。

また、画像信号から目領域を抽出する方法としては、公知の種々の方法が利用可能である。例えば、円又は楕円を抽出する際に用いられるＨｏｕｇｈ変換等を用いた抽出方法等がある。抽出された目領域の画素の位置は、データ蓄積手段７１や制御部７の内蔵メモリ等に蓄積される。

次に、元画像から抽出したエッジ画像に対しステップ２２で抽出した目領域を中心に対数極座標変換を施す（ステップＳ２３）。

ステップＳ２３の後、対数極座標変換後のエッジ画像に対し、顔形状のテンプレートを用いたパターンマッチングを行う（ステップＳ２４）。

ここで、顔形状のテンプレートは、多数の方向を向いた状態の顔（例えば、右を見ている顔、左を見ている顔等。）の形状を、ニューロネットワークの自己組織化学習による手法を用いて作成するのが好ましい。また、顔形状のテンプレートは、顔の輪郭のみによって成るものであっても良く、更に、目、口、鼻等が含まれたものであっても良い。このような顔形状のテンプレートは、データ蓄積手段７１や制御部７の内蔵メモリ等に予め複数格納されている。

また、テンプレートマッチングは、二値化されたエッジ画像（対数極座標変換後のエッジ画像。）を用いて行うのが、演算効率上好ましい。

ステップＳ２４の後、顔形状のテンプレートを用いたパターンマッチングによるマッチング度を判定し（ステップＳ２５）、マッチング度が所定基準値より高い場合（ステップＳ２５；高い）、当該パターンマッチングの対象となっている画像領域を顔領域と判定して当該顔領域の画素の位置を特定する（ステップＳ２６）。

一方、ステップＳ２５の段階で、マッチング度が所定基準値より低い場合（ステップＳ２５；低い）、当該パターンマッチングの対象となっている画像領域を顔領域ではないと判定し（ステップＳ２９）、ステップＳ３０に移行する。

ステップＳ２６の後、上記特定された顔領域の画素の位置を、対数極座標から元の座標に戻して元画像中の画素の位置に変換する（ステップＳ２７）。

ステップＳ２７の後、上記元画像の顔領域に対し、カラー調整、粒状除去、鮮鋭性強調、ダイナミックレンジ調整等の画像処理を施す（ステップＳ２８）。これにより、画像品質の向上が図られる。

ステップＳ２８の後、或いはステップＳ２９の後、ステップＳ２２の段階で他に抽出した目領域があるか否かを判定し（ステップＳ３０）、他に抽出した目領域がある場合（ステップＳ３０；Ｙｅｓ）、ステップＳ２３に移行して上記ステップＳ２３以降の処理を行い、他に抽出した目領域がない場合（ステップＳ３０；Ｎｏ）、本処理を終了する。

以上説明したように、画像調整処理部７０４は、元画像から顔領域を抽出する際、元画像からエッジと目領域を抽出し、当該エッジ画像に対し当該目領域を中心とした対数極座標変換を施し、当該変換後の画像に対し、目形状や顔形状のテンプレートを用いたパターンマッチングを行うことにより顔領域を抽出する。

従って、元画像から目領域を抽出することは比較的容易であり、このような目領域を中心とした対数極座標変換を行うことにより、顔領域サイズや顔の向き（縦、横、斜め等の角度。）に関係なく、テンプレートマッチングの際に要する計算量を大幅に低減化できると共に、顔領域の抽出が正確に行える。
更に、片目を中心とした対数極座標変換では、もう片方の目の画像サイズ及び角度（位置）は、顔領域サイズや顔の向きに関係なく、対数極座標上で常に略一定のサイズ、角度（水平）に変換されるので、片目を中心とした対数極座標変換後に目の形状を用いたテンプレートマッチングを行って顔領域の抽出を行えば、計算量を大幅に低減化可能となる。
更に、目領域を中心に極座標変換した画像からもう片方の目が特定できれば、両目が特定できたこととなり、顔の位置が正確に特定可能となる。
更に、片目を中心に対数極座標変換した後の人物の顔の形状のテンプレートを用いてテンプレートマッチングを行う事によってもテンプレートマッチングの計算量を大幅に低減化できると共に、顔領域の抽出が正確に行える。

なお、本実施の形態における記述は、本発明に係る顔領域抽出方法、顔領域抽出装置及び顔領域抽出プログラムの一例を示すものであり、これに限定されるものではない。本実施の形態における画像処理装置１の細部構成および詳細動作に関しては、本発明の趣旨を逸脱しない範囲で適宜変更可能である。

例えば、本実施例では、一種類の目形状のテンプレートを用いたパターンマッチングを行うとしたが、これに限らず、複数種類の目形状のテンプレートを用いたパターンマッチングをそれぞれ独立に行うようにしてもよい。この場合、図４に示すステップＳ３からステップＳ１２までの処理や、図５に示すステップＳ２２からステップＳ３０までの処理が、テンプレートの目形状の種類に応じて行われ、目形状の種類の数に応じた複数の顔領域が抽出される。

また、顔形状のテンプレートを用いたパターンマッチングによって抽出された画像領域が顔に該当するか否かを判定する判定方法としては、上記マッチング度を用いた方法の他に、公知の種々の方法が利用可能である。

本発明を適用した画像処理装置の外観構成を示す斜視図である。 本発明を適用した画像処理装置の内部構造を示すブロック図である。 図２に示す画像処理部の内部構成を主に示すブロック図である。 本発明を適用した画像処理内容を説明するフローチャートである。 本発明を適用した画像処理内容を説明するフローチャートである。 対数極座標変換によって画像が変換される様子を例示した図である。

符号の説明

１ 画像処理装置
４ 露光処理部
５ プリント作成部
７ 制御部
８ ＣＲＴ
９ フィルムスキャナ部
１０ 反射原稿入力装置
１１ 操作部
１２ 情報入力手段
１４ 画像読込部
１５ 画像書込部
３０ 画像転送手段
３１ 画像搬送部
３２ 通信手段（入力）
３３ 通信手段（出力）
３４ 外部プリンタ
７０ 画像処理部
７０１ フィルムスキャンデータ処理部
７０２ 反射原稿スキャンデータ処理部
７０３ 画像データ書式解読処理部
７０４ 画像調整処理部
７０５ ＣＲＴ固有処理部
７０６、７０７ プリント固有処理部
７０８ 画像データ書式作成処理部
７１ データ蓄積手段

Claims (9)

1. 複数画素から成る画像を取得する工程と、
   前記複数画素から人物の目領域に対応する画素を抽出する工程と、
   前記画像に対し前記目領域の画素を中心とした対数極座標変換を施す工程と、
   前記対数極座標変換後の画像に対し、当該画像から顔領域を抽出するためのテンプレートを用いたパターンマッチングを行う工程と、
   前記パターンマッチングの結果に基づき、前記対数極座標変換後の画像から顔領域を抽出する工程と、
   を含むことを特徴とする顔領域抽出方法。
2. 前記テンプレートは、目の形状を有していることを特徴とする請求項１に記載の顔領域抽出方法。
3. 前記テンプレートは、片目を中心に対数極座標変換された後の顔の形状を有していることを特徴とする請求項１に記載の顔領域抽出方法。
4. 複数画素から成る画像を取得する取得手段と、
   前記複数画素から人物の目領域に対応する画素を抽出する目領域抽出手段と、
   前記画像に対し前記目領域の画素を中心とした対数極座標変換を施す変換手段と、
   前記対数極座標変換後の画像に対し、当該画像から顔領域を抽出するためのテンプレートを用いたパターンマッチングを行うパターンマッチング手段と、
   前記パターンマッチングの結果に基づき、前記対数極座標変換後の画像から顔領域を抽出する顔領域抽出手段と、
   を備えたことを特徴とする顔領域抽出装置。
5. 前記テンプレートは、目の形状を有していることを特徴とする請求項４に記載の顔領域抽出装置。
6. 前記テンプレートは、片目を中心に対数極座標変換された後の顔の形状を有していることを特徴とする請求項４に記載の顔領域抽出装置。
7. 画像処理を行うコンピュータに、
   複数画素から成る画像を取得する機能と、
   前記複数画素から人物の目領域に対応する画素を抽出する機能と、
   前記画像に対し前記目領域の画素を中心とした対数極座標変換を施す機能と、
   前記対数極座標変換後の画像に対し、当該画像から顔領域を抽出するためのテンプレートを用いたパターンマッチングを行う機能と、
   前記パターンマッチングの結果に基づき、前記対数極座標変換後の画像から顔領域を抽出する機能と、
   を実現させるための顔領域抽出プログラム。
8. 前記テンプレートは、目の形状を有していることを特徴とする請求項７に記載の顔領域抽出プログラム。
9. 前記テンプレートは、片目を中心に対数極座標変換された後の顔の形状を有していることを特徴とする請求項７に記載の顔領域抽出プログラム。