JP2009237618A - 画像における顔領域の検出 - Google Patents

Abstract

【課題】顔領域の検出精度を容易に把握することを可能とする。
【解決手段】画像処理装置は、画像データに基づき対象画像における顔の画像に対応する領域を顔領域として検出する顔領域検出部と、検出された顔領域における顔の器官の画像に対応する領域を器官領域として検出する器官領域検出部と、検出された顔領域を特定する第１の情報と器官領域を検出できたか否かを特定する第２の情報とを画像データに関連づける情報付加部と、を備える。
【選択図】図１４

Description

本発明は、画像における顔の画像に対応する顔領域の検出に関する。

画像データの表す画像中から部分画像を順次切り出し、切り出した部分画像が顔に対応する画像であるか否かを判定することにより、顔の画像に対応する顔領域を検出する技術が知られている（例えば特許文献１ないし３）。

特開２００７−２４１４７７号公報 特開２００７−１９３４０４号公報 特開２００７−１９３７４０号公報

画像における顔領域の検出においては、顔の画像に対応しない画像領域が誤って顔領域として検出されたり、実際に顔の画像に対応する画像領域と検出された顔領域との間に傾きや位置や大きさの点でずれが発生したりする場合がある等、検出精度（検出の正確性）は一様ではなかった。検出された顔領域を利用する際には、顔領域の検出精度を容易に把握できることが望ましい。

本発明は、上記の課題を解決するためになされたものであり、顔領域の検出精度を容易に把握することを可能とする技術を提供することを目的とする。

上記課題の少なくとも一部を解決するために、本発明は、以下の形態または適用例として実現することが可能である。

［適用例１］画像処理装置であって、
画像データに基づき対象画像における顔の画像に対応する領域を顔領域として検出する顔領域検出部と、
検出された前記顔領域における顔の器官の画像に対応する領域を器官領域として検出する器官領域検出部と、
検出された前記顔領域を特定する第１の情報と前記器官領域を検出できたか否かを特定する第２の情報とを、前記画像データに関連づける情報付加部と、を備える、画像処理装置。

この画像処理装置では、対象画像における顔の画像に対応する領域が顔領域として検出され、検出された顔領域における顔の器官の画像に対応する領域が器官領域として検出され、検出された顔領域を特定する第１の情報と器官領域を検出できたか否かを特定する第２の情報とが画像データに関連づけられるため、第１の情報により特定される顔領域の検出精度を第２の情報によって容易に把握することができる。

［適用例２］適用例１に記載の画像処理装置であって、
前記情報付加部は、検出された前記器官領域を特定する第３の情報を、前記画像データに関連づける、画像処理装置。

この画像処理装置では、第３の情報により顔領域における器官領域を把握することができる。

［適用例３］適用例１または適用例２に記載の画像処理装置であって、
前記顔領域検出部は、検出された前記器官領域に基づき前記顔領域を調整する顔領域調整部を含み、
前記情報付加部は、前記調整が行われたか否かを示す第４の情報を、前記画像データに関連づける、画像処理装置。

この画像処理装置では、器官領域に基づく顔領域の調整が行われたか否かを示す第４の情報が画像データに関連づけられるため、第１の情報により特定される顔領域の検出精度を第４の情報によっても容易に把握することができる。

［適用例４］適用例３に記載の画像処理装置であって、
前記顔領域調整部は、検出された複数の前記器官領域間の位置関係に基づき、前記顔領域の傾きと位置と大きさとの少なくとも１つを調整する、画像処理装置。

この画像処理装置では、複数の器官領域間の位置関係に基づく顔領域の傾きと位置と大きさとの少なくとも１つの調整が行われたか否かを示す第４の情報が画像データに関連づけられるため、第１の情報により特定される顔領域の検出精度を第４の情報によっても容易に把握することができる。

［適用例５］適用例１に記載の画像処理装置であって、
前記情報付加部は、前記画像データと前記第１の情報と前記第２の情報とを含む画像ファイルを生成することにより、前記第１の情報と前記第２の情報とを前記画像データに関連づける、画像処理装置。

この画像処理装置では、画像データと第１の情報と第２の情報とを含む画像ファイルを生成することにより、第１の情報と第２の情報とを画像データに関連づけることができる。

［適用例６］適用例１ないし適用例５のいずれかに記載の画像処理装置であって、
前記顔の器官の種類は、右目と左目と口との少なくとも１つである、画像処理装置。

［適用例７］画像処理装置であって、
対象画像を表す画像データであって、前記対象画像における顔の画像に対応する顔領域を特定する第１の情報と、前記顔領域における顔の器官の画像に対応する器官領域を検出できたか否かを特定する第２の情報と、が関連づけられた前記画像データを取得する画像取得部と、
前記顔領域に基づき設定される顔の画像を含む画像領域を対象に、前記第２の情報に基づき所定の補正処理の補正内容を設定し、設定された前記補正内容で前記所定の補正処理を実行する補正処理部と、を備える、画像処理装置。

この画像処理装置では、対象画像における顔の画像に対応する顔領域を特定する第１の情報と顔領域における顔の器官の画像に対応する器官領域を検出できたか否かを特定する第２の情報とが関連づけられた画像データが取得され、顔領域に基づき設定される顔の画像を含む画像領域を対象に、第２の情報に基づき所定の補正処理の補正内容が設定され、設定された補正内容で所定の補正処理が実行されるため、顔領域に基づき設定される顔の画像を含む画像領域を対象とした補正処理の補正の程度を適正に設定することができる。

［適用例８］適用例７に記載の画像処理装置であって、
前記補正処理部は、前記第２の情報が前記器官領域の検出が成功しなかったことを示している場合の補正の程度が、前記第２の情報が前記器官領域の検出が成功したことを示している場合の補正の程度より小さくなるように、前記補正内容を設定する、画像処理装置。

この画像処理装置では、第２の情報が器官領域の検出が成功しなかったことを示している場合の補正の程度が第２の情報が器官領域の検出が成功したことを示している場合の補正の程度より小さくなるように補正内容が設定されるため、顔領域に基づき設定される顔の画像を含む画像領域を対象とした補正処理の補正の程度を適正に設定することができる。

なお、本発明は、種々の態様で実現することが可能であり、例えば、画像処理方法および装置、顔領域検出方法および装置、画像補正方法および装置、これらの方法または装置の機能を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した記録媒体、そのコンピュータプログラムを含み搬送波内に具現化されたデータ信号、等の形態で実現することができる。

次に、本発明の実施の形態を実施例に基づいて以下の順序で説明する。
Ａ．実施例：
Ａ−１．画像処理装置の構成：
Ａ−２．顔領域検出処理：
Ｂ．変形例：

Ａ．実施例：
Ａ−１．画像処理装置の構成：
図１は、本発明の実施例における画像処理装置としてのプリンタ１００の構成を概略的に示す説明図である。本実施例のプリンタ１００は、メモリカードＭＣ等から取得した画像データに基づき画像を印刷する、いわゆるダイレクトプリントに対応したインクジェット式カラープリンタである。プリンタ１００は、プリンタ１００の各部を制御するＣＰＵ１１０と、ＲＯＭやＲＡＭによって構成された内部メモリ１２０と、ボタンやタッチパネルにより構成された操作部１４０と、液晶ディスプレイにより構成された表示部１５０と、プリンタエンジン１６０と、カードインターフェース（カードＩ／Ｆ）１７０と、を備えている。プリンタ１００は、さらに、他の機器（例えばデジタルスチルカメラやパーソナルコンピュータ）とのデータ通信を行うためのインターフェースを備えているとしてもよい。プリンタ１００の各構成要素は、バスを介して互いに接続されている。

プリンタエンジン１６０は、印刷データに基づき印刷を行う印刷機構である。カードインターフェース１７０は、カードスロット１７２に挿入されたメモリカードＭＣとの間でデータのやり取りを行うためのインターフェースである。なお、本実施例では、メモリカードＭＣに画像データを含む画像ファイルが格納されている。

内部メモリ１２０には、画像処理部２００と、表示処理部３１０と、印刷処理部３２０と、が格納されている。画像処理部２００は、所定のオペレーティングシステムの下で、後述する顔領域検出処理等の画像処理を実行するためのコンピュータプログラムである。表示処理部３１０は、表示部１５０を制御して、表示部１５０上に処理メニューやメッセージ、画像等を表示させるディスプレイドライバである。印刷処理部３２０は、画像データから印刷データを生成し、プリンタエンジン１６０を制御して、印刷データに基づく画像の印刷を実行するためのコンピュータプログラムである。ＣＰＵ１１０は、内部メモリ１２０から、これらのプログラムを読み出して実行することにより、これら各部の機能を実現する。

画像処理部２００は、プログラムモジュールとして、領域検出部２１０と、情報付加部２３０と、を含んでいる。領域検出部２１０は、対象画像データの表す対象画像における所定の種類の被写体の画像（顔の画像および顔の器官の画像）に対応する画像領域の検出を行う。領域検出部２１０は、判定対象設定部２１１と、評価値算出部２１２と、判定部２１３と、領域設定部２１４と、顔領域決定部２１６と、を含んでいる。顔領域決定部２１６は、顔傾き推定部２１７を含んでいる。これら各部の機能については、後述の顔領域検出処理の説明において詳述する。なお、後述するように、領域検出部２１０は、顔の画像に対応する顔領域の検出および顔の器官の画像に対応する器官領域の検出を行うため、本発明における顔領域検出部および器官領域検出部として機能する。また、後述するように、顔領域決定部２１６は、原顔領域ＦＡｏの調整を行うため、本発明における顔領域調整部として機能する。

情報付加部２３０は、画像データを含む画像ファイルに、所定の情報（例えば顔領域および器官領域の位置を示す情報）を付属情報として付加する。

内部メモリ１２０には、また、予め設定された複数の顔学習データＦＬＤおよび複数の顔器官学習データＯＬＤが格納されている。顔学習データＦＬＤおよび顔器官学習データＯＬＤは、領域検出部２１０による所定の画像領域の検出に用いられる。図２は、顔学習データＦＬＤおよび顔器官学習データＯＬＤの種類を示す説明図である。図２（ａ）ないし図２（ｆ）には、顔学習データＦＬＤおよび顔器官学習データＯＬＤの種類と、当該種類の顔学習データＦＬＤおよび顔器官学習データＯＬＤを用いて検出される画像領域の例と、を示している。

顔学習データＦＬＤの内容については後述の顔領域検出処理の説明において詳述するが、本実施例の顔学習データＦＬＤは、顔傾きに対応付けられて設定されている。ここで、顔傾きとは、画像面内（インプレーン）における顔の傾き（回転角度）を意味している。すなわち、顔傾きは、画像面に垂直な軸を中心とした顔の回転角度である。本実施例では、対象画像上の領域や被写体等の傾きを、領域や被写体等の上方向が対象画像の上方向と一致した状態を基準状態（傾き＝０度）とした場合における基準状態からの時計回りの回転角度で表すものとしている。例えば、顔傾きは、対象画像の上下方向に沿って顔が位置している状態（頭頂が上方向を向き顎が下方向を向いた状態）を基準状態（顔傾き＝０度）とした場合における基準状態からの顔の時計回りの回転角度で表される。

内部メモリ１２０には、図２（ａ）および図２（ｂ）に示す２つの顔学習データＦＬＤ、すなわち、図２（ａ）に示す０度の顔傾きに対応する顔学習データＦＬＤと、図２（ｂ）に示す３０度の顔傾きに対応する顔学習データＦＬＤと、が格納されている。後述するように、ある顔傾きに対応する顔学習データＦＬＤは、当該顔傾きを中心に顔傾きの値がプラスマイナス１５度の範囲の顔の画像を検出可能なように学習によって設定されている。また、人物の顔は実質的に左右対称である。そのため、０度の顔傾きに対応する顔学習データＦＬＤ（図２（ａ））と３０度の顔傾きに対応する顔学習データＦＬＤ（図２（ｂ））との２つが予め準備されれば、これら２つの顔学習データＦＬＤを９０度単位で回転させることにより、あらゆる顔傾きの顔の画像を検出可能な顔学習データＦＬＤを得ることができる。

顔器官学習データＯＬＤは、顔の器官の種類と器官傾きとの組み合わせに対応付けられて設定されている。本実施例では、顔の器官の種類として、目（右目および左目）と口とが設定されている。また、器官傾きとは、上述の顔傾きと同様に、画像面内（インプレーン）における顔の器官の傾き（回転角度）を意味している。すなわち、器官傾きは、画像面に垂直な軸を中心とした顔の器官の回転角度である。器官傾きは、顔傾きと同様に、対象画像の上下方向に沿って顔の器官が位置している状態を基準状態（器官傾き＝０度）とした場合における基準状態からの顔の器官の時計回りの回転角度で表される。

内部メモリ１２０には、図２（ｃ）ないし図２（ｆ）に示す４つの顔器官学習データＯＬＤ、すなわち、図２（ｃ）に示す目と０度の器官傾きとの組み合わせに対応する顔器官学習データＯＬＤと、図２（ｄ）に示す目と３０度の器官傾きとの組み合わせに対応する顔器官学習データＯＬＤと、図２（ｅ）に示す口と０度の器官傾きとの組み合わせに対応する顔器官学習データＯＬＤと、図２（ｆ）に示す口と３０度の器官傾きとの組み合わせに対応する顔器官学習データＯＬＤと、が格納されている。目と口とは別の種類の被写体であるため、顔器官学習データＯＬＤは被写体の種類と被写体の傾きとの組み合わせに対応して設定されていると表現できる。

顔学習データＦＬＤと同様に、ある器官傾きに対応する顔器官学習データＯＬＤは、当該器官傾きを中心に器官傾きの値がプラスマイナス１５度の範囲の器官の画像を検出可能なように学習によって設定されている。また、人物の目や口は実質的に左右対称である。そのため、目については、０度の器官傾きに対応する顔器官学習データＯＬＤ（図２（ｃ））と３０度の器官傾きに対応する顔器官学習データＯＬＤ（図２（ｄ））との２つが予め準備されれば、これら２つの顔器官学習データＯＬＤを９０度単位で回転させることにより、あらゆる器官傾きの目の画像を検出可能な顔器官学習データＯＬＤを得ることができる。口についても同様に、０度の器官傾きに対応する顔器官学習データＯＬＤ（図２（ｅ））と３０度の器官傾きに対応する顔器官学習データＯＬＤであることを（図２（ｆ））との２つが予め準備されれば、あらゆる器官傾きの口の画像を検出可能な顔器官学習データＯＬＤを得ることができる。なお、本実施例では、右目と左目とは同じ種類の被写体であるとし、右目の画像に対応する右目領域と左目の画像に対応する左目領域とを共通の顔器官学習データＯＬＤを用いて検出するものとしているが、右目と左目とは異なる種類の被写体であるとして、右目領域検出用と左目領域検出用とにそれぞれ専用の顔器官学習データＯＬＤを準備するものとしてもよい。

Ａ−２．顔領域検出処理：
図３は、顔領域検出処理の流れを示すフローチャートである。本実施例における顔領域検出処理は、画像データの表す画像における顔の画像に対応する顔領域を決定する処理である。

ステップＳ１１０（図３）では、画像処理部２００（図１）が、顔領域検出処理の対象となる画像を表す画像データを取得する。本実施例のプリンタ１００では、カードスロット１７２にメモリカードＭＣが挿入されると、メモリカードＭＣに格納された画像ファイルのサムネイル画像が表示部１５０に表示される。ユーザは、表示されたサムネイル画像を参照しつつ、操作部１４０を介して処理の対象となる１つまたは複数の画像を選択する。画像処理部２００は、選択された１つまたは複数の画像に対応する画像データを含む画像ファイルをメモリカードＭＣより取得して内部メモリ１２０の所定の領域に格納する。なお、取得された画像データを原画像データと呼び、原画像データの表す画像を原画像ＯＩｍｇと呼ぶものとする。

ステップＳ１２０（図３）では、領域検出部２１０（図１）が、原顔領域検出処理を行う。原顔領域検出処理は、顔の画像に対応する画像領域を原顔領域ＦＡｏとして検出する処理である。図４は、原顔領域検出処理の流れを示すフローチャートである。また、図５は、原顔領域検出処理の概要を示す説明図である。図５の最上段には原画像ＯＩｍｇの一例を示している。

原顔領域検出処理（図４）におけるステップＳ３１０では、領域検出部２１０（図１）が、原画像ＯＩｍｇを表す原画像データから顔検出用画像ＦＤＩｍｇを表す顔検出用画像データを生成する。本実施例では、図５に示すように、顔検出用画像ＦＤＩｍｇは横３２０画素×縦２４０画素のサイズの画像である。領域検出部２１０は、必要により原画像データの解像度変換を行うことにより、顔検出用画像ＦＤＩｍｇを表す顔検出用画像データを生成する。

ステップＳ３２０（図４）では、判定対象設定部２１１（図１）が、判定対象画像領域ＪＩＡ（後述）の設定に用いるウィンドウＳＷのサイズを初期値に設定する。ステップＳ３３０では、判定対象設定部２１１が、ウィンドウＳＷを顔検出用画像ＦＤＩｍｇ上の初期位置に配置する。ステップＳ３４０では、判定対象設定部２１１が、顔検出用画像ＦＤＩｍｇ上に配置されたウィンドウＳＷにより規定される画像領域を、顔の画像に対応する画像領域であるか否かの判定（以下「顔判定」とも呼ぶ）の対象となる判定対象画像領域ＪＩＡに設定する。図５の中段には、顔検出用画像ＦＤＩｍｇ上に初期値のサイズのウィンドウＳＷが初期位置に配置され、ウィンドウＳＷにより規定される画像領域が判定対象画像領域ＪＩＡに設定される様子を示している。本実施例では、後述するように、正方形形状のウィンドウＳＷのサイズおよび位置が変更されつつ判定対象画像領域ＪＩＡの設定が順に行われるが、ウィンドウＳＷのサイズの初期値は最大サイズである横２４０画素×縦２４０画素であり、ウィンドウＳＷの初期位置はウィンドウＳＷの左上の頂点が顔検出用画像ＦＤＩｍｇの左上の頂点に重なるような位置である。また、ウィンドウＳＷは、その傾きが０度の状態で配置される。なお、上述したように、ウィンドウＳＷの傾きとは、ウィンドウＳＷの上方向が対象画像（顔検出用画像ＦＤＩｍｇ）の上方向と一致した状態を基準状態（傾き＝０度）とした場合における基準状態からの時計回りの回転角度を意味している。

ステップＳ３５０（図４）では、評価値算出部２１２（図１）が、判定対象画像領域ＪＩＡについて、判定対象画像領域ＪＩＡに対応する画像データ基づき、顔判定に用いる累計評価値Ｔｖを算出する。なお、本実施例では、顔判定は予め設定された特定顔傾き毎に実行される。すなわち、特定顔傾き毎に、判定対象画像領域ＪＩＡが当該特定顔傾き分だけ傾いた顔の画像に対応する画像領域であるか否かの判定が行われる。そのため、累計評価値Ｔｖも特定顔傾き毎に算出される。ここで、特定顔傾きとは、予め設定された顔傾きの値を意味している。本実施例では、傾きを０度から３０度ずつ増加させた計１２個の顔傾き（０度、３０度、６０度、・・・、３３０度）が、特定顔傾きとして設定されている。

図６は、顔判定に用いる累計評価値Ｔｖの算出方法の概要を示す説明図である。本実施例では、累計評価値Ｔｖの算出にＮ個のフィルタ（フィルタ１〜フィルタＮ）が用いられる。各フィルタの外形はウィンドウＳＷと同じアスペクト比を有しており（すなわち正方形形状であり）、各フィルタにはプラス領域ｐａとマイナス領域ｍａとが設定されている。評価値算出部２１２は、判定対象画像領域ＪＩＡにフィルタＸ（Ｘ＝１，２，・・・，Ｎ）を順に適用して評価値ｖＸ（すなわちｖ１〜ｖＮ）を算出する。具体的には、評価値ｖＸは、フィルタＸのプラス領域ｐａに対応する判定対象画像領域ＪＩＡ上の領域内に位置する画素の輝度値の合計から、マイナス領域ｍａに対応する判定対象画像領域ＪＩＡ上の領域内に位置する画素の輝度値の合計を差し引いた値である。

算出された評価値ｖＸは、各評価値ｖＸに対応して設定された閾値ｔｈＸ（すなわちｔｈ１〜ｔｈＮ）と比較される。本実施例では、評価値ｖＸが閾値ｔｈＸ以上である場合には、フィルタＸに関しては判定対象画像領域ＪＩＡが顔の画像に対応する画像領域であると判定され、フィルタＸの出力値として値「１」が設定される。一方、評価値ｖＸが閾値ｔｈＸより小さい場合には、フィルタＸに関しては判定対象画像領域ＪＩＡが顔の画像に対応する画像領域ではないと判定され、フィルタＸの出力値として値「０」が設定される。各フィルタＸには重み係数ＷｅＸ（すなわちＷｅ１〜ＷｅＮ）が設定されており、すべてのフィルタについての出力値と重み係数ＷｅＸとの積の合計が、累計評価値Ｔｖとして算出される。

なお、顔判定に用いられるフィルタＸの態様や閾値ｔｈＸ、重み係数ＷｅＸ、後述の閾値ＴＨは、上記１２個の特定顔傾きのそれぞれについて、顔学習データＦＬＤ（図２（ａ）および図２（ｂ）参照）として予め設定されている。本実施例における顔学習データＦＬＤは、判定対象画像領域ＪＩＡが顔の画像に対応する画像領域であることの確からしさを表す評価値を算出するためのデータであるため、本発明における評価用データに相当する。

顔学習データＦＬＤは、サンプル画像を用いた学習によって生成される。図７は、学習に用いられるサンプル画像の一例を示す説明図である。学習には、顔の画像に対応した画像であることが予めわかっている複数の顔サンプル画像によって構成された顔サンプル画像群と、顔の画像に対応した画像ではないことが予めわかっている複数の非顔サンプル画像によって構成された非顔サンプル画像群と、が用いられる。

学習による顔学習データＦＬＤの生成は特定顔傾き毎に実行されるため、図７に示すように、顔サンプル画像群は、１２個の特定顔傾きのそれぞれに対応したものが準備される。例えば０度の特定顔傾きについての顔学習データＦＬＤの生成は、０度の特定顔傾きに対応した顔サンプル画像群と非顔サンプル画像群とを用いて実行され、３０度の特定顔傾きについての顔学習データＦＬＤの生成は、３０度の特定顔傾きに対応した顔サンプル画像群と非顔サンプル画像群とを用いて実行される。

各特定顔傾きに対応する顔サンプル画像群は、画像サイズに対する顔の画像の大きさの比が所定の値の範囲内であると共に顔の画像の傾きが特定顔傾きに等しい複数の顔サンプル画像（以下「基本顔サンプル画像ＦＩｏ」とも呼ぶ）を含む。また、顔サンプル画像群は、少なくとも１つの基本顔サンプル画像ＦＩｏについて、基本顔サンプル画像ＦＩｏを１．２倍から０．８倍までの範囲の所定の倍率で拡大および縮小した画像（例えば図７における画像ＦＩａおよびＦＩｂ）や、基本顔サンプル画像ＦＩｏの顔傾きをプラスマイナス１５度の範囲で変化させた画像（例えば図７における画像ＦＩｃおよびＦＩｄ）をも含む。

サンプル画像を用いた学習は、例えばニューラルネットワークを用いた方法や、ブースティング（例えばアダブースティング）を用いた方法、サポートベクターマシーンを用いた方法等により実行される。例えば学習がニューラルネットワークを用いた方法により実行される場合には、各フィルタＸ（すなわちフィルタ１〜フィルタＮ、図６参照）について、ある特定顔傾きに対応した顔サンプル画像群（図７参照）と非顔サンプル画像群とに含まれるすべてのサンプル画像を用いて評価値ｖＸ（すなわちｖ１〜ｖＮ）が算出され、所定の顔検出率を達成する閾値ｔｈＸ（すなわちｔｈ１〜ｔｈＮ）が設定される。ここで、顔検出率とは、顔サンプル画像群を構成する顔サンプル画像の総数に対する、評価値ｖＸによる閾値判定によって顔の画像に対応する画像であると判定される顔サンプル画像の数の割合を意味している。

次に、各フィルタＸに設定された重み係数ＷｅＸ（すなわちＷｅ１〜ＷｅＮ）が初期値に設定され、顔サンプル画像群および非顔サンプル画像群の中から選択された１つのサンプル画像についての累計評価値Ｔｖが算出される。後述するように、顔判定においては、ある画像について算出された累計評価値Ｔｖが所定の閾値ＴＨ以上の場合には、当該画像は顔の画像に対応する画像であると判定される。学習においては、選択されたサンプル画像（顔サンプル画像または非顔サンプル画像）について算出された累計評価値Ｔｖによる閾値判定結果の正誤に基づき、各フィルタＸに設定された重み係数ＷｅＸの値が修正される。以降、サンプル画像の選択と、選択されたサンプル画像について算出された累計評価値Ｔｖによる閾値判定、および判定結果の正誤に基づく重み係数ＷｅＸの値の修正が、顔サンプル画像群および非顔サンプル画像群に含まれるすべてのサンプル画像について繰り返し実行される。以上の処理が特定顔傾き毎に実行されることにより、特定顔傾き毎の顔学習データＦＬＤが生成される。

判定対象画像領域ＪＩＡについて特定顔傾き毎に累計評価値Ｔｖが算出されると（図４のステップＳ３５０）、判定部２１３（図１）は、累計評価値Ｔｖを特定顔傾き毎に設定された閾値ＴＨと比較する（ステップＳ３６０）。ある特定顔傾きについて累計評価値Ｔｖが閾値ＴＨ以上である場合には、領域検出部２１０が、判定対象画像領域ＪＩＡは当該特定顔傾き分だけ傾いた顔の画像に対応する画像領域であるとして、判定対象画像領域ＪＩＡの位置、すなわち現在設定されているウィンドウＳＷの座標と、当該特定顔傾きと、を記憶する（ステップＳ３７０）。一方、いずれの特定顔傾きについても累計評価値Ｔｖが閾値ＴＨより小さい場合には、ステップＳ３７０の処理はスキップされる。

ステップＳ３８０（図４）では、領域検出部２１０（図１）が、現在設定されているサイズのウィンドウＳＷにより顔検出用画像ＦＤＩｍｇ全体がスキャンされたか否かを判定する。未だ顔検出用画像ＦＤＩｍｇ全体がスキャンされていないと判定された場合には、判定対象設定部２１１（図１）が、ウィンドウＳＷを所定の方向に所定の移動量だけ移動する（ステップＳ３９０）。図５の下段には、ウィンドウＳＷが移動した様子を示している。本実施例では、ステップＳ３９０において、ウィンドウＳＷがウィンドウＳＷの水平方向の大きさの２割分の移動量で右方向に移動するものとしている。また、ウィンドウＳＷがさらに右方向には移動できない位置に配置されている場合には、ステップＳ３９０において、ウィンドウＳＷが顔検出用画像ＦＤＩｍｇの左端まで戻ると共に、ウィンドウＳＷの垂直方向の大きさの２割分の移動量で下方向に移動するものとしている。ウィンドウＳＷがさらに下方向には移動できない位置に配置されている場合には、顔検出用画像ＦＤＩｍｇ全体がスキャンされたこととなる。ウィンドウＳＷの移動（ステップＳ３９０）の後には、移動後のウィンドウＳＷについて、上述のステップＳ３４０以降の処理が実行される。

ステップＳ３８０（図４）において現在設定されているサイズのウィンドウＳＷにより顔検出用画像ＦＤＩｍｇ全体がスキャンされたと判定された場合には、ウィンドウＳＷの所定のサイズがすべて使用されたか否かが判定される（ステップＳ４００）。本実施例では、ウィンドウＳＷのサイズとして、初期値（最大サイズ）である横２４０画素×縦２４０画素の他に、横２１３画素×縦２１３画素、横１７８画素×縦１７８画素、横１４９画素×縦１４９画素、横１２４画素×縦１２４画素、横１０３画素×縦１０３画素、横８６画素×縦８６画素、横７２画素×縦７２画素、横６０画素×縦６０画素、横５０画素×縦５０画素、横４１画素×縦４１画素、横３５画素×縦３５画素、横２９画素×縦２９画素、横２４画素×縦２４画素、横２０画素×縦２０画素（最小サイズ）、の合計１５個のサイズが設定されている。未だ使用されていないウィンドウＳＷのサイズがあると判定された場合には、判定対象設定部２１１（図１）が、ウィンドウＳＷのサイズを現在設定されているサイズの次に小さいサイズに変更する（ステップＳ４１０）。すなわち、ウィンドウＳＷのサイズは、最初に最大サイズに設定され、その後、順に小さいサイズに変更されていく。ウィンドウＳＷのサイズの変更（ステップＳ４１０）の後には、変更後のサイズのウィンドウＳＷについて、上述のステップＳ３３０以降の処理が実行される。

ステップＳ４００（図４）においてウィンドウＳＷの所定のサイズがすべて使用されたと判定された場合には、領域設定部２１４（図１）が、原顔領域設定処理を実行する（ステップＳ４２０）。図８および図９は、原顔領域設定処理の概要を示す説明図である。領域設定部２１４は、図４のステップＳ３６０において累計評価値Ｔｖが閾値ＴＨ以上であると判定されステップＳ３７０において記憶されたウィンドウＳＷの座標（すなわちウィンドウＳＷの位置およびサイズ）と特定顔傾きとに基づき、原顔領域ＦＡｏを設定する。具体的には、特定顔傾きが０度である場合には、ウィンドウＳＷにより規定される画像領域（すなわち判定対象画像領域ＪＩＡ）が、そのまま原顔領域ＦＡｏとして設定される。一方、特定顔傾きが０度以外である場合には、ウィンドウＳＷの傾きを特定顔傾きに一致させ（すなわちウィンドウＳＷを所定の点（例えばウィンドウＳＷの重心）を中心として特定顔傾き分だけ時計回りに回転させ）、傾きを変化させた後のウィンドウＳＷにより規定される画像領域が原顔領域ＦＡｏとして設定される。例えば図８（ａ）に示すように、３０度の特定顔傾きについて累計評価値Ｔｖが閾値ＴＨ以上であると判定された場合には、図８（ｂ）に示すように、ウィンドウＳＷの傾きを３０度に変化させ、傾き変化後のウィンドウＳＷにより規定される画像領域が原顔領域ＦＡｏとして設定される。

また、領域設定部２１４は、ステップＳ３７０において、ある特定顔傾きについて互いに一部が重複する複数のウィンドウＳＷが記憶された場合には、各ウィンドウＳＷにおける所定の点（例えばウィンドウＳＷの重心）の座標の平均の座標を重心とし、各ウィンドウＳＷのサイズの平均のサイズを有する１つの新たなウィンドウ（以下「平均ウィンドウＡＷ」とも呼ぶ）を設定する。例えば図９（ａ）に示すように、互いに一部が重複する４つのウィンドウＳＷ（ＳＷ１〜ＳＷ４）が記憶された場合には、図９（ｂ）に示すように、４つのウィンドウＳＷのそれぞれの重心の座標の平均の座標を重心とし、４つのウィンドウＳＷのそれぞれのサイズの平均のサイズを有する１つの平均ウィンドウＡＷが定義される。このとき、上述したのと同様に、特定顔傾きが０度である場合には、平均ウィンドウＡＷにより規定される画像領域がそのまま原顔領域ＦＡｏとして設定される。一方、特定顔傾きが０度以外である場合には、平均ウィンドウＡＷの傾きを特定顔傾きに一致させ（すなわち平均ウィンドウＡＷを所定の点（例えば平均ウィンドウＡＷの重心）を中心として特定顔傾き分だけ時計回りに回転させ）、傾きを変化させた後の平均ウィンドウＡＷにより規定される画像領域が原顔領域ＦＡｏとして設定される（図９（ｃ）参照）。

なお、図８に示したように、他のウィンドウＳＷと重複しない１つのウィンドウＳＷが記憶された場合にも、図９に示した互いに一部が重複する複数のウィンドウＳＷが記憶された場合と同様に、１つのウィンドウＳＷ自身が平均ウィンドウＡＷであると解釈することも可能である。

本実施例では、学習の際に用いられる顔サンプル画像群（図７参照）に、基本顔サンプル画像ＦＩｏを１．２倍から０．８倍までの範囲の所定の倍率で拡大および縮小した画像（例えば図７における画像ＦＩａおよびＦＩｂ）が含まれているため、ウィンドウＳＷの大きさに対する顔の画像の大きさが基本顔サンプル画像ＦＩｏと比べてわずかに大きかったり小さかったりする場合にも、原顔領域ＦＡｏが検出されうる。従って、本実施例では、ウィンドウＳＷのサイズとして上述した１５個の離散的なサイズのみが設定されているが、あらゆる大きさの顔の画像について原顔領域ＦＡｏが検出されうる。同様に、本実施例では、学習の際に用いられる顔サンプル画像群に、基本顔サンプル画像ＦＩｏの顔傾きをプラスマイナス１５度の範囲で変化させた画像（例えば図７における画像ＦＩｃおよびＦＩｄ）が含まれているため、ウィンドウＳＷに対する顔の画像の傾きが基本顔サンプル画像ＦＩｏとはわずかに異なっている場合にも、原顔領域ＦＡｏが検出されうる。従って、本実施例では、特定顔傾きとして上述した１２個の離散的な傾き値のみが設定されているが、あらゆる傾きの顔の画像について原顔領域ＦＡｏが検出されうる。

原顔領域検出処理（図３のステップＳ１２０）において、原顔領域ＦＡｏが検出されなかった場合には（ステップＳ１３０：Ｎｏ）、顔領域検出処理は終了する。一方、少なくとも１つの原顔領域ＦＡｏが検出された場合には（ステップＳ１３０：Ｙｅｓ）、領域検出部２１０（図１）が、検出された原顔領域ＦＡｏの１つを選択する（ステップＳ１４０）。

ステップＳ１５０（図３）では、領域検出部２１０（図１）が、器官領域検出処理を行う。器官領域検出処理は、選択された原顔領域ＦＡｏにおける顔の器官の画像に対応する画像領域を器官領域として検出する処理である。上述したように、本実施例では、顔の器官の種類として、右目と左目と口との３種類が設定されており、器官領域検出処理では、右目の画像に対応する右目領域ＥＡ（ｒ）と、左目の画像に対応する左目領域ＥＡ（ｌ）と、口の画像に対応する口領域ＭＡと、の検出が行われる。

図１０は、器官領域検出処理の流れを示すフローチャートである。また、図１１は、器官領域検出処理の概要を示す説明図である。図１１の最上段には、顔検出処理に用いられた顔検出用画像ＦＤＩｍｇ（図５参照）の一例を示している。

顔検出用画像ＦＤＩｍｇからの器官領域の検出は、上述した原顔領域ＦＡｏの検出と同様に行われる。すなわち、図１１に示すように、矩形形状のウィンドウＳＷがそのサイズおよび位置が変更されつつ顔検出用画像ＦＤＩｍｇ上に配置され（図１０のステップＳ５２０，Ｓ５３０，Ｓ５８０〜Ｓ６１０）、配置されたウィンドウＳＷにより規定される画像領域が顔の器官の画像に対応する器官領域であるか否かの判定（以下「器官判定」とも呼ぶ）の対象となる判定対象画像領域ＪＩＡとして設定される（図１０のステップＳ５４０）。なお、ウィンドウＳＷの取り得るサイズおよび位置は、例えば、選択された原顔領域ＦＡｏのサイズおよび位置に基づき決定される。例えば、ウィンドウＳＷの横方向の長さとして取り得る値は、原顔領域ＦＡｏの横方向の長さを所定数倍して得られる最大サイズから最小サイズまでの間の所定数段階の値に設定される。また、例えば、ウィンドウＳＷの取り得る位置は、ウィンドウＳＷの中心が原顔領域ＦＡｏ内に位置するような範囲に設定される。また、ウィンドウＳＷは、その傾きが０度の状態（ウィンドウＳＷの上方向が顔検出用画像ＦＤＩｍｇの上方向と一致した基準状態）で配置される。

判定対象画像領域ＪＩＡが設定されると、顔器官学習データＯＬＤ（図１）を用いて、器官（右目、左目、口）毎に、器官判定に用いられる累計評価値Ｔｖが算出される（図１０のステップＳ５５０）。累計評価値Ｔｖの算出や器官判定に用いられるフィルタＸの態様や閾値ｔｈＸ、重み係数ＷｅＸ、閾値ＴＨ（図６参照）は、顔器官学習データＯＬＤに規定されている。なお、顔器官学習データＯＬＤの設定のための学習は、顔学習データＦＬＤの設定のための学習と同様に、顔の器官に対応する画像であることが予めわかっている複数の器官サンプル画像によって構成された器官サンプル画像群と、顔の器官に対応する画像ではないことが予めわかっている複数の非器官サンプル画像によって構成された非器官サンプル画像群と、を用いて実行される。

なお、原顔領域検出処理（図４）においては、累計評価値Ｔｖの算出および顔判定が、すべての特定顔傾きについて実行されるのに対し、器官領域検出処理（図１０）では、累計評価値Ｔｖの算出および器官判定が、選択された原顔領域ＦＡｏの特定顔傾きと同一の器官傾きに対応する顔器官学習データＯＬＤ（図２（ｃ）ないし図２（ｆ）参照）を用いて、原顔領域ＦＡｏの特定顔傾きと同一の器官傾きについてのみ実行される。ただし、器官領域検出処理においても、累計評価値Ｔｖの算出および器官判定が、すべての特定器官傾きについて実行されるものとしてもよい。

算出された累計評価値Ｔｖが所定の閾値ＴＨ以上である場合には、判定対象画像領域ＪＩＡは顔の当該器官の画像に対応する画像領域であるとして、判定対象画像領域ＪＩＡの位置、すなわち現在設定されているウィンドウＳＷの座標が記憶される（図１０のステップＳ５７０）。一方、累計評価値Ｔｖが閾値ＴＨより小さい場合には、ステップＳ５７０の処理はスキップされる。

ウィンドウＳＷの所定のサイズのすべてについて、ウィンドウＳＷの位置し得る範囲全体がスキャンされた後に、領域設定部２１４（図１）による器官領域設定処理が実行される（図１０のステップＳ６２０）。図１２は、器官領域設定処理の概要を示す説明図である。器官領域設定処理は、原顔領域設定処理（図８および図９参照）と同様の処理である。領域設定部２１４は、図１０のステップＳ５６０において累計評価値Ｔｖが閾値ＴＨ以上であると判定され、ステップＳ５７０において記憶されたウィンドウＳＷの座標と、原顔領域ＦＡｏに対応する特定顔傾きと、に基づき、顔の器官の画像に対応する画像領域としての器官領域を設定する。具体的には、特定顔傾きが０度である場合には、ウィンドウＳＷにより規定される画像領域（すなわち判定対象画像領域ＪＩＡ）が、そのまま器官領域として設定される。一方、特定顔傾きが０度以外である場合には、ウィンドウＳＷの傾きを特定顔傾きに一致させ（すなわちウィンドウＳＷを所定の点（例えばウィンドウＳＷの重心）を中心として特定顔傾き分だけ時計回りに回転させ）、傾きを変化させた後のウィンドウＳＷにより規定される画像領域が器官領域として設定される。例えば図１２（ａ）に示すように、３０度の特定顔傾きについて、右目に対応するウィンドウＳＷ（ｅｒ）と左目に対応するウィンドウＳＷ（ｅｌ）と口に対応するウィンドウＳＷ（ｍ）とにおいて累計評価値Ｔｖが閾値ＴＨ以上であると判定された場合には、図１２（ｂ）に示すように、各ウィンドウＳＷの傾きを３０度に変化させ、傾き変化後の各ウィンドウＳＷにより規定される画像領域が器官領域（右目領域ＥＡ（ｒ）、左目領域ＥＡ（ｌ）、口領域ＭＡ）として設定される。

また、原顔領域設定処理と同様に、互いに一部が重複する複数のウィンドウＳＷが記憶された場合には、各ウィンドウＳＷにおける所定の点（例えばウィンドウＳＷの重心）の座標の平均の座標を重心とし、各ウィンドウＳＷのサイズの平均のサイズを有する１つの新たなウィンドウ（平均ウィンドウＡＷ）が設定され、特定顔傾きが０度である場合には、平均ウィンドウＡＷにより規定される画像領域がそのまま器官領域として設定され、特定顔傾きが０度以外である場合には、平均ウィンドウＡＷの傾きを特定顔傾きに一致させ（すなわち平均ウィンドウＡＷを所定の点（例えば平均ウィンドウＡＷの重心）を中心として特定顔傾き分だけ時計回りに回転させ）、傾きを変化させた後の平均ウィンドウＡＷにより規定される画像領域が器官領域として設定される。

器官領域検出処理（図３のステップＳ１５０）において器官領域が検出されなかった場合には（ステップＳ１６０：Ｎｏ）、顔領域決定部２１６（図１）が、決定顔領域ＦＡｆを設定する（ステップＳ１８０）。決定顔領域ＦＡｆは、顔領域検出処理の最終的な検出結果として設定される顔領域である。ステップＳ１８０においては、顔領域決定部２１６は、原顔領域ＦＡｏそのものを決定顔領域ＦＡｆとして設定する。すなわち、ステップＳ１８０における決定顔領域ＦＡｆの設定の際には、後述する器官領域に基づく原顔領域ＦＡｏの調整は実行されない。なお、本実施例において、器官領域が検出されなかった場合とは、３種類の器官に対応する器官領域（右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）と口領域ＭＡ）の少なくとも１つが検出されなかった場合を意味する。

器官領域検出処理（図３のステップＳ１５０）において器官領域が検出されなかった場合は、原顔領域検出処理（Ｓ１２０）において顔の画像に対応しない画像領域が誤って原顔領域ＦＡｏとして検出されたり、実際に顔の画像に対応する画像領域と検出された原顔領域ＦＡｏとの間に傾きや位置や大きさの点でずれが発生したりした可能性が比較的高い。そのため、このような場合には、顔領域の検出精度は比較的低いこととなる。

また、上述したように、原顔領域ＦＡｏは、平均ウィンドウＡＷの傾きを特定顔傾きに一致するように変化させた後の平均ウィンドウＡＷにより規定される画像領域である。従って、原顔領域ＦＡｏそのものを決定顔領域ＦＡｆとして設定すると、決定顔領域ＦＡｆの傾き（以下「顔領域傾き」とも呼ぶ）は、特定顔傾きとして設定された１２個の離散的な傾き（０度、３０度、６０度、・・・、３３０度）のいずれか１つとなる。そのため、決定顔領域ＦＡｆの傾き（顔領域傾き）と、対象画像に表された顔の実際の傾き（以下「実傾き」とも呼ぶ）と、の差異は、プラスマイナス１５度の範囲の値となる。従って、この場合には、顔領域傾きと実傾きとの差異の平均値は比較的大きくなり、顔領域の検出精度は比較的低いこととなる。

器官領域検出処理（図３のステップＳ１５０）において、３種類の器官に対応する器官領域（右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）と口領域ＭＡ）がすべて検出された場合には（ステップＳ１６０：Ｙｅｓ）、顔領域決定部２１６（図１）が、検出された器官領域に基づき原顔領域ＦＡｏを調整して、決定顔領域ＦＡｆを設定する（ステップＳ１７０）。図１３は、器官領域が検出された場合における決定顔領域ＦＡｆの設定方法を示す説明図である。まず、図１３（ａ）に示すように、顔領域決定部２１６の顔傾き推定部２１７（図１）は、右目領域ＥＡ（ｒ）の重心と左目領域ＥＡ（ｌ）の重心とを結ぶ直線ＣＬの傾きを算出し、対象画像に表された顔の実際の傾き（実傾き）は算出された直線ＣＬの傾きに等しいと推定する。すなわち、実傾きは、右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）との間の位置関係に基づき推定される。次に、図１３（ｂ）に示すように、顔領域決定部２１６は、原顔領域ＦＡｏを規定する平均ウィンドウＡＷの傾きを推定された実傾きと一致するように変化させ（すなわち平均ウィンドウＡＷを平均ウィンドウＡＷの重心を中心として推定された実傾き分だけ時計回りに回転させ）、傾き変化後の平均ウィンドウＡＷにより規定される画像領域を決定顔領域ＦＡｆとして設定する。このとき、決定顔領域ＦＡｆは、その外周の２辺が直線ＣＬと平行な矩形の画像領域となる。

器官領域検出処理（図３のステップＳ１５０）において器官領域が検出された場合は、原顔領域検出処理（Ｓ１２０）における誤検出が発生したり、実際に顔の画像に対応する画像領域と検出された原顔領域ＦＡｏとの間に傾きや位置や大きさの点でずれが発生したりした可能性が比較的低い。そのため、このような場合には、顔領域の検出精度は比較的高いこととなる。

また、ステップＳ１７０（図３）における決定顔領域ＦＡｆの設定では、設定された決定顔領域ＦＡｆの傾き（顔領域傾き）が、対象画像に表された顔の実際の傾き（実傾き）の推定値と一致する。また、実傾きの推定値として取り得る値は離散値ではなく連続値である。そのため、この場合には、顔領域傾きと実傾きとの差異の平均値は比較的小さくなり、顔領域の検出精度は比較的高いこととなる。

ステップＳ１９０（図３）では、領域検出部２１０（図１）が、ステップＳ１４０において未だ選択されていない原顔領域ＦＡｏが存在するか否かを判定する。未だ選択されていない原顔領域ＦＡｏが存在すると判定された場合には（ステップＳ１９０：Ｎｏ）、ステップＳ１４０に戻って未選択の原顔領域ＦＡｏの１つが選択され、ステップＳ１５０以降の処理が実行される。一方、すべての原顔領域ＦＡｏが選択されたと判定された場合には（ステップＳ１９０：Ｙｅｓ）、処理はステップＳ２００に進む。

ステップＳ２００（図３）では、情報付加部２３０（図１）が、原画像データを含む画像ファイルに付属情報を付加する情報記録処理を行う。図１４は、情報記録処理により生成された画像ファイルの一例を示す説明図である。図１４に示すように、本実施例の画像ファイルは、画像データを格納する画像データ格納領域と、付属情報を格納する付属情報格納領域と、を有している。情報付加部２３０は、原画像データを含む画像ファイルの付属情報格納領域に、付属情報として、決定顔領域特定情報を格納する。決定顔領域特定情報は、ステップＳ１７０またはＳ１８０において設定された決定顔領域ＦＡｆを特定する情報であり、具体的には、原画像ＯＩｍｇにおける設定された決定顔領域ＦＡｆの位置（座標）を示す情報である。決定顔領域特定情報は、本発明における第１の情報に相当する。なお、決定顔領域特定情報は、設定された決定顔領域ＦＡｆの大きさ（サイズ）を示す情報や、原画像ＯＩｍｇにおける決定顔領域ＦＡｆの傾きを示す情報を含むとしてもよい。

情報記録処理（図３のステップＳ２００）において、情報付加部２３０は、さらに、器官領域検出成否情報を、付属情報として画像ファイルの付属情報格納領域に格納する。器官領域検出成否情報は、器官領域検出処理（ステップＳ１５０）における検出成否を特定する情報であり、具体的には、器官領域の検出に成功したか（すなわち、３種類の器官に対応する器官領域（右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）と口領域ＭＡ）がすべて検出されたか）、器官領域の検出に成功しなかったか（すなわち、３種類の器官に対応する器官領域の少なくとも１つが検出されなかったか）を特定する情報である。器官領域検出成否情報は、器官領域を検出できたか否かを特定する情報であり、本発明における第２の情報に相当する。

また、器官領域検出処理（図３のステップＳ１５０）において器官領域の検出に成功した場合には、情報記録処理（ステップＳ２００）において、情報付加部２３０は、さらに、器官領域特定情報を、付属情報として画像ファイルの付属情報格納領域に格納する。器官領域特定情報は、器官領域検出処理において検出された器官領域（右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）と口領域ＭＡ）を特定する情報であり、具体的には、原画像ＯＩｍｇにおける検出された器官領域の位置（座標）を示す情報である。器官領域特定情報は、本発明における第３の情報に相当する。なお、器官領域特定情報は、検出された器官領域の大きさ（サイズ）を示す情報や、原画像ＯＩｍｇにおける器官領域の傾きを示す情報を含むとしてもよい。

また、情報記録処理（図３のステップＳ２００）において、情報付加部２３０は、さらに、顔領域調整実行情報を、付属情報として画像ファイルの付属情報格納領域に格納する。顔領域調整実行情報は、決定顔領域ＦＡｆの設定（ステップＳ１７０）の際に、原顔領域ＦＡｏの調整が実行されたか否かを示す情報である。顔領域調整実行情報は、本発明における第４の情報に相当する。

以上説明した顔領域検出処理により、原画像ＯＩｍｇを表す原画像データと、決定顔領域特定情報等の付属情報と、が含まれた画像ファイル（図１４参照）が生成される。生成された画像ファイルは、所定の補正処理に供され得る。例えば、画像ファイルがプリンタ１００に取得され、画像ファイルに含まれる画像データを対象とした顔変形処理が画像処理部２００により実行されるものとする。このとき、画像ファイルに含まれる決定顔領域特定情報に基づき画像データの表す画像中の決定顔領域ＦＡｆが特定され、決定顔領域ＦＡｆに基づき設定された顔の画像を含む画像領域に変形処理が行われる。ここで、画像処理部２００は、画像ファイルに含まれる器官領域検出成否情報に基づき、変形処理の程度（変形量）を設定する。すなわち、画像処理部２００は、器官領域検出成否情報が器官領域の検出が成功しなかったことを示している場合の補正の程度が、器官領域検出成否情報が器官領域の検出が成功したことを示している場合の補正の程度より小さくなるように、変形処理の程度（変形量）を設定する。これは、器官領域の検出が成功しなかった場合には、顔領域（決定顔領域ＦＡｆ）の検出精度が比較的低いと考えられ、決定顔領域ＦＡｆに基づき設定された顔の画像を含む画像領域に対して大きな変形量で変形処理を行うと、処理結果が不自然なものとなる可能性が高いからである。画像処理部２００が、画像ファイルに含まれる器官領域検出成否情報に基づき変形処理の程度（変形量）を設定することにより、自然な変形処理を実現することが可能となる。なお、画像ファイルがプリンタ１００に取得され、画像ファイルに含まれる画像データを対象とした顔変形処理が画像処理部２００により実行される場合には、画像処理部２００は、本発明における画像取得部および補正処理部として機能する。

以上説明したように、本実施例のプリンタ１００による顔領域検出処理では、決定顔領域ＦＡｆを特定する決定顔領域特定情報と、器官領域の検出成否（器官領域を検出できたか否か）を特定する器官領域検出成否情報と、を含む画像ファイルが生成されるため、画像ファイルに含まれる器官領域検出成否情報を参照することにより、顔領域の検出精度を容易に把握することができる。そのため、顔領域に基づき設定される顔の画像を含む画像領域を対象とした補正処理の補正の程度を適正に設定することができる。

Ｂ．変形例：
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。

Ｂ１．変形例１：
上記実施例では、決定顔領域ＦＡｆの設定（図３のステップＳ１７０）は、検出された器官領域に基づき原顔領域ＦＡｏの傾きを調整することにより行われているが、原顔領域ＦＡｏの傾きの代わりに、または、原顔領域ＦＡｏの傾きに加えて、原顔領域ＦＡｏの位置と大きさとの少なくとも１つを調整することにより決定顔領域ＦＡｆが設定されるとしてもよい。原顔領域ＦＡｏの位置の調整は、例えば、右目領域ＥＡ（ｒ）の重心と左目領域ＥＡ（ｌ）の重心とを結ぶ線分（以下「両目連結線分」とも呼ぶ）の中点と、決定顔領域ＦＡｆの横方向および縦方向の大きさを所定の比率で分割する点と、が一致するように、原顔領域ＦＡｏを平行移動することによって行う。また、原顔領域ＦＡｏの大きさの調整は、例えば、決定顔領域ＦＡｆの横方向の大きさが、両目連結線分の長さの所定倍となり、決定顔領域ＦＡｆの縦方向の大きさが、両目連結線分と口領域ＭＡの重心との距離の所定倍となるように、原顔領域ＦＡｏを拡大または縮小することにより行う。

Ｂ２．変形例２：
上記実施例では、器官領域検出処理（図３のステップＳ１５０）において３種類の器官に対応する器官領域（右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）と口領域ＭＡ）の少なくとも１つが検出されなかった場合に、器官領域が検出されなかったと判定されるとしているが、３種類の器官領域の少なくとも１つが検出された場合には器官領域が検出されたと判定されるものとしてもよい。この場合には、情報記録処理（図３のステップＳ２００）において、検出された器官領域に関する器官領域特定情報が、画像ファイルの付属情報格納領域に格納されるとしてもよい。また、この場合にも、検出された器官領域に基づき原顔領域ＦＡｏを調整して決定顔領域ＦＡｆを設定することが可能であり、原顔領域ＦＡｏが調整された場合には、顔領域調整実行情報として原顔領域ＦＡｏの調整が実行されことを示す情報が、画像ファイルの付属情報格納領域に格納されるとしてもよい。

あるいは、口領域ＭＡの検出結果に関わらず、顔傾きの推定に用いられる右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）の両者が検出された場合には器官領域が検出されたと判定され、右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）の少なくとも一方が検出されなかった場合には器官領域が検出されなかったと判定されるとしてもよい。この場合も同様に、検出された器官領域に関する器官領域特定情報が画像ファイルの付属情報格納領域に格納されるとしてもよいし、原顔領域ＦＡｏが調整された場合には、顔領域調整実行情報として原顔領域ＦＡｏの調整が実行されことを示す情報が画像ファイルの付属情報格納領域に格納されるとしてもよい。

なお、３種類の器官領域の少なくとも１つが検出されたときには器官領域が検出されたと判定されるとした場合、顔傾きの推定に右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）との一方または両方が利用できないことが考えられる。このような場合には、器官領域が検出された器官検出用画像ＯＤＩｍｇの傾きを顔傾きと推定すればよい。

Ｂ３．変形例３：
上記実施例における顔領域検出処理（図３）では、決定顔領域ＦＡｆの設定（ステップＳ１７０およびＳ１８０）が実行されているが、顔領域検出処理において決定顔領域ＦＡｆの設定は必ずしも実行される必要はなく、器官領域検出処理（ステップＳ１５０）の後に直ちに情報記録処理（ステップＳ２００）が実行されるとしてもよい。

また、顔領域検出処理において決定顔領域ＦＡｆの設定が実行されるか否かに関わらず、情報記録処理（ステップＳ２００）において、決定顔領域特定情報および器官領域検出成否情報（図１４参照）のみが、画像ファイルの付属情報格納領域に格納されるとしてもよい。あるいは、情報記録処理において、決定顔領域特定情報および器官領域検出成否情報に加えて、器官領域特定情報と顔領域調整実行情報との少なくとも１つが、付属情報格納領域に格納されるとしてもよい。

また、情報記録処理（ステップＳ２００）では、各情報（決定顔領域特定情報、器官領域検出成否情報、器官領域特定情報、顔領域調整実行情報）が画像ファイルの付属情報格納領域に格納されるとしているが、各情報は、必ずしも画像ファイルの付属情報格納領域に格納されて画像ファイルに付加される必要はなく、画像ファイルとは独立したデータとして、原画像データに関連づけられるものとしてもよい。

Ｂ４．変形例４：
上記実施例では、画像処理部２００が画像ファイルに含まれる器官領域検出成否情報に基づき変形処理の程度（変形量）を設定するとしているが、画像処理部２００が画像ファイルに含まれる他の情報（器官領域特定情報や顔領域調整実行情報）に基づき変形処理の程度（変形量）を設定するとしてもよい。例えば、画像処理部２００が、画像ファイルに器官領域特定情報が含まれない場合の補正の程度が、器官領域特定情報が含まれる場合の補正の程度より小さくなるように、変形処理の程度（変形量）を設定してもよい。あるいは、画像処理部２００が、顔領域調整実行情報が原顔領域ＦＡｏの調整が実行されなかったことを示している場合の補正の程度が、顔領域調整実行情報が原顔領域ＦＡｏの調整が実行されたことを示している場合の補正の程度より小さくなるように、変形処理の程度（変形量）を設定してもよい。このようにしても、自然な変形処理を実現することが可能となる。

また、画像ファイルに含まれる各情報は、画像データに対する変形処理が行われる場合の変形量の設定だけでなく、画像データに対する他の補正処理（例えば肌色補正）が行われる場合の補正の程度の設定にも利用可能である。

Ｂ５．変形例５：
上記実施例における原顔領域検出処理（図４）や器官領域検出処理（図１０）の態様はあくまで一例であり、種々変更可能である。例えば顔検出用画像ＦＤＩｍｇ（図５参照）のサイズは３２０画素×２４０画素に限られず、他のサイズであってもよいし、原画像ＯＩｍｇそのものを顔検出用画像ＦＤＩｍｇとして用いることも可能である。また、使用されるウィンドウＳＷのサイズやウィンドウＳＷの移動方向および移動量（移動ピッチ）は上述したものに限られない。また、上記実施例では、顔検出用画像ＦＤＩｍｇのサイズが固定され、複数種類のサイズのウィンドウＳＷが顔検出用画像ＦＤＩｍｇ上に配置されることにより複数サイズの判定対象画像領域ＪＩＡが設定されているが、複数種類のサイズの顔検出用画像ＦＤＩｍｇが生成され、固定サイズのウィンドウＳＷが顔検出用画像ＦＤＩｍｇ上に配置されることにより複数サイズの判定対象画像領域ＪＩＡが設定されるものとしてもよい。

また、上記実施例では、累計評価値Ｔｖを閾値ＴＨと比較することにより顔判定および器官判定を行っているが（図６参照）、顔判定および器官判定を複数の判別器を用いた判別等の他の方法によって行ってもよい。顔判定および器官判定の方法に応じて、顔学習データＦＬＤおよび顔器官学習データＯＬＤの設定に用いられる学習方法も変更される。また、顔判定および器官判定は、必ずしも学習を用いた判別方法により行われる必要はなく、パターンマッチング等の他の方法により行われるとしてもよい。

また、上記実施例では、３０度刻みの１２種類の特定顔傾きが設定されているが、より多くの種類の特定顔傾きが設定されてもよいし、より少ない種類の特定顔傾きが設定されてもよい。また、必ずしも特定顔傾きが設定される必要はなく、０度の顔傾きについての顔判定が行われるとしてもよい。また、上記実施例では、顔サンプル画像群に基本顔サンプル画像を拡大・縮小した画像や回転させた画像が含まれるとしているが、顔サンプル画像群に必ずしもこのような画像が含まれる必要はない。

上記実施例において、あるサイズのウィンドウＳＷにより規定される判定対象画像領域ＪＩＡについての顔判定（または器官判定）で顔の画像（または顔の器官の画像）に対応する画像領域であると判定された場合には、当該サイズより所定の比率以上小さいサイズのウィンドウＳＷを配置する場合には、顔の画像に対応する画像領域であると判定された判定対象画像領域ＪＩＡを避けて配置するものとしてもよい。このようにすれば、処理の高速化を図ることができる。

上記実施例では、メモリカードＭＣに格納された画像データが原画像データに設定されているが、原画像データはメモリカードＭＣに格納された画像データに限らず、例えばネットワークを介して取得された画像データであってもよい。

上記実施例では、顔の器官の種類として、右目と左目と口とが設定されており、器官領域として、右目領域ＥＡ（ｒ）と左目領域ＥＡ（ｌ）と口領域ＭＡとの検出が行われるが、顔の器官の種類として顔のどの器官を設定するかは変更可能である。例えば、顔の器官の種類として、右目と左目と口とのいずれか１つまたは２つのみが設定されるとしてもよい。また、顔の器官の種類として、右目と左目と口とに加えて、または右目と左目と口との少なくとも１つに代わり、顔のその他の器官の種類（例えば鼻や眉）が設定され、器官領域としてこのような器官の画像に対応する領域が検出されるとしてもよい。

上記実施例では、原顔領域ＦＡｏおよび器官領域は矩形の領域であるが、原顔領域ＦＡｏおよび器官領域は矩形以外の形状の領域であってもよい。

上記実施例では、画像処理装置としてのプリンタ１００による顔領域検出処理を説明したが、処理の一部または全部がパーソナルコンピュータやデジタルスチルカメラ、デジタルビデオカメラ等の他の種類の画像処理装置により実行されるものとしてもよい。また、プリンタ１００はインクジェットプリンタに限らず、他の方式のプリンタ、例えばレーザプリンタや昇華型プリンタであるとしてもよい。

上記実施例において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータプログラム）は、コンピュータ読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピュータ内の内部記憶装置や、ハードディスク等のコンピュータに固定されている外部記憶装置も含んでいる。

本発明の実施例における画像処理装置としてのプリンタ１００の構成を概略的に示す説明図である。 顔学習データＦＬＤおよび顔器官学習データＯＬＤの種類を示す説明図である。 顔領域検出処理の流れを示すフローチャートである。 原顔領域検出処理の流れを示すフローチャートである。 原顔領域検出処理の概要を示す説明図である。 顔判定に用いる累計評価値Ｔｖの算出方法の概要を示す説明図である。 学習に用いられるサンプル画像の一例を示す説明図である。 原顔領域設定処理の概要を示す説明図である。 原顔領域設定処理の概要を示す説明図である。 器官領域検出処理の流れを示すフローチャートである。 器官領域検出処理の概要を示す説明図である。 器官領域設定処理の概要を示す説明図である。 器官領域が検出された場合における決定顔領域ＦＡｆの設定方法を示す説明図である。 情報記録処理により生成された画像ファイルの一例を示す説明図である。

符号の説明

１００…プリンタ
１１０…ＣＰＵ
１２０…内部メモリ
１４０…操作部
１５０…表示部
１６０…プリンタエンジン
１７０…カードインターフェース
１７２…カードスロット
２００…画像処理部
２１０…領域検出部
２１１…判定対象設定部
２１２…評価値算出部
２１３…判定部
２１４…領域設定部
２１６…顔領域決定部
２１７…顔傾き推定部
２３０…情報付加部
３１０…表示処理部
３２０…印刷処理部

Claims (10)

1. 画像処理装置であって、
   画像データに基づき対象画像における顔の画像に対応する領域を顔領域として検出する顔領域検出部と、
   検出された前記顔領域における顔の器官の画像に対応する領域を器官領域として検出する器官領域検出部と、
   検出された前記顔領域を特定する第１の情報と前記器官領域を検出できたか否かを特定する第２の情報とを、前記画像データに関連づける情報付加部と、を備える、画像処理装置。
2. 請求項１に記載の画像処理装置であって、
   前記情報付加部は、検出された前記器官領域を特定する第３の情報を、前記画像データに関連づける、画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置であって、
   前記顔領域検出部は、検出された前記器官領域に基づき前記顔領域を調整する顔領域調整部を含み、
   前記情報付加部は、前記調整が行われたか否かを示す第４の情報を、前記画像データに関連づける、画像処理装置。
4. 請求項３に記載の画像処理装置であって、
   前記顔領域調整部は、検出された複数の前記器官領域間の位置関係に基づき、前記顔領域の傾きと位置と大きさとの少なくとも１つを調整する、画像処理装置。
5. 請求項１に記載の画像処理装置であって、
   前記情報付加部は、前記画像データと前記第１の情報と前記第２の情報とを含む画像ファイルを生成することにより、前記第１の情報と前記第２の情報とを前記画像データに関連づける、画像処理装置。
6. 請求項１ないし請求項５のいずれかに記載の画像処理装置であって、
   前記顔の器官の種類は、右目と左目と口との少なくとも１つである、画像処理装置。
7. 画像処理装置であって、
   対象画像を表す画像データであって、前記対象画像における顔の画像に対応する顔領域を特定する第１の情報と、前記顔領域における顔の器官の画像に対応する器官領域を検出できたか否かを特定する第２の情報と、が関連づけられた前記画像データを取得する画像取得部と、
   前記顔領域に基づき設定される顔の画像を含む画像領域を対象に、前記第２の情報に基づき所定の補正処理の補正内容を設定し、設定された前記補正内容で前記所定の補正処理を実行する補正処理部と、を備える、画像処理装置。
8. 請求項７に記載の画像処理装置であって、
   前記補正処理部は、前記第２の情報が前記器官領域の検出が成功しなかったことを示している場合の補正の程度が、前記第２の情報が前記器官領域の検出が成功したことを示している場合の補正の程度より小さくなるように、前記補正内容を設定する、画像処理装置。
9. 画像処理方法であって、
   （ａ）画像データに基づき対象画像における顔の画像に対応する領域を顔領域として検出する工程と、
   （ｂ）検出された前記顔領域における顔の器官の画像に対応する領域を器官領域として検出する工程と、
   （ｃ）検出された前記顔領域を特定する第１の情報と前記器官領域を検出できたか否かを特定する第２の情報とを、前記画像データに関連づける工程と、を備える、画像処理方法。
10. 画像処理のためのコンピュータプログラムであって、
    画像データに基づき対象画像における顔の画像に対応する領域を顔領域として検出する顔領域検出機能と、
    検出された前記顔領域における顔の器官の画像に対応する領域を器官領域として検出する器官領域検出機能と、
    検出された前記顔領域を特定する第１の情報と前記器官領域を検出できたか否かを特定する第２の情報とを、前記画像データに関連づける情報付加機能と、を、コンピュータに実現させる、コンピュータプログラム。

Images