JP4449619B2 - 画像処理方法、画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、撮影画像データに対して画像処理を施す画像処理方法、画像処理装置及び画像処理プログラムに関する。

近年、デジタルスチルカメラ（玩具用、携帯電話やラップトップパソコン等の機器に組み込まれたもの、一般ユーザ用の汎用用途、高機能なプロ用途のカメラを含む。以下、ＤＳＣと略称する。）が広く普及し、ＤＳＣで撮影された画像が、カラー写真フィルムと同様に、ハードコピー画像として出力されたり、ＣＲＴ（Cathode Ray Tube）等の出力媒体に表示されたりして鑑賞されている。

また、カラー写真フィルム上に形成された画像を、ＣＣＤ（Charge Coupled Device）センサ等で光電的に読みとって画像信号に変換する技術が広く用いられている。このような画像信号は、ネガポジ反転、輝度調整、カラーバランス調整、粒状除去、鮮鋭性強調に代表される種々の画像処理が施された後に、ＣＤ−Ｒ（CD-Recordable）、ＣＤ−ＲＷ（CD-ReWritable）、フロッピー（登録商標）ディスク、メモリーカード等の記録媒体に記録されたり、インターネット経由で配布され、銀塩印画紙、インクジェットプリンタ、サーマルプリンタ等でハードコピーとして出力されたり、ＣＲＴ、液晶ディスプレイ、プラズマディスプレイ等の出力媒体に表示されたりして鑑賞される。

ところで、どのような出力形態であっても、鑑賞者の着目度が高く、その評価基準が厳しいのは、人物が被写体として撮影されたシーンであり、特に顔部が注目される。しかしながら、実際の画像撮影では、人物の顔が適正な色、明るさ、鮮鋭感、ノイズ感、立体感を有する画像として撮影される環境になっていないのが一般的である。このような背景を受けて、人物を含むシーンについて高い品質の画像とするために、撮影画像データから顔領域を抽出して補正処理を施す技術が必要とされており、顔領域の抽出・判定技術や、顔判定処理の判定精度を向上させる技術が開示されている。

例えば、特許文献１には、撮影画像データから、人物の顔の形状に相当する顔候補領域を決定し、顔候補領域内の特徴量を基に所定の閾値等を利用して顔領域を決定する技術が開示されている。この特許文献１では、特徴量の一つとして「目」に着目しており、顔候補領域の明度ヒストグラムが、高明度の肌部と、低明度の目に対応する２つのピークで構成されるとし、低明度のピークが「目」に相当するものと推察している。そして、顔候補領域全体の画素数に対する低明度のピークを構成する画素数をもって目画素の出現率とし、この目画素の出現率を特徴量としている。また、目の抽出については、テンプレートマッチングの手法も例示されている。

また、特許文献２には、顔領域の抽出精度を補償するために、撮影時の光源状態（配光条件）の判別を行う方法が記載されている。特許文献２に記載の方法は、まず、撮影画像データから人物の顔候補領域を抽出し、抽出した顔候補領域の平均輝度の画像全体に対する偏りを算出し、偏倚量の大きさに応じて、光源状態（逆光撮影かストロボ近接撮影か）の判別を行い、顔領域としての判断基準の許容幅を調整する。特許文献２には、顔候補領域の抽出方法として、特開平６−６７３２０号公報に記載の、色相と彩度の２次元ヒストグラムを用いる方法、特開平８−１２２９４４号公報、特開平８−１８４９２５号公報及び特開平９−１３８４７１号公報に記載のパターンマッチング、特開平９−１３８４７１号公報に記載のパターン検索方法などが引用されている。

更に、特許文献２には、顔以外の背景領域の除去方法として、特開平８−１２２９４４号公報及び特開平８−１８４９２５号公報に記載の、直線部分の比率、線対象性、画面外縁との接触率、濃度コントラスト、濃度変化のパターンや周期性を用いて判別する方法が引用されている。また、光源状態（配光条件）の判別には、明度の１次元ヒストグラムを用いる方法が記載されている。この方法は、逆光の場合は顔領域が暗く背景領域が明るい、ストロボ近接撮影の場合は顔領域が明るく背景領域が暗い、という経験則に基づいている。
特開平８−６３５９７号公報 特開２０００−１４８９８０号公報

一般ユーザにより撮影された自然画像には、光源種や露光状態等の撮影環境が種々であるため、たとえ被写体が同一であっても、輝度分布、即ち、明度ヒストグラムの特性が変化してしまう。しかしながら、特許文献１に記載の技術は、撮影環境によって輝度分布が変化する点を考慮しておらず、その結果、顔の判別精度が十分ではないという問題があった。また、特許文献２に記載の技術は、典型的な逆光やストロボ近接撮影の場合には、顔領域の特定を補償する効果を達成することができるが、典型的な構図に当てはまらないと、補償効果が得られなくなるという問題があった。

本発明の課題は、撮影環境に関わらず、撮影画像データにおける顔の判別精度を向上させることである。

上記課題を解決するため、請求項１に記載の発明は、撮影画像データから画像信号を取得する取得工程と、前記取得された画像信号に基づいて、前記撮影画像データを所定の明度と色相の組み合わせからなる領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す占有率を算出する占有率算出工程と、前記算出された各領域の占有率に、撮影条件に応じて予め設定された係数を乗算する演算を行うことにより、撮影時の配光条件を判別する配光条件判別工程と、前記判別された配光条件に応じて、前記撮影画像データから人物の顔を判別するための処理条件を決定する決定工程と、前記決定された処理条件に従って、前記撮影画像データから人物の顔を判別する処理を行う顔判別工程と、を含むことを特徴としている。

請求項２に記載の発明は、撮影画像データから画像信号を取得する取得工程と、前記取得された画像信号に基づいて、前記撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す占有率を算出する占有率算出工程と、前記算出された各領域の占有率に、撮影条件に応じて予め設定された係数を乗算する演算を行うことにより、撮影時の配光条件を判別する配光条件判別工程と、前記判別された配光条件に応じて、前記撮影画像データから人物の顔を判別するための処理条件を決定する決定工程と、前記決定された処理条件に従って、前記撮影画像データから人物の顔を判別する処理を行う顔判別工程と、を含むことを特徴としている。

請求項３に記載の発明は、撮影画像データから画像信号を取得する取得工程と、前記取得された画像信号に基づいて、撮影画像データを、所定の明度と色相の組み合わせからなる領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第１の占有率を算出するとともに、撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第２の占有率を算出する占有率算出工程と、前記算出された第１の占有率及び第２の占有率に、撮影条件に応じて予め設定された係数を乗算する演算を行うことにより、撮影時の配光条件を判別する配光条件判別工程と、前記判別された配光条件に応じて、前記撮影画像データから人物の顔を判別するための処理条件を決定する決定工程と、前記決定された処理条件に従って、前記撮影画像データから人物の顔を判別する処理を行う顔判別工程と、を含むことを特徴としている。

請求項４に記載の発明は、請求項１〜３の何れか一項に記載の画像処理方法において、前記配光条件判別工程では、前記演算を行うことにより、配光条件を特定するための指標が算出され、その算出された指標に基づいて配光条件が判別され、前記決定工程では、前記算出された指標の値に応じて、顔判別処理の処理条件の切り替え及び／又は調整が行われることを特徴としている。

請求項５に記載の発明は、請求項１〜４の何れか一項に記載の画像処理方法において、前記顔判別工程における判別結果及び／又は配光条件に応じて、前記撮影画像データに所定の画像処理を施す画像処理工程を含むことを特徴としている。

請求項６に記載の発明は、請求項１〜５の何れか一項に記載の画像処理方法において、前記決定工程では、前記判別された配光条件に応じて、前記撮影画像データから人物の顔候補領域を抽出するための抽出条件が決定され、前記顔判別工程では、前記決定された顔候補領域の抽出条件に従って、前記撮影画像データから人物の顔候補領域が抽出され、その抽出された顔候補領域に対して顔判別処理が行われることを特徴としている。

請求項７に記載の発明は、請求項６に記載の画像処理方法において、前記決定工程では、前記判別された配光条件に応じて、前記顔候補領域から抽出する特徴量の抽出条件が決定され、前記顔判別工程では、前記決定された特徴量の抽出条件に従って、前記顔候補領域から特徴量が抽出され、その抽出された特徴量に基づいて顔判別処理が行われることを特徴としている。

請求項８に記載の発明は、請求項７に記載の画像処理方法において、前記決定工程では、前記判別された配光条件に応じて、前記顔候補領域から抽出する特徴量が決定されることを特徴としている。

請求項９に記載の発明は、請求項７又は８に記載の画像処理方法において、前記決定工程では、前記判別された配光条件に応じて、前記特徴量に基づいて前記顔候補領域が人物の顔であるか否かを判定するための顔判定処理条件が決定され、前記顔判別工程では、前記決定された顔判定処理条件に従って顔判別処理が行われることを特徴としている。

請求項１０に記載の発明は、請求項１〜９の何れか一項に記載の画像処理方法において、前記顔判別工程では、ニューラルネットワークを用いて顔判別処理が行われることを特徴としている。

請求項１１に記載の発明は、撮影画像データから画像信号を取得する取得手段と、前記取得された画像信号に基づいて、前記撮影画像データを所定の明度と色相の組み合わせからなる領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す占有率を算出する占有率算出手段と、前記算出された各領域の占有率に、撮影条件に応じて予め設定された係数を乗算する演算を行うことにより、撮影時の配光条件を判別する配光条件判別手段と、前記判別された配光条件に応じて、前記撮影画像データから人物の顔を判別するための処理条件を決定する決定手段と、前記決定された処理条件に従って、前記撮影画像データから人物の顔を判別する処理を行う顔判別手段と、を備えることを特徴としている。

請求項１２に記載の発明は、撮影画像データから画像信号を取得する取得手段と、前記取得された画像信号に基づいて、前記撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す占有率を算出する占有率算出手段と、前記算出された各領域の占有率に、撮影条件に応じて予め設定された係数を乗算する演算を行うことにより、撮影時の配光条件を判別する配光条件判別手段と、前記判別された配光条件に応じて、前記撮影画像データから人物の顔を判別するための処理条件を決定する決定手段と、前記決定された処理条件に従って、前記撮影画像データから人物の顔を判別する処理を行う顔判別手段と、を備えることを特徴としている。

請求項１３に記載の発明は、撮影画像データから画像信号を取得する取得手段と、前記取得された画像信号に基づいて、撮影画像データを、所定の明度と色相の組み合わせからなる領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第１の占有率を算出するとともに、撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第２の占有率を算出する占有率算出手段と、前記算出された第１の占有率及び第２の占有率に、撮影条件に応じて予め設定された係数を乗算する演算を行うことにより、撮影時の配光条件を判別する配光条件判別手段と、前記判別された配光条件に応じて、前記撮影画像データから人物の顔を判別するための処理条件を決定する決定手段と、前記決定された処理条件に従って、前記撮影画像データから人物の顔を判別する処理を行う顔判別手段と、を備えることを特徴としている。

請求項１４に記載の発明は、請求項１１〜１３の何れか一項に記載の画像処理装置において、前記配光条件判別手段は、前記演算を行うことにより、配光条件を特定するための指標を算出し、その算出された指標に基づいて配光条件を判別し、前記決定手段は、前記算出された指標の値に応じて、顔判別処理の処理条件の切り替え及び／又は調整を行うことを特徴としている。

請求項１５に記載の発明は、請求項１１〜１４の何れか一項に記載の画像処理装置において、前記顔判別手段による判別結果及び／又は配光条件に応じて、前記撮影画像データに所定の画像処理を施す画像処理手段を備えることを特徴としている。

請求項１６に記載の発明は、請求項１１〜１５の何れか一項に記載の画像処理装置において、前記決定手段は、前記判別された配光条件に応じて、前記撮影画像データから人物の顔候補領域を抽出するための抽出条件を決定し、前記顔判別手段は、前記決定された顔候補領域の抽出条件に従って、前記撮影画像データから人物の顔候補領域を抽出し、その抽出された顔候補領域に対して顔判別処理を行うことを特徴としている。

請求項１７に記載の発明は、請求項１６に記載の画像処理装置において、前記決定手段は、前記判別された配光条件に応じて、前記顔候補領域から抽出する特徴量の抽出条件を決定し、前記顔判別手段は、前記決定された特徴量の抽出条件に従って、前記顔候補領域から特徴量を抽出し、その抽出された特徴量に基づいて顔判別処理を行うことを特徴としている。

請求項１８に記載の発明は、請求項１７に記載の画像処理装置において、前記決定手段は、前記判別された配光条件に応じて、前記顔候補領域から抽出する特徴量を決定することを特徴としている。

請求項１９に記載の発明は、請求項１７又は１８に記載の画像処理装置において、前記決定手段は、前記判別された配光条件に応じて、前記特徴量に基づいて前記顔候補領域が人物の顔であるか否かを判定するための顔判定処理条件を決定し、前記顔判別手段は、前記決定された顔判定処理条件に従って顔判別処理を行うことを特徴としている。

請求項２０に記載の発明は、請求項１１〜１９の何れか一項に記載の画像処理装置において、前記顔判別手段は、ニューラルネットワークを用いて顔判別処理を行うことを特徴としている。

請求項２１に記載の発明は、画像処理を実行するコンピュータに、撮影画像データから画像信号を取得する取得機能と、前記取得された画像信号に基づいて、前記撮影画像データを所定の明度と色相の組み合わせからなる領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す占有率を算出する占有率算出機能と、前記算出された各領域の占有率に、撮影条件に応じて予め設定された係数を乗算する演算を行うことにより、撮影時の配光条件を判別する配光条件判別機能と、前記判別された配光条件に応じて、前記撮影画像データから人物の顔を判別するための処理条件を決定する決定機能と、前記決定された処理条件に従って、前記撮影画像データから人物の顔を判別する処理を行う顔判別機能と、を実現させるための画像処理プログラムである。

請求項２２に記載の発明は、画像処理を実行するコンピュータに、撮影画像データから画像信号を取得する取得機能と、前記取得された画像信号に基づいて、前記撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す占有率を算出する占有率算出機能と、前記算出された各領域の占有率に、撮影条件に応じて予め設定された係数を乗算する演算を行うことにより、撮影時の配光条件を判別する配光条件判別機能と、前記判別された配光条件に応じて、前記撮影画像データから人物の顔を判別するための処理条件を決定する決定機能と、前記決定された処理条件に従って、前記撮影画像データから人物の顔を判別する処理を行う顔判別機能と、を実現させるための画像処理プログラムである。

請求項２３に記載の発明は、画像処理を実行するコンピュータに、撮影画像データから画像信号を取得する取得機能と、前記取得された画像信号に基づいて、撮影画像データを、所定の明度と色相の組み合わせからなる領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第１の占有率を算出するとともに、撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第２の占有率を算出する占有率算出機能と、前記算出された第１の占有率及び第２の占有率に、撮影条件に応じて予め設定された係数を乗算する演算を行うことにより、撮影時の配光条件を判別する配光条件判別機能と、前記判別された配光条件に応じて、前記撮影画像データから人物の顔を判別するための処理条件を決定する決定機能と、前記決定された処理条件に従って、前記撮影画像データから人物の顔を判別する処理を行う顔判別機能と、を実現させるための画像処理プログラムである。

請求項２４に記載の発明は、請求項２１〜２３の何れか一項に記載の画像処理プログラムにおいて、前記配光条件判別機能を実現させる際に、前記演算を行うことにより、配光条件を特定するための指標を算出し、その算出された指標に基づいて配光条件を判別し、前記決定機能を実現させる際に、前記算出された指標の値に応じて、顔判別処理の処理条件の切り替え及び／又は調整を行うことを特徴としている。

請求項２５に記載の発明は、請求項２１〜２４の何れか一項に記載の画像処理プログラムにおいて、前記顔判別機能による判別結果及び／又は配光条件に応じて、前記撮影画像データに所定の画像処理を施す画像処理機能を実現することを特徴としている。

請求項２６に記載の発明は、請求項２１〜２５の何れか一項に記載の画像処理プログラムにおいて、前記決定機能を実現させる際に、前記判別された配光条件に応じて、前記撮影画像データから人物の顔候補領域を抽出するための抽出条件を決定し、前記顔判別機能を実現させる際に、前記決定された顔候補領域の抽出条件に従って、前記撮影画像データから人物の顔候補領域を抽出し、その抽出された顔候補領域に対して顔判別処理を行うことを特徴としている。

請求項２７に記載の発明は、請求項２６に記載の画像処理プログラムにおいて、前記決定機能を実現させる際に、前記判別された配光条件に応じて、前記顔候補領域から抽出する特徴量の抽出条件を決定し、前記顔判別機能を実現させる際に、前記決定された特徴量の抽出条件に従って、前記顔候補領域から特徴量を抽出し、その抽出された特徴量に基づいて顔判別処理を行うことを特徴としている。

請求項２８に記載の発明は、請求項２７に記載の画像処理プログラムにおいて、前記決定機能を実現させる際に、前記判別された配光条件に応じて、前記顔候補領域から抽出する特徴量を決定することを特徴としている。

請求項２９に記載の発明は、請求項２７又は２８に記載の画像処理プログラムにおいて、前記決定機能を実現させる際に、前記判別された配光条件に応じて、前記特徴量に基づいて前記顔候補領域が人物の顔であるか否かを判定するための顔判定処理条件を決定し、前記顔判別機能を実現させる際に、前記決定された顔判定処理条件に従って顔判別処理を行うことを特徴としている。

請求項３０に記載の発明は、請求項２１〜２９の何れか一項に記載の画像処理プログラムにおいて、前記顔判別機能を実現させる際に、ニューラルネットワークを用いて顔判別処理を行うことを特徴としている。

請求項１、１１、２１に記載の発明によれば、撮影画像データから撮影時の配光条件を判別し、判別された配光条件に応じて、撮影画像データから人物の顔を判別するための処理条件を決定するようにしたことにより、顔の判別精度を向上させることができる。特に、撮影画像データの明度と色相の分布状態から配光条件を判別することにより、カラー画像における配光条件の判別精度を向上させることができる。

請求項２、１２、２２に記載の発明によれば、撮影画像データから撮影時の配光条件を判別し、判別された配光条件に応じて、撮影画像データから人物の顔を判別するための処理条件を決定するようにしたことにより、顔の判別精度を向上させることができる。特に、撮影画像データの明度の分布位置による構図的な特徴から配光条件を判別することにより、撮影画像データがモノクロ画像であっても、配光条件の判別精度を向上させることができる。

請求項３、１３、２３に記載の発明によれば、撮影画像データから撮影時の配光条件を判別し、判別された配光条件に応じて、撮影画像データから人物の顔を判別するための処理条件を決定するようにしたことにより、顔の判別精度を向上させることができる。特に、撮影画像データの明度と色相の分布状態及び撮影画像データの明度の分布位置による構図的な特徴から配光条件を判別することにより、撮影画像データがカラー画像、モノクロ画像の何れであっても、配光条件の判別精度を向上させることができる。

請求項４、１４、２４に記載の発明によれば、配光条件を特定するための指標を算出し、その算出された指標の値に応じて、顔判別処理の処理条件を段階的又は連続的に調整可能にしたことにより、より木目細かい顔判別処理を行うことができるため、顔の判別精度を向上させることができる。

請求項５、１５、２５に記載の発明によれば、高精度に判別された顔の判別結果及び／又は配光条件に応じて、撮影画像データに対して所定の画像処理が施されるため、高画質の画像を得ることができる。

請求項６、１６、２６に記載の発明によれば、撮影画像データから配光条件に応じて顔候補領域を抽出し、抽出された顔候補領域が人物の顔であるか否かを判定することにより、配光条件に適した顔候補領域から顔を判定することができるため、顔候補領域の抽出精度を向上させるとともに、顔の判別精度を向上させることができる。

請求項７、１７、２７に記載の発明によれば、撮影時の配光条件に応じて、顔候補領域から抽出する特徴量の抽出条件を決定することにより、配光条件に適した抽出条件に従って、顔候補領域から特徴量を高精度に抽出することが可能である。これにより、顔の判別精度を向上させることができる。

請求項８、１８、２８に記載の発明によれば、撮影時の配光条件に応じて、顔候補領域から抽出する特徴量を決定することにより、配光条件に適した特徴量を高精度に抽出することが可能である。これにより、顔の判別精度を向上させることができる。

請求項９、１９、２９に記載の発明によれば、撮影時の配光条件に応じて、顔候補領域が顔であるか否かを判定するための顔判定処理条件を決定することにより、顔の判別精度を一層向上させることができる。

請求項１０、２０、３０に記載の発明によれば、ニューラルネットワークを用いて顔判別処理を行うことにより、処理負荷が低く、簡易な手段で顔判別処理を実現することができる。

以下、図面を参照して、本発明の実施形態を詳細に説明する。
まず、本実施形態における構成について説明する。

〈画像処理装置１の外観構成〉
図１は、本発明の実施形態における画像処理装置１の外観構成を示す斜視図である。図１に示すように、画像処理装置１には、筐体２の一側面に、感光材料を装填するためのマガジン装填部３が設けられている。筐体２の内側には、感光材料に露光する露光処理部４と、露光された感光材料を現像処理して乾燥し、プリントを作成するプリント作成部５が設けられている。プリント作成部５で作成されたプリントは、筐体２の他側面に設けられたトレー６に排出される。

また、筐体２の上部には、表示装置としてのＣＲＴ（Cathode Ray Tube）８、透過原稿を読み込む装置であるフィルムスキャナ部９、反射原稿入力装置１０、操作部１１が備えられている。さらに、筐体２には、各種記録媒体に記録された画像データを読み取り可能な画像読込部１４、各種記録媒体に画像データを書き込み（記録）可能な画像書込部１５が備えられている。また、筐体２の内部には、これらの各部を集中制御する制御部７が備えられている。

画像読込部１４には、ＰＣカード用アダプタ１４ａ、フロッピー（登録商標）ディスク用アダプタ１４ｂが備えられ、それぞれ、ＰＣカード１３ａ、フロッピー（登録商標）ディスク１３ｂが差し込み可能になっている。ＰＣカード１３ａには、例えば、デジタルカメラで撮像された画像データが記録されている。フロッピー（登録商標）ディスク１３ｂには、例えば、デジタルカメラで撮像された画像データが記録されている。その他、画像データが記録可能な記録媒体としては、マルチメディアカード（登録商標）、メモリースティック（登録商標）、ＭＤ（Mini Disc）、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory）等が挙げられる。

画像書込部１５には、フロッピー（登録商標）ディスク用アダプタ１５ａ、ＭＯ用アダプタ１５ｂ、光ディスク用アダプタ１５ｃが備えられ、画像データが記録可能な記録媒体として、それぞれ、フロッピー（登録商標）ディスク１６ａ、ＭＯ１６ｂ、光ディスク１６ｃが差し込み可能になっている。光ディスク１６ｃとしては、ＣＤ−Ｒ（Compact Disc-Recordable）、ＤＶＤ−Ｒ（Digital Versatile Disk-Recordable）等がある。

なお、図１では、操作部１１、ＣＲＴ８、フィルムスキャナ部９、反射原稿入力装置１０、画像読込部１４が、筐体２に一体的に備えられた構造となっているが、これらのいずれか１つ以上を別体として設けるようにしてもよい。

また、図１に示した画像処理装置１では、感光材料に露光して現像してプリントを作成するものが例示されているが、プリント作成方式はこれに限定されず、例えば、インクジェット方式、電子写真方式、感熱方式、昇華方式等の方式を用いてもよい。

〈画像処理装置１の内部構成〉
図２に、画像処理装置１内部の主要部構成を示す。画像処理装置１は、図２に示すように、制御部７、露光処理部４、プリント作成部５、ＣＲＴ８、フィルムスキャナ部９、反射原稿入力装置１０、操作部１１、画像読込部１４、画像書込部１５、通信手段（入力）３２、通信手段（出力）３３、データ蓄積手段７１から構成される。

制御部７は、マイクロコンピュータにより構成され、ＲＯＭ（Read Only Memory）等の記憶部（図示略）に記憶されている画像処理プログラム等の各種制御プログラムと、ＣＰＵ（Central Processing Unit）（図示略）との協働により、画像処理装置１を構成する各部の動作を統括的に制御する。

制御部７は、画像処理部７０を有し、操作部１１からの入力信号（指令情報）に基づいて、フィルムスキャナ部９や反射原稿入力装置１０により取得した画像データ、画像読込部１４から読み込まれた画像データ、外部機器から通信手段（入力）３２を介して入力された画像データに対して、所定の画像処理を施して出力用画像データを生成し、露光処理部４に出力する。また、画像処理部７０は、画像処理された画像データに対して出力形態に応じた変換処理を施して出力する。画像処理部７０の出力先としては、ＣＲＴ８、画像書込部１５、通信手段（出力）３３等がある。

露光処理部４は、感光材料に画像の露光を行い、露光された感光材料をプリント作成部５に出力する。プリント作成部５は、露光された感光材料を現像処理して乾燥し、プリントＰ１、Ｐ２、Ｐ３を作成する。プリントＰ１は、サービスサイズ、ハイビジョンサイズ、パノラマサイズ等のプリントであり、プリントＰ２は、Ａ４サイズのプリントであり、プリントＰ３は、名刺サイズのプリントである。

フィルムスキャナ部９は、アナログカメラにより撮像された現像済みのネガフィルムＮやリバーサルフィルム等の透過原稿に記録された画像を読み取る。

反射原稿入力装置１０は、フラットベッドスキャナ（図示略）により、プリントＰ（写真プリント、書画、各種の印刷物）に形成された画像を読み取る。

操作部１１は、情報入力手段１２を有する。情報入力手段１２は、例えば、タッチパネル等により構成されており、情報入力手段１２の押下信号を制御部７に出力する。なお、操作部１１は、キーボードやマウス等を備えて構成するようにしてもよい。ＣＲＴ８は、制御部７から入力された表示制御信号に従って、所要の表示処理を行う。

画像読込部１４は、画像転送手段３０として、ＰＣカード用アダプタ１４ａ、フロッピー（登録商標）ディスク用アダプタ１４ｂ等を有し、ＰＣカード用アダプタ１４ａに差し込まれたＰＣカード１３ａや、フロッピー（登録商標）ディスク用アダプタ１４ｂに差し込まれたフロッピー（登録商標）ディスク１３ｂに記録された画像データを読み出して制御部７に転送する。ＰＣカード用アダプタ１４ａとしては、例えばＰＣカードリーダやＰＣカードスロット等が用いられる。

画像書込部１５は、画像搬送部３１として、フロッピー（登録商標）ディスク用アダプタ１５ａ、ＭＯ用アダプタ１５ｂ、光ディスク用アダプタ１５ｃを備えている。画像書込部１５は、制御部７から入力される書込信号に従って、フロッピー（登録商標）ディスク用アダプタ１５ａに差し込まれたフロッピー（登録商標）ディスク１６ａ、ＭＯ用アダプタ１５ｂに差し込まれたＭＯ１６ｂ、光ディスク用アダプタ１５ｃに差し込まれた光ディスク１６ｃに、生成された画像データを書き込む。

通信手段（入力）３２は、画像処理装置１が設置された施設内の別のコンピュータや、インターネット等を介して接続された遠方のコンピュータから、撮像画像を表す画像データやプリント命令信号を受信する。

通信手段（出力）３３は、画像処理を施した後の撮影画像を表す画像データと注文情報を、画像処理装置１が設置された施設内の他のコンピュータや、インターネット等を介して接続された遠方のコンピュータに対して送信する。

データ蓄積手段７１は、画像データとそれに対応する注文情報（どの駒の画像から何枚プリントを作成するかの情報、プリントサイズの情報等）とを記憶し、順次蓄積する。

〈画像処理部７０の構成〉
図３に、画像処理部７０内部の主要部構成を示す。画像処理部７０は、図３に示すように、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８から構成される。

フィルムスキャンデータ処理部７０１は、フィルムスキャナ部９から入力された画像データに対し、フィルムスキャナ部９固有の校正操作、ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、粒状ノイズ除去、鮮鋭化強調等を施し、画像調整処理部７０４に出力する。また、フィルムスキャンデータ処理部７０１は、フィルムサイズ、ネガポジ種別、フィルムに光学的或いは磁気的に記録されたＩＳＯ（International Organization for Standardization）感度、メーカー名、主要被写体に関わる情報・撮影条件に関する情報（例えばＡＰＳ（Advanced Photo System）の記載情報内容）等も併せて画像調整処理部７０４に出力する。

反射原稿スキャンデータ処理部７０２は、反射原稿入力装置１０から入力された画像データに対し、反射原稿入力装置１０固有の校正操作、ネガ原稿の場合のネガポジ反転、ゴミキズ除去、グレーバランス調整、コントラスト調整、ノイズ除去、鮮鋭化強調等を施し、画像調整処理部７０４に出力する。

画像データ書式解読処理部７０３は、画像転送手段３０、通信手段（入力）３２から入力された画像データのデータ書式に従って、圧縮符号の復元、色データの表現方法の変換等を行い、画像処理部７０内の演算に適したデータ形式に変換し、画像調整処理部７０４に出力する。

画像調整処理部７０４は、操作部１１又は制御部７から入力される指令情報に基づいて、フィルムスキャナ部９、反射原稿入力装置１０、画像転送手段３０、通信手段（入力）３２から受け取った画像データに対して各種画像処理を行い、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８、データ蓄積手段７１へ処理済みの画像データを出力する。本実施形態の画像調整処理部７０４で実行される画像処理については、後に図４〜図１８を参照して詳細に説明する。

ＣＲＴ固有処理部７０５は、画像調整処理部７０４から入力された画像データに対して、画素数変更やカラーマッチング等の処理を施し、制御情報等の表示が必要な情報及び合成した表示用の画像データをＣＲＴ８に出力する。

プリンタ固有処理部（１）７０６は、画像調整処理部７０４から入力された画像データに対して、プリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、露光処理部４に出力する。

画像処理装置１に、大判インクジェットプリンタ等の外部プリンタ３４が接続されている場合には、接続されたプリンタ毎にプリンタ固有処理部（２）７０７が設けられている。このプリンタ固有処理部（２）７０７は、画像調整処理部７０４から入力された画像データに対して、適正なプリンタ固有の校正処理、カラーマッチング、画素数変更等を行い、外部プリンタ３４に出力する。

画像データ書式作成処理部７０８は、画像調整処理部７０４から入力された画像データに対して、ＪＰＥＧ（Joint Photographic Experts Group）、ＴＩＦＦ（Tagged Image File Format）、Ｅｘｉｆ（Exchangeable Image File Format）等に代表される各種の汎用画像フォーマットへの変換を行い、画像搬送部３１、通信手段（出力）３３に出力する。

なお、フィルムスキャンデータ処理部７０１、反射原稿スキャンデータ処理部７０２、画像データ書式解読処理部７０３、画像調整処理部７０４、ＣＲＴ固有処理部７０５、プリンタ固有処理部（１）７０６、プリンタ固有処理部（２）７０７、画像データ書式作成処理部７０８という区分は、画像処理部７０の機能の理解を助けるために設けた区分であり、必ずしも物理的に独立したデバイスとして実現される必要はなく、例えば、単一のＣＰＵにおけるソフトウエア処理の種類の区分として実現されてもよい。また、本実施形態における画像処理装置１は、上述の構成に限定されるものではなく、デジタルフォトプリンタ、プリンタドライバ、各種の画像処理ソフトのプラグイン等、種々の形態に適用することができる。

次に、本実施形態における動作について説明する。
まず、図４のフローチャートを参照して、画像調整処理部７０４において実行される画像処理全体の流れを説明する。

まず、フィルムスキャナ部９、反射原稿入力装置１０、画像転送手段３０、通信手段（入力）３２等を介して、画像処理対象の撮影画像データの画像信号が取得される（ステップＳ１）。次いで、ステップＳ１で取得された画像信号に基づいて、撮影画像データが所定の画像領域に分割され、各分割領域が撮影画像データ全体に占める割合を示す占有率を算出する占有率算出処理が行われる（ステップＳ２）。ステップＳ２の占有率算出処理については、後に図５及び図１１を参照して詳細に説明する。

次いで、ステップＳ２において算出された占有率と、撮影条件に応じて予め設定された係数に基づいて、配光条件（光源状態）を特定するための指標（指標１〜５）が算出され、その算出された指標に基づいて撮影時の配光条件（順光、逆光、ストロボの何れか）が判別される（ステップＳ３）。ここで、配光条件を特定するための指標とは、撮影時の配光条件を定量的に表す数値である。ステップＳ３における指標算出処理及び配光条件の判別処理は、後に詳細に説明する。

次いで、ステップＳ３で判別された配光条件に応じて、撮影画像データから人物の顔を判別する顔判別処理の処理条件が決定され（ステップＳ４）、その決定された処理条件に従って顔判別処理が行われる（ステップＳ５）。ステップＳ４における処理条件の決定については、後に詳細に説明する。また、ステップＳ５の顔判別処理については、後に図１７及び図１８を参照して詳細に説明する。

〈占有率算出処理〉
次に、図５のフローチャートを参照して、図４のステップＳ２に示した占有率算出処理について詳細に説明する。

まず、撮影画像データのＲＧＢ値がＨＳＶ表色系に変換される（ステップＳ１０）。図６は、ＲＧＢからＨＳＶ表色系に変換することにより色相値、彩度値、明度値を得る変換プログラム（ＨＳＶ変換プログラム）の一例を、プログラムコード（ｃ言語）により示したものである。図６に示すＨＳＶ変換プログラムでは、入力画像データであるデジタル画像データの値を、InR、InG、InBと定義し、算出された色相値をOutHとし、スケールを0〜360と定義し、彩度値をOutS、明度値をOutVとし、単位を0〜255と定義している。

次いで、撮影画像データが、所定の明度と色相の組み合わせからなる領域に分割され、分割領域毎に累積画素数を算出することにより２次元ヒストグラムが作成される（ステップＳ１１）。以下、撮影画像データの領域分割について詳細に説明する。

明度（V）は、明度値が0〜25(v1)、26-50(v2)、51〜84(v3)、85〜169(v4)、170〜199(v5)、200〜224(v6)、225〜255(v7)の７つの領域に分割される。色相(H)は、色相値が0〜39、330〜359の肌色色相領域（H1及びH2）、色相値が40〜160の緑色色相領域（H3）、色相値が161〜250の青色色相領域（H4）、赤色色相領域（H5）の４つの領域に分割される。なお、赤色色相領域（H5）は、配光条件の判別への寄与が少ないとの知見から、以下の計算では用いていない。肌色色相領域は、更に、肌色領域（H1）と、それ以外の領域（H2）に分割される。以下、肌色色相領域（H＝0〜39、330〜359）のうち、下記の式（１）を満たす色相'(H)を肌色領域（H1）とし、式（１）を満たさない領域を（H2）とする。
10 ＜ 彩度(S) ＜175、
色相'(H) = 色相(H) + 60 (0 ≦ 色相(H) < 300のとき)、
色相'(H) = 色相(H) - 300 (300 ≦ 色相(H) < 360のとき)、
輝度Y = InR × 0.30 + InG × 0.59 + InB × 0.11
として、
色相'(H)／輝度(Y) ＜ 3.0 ×(彩度(S)／255)＋0.7 （１）
従って、撮影画像データの分割領域の数は４×７＝２８個となる。なお、式（１）において明度(V)を用いることも可能である。

２次元ヒストグラムが作成されると、分割領域毎に算出された累積画素数の全画素数（撮影画像全体）に占める割合を示す第１の占有率が算出され（ステップＳ１２）、本占有率算出処理が終了する。明度領域vi、色相領域Hjの組み合わせからなる分割領域において算出された第１の占有率をRijとすると、各分割領域における第１の占有率は表１のように表される。

次に、指標１及び指標２の算出方法について説明する。
表２に、判別分析により得られた、ストロボ撮影としての確度、即ち、ストロボ撮影時の顔領域の明度状態を定量的に示す指標１を算出するために必要な第１の係数を分割領域別に示す。表２に示された各分割領域の係数は、表１に示した各分割領域の第１の占有率Rijに乗算する重み係数である。

図７に、明度（v）−色相（H）平面を示す。表２によると、図７において高明度の肌色色相領域に分布する領域(r1)から算出される第１の占有率には、正(+)の係数が用いられ、それ以外の色相である青色色相領域(r2)から算出される第１の占有率には、負(-)の係数が用いられる。図９は、肌色領域（H1）における第１の係数と、その他の領域（緑色色相領域（H3））における第１の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。表２及び図９によると、高明度（V＝170〜224）の領域では、肌色領域（H1）における第１の係数の符号は正(+)であり、その他の領域（例えば、緑色色相領域（H3））における第１の係数の符号は負(-)であり、両者の符号が異なっていることがわかる。

明度領域vi、色相領域Hjにおける第１の係数をCijとすると、指標１を算出するためのHk領域の和は、式（２）のように定義される。

従って、H1〜H4領域の和は、下記の式(2-1)〜式(2-4)のように表される。
H1領域の和＝R11×(-44.0)＋R21×(-16.0)＋（中略）...＋R71×(-11.3) (2-1)
H2領域の和＝R12×0.0＋R22×8.6＋（中略）... ＋R72×(-11.1) (2-2)
H3領域の和＝R13×0.0＋R23×(-6.3)＋（中略）...＋R73×(-10.0) (2-3)
H4領域の和＝R14×0.0＋R24×(-1.8)＋（中略）...＋R74×(-14.6) (2-4)

指標１は、式（2-1）〜（2-4）で示されたH1〜H4領域の和を用いて、式（３）のように定義される。
指標１＝H1領域の和＋H2領域の和＋H3領域の和＋H4領域の和＋4.424 （３）

表３に、判別分析により得られた、逆光撮影としての確度、即ち、逆光撮影時の顔領域の明度状態を定量的に示す指標２を算出するために必要な第２の係数を分割領域別に示す。表３に示された各分割領域の係数は、表１に示した各分割領域の第１の占有率Rijに乗算する重み係数である。

図８に、明度（v）−色相（H）平面を示す。表３によると、図８において肌色色相領域の中間明度に分布する領域(r4)から算出される占有率には負(-)の係数が用いられ、肌色色相領域の低明度（シャドー）領域(r3)から算出される占有率には正(+)の係数が用いられる。図１０は、肌色領域（H1）における第２の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。表３及び図１０によると、肌色色相領域の、明度値が85〜169(v4)の中間明度領域の第２の係数の符号は負(-)であり、明度値が26〜84(v2,v3)の低明度（シャドー）領域の第２の係数の符号は正(+)であり、両領域での係数の符号が異なっていることがわかる。

明度領域vi、色相領域Hjにおける第２の係数をDijとすると、指標２を算出するためのHk領域の和は、式（４）のように定義される。

従って、H1〜H4領域の和は、下記の式(4-1)〜式(4-4)のように表される。
H1領域の和＝R11×(-27.0)＋R21×4.5＋（中略）...＋R71×(-24.0) (4-1)
H2領域の和＝R12×0.0＋R22×4.7＋（中略）... ＋R72×(-8.5) (4-2)
H3領域の和＝R13×0.0＋R23×0.0＋（中略）...＋R73×0.0 (4-3)
H4領域の和＝R14×0.0＋R24×(-5.1)＋（中略）...＋R74×7.2 (4-4)

指標２は、式（4-1）〜（4-4）で示されたH1〜H4領域の和を用いて、式（５）のように定義される。
指標２＝H1領域の和＋H2領域の和＋H3領域の和＋H4領域の和＋1.554 （５）
指標１及び指標２は、撮影画像データの明度と色相の分布量に基づいて算出されるため、撮影画像データがカラー画像である場合の配光条件の判別に有効である。

次に、図１１のフローチャートを参照して、指標３を算出するための占有率算出処理（図４のステップＳ２）について詳細に説明する。

まず、撮影画像データのＲＧＢ値がＨＳＶ表色系に変換される（ステップＳ２０）。次いで、撮影画像データが、撮影画像画面の外縁からの距離と明度の組み合わせからなる領域に分割され、分割領域毎に累積画素数を算出することにより２次元ヒストグラムが作成される（ステップＳ２１）。以下、撮影画像データの領域分割について詳細に説明する。

図１２（ａ）〜（ｄ）に、撮影画像データの画面の外縁からの距離に応じて分割された４つの領域ｎ１〜ｎ４を示す。図１２（ａ）に示す領域ｎ１が外枠であり、図１２（ｂ）に示す領域ｎ２が、外枠の内側の領域であり、図１２（ｃ）に示す領域ｎ３が、領域ｎ２の更に内側の領域であり、図１２（ｄ）に示す領域ｎ４が、撮影画像画面の中心部の領域である。また、明度は、上述のようにv1〜v7の７つの領域に分割するものとする。従って、撮影画像データを、撮影画像画面の外縁からの距離と明度の組み合わせからなる領域に分割した場合の分割領域の数は４×７＝２８個となる。

２次元ヒストグラムが作成されると、分割領域毎に算出された累積画素数の全画素数（撮影画像全体）に占める割合を示す第２の占有率が算出され（ステップＳ２２）、本占有率算出処理が終了する。明度領域vi、画面領域njの組み合わせからなる分割領域において算出された第２の占有率をQijとすると、各分割領域における第２の占有率は表４のように表される。

次に、指標３の算出方法について説明する。
表５に、指標３を算出するために必要な第３の係数を分割領域別に示す。表５に示された各分割領域の係数は、表４に示した各分割領域の第２の占有率Qijに乗算する重み係数であり、判別分析により得られる。

図１３は、画面領域ｎ１〜ｎ４における第３の係数を、明度全体に渡って連続的に変化する曲線（係数曲線）として示したものである。

明度領域vi、画面領域njにおける第３の係数をEijとすると、指標３を算出するためのnk領域（画面領域nk）の和は、式（６）のように定義される。

従って、n1〜n4領域の和は、下記の式(6-1)〜式(6-4)のように表される。
n1領域の和＝Q11×40.1＋Q21×37.0＋（中略）...＋Q71×22.0 (6-1)
n2領域の和＝Q12×(-14.8)＋Q22×(-10.5)＋（中略）...＋Q72×0.0 (6-2)
n3領域の和＝Q13×24.6＋Q23×12.1＋（中略）...＋Q73×10.1 (6-3)
n4領域の和＝Q14×1.5＋Q24×(-32.9)＋（中略）...＋Q74×(-52.2) (6-4)

指標３は、式（6-1）〜（6-4）で示されたN1〜H4領域の和を用いて、式（７）のように定義される。
指標３＝n1領域の和＋n2領域の和＋n3領域の和＋n4領域の和−12.6201 （７）
指標３は、撮影画像データの明度の分布位置による構図的な特徴（撮影画像データの画面の外縁からの距離）に基づいて算出されるため、カラー画像だけでなくモノクロ画像の配光条件を判別するのにも有効である。

指標４は、指標１及び指標３を用いて式（８）のように定義され、指標５は、指標１〜３を用いて式（９）のように定義される。
指標４＝0.565×指標１＋0.565×指標３＋0.457 （８）
指標５＝(-0.121)×指標１＋0.91×指標２＋0.113×指標３−0.072 （９）
ここで、式（８）及び式（９）において各指標に乗算される重み係数は、撮影条件に応じて予め設定されている。

〈配光条件の判別方法〉
次に、配光条件の判別方法（図４のステップＳ３）について説明する。
図１４は、順光、逆光、ストロボの各配光条件で６０枚ずつ撮影し、合計１８０枚のデジタル画像データについて、指標４、５を算出し、各配光条件での指標４、５の値をプロットしたものである。図１４によれば、指標４の値が０．５より大きい場合、ストロボシーンが多く、指標４の値が０．５以下で、指標５の値が−０．５より大きい場合、逆光シーンが多いことがわかる。表６に、指標４、５の値による配光条件の判別内容を示す。

このように指標４、５の値により配光条件を定量的に判別することができる。

〈顔判別処理の処理条件の決定〉
次に、図４のステップＳ４で示した、顔判別処理の処理条件の決定方法について詳細に説明する。

撮影時の配光条件に応じて実行される顔判別処理の処理条件の決定は、顔判別処理の判別精度を向上させるために行われるものである。顔判別処理の処理方法としては、撮影画像データから顔候補領域を抽出し、抽出された顔候補領域が人物の顔であるか否かを判定する方法、顔候補領域内に人物の顔が含まれているか否かを判定する方法等がある。このような方法を用いる場合、顔判別処理の判別精度には、顔候補領域の抽出精度と、顔候補領域が人物の顔であるか否か（若しくは顔候補領域内に顔が含まれているか否か）を判定する判定精度の双方が寄与するため、顔判別処理の処理条件を決定する際には、顔候補領域の抽出条件、顔候補領域から人物の顔を判定する処理の処理条件の何れか一方又は双方を、配光条件の判別結果に応じて決定することが好ましい。

以下では、撮影画像データから顔候補領域を抽出する処理と、抽出された顔候補領域が人物の顔であるか否かを判定する処理を併せて「顔判別処理」と呼び、顔判別処理のうち、顔候補領域が人物の顔であるか否かを判定する処理の部分を「顔判定処理」と呼ぶことにする。

まず、顔候補領域の抽出条件の決定方法について説明する。
顔候補領域の抽出方法として、撮影画像データから肌色に相当する初期点を探索し、単純領域拡張法を用いて肌色領域を顔候補領域として抽出する手法を用いることができる。単純領域拡張法とは、画素間のデータ差が閾値以下の互いに隣接する画素を同一画像領域に属するものとして当該領域を拡張していくことにより特定の画像領域の抽出を行う画像処理方法である。即ち、単純領域拡張法は、指定された特定条件に合致する初期画素から出発し、当該初期画素に対して隣接する画素（４連結、８連結の何れでも可）のデータ差が閾値以下である場合に当該隣接画素と初期画素とを同一画像領域に属するものとし、更に、当該同一画素に属するとした画素に対し隣接する画素についても同様の判定を行う。このようにして、初期画素から出発して、同一の画像領域を除々に拡張させることによって特定の画像領域の抽出が行われる。本実施形態では、更に、画像中のエッジ成分を抽出し、画像エッジに達した場合に単純領域拡張を終了することで、顔候補領域を確定する処理を用いることが好ましい。

顔候補領域として肌色領域を抽出する場合、被写体が同一人物であっても、撮影時の配光条件に応じて、肌色領域の色味は著しく異なる。例えば、順光で撮影された画像の肌色を基準とすると、ストロボ撮影では、肌色の色味が（特に、近接であればあるほど）白くとび気味になり、逆光下での撮影であれば、肌色の色味が暗くなる。このような状況を踏まえ、初期画素の探索条件を、配光条件の判別結果に応じて切り替える及び／又は（段階的若しくは連続的に）調整することが好ましい。

例えば、初期画素を探索するための所定の基本探索条件に対し、配光条件が「順光」であればその基本探索条件を用い、配光条件が「ストロボ」であれば、基本探索条件から輝度を高く（明るく）補正した探索条件を用い、配光条件が「逆光」であれば、基本探索条件から輝度を低く（暗く）補正した探索条件を用いればよい。このように、単純領域拡張法を用いて顔候補領域を抽出する際、撮影時の配光条件に応じて、初期画素の探索条件を切り替えればよい。また、配光条件によって単純領域拡張を終了させるエッジ強度は異なるため、単純領域拡張を終了させるためのエッジ抽出条件も配光条件に応じて調整することが好ましい。

配光条件の判別結果が、ストロボ度、逆光度等のように、配光条件を段階的又は連続的に示す指標（指標４、５）として得られる場合、得られた指標の値に応じて、輝度を高くする度合い（ストロボの場合）、輝度を低くする度合い（逆光の場合）を調整することにより、初期画素の探索条件を決定すればよい。従って、このような初期画素の探索条件を用いた単純領域拡張法を、顔候補領域の抽出条件として決定することができる。

なお、上述では、配光条件に応じて肌色領域に輝度差が生じることを利用して、初期画素の探索条件を補正する例を示したが、輝度に限らず、彩度を利用するなどして、探索条件の補正要件を増やすようにしてもよい。例えば、ストロボ、フラッシュ撮影であれば、順光の場合より低彩度になる。また、初期画素の探索条件だけでなく、領域拡張条件を補正するようにしてもよい。更に、顔候補領域を抽出するための様々な処理条件について、配光条件毎に得られる肌色領域の特性の違いを反映して、初期画素の探索条件、領域拡張条件を補正するのが好ましい。

次に、顔候補領域から顔を判定するための顔判定処理条件の決定方法について説明する。以下では、顔候補領域から特徴量を抽出し、その抽出された特徴量に基づいてニューラルネットワークを用いて顔判定処理を行う場合の顔判定処理条件の決定方法について説明する。

まず、顔判定処理条件の決定方法の具体的な説明に先立って、顔判定処理で用いられるニューラルネットワークについて簡単に説明する。このニューラルネットワークは、図１５に示すように、入力層、中間層及び出力層を有する階層型のニューラルネットワーク（以下、単にニューラルネットワークという。）である。ニューラルネットワークは、デジタルニューラルネットワークチップを利用することが望ましいが、汎用のＤＳＰ（Digital Signal Processor）と専用のエミュレートプログラムを用いても実現することができるし、通常のＣＰＵとエミュレートプログラムを用いても構わない。

ニューラルネットワークの各層は、ニューロンと呼ばれる構成単位からなっている。入力層を除けば、任意のニューロンは、図１６に示すように、シナプスと呼ばれる入力を多数受け取り、各々の入力値ｘ_iに対して結合強度と呼ばれる所定の重みｗ_iを掛けてその総和を求め、それを所定の出力関数ｆで評価した結果を出力ｙとして与える機能素子として機能する。出力関数ｆは、式（１０）のように表される。

ここで、ｆ（ｘ）は一般に式（１１）に示すような非線形のシグモイド関数が用いられるが、必ずしもこれに限定されるわけではない。

ここで、各ニューロンの入力の重みｗ_iはニューラルネットワークの入力・出力の関係、言い替えればニューラルネットワークの動作を決定する重要な情報であり、ニューラルネットワークに対して学習作業を行うことによって決定する。なお、図１５では中間層は１層のみ記してあるが、これは１以上の任意の階層の構成とすることができる。階層型ネットワークでは、中間層は１層あれば、合成可能な任意の関数を実現できることが知られているが、中間層を多くした方が学習効率や、ニューロンの個数の点から有利であることが知られている。

ニューラルネットワークは以下のような特徴を有している。
（１）比較的単純な構成でありながら、多入力・多出力の非線形システムを実現できる。（２）各層内の各ニューロンは独立して動作させることができ、並列処理によって高速な動作が期待できる。
（３）適切な教師データを与えて学習させることにより、任意の入出力関係を実現させることができる。
（４）系として汎化能力がある。すなわち、必ずしも教師データとして与えていない、未学習の入力パターンに対しても、おおむね正しい出力を与える能力がある。

ここで、教師データとは、入力パターンと、その入力パターンに対する望ましい出力パターンの対であり、通常複数個用意する。特定の入力パターンに対して望ましい出力パターンを決定する作業は、一般に熟練者の主観的な判断に頼って決定する。ニューラルネットワークの主な応用としては（ａ）非線形の関数近似、（ｂ）クラスタリング（識別、認識、分類）が挙げられる。

一般に非線形関数近似は実現が容易であり、汎化能力も高い系を得やすい。一方、クラスタリングへの応用は教師データへの依存性が高く、かつ複雑な入力に関しては、複数の教師データ相互の間に矛盾関係が存在する可能性が高い。このため、クラスタリングへ応用した場合には、入力が非常に簡単な場合を除けば、結果的に汎化能力が低いのみならず、特定の教師データに対する適合性という意味でも不満足な系しか得られないことも少なくない。

次に、ニューラルネットワークに対する教師データを用いた学習方法について説明する。ｐ番目の入力パターンに対する、第Ｌ層のi番目のニューロンの状態を式（１２）及び式（１３）のように表現する。

ここで、式（１２）の関数ｆ（ｘ）は、式（１１）に示した非線形のシグモイド関数、Ｙ_iLはニューロンの出力、Ｕ_iLはニューロンの内部状態、Ｙ_i＜Ｌ−１＞はL−１層のニューロンの出力＝Ｌ層のニューロンの入力、ｗ_ij＜Ｌ＞は結合強度である。

このように定義した場合に、広く用いられている誤差逆伝搬学習法（バックプロパゲーション学習法、以下ＢＰ法と略す。）では、誤差評価関数として平均自乗誤差を用いて、以下のようにエラーＥを定義する。

ただしｋは出力層の番号であり、Ｔ_i（ｐ）はｐ番目の入力パターンに対する望ましい出力パターンである。

この場合、ＢＰ法に基づく各結合強度の修正量Δｗは次式で定められる。

ここで、∂は偏微分記号（ラウンド）、ηは学習率を表す係数である。Δｗ_ij＜Ｌ＞を各々のｗ_ij＜Ｌ＞に加算することによって学習が進む。なお、この形式のＢＰ法では学習が進んだ結果、教師データとの誤差の絶対値が小さくなってくると、Δｗの絶対値も小さくなり、学習が進まなくなるという現象が指摘されており、その問題点を回避するために、種々の改良が提案されている。

例えば、Δｗの定義を次のように変更するという提案がある。

式（１６）の第二項は慣性項（モーメンタム項）と呼ばれ、現在の修正量だけでなく、過去の修正量も考慮することで収束時の振動を抑え、学習を高速化する効果がある。安定化定数αは1．0以下の正の実数で、過去の修正量の考慮の度合いを規定する係数である。

あるいは、学習率ηを学習回数ｎに応じて、次式を満たすように動的に変化させるという提案もある。

更には、エラーの評価を平均自乗誤差ではなく、シグモイド関数の導関数を打ち消すような形式にするという提案もある。いずれにせよ、ＢＰ法を用いて十分な回数学習作業を施すことにより、教師データに対して近似した出力を得ることができるようになる。

次に、顔判定処理条件の決定方法について具体的に説明する。配光条件が異なるのに同一の顔判定処理条件を用いると、顔の判定精度に差異が生じる。これは、配光条件毎に、顔の判定処理に寄与する特徴量が異なっていたり、特徴量を最適に抽出する抽出条件が異なっていることによる。従って、配光条件に応じて顔判定処理条件を決定するのが好ましい。

具体的には、配光条件に応じて、ニューラルネットワークの設計、顔判定処理に用いるニューラルネットワークの学習結果を決定することが好ましい。ここで、ニューラルネットワークの設計とは、例えば、ニューラルネットワークの入力パラメータの種類や数、中間層の数等を設計することを示す。入力パラメータには、顔候補領域から抽出される特徴量が含まれる。また、ニューラルネットワークの学習結果とは、ニューラルネットワークを構成する各ニューロンに割り振られる重み（Weight値）、シグモイド関数の傾き値等を表す。

ニューラルネットワークの入力パラメータとして使用する特徴量の性質及び配光条件に関わらず、同一の抽出条件で顔候補領域から特徴量を抽出すると、抽出精度に差異が生じる。また、特徴量の性質によっては、人物の顔と顔以外の部分の分別性に、配光条件に応じて差異が生じる。このようなことから、配光条件に応じて、顔候補領域から抽出する特徴量、特徴量の抽出条件を変えるのが好ましい。

例えば、特徴量として、目や口等の顔を構成する部位を用い、特徴量の抽出条件として、肌と目や口の色味の違い（肌色と略黒色、肌色と赤み）や部位の輪郭のエッジを利用した抽出条件を用いた場合、順光と逆光では、逆光の方が、特徴量の抽出精度が低くなる傾向がある。即ち、逆光では、人物の顔全体が、順光に比べて暗く撮影されるために、肌と部位の色値の差が小さいとともに、順光に比べて輪郭のエッジの抽出が困難になる。

このように、配光条件に応じて、特徴量の抽出条件を切り替えたり、ニューラルネットワークの入力パラメータの種類や数を変更したりすればよい。また、算出された指標の値（ストロボ度、逆光度等）に応じて、特徴量の抽出条件を段階的又は連続的に調整するようにしてもよい。また、入力パラメータの数に応じて、ニューラルネットワークの中間層の数、ニューロン数も変更することが好ましい。

また、顔判定処理条件を決定する際、順光、ストロボ、逆光の各々の画像群で予め学習されたニューラルネットワークを、配光条件に応じて切り替えることが好ましい。また、配光条件の判別結果が、ストロボ度、逆光度等のように、配光条件が段階的又は連続的に示す指標として得られるシステムであれば、ニューラルネットワークを、強度のストロボ用、弱度のストロボ用、強度の逆光用、弱度の逆光用等のように、配光条件の程度に合わせて段階的に用意しておくと、顔判定処理の判定精度を向上させることができる。また、自己学習型ニューラルネットワークのバージョンアップ法を使用し適宜更新してシステム運営することが好ましい。

〈顔判別処理〉
次に、図１７のフローチャートを参照して、図４のステップＳ５に示した顔判別処理について詳細に説明する。

まず、図４のステップＳ４で決定された顔候補領域の抽出条件に従って、撮影画像データから顔候補領域が抽出され（ステップＳ３０）、撮影画像データの中に顔候補領域があるか否かが判定される（ステップＳ３１）。

ステップＳ３１において、撮影画像データの中に顔候補領域がないと判定された場合（ステップＳ３１；ＮＯ）、本顔判別処理が終了する。ステップＳ３１において、撮影画像データの中に顔候補領域があると判定された場合（ステップＳ３１；ＹＥＳ）、ステップＳ３０で抽出された顔候補領域が人物の顔であるか否かを判定する顔判定処理が行われ（ステップＳ３２）、本顔判別処理が終了する。ステップＳ３２の顔判定処理については、後に図１８を参照して詳細に説明する。

なお、上述では、顔候補領域の抽出処理の一例として単純領域拡張法を用いる場合を示したが、顔候補領域の抽出方法はこれに限定されない。例えば、撮影画像データからエッジを抽出し、ハフ変換やテンプレートマッチング等の手法を利用して楕円等の特定の形状パターンを抽出する方法を用いることができる。

更に、特開平４−３４６３３２号公報に開示されているように、元画像（撮影画像データ）を多数画素に分割し、各画素のＲＧＢ値から、色相値と彩度値のヒストグラムを作成し、その形状からヒストグラムを分割し、その分割された各部位に相当する各画素で構成される領域に画像を分割し、その分割された各領域から人物の顔に相当する領域を推定する方法を用いることができる。

また、特開平６−３０９４３３号公報、特開平６−６７３２０号公報、特開平５−１５８１６４号公報、特開平５−１６５１２０号公報に開示されているように、色相値、彩度値、輝度値等のヒストグラムに基づいて肌色領域を決定し、この肌色領域を顔候補領域とする方法を用いることができる。更に、特開平８−２２１５６７号公報、特開２０００−２０６９４号公報、特開２０００−３２２７２号公報、特開２０００−２０１３５８号公報、特開２０００−２０７５６９号公報に開示されているようなラインプロセス法を用いて顔候補領域を抽出することができる。

また、カラーデジタル画像からエッジと低周波画像を生成し、所定のパラメータ（例えば、彩度値、色相値、明度値の各値）が所定の初期条件（各所定範囲の値）と合致する初期画素を抽出し、低周波画像に対して、抽出された初期画素から単純領域拡張を行い、画像エッジに到達した場合に単純領域拡張を強制的に終了させて、顔候補領域を抽出するようにしてもよい。

次に、図１８のフローチャートを参照して、図１７のステップＳ３２に示した顔判定処理について説明する。

まず、図４のステップＳ４で決定された特徴量及びその抽出条件に従って、顔候補領域から特徴量が抽出される（ステップＳ４０）。次いで、ステップＳ４０で抽出された特徴量を入力信号（入力パラメータ）、顔らしさを表すパラメータを出力信号とした、配光条件に応じて決定されたニューラルネットワーク（例えば、配光条件が逆光の場合、逆光用に学習されたニューラルネットワーク）を用いて、顔候補領域が人物の顔であるか否かが判定され（ステップＳ４１）、本顔判定処理が終了する。

顔判定処理が終了すると、顔判定の判定結果及び／又は配光条件に応じて、撮影画像データに、画像を高画質化するための所定の画像処理が施される。例えば、顔候補領域が人物の顔であると判定された場合、人物の顔に適した濃度補正、色補正が行われる。また、配光条件がストロボである場合、撮影画像データの顔領域が白くなっているため、色味を加える処理が行われる。また、配光条件が逆光である場合、顔領域を明るく、背景領域を暗くするような補正が施される。

以上のように、本実施形態の画像処理装置１によれば、撮影画像データから撮影時の配光条件を判別し、判別された配光条件に応じて、撮影画像データから人物の顔を判別するための処理条件を決定するようにしたことにより、顔の判別精度を向上させることができる。

特に、撮影画像データの明度と色相の分布状態から、配光条件を特定するための指標を算出し、その指標に基づいて配光条件を判別することにより、カラー画像における配光条件の判別精度を向上させることができる。更に、撮影画像データの明度の分布位置（構図的な特徴）から、配光条件を特定するための指標を算出し、その指標に基づいて配光条件を判別することにより、撮影画像データがモノクロ画像であっても、配光条件の判別精度を向上させることができる。

また、配光条件を特定するための指標の値に応じて、顔判別処理の処理条件を段階的又は連続的に調整可能にしたことにより、より木目細かい顔判別処理を行うことができるため、顔の判別精度を一層向上させることができる。

更に、撮影画像データから配光条件に応じて顔候補領域を抽出し、抽出された顔候補領域が人物の顔であるか否かを判定するようにしたことにより、配光条件に適した顔候補領域から顔を判定することができるため、顔候補領域の抽出精度を向上させるとともに、顔の判別精度（判定精度）を一層向上させることができる。

また、顔候補領域から配光条件に応じて特徴量を抽出し、その抽出された特徴量に基づいて顔判定を行うようにしたことにより、特徴量の抽出精度を向上させるとともに、顔の判別精度（判定精度）をより一層向上させることができる。

特に、抽出された特徴量を入力信号（入力パラメータ）としたニューラルネットワークを用いて顔判別処理を行うようにしたことにより、処理負荷が低く、簡易な手段で顔判別処理を実現することができる。また、配光条件に応じて使用するニューラルネットワークが決定されていることにより、顔の判別精度（判定精度）をより一層向上させることができる。

また、高精度に判別された顔の判別結果及び／又は配光条件に応じて、撮影画像データに対して所定の画像処理が施されるため、高画質の画像を得ることができる。

なお、本実施形態における記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。

例えば、本実施形態では、顔判定処理にニューラルネットワークを用いる例を示したが、顔判定処理の方法はこれに限定されない。例えば、顔候補領域を二値化した画像についてテンプレートマッチングを用いて顔判定を行う方法や、顔候補領域から目や口等、顔を特徴付ける特徴部位を抽出し、顔候補領域及び特徴部位の位置関係に基づいて顔判定を行う方法等、あらゆる方法を採用することができる。

また、本実施形態では、顔判別処理において、撮影画像データから顔候補領域を抽出し、抽出された顔候補領域が顔であるか否かを判定するようにしたが、顔候補領域を抽出せずに顔を判別することが可能である。例えば、撮影画像データの画像領域中を所定の顔テンプレートでスキャンし、適合する箇所があれば、その箇所に人物の顔があると判定する処理を適用することができる。

本発明の実施形態における画像処理装置の外観構成を示す斜視図。 本実施形態の画像処理装置の主要部構成を示すブロック図。 図２の画像処理部の主要部構成を示すブロック図。 本実施形態の画像調整処理部において実行される画像処理全体の流れを示すフローチャート。 明度・色相の領域毎に第１の占有率を算出する占有率算出処理を示すフローチャート。 ＲＧＢからＨＳＶ表色系に変換するプログラムの一例を示す図。 明度（Ｖ）−色相（Ｈ）平面と、Ｖ−Ｈ平面上の領域ｒ１及び領域ｒ２を示す図。 明度（Ｖ）−色相（Ｈ）平面と、Ｖ−Ｈ平面上の領域ｒ３及び領域ｒ４を示す図。 指標１を算出するための、第１の占有率に乗算する第１の係数を表す曲線を示す図。 指標２を算出するための、第１の占有率に乗算する第２の係数を表す曲線を示す図。 撮影画像データの構図に基づいて第２の占有率を算出する占有率算出処理を示すフローチャート。 撮影画像データの画面の外縁からの距離に応じて決定される領域ｎ１〜ｎ４を示す図。 指標３を算出するための、第２の占有率に乗算する第３の係数を表す曲線を領域別（ｎ１〜ｎ４）に示す図。 配光条件（順光、ストロボ、逆光）別に算出された指標４及び指標５のプロット図。 階層型ニューラルネットワークの構造を模式的に示す図。 ニューラルネットワークを構成するニューロンの構造を示す図。 顔判別処理を示すフローチャート。 顔判定処理を示すフローチャート。

符号の説明

１ 画像処理装置
４ 露光処理部
５ プリント作成部
７ 制御部
８ ＣＲＴ
９ フィルムスキャナ部
１０ 反射原稿入力装置
１１ 操作部
１４ 画像読込部
１５ 画像書込部
３０ 画像転送手段
３１ 画像搬送部
３２ 通信手段（入力）
３３ 通信手段（出力）
３４ 外部プリンタ
７０ 画像処理部
７０１ フィルムスキャンデータ処理部
７０２ 反射原稿スキャンデータ処理部
７０３ 画像データ書式解読処理部
７０４ 画像調整処理部
７０５ ＣＲＴ固有処理部
７０６ プリンタ固有処理部（１）
７０７ プリンタ固有処理部（２）
７０８ 画像データ書式作成処理部
７１ データ蓄積手段

Claims (30)

1. 撮影画像データから画像信号を取得する取得工程と、
   前記取得された画像信号に基づいて、前記撮影画像データを所定の明度と色相の組み合わせからなる領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す占有率を算出する占有率算出工程と、
   前記算出された各領域の占有率に、撮影条件に応じて予め設定された係数を乗算する演算を行うことにより、撮影時の配光条件を判別する配光条件判別工程と、
   前記判別された配光条件に応じて、前記撮影画像データから人物の顔を判別するための処理条件を決定する決定工程と、
   前記決定された処理条件に従って、前記撮影画像データから人物の顔を判別する処理を行う顔判別工程と、
   を含むことを特徴とする画像処理方法。
2. 撮影画像データから画像信号を取得する取得工程と、
   前記取得された画像信号に基づいて、前記撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す占有率を算出する占有率算出工程と、
   前記算出された各領域の占有率に、撮影条件に応じて予め設定された係数を乗算する演算を行うことにより、撮影時の配光条件を判別する配光条件判別工程と、
   前記判別された配光条件に応じて、前記撮影画像データから人物の顔を判別するための処理条件を決定する決定工程と、
   前記決定された処理条件に従って、前記撮影画像データから人物の顔を判別する処理を行う顔判別工程と、
   を含むことを特徴とする画像処理方法。
3. 撮影画像データから画像信号を取得する取得工程と、
   前記取得された画像信号に基づいて、撮影画像データを、所定の明度と色相の組み合わせからなる領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第１の占有率を算出するとともに、撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第２の占有率を算出する占有率算出工程と、
   前記算出された第１の占有率及び第２の占有率に、撮影条件に応じて予め設定された係数を乗算する演算を行うことにより、撮影時の配光条件を判別する配光条件判別工程と、
   前記判別された配光条件に応じて、前記撮影画像データから人物の顔を判別するための処理条件を決定する決定工程と、
   前記決定された処理条件に従って、前記撮影画像データから人物の顔を判別する処理を行う顔判別工程と、
   を含むことを特徴とする画像処理方法。
4. 前記配光条件判別工程では、前記演算を行うことにより、配光条件を特定するための指標が算出され、その算出された指標に基づいて配光条件が判別され、
   前記決定工程では、前記算出された指標の値に応じて、顔判別処理の処理条件の切り替え及び／又は調整が行われることを特徴とする請求項１〜３の何れか一項に記載の画像処理方法。
5. 前記顔判別工程における判別結果及び／又は配光条件に応じて、前記撮影画像データに所定の画像処理を施す画像処理工程を含むことを特徴とする請求項１〜４の何れか一項に記載の画像処理方法。
6. 前記決定工程では、前記判別された配光条件に応じて、前記撮影画像データから人物の顔候補領域を抽出するための抽出条件が決定され、
   前記顔判別工程では、前記決定された顔候補領域の抽出条件に従って、前記撮影画像データから人物の顔候補領域が抽出され、その抽出された顔候補領域に対して顔判別処理が行われることを特徴とする請求項１〜５の何れか一項に記載の画像処理方法。
7. 前記決定工程では、前記判別された配光条件に応じて、前記顔候補領域から抽出する特徴量の抽出条件が決定され、
   前記顔判別工程では、前記決定された特徴量の抽出条件に従って、前記顔候補領域から特徴量が抽出され、その抽出された特徴量に基づいて顔判別処理が行われることを特徴とする請求項６に記載の画像処理方法。
8. 前記決定工程では、前記判別された配光条件に応じて、前記顔候補領域から抽出する特徴量が決定されることを特徴とする請求項７に記載の画像処理方法。
9. 前記決定工程では、前記判別された配光条件に応じて、前記特徴量に基づいて前記顔候補領域が人物の顔であるか否かを判定するための顔判定処理条件が決定され、
   前記顔判別工程では、前記決定された顔判定処理条件に従って顔判別処理が行われることを特徴とする請求項７又は８に記載の画像処理方法。
10. 前記顔判別工程では、ニューラルネットワークを用いて顔判別処理が行われることを特徴とする請求項１〜９の何れか一項に記載の画像処理方法。
11. 撮影画像データから画像信号を取得する取得手段と、
    前記取得された画像信号に基づいて、前記撮影画像データを所定の明度と色相の組み合わせからなる領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す占有率を算出する占有率算出手段と、
    前記算出された各領域の占有率に、撮影条件に応じて予め設定された係数を乗算する演算を行うことにより、撮影時の配光条件を判別する配光条件判別手段と、
    前記判別された配光条件に応じて、前記撮影画像データから人物の顔を判別するための処理条件を決定する決定手段と、
    前記決定された処理条件に従って、前記撮影画像データから人物の顔を判別する処理を行う顔判別手段と、
    を備えることを特徴とする画像処理装置。
12. 撮影画像データから画像信号を取得する取得手段と、
    前記取得された画像信号に基づいて、前記撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す占有率を算出する占有率算出手段と、
    前記算出された各領域の占有率に、撮影条件に応じて予め設定された係数を乗算する演算を行うことにより、撮影時の配光条件を判別する配光条件判別手段と、
    前記判別された配光条件に応じて、前記撮影画像データから人物の顔を判別するための処理条件を決定する決定手段と、
    前記決定された処理条件に従って、前記撮影画像データから人物の顔を判別する処理を行う顔判別手段と、
    を備えることを特徴とする画像処理装置。
13. 撮影画像データから画像信号を取得する取得手段と、
    前記取得された画像信号に基づいて、撮影画像データを、所定の明度と色相の組み合わせからなる領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第１の占有率を算出するとともに、撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第２の占有率を算出する占有率算出手段と、
    前記算出された第１の占有率及び第２の占有率に、撮影条件に応じて予め設定された係数を乗算する演算を行うことにより、撮影時の配光条件を判別する配光条件判別手段と、
    前記判別された配光条件に応じて、前記撮影画像データから人物の顔を判別するための処理条件を決定する決定手段と、
    前記決定された処理条件に従って、前記撮影画像データから人物の顔を判別する処理を行う顔判別手段と、
    を備えることを特徴とする画像処理装置。
14. 前記配光条件判別手段は、前記演算を行うことにより、配光条件を特定するための指標を算出し、その算出された指標に基づいて配光条件を判別し、
    前記決定手段は、前記算出された指標の値に応じて、顔判別処理の処理条件の切り替え及び／又は調整を行うことを特徴とする請求項１１〜１３の何れか一項に記載の画像処理装置。
15. 前記顔判別手段による判別結果及び／又は配光条件に応じて、前記撮影画像データに所定の画像処理を施す画像処理手段を備えることを特徴とする請求項１１〜１４の何れか一項に記載の画像処理装置。
16. 前記決定手段は、前記判別された配光条件に応じて、前記撮影画像データから人物の顔候補領域を抽出するための抽出条件を決定し、
    前記顔判別手段は、前記決定された顔候補領域の抽出条件に従って、前記撮影画像データから人物の顔候補領域を抽出し、その抽出された顔候補領域に対して顔判別処理を行うことを特徴とする請求項１１〜１５の何れか一項に記載の画像処理装置。
17. 前記決定手段は、前記判別された配光条件に応じて、前記顔候補領域から抽出する特徴量の抽出条件を決定し、
    前記顔判別手段は、前記決定された特徴量の抽出条件に従って、前記顔候補領域から特徴量を抽出し、その抽出された特徴量に基づいて顔判別処理を行うことを特徴とする請求項１６に記載の画像処理装置。
18. 前記決定手段は、前記判別された配光条件に応じて、前記顔候補領域から抽出する特徴量を決定することを特徴とする請求項１７に記載の画像処理装置。
19. 前記決定手段は、前記判別された配光条件に応じて、前記特徴量に基づいて前記顔候補領域が人物の顔であるか否かを判定するための顔判定処理条件を決定し、
    前記顔判別手段は、前記決定された顔判定処理条件に従って顔判別処理を行うことを特徴とする請求項１７又は１８に記載の画像処理装置。
20. 前記顔判別手段は、ニューラルネットワークを用いて顔判別処理を行うことを特徴とする請求項１１〜１９の何れか一項に記載の画像処理装置。
21. 画像処理を実行するコンピュータに、
    撮影画像データから画像信号を取得する取得機能と、
    前記取得された画像信号に基づいて、前記撮影画像データを所定の明度と色相の組み合わせからなる領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す占有率を算出する占有率算出機能と、
    前記算出された各領域の占有率に、撮影条件に応じて予め設定された係数を乗算する演算を行うことにより、撮影時の配光条件を判別する配光条件判別機能と、
    前記判別された配光条件に応じて、前記撮影画像データから人物の顔を判別するための処理条件を決定する決定機能と、
    前記決定された処理条件に従って、前記撮影画像データから人物の顔を判別する処理を行う顔判別機能と、
    を実現させるための画像処理プログラム。
22. 画像処理を実行するコンピュータに、
    撮影画像データから画像信号を取得する取得機能と、
    前記取得された画像信号に基づいて、前記撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す占有率を算出する占有率算出機能と、
    前記算出された各領域の占有率に、撮影条件に応じて予め設定された係数を乗算する演算を行うことにより、撮影時の配光条件を判別する配光条件判別機能と、
    前記判別された配光条件に応じて、前記撮影画像データから人物の顔を判別するための処理条件を決定する決定機能と、
    前記決定された処理条件に従って、前記撮影画像データから人物の顔を判別する処理を行う顔判別機能と、
    を実現させるための画像処理プログラム。
23. 画像処理を実行するコンピュータに、
    撮影画像データから画像信号を取得する取得機能と、
    前記取得された画像信号に基づいて、撮影画像データを、所定の明度と色相の組み合わせからなる領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第１の占有率を算出するとともに、撮影画像データを、当該撮影画像データの画面の外縁からの距離と明度の組み合わせからなる所定の領域に分割し、当該分割された領域毎に、前記撮影画像データ全体に占める割合を示す第２の占有率を算出する占有率算出機能と、
    前記算出された第１の占有率及び第２の占有率に、撮影条件に応じて予め設定された係数を乗算する演算を行うことにより、撮影時の配光条件を判別する配光条件判別機能と、
    前記判別された配光条件に応じて、前記撮影画像データから人物の顔を判別するための処理条件を決定する決定機能と、
    前記決定された処理条件に従って、前記撮影画像データから人物の顔を判別する処理を行う顔判別機能と、
    を実現させるための画像処理プログラム。
24. 前記配光条件判別機能を実現させる際に、前記演算を行うことにより、配光条件を特定するための指標を算出し、その算出された指標に基づいて配光条件を判別し、
    前記決定機能を実現させる際に、前記算出された指標の値に応じて、顔判別処理の処理条件の切り替え及び／又は調整を行うことを特徴とする請求項２１〜２３の何れか一項に記載の画像処理プログラム。
25. 前記顔判別機能による判別結果及び／又は配光条件に応じて、前記撮影画像データに所定の画像処理を施す画像処理機能を実現することを特徴とする請求項２１〜２４の何れか一項に記載の画像処理プログラム。
26. 前記決定機能を実現させる際に、前記判別された配光条件に応じて、前記撮影画像データから人物の顔候補領域を抽出するための抽出条件を決定し、
    前記顔判別機能を実現させる際に、前記決定された顔候補領域の抽出条件に従って、前記撮影画像データから人物の顔候補領域を抽出し、その抽出された顔候補領域に対して顔判別処理を行うことを特徴とする請求項２１〜２５の何れか一項に記載の画像処理プログラム。
27. 前記決定機能を実現させる際に、前記判別された配光条件に応じて、前記顔候補領域から抽出する特徴量の抽出条件を決定し、
    前記顔判別機能を実現させる際に、前記決定された特徴量の抽出条件に従って、前記顔候補領域から特徴量を抽出し、その抽出された特徴量に基づいて顔判別処理を行うことを特徴とする請求項２６に記載の画像処理プログラム。
28. 前記決定機能を実現させる際に、前記判別された配光条件に応じて、前記顔候補領域から抽出する特徴量を決定することを特徴とする請求項２７に記載の画像処理プログラム。
29. 前記決定機能を実現させる際に、前記判別された配光条件に応じて、前記特徴量に基づいて前記顔候補領域が人物の顔であるか否かを判定するための顔判定処理条件を決定し、
    前記顔判別機能を実現させる際に、前記決定された顔判定処理条件に従って顔判別処理を行うことを特徴とする請求項２７又は２８に記載の画像処理プログラム。
30. 前記顔判別機能を実現させる際に、ニューラルネットワークを用いて顔判別処理を行うことを特徴とする請求項２１〜２９の何れか一項に記載の画像処理プログラム。

Images