JP4307341B2 - 画像処理方法及び画像処理装置 - Google Patents

Description

本発明は、画像入力機器で撮影された画像を補正して出力する画像処理方法及び画像処理装置に関する。

近年普及しているデジタルカメラ等の画像入力機器で撮影した画像は、モニタ等に表示する、或いは紙等に印刷することによって観察・鑑賞することができる。このとき、撮影された画像データをそのまま用いた場合、色被り、露出の不適切、或いはコントラストの不適切等といったように、撮影バランスが必ずしも良好とはいえない状態で表現されてしまうことが多い。

そこで、従来から、良好な画像の定義を行い、その定義に沿ったホワイトバランス補正や露出／コントラスト補正を自動で行うアプリケーションが一般的に行われてきた。

しかし、このような環境下であっても、必ずしも適正な補正ができない撮影画像が存在する場合がある。例えば、スキー場で人物を撮影した時や、青空が多く撮影されている風景で小さな目標を撮影したような場合、本来は画像中の小さな領域が関心領域であるにもかかわらず、当該注目領域の階調が他の領域の輝度の違う領域の階調のために制限されてしまうことがある。このような場合、上述した良い画像の定義を利用した従来の画像補正では的確な補正は不可能である。

このような撮影画像を改善するために、次のような技術が提案されている。例えば、特開２００２−１３５５８７（特許文献１）は、画像中から注目される人物の顔等の重要領域を抽出し、その領域の輝度が好ましくない場合は、画像全体の補正を行って、その後検出された領域のみ輝度調整したものを覆い焼きの原理によって合成するものである。

また、特許第３２０３９４６号（特許文献２）は、テレビの映像信号であって、色差信号と輝度信号から肌色平均輝度レベルを検出し、全画像の輝度レベルの関連でガンマ補正回路に制御信号を加えるものである。
特開２００２−１３５５８７号公報 特許３２０３９４６号明細書

しかしながら、上述した従来例には、次に述べるような問題があった。

まず、特許文献１の技術は、例えば、人物の顔の領域を検出対象としたときに、顔領域が極端に暗いような場合、洋服との間に不自然な階調領域が発生してしまう。また、この画像処理を実行する場合には、合成処理や領域合成のエリア補正のために演算量やメモリ容量を多く必要とする。デジタルカメラとＰＣを介すことなく直接繋がるプリンタや、ＰＣを介すことなくメモリカード用のインタフェイスを有し、メモリカードが直接装填されるプリンタ等の画像処理部をプリンタ内に有する組み込み機器等では、プリンタの価格的に演算処理能力をあげることができず、大容量メモリ高速ＣＰＵの実装が難しいという問題がある。

一方、特許文献２の技術は、色の範囲が該当する信号の輝度レベルに基づいてガンマ補正を加えるため、想定している映像中の肌色が人物の肌であって対象を人物の肌のみと考えれば実現可能である。しかし、画像中に枯れ林等の本来主被写体になり得ないような対象物が存在するような場合、そのようなものに対しても最適化してしまうことがある。さらに、映像中のすべての肌色を対象とするので、人物の肌ではない肌色の物体が映像中に存在する場合にはその影響も受けてしまい、鑑賞や印刷を対象とした補正としては精度が満足するものにならないことがある。さらにまた、Ｓ／Ｎ比が悪い輝度範囲における色範囲においても補正対象としてしまうため、補正によっても画質の向上が見込めない状況が考えられる。

また、上記補正は、主被写体についての検出を利用して主被写体そのものを希望する補正値へ展開するものである。しかし、明るい青空が多くを占める中での建物や自然を撮った風景の中での建物の画像では、本来は建物が主被写体であるにもかかわらず、建物自身の階調補正を的確に行うことは難しかった。

本発明は、このような事情を考慮してなされたものであり、撮影画像中から抽出された特定領域の個別補正を行って画像全体の補正に反映することで、小さな情報処理量で良好な画像補正を実現することができる画像処理方法及び画像処理装置を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理方法は、
画像を取得する取得工程と、
色度に基づき、前記画像中の人物の肌領域を抽出する抽出工程と、
前記画像の輝度値を解析して、前記画像全体の平均輝度値を算出する第１の解析工程と、
前記抽出工程によって抽出された肌領域に含まれる画素の輝度値に基づいて前記肌領域の平均輝度値を算出する第２の解析工程と、
前記画像全体の平均輝度値と前記肌領域の平均輝度値とに基づいて補正係数を決定し、前記肌領域の平均輝度値に前記補正係数を乗算することで前記肌領域の補正後の輝度値を算出する算出工程と、
前記算出工程の算出結果に基づいて、前記肌領域の平均輝度値が前記肌領域の補正後の輝度値に変換される階調補正テーブルを作成するテーブル作成工程と、
前記作成された階調補正テーブルを使用して、前記画像の輝度を補正する補正工程と
を有することを特徴とする。

また、上記課題を解決するため、本発明に係る画像処理装置は、
画像を取得する取得手段と、
色度に基づき、前記画像中の人物の肌領域を抽出する抽出手段と、
前記画像の輝度値を解析して、前記画像全体の平均輝度値を算出する第１の解析手段と、
前記抽出手段によって抽出された肌領域に含まれる画素の輝度値に基づいて前記肌領域の平均輝度値を算出する第２の解析手段と、
前記画像全体の平均輝度値と前記肌領域の平均輝度値とに基づいて補正係数を決定し、前記肌領域の平均輝度値に前記補正係数を乗算することで前記肌領域の補正後の輝度値を算出する算出手段と、
前記算出手段の算出結果に基づいて、前記肌領域の平均輝度値が前記肌領域の補正後の輝度値に変換される階調補正テーブルを作成するテーブル作成手段と、
前記作成された階調補正テーブルを使用して前記画像の輝度を補正する補正手段と
を備えることを特徴とする。

本発明は、処理の簡単化のために、階調補正用の変換テーブル方式を採用し、主被写体が特定以上暗過ぎたり明るすぎたりして、潰れやノイズの影響が大きいと思われる領域である階調補正しても改善効果が見込めない部分と判断した場合は特徴領域の行わず、一般的な画像補正を利用し、階調補正して改善効果が見込めるデータの時は特徴領域の情報より補正目標値を設定し、階調補正テーブルを作成する。

また、本発明は、人の肌や人の顔領域を主被写体領域として検出し、その特徴量を反映した階調補正テーブルの作成方法については、検出した主被写体領域以外の領域の極度な階調減少や潰れなど他の領域への負の影響が発生しないように主被写体領域の輝度平均と主被写体領域以外の領域の輝度平均値より目標設定用判定テーブルを使用して主被写体領域の輝度の補正目標値を決定する。例えば、補正目標値及び（０，０）、（２５５，２５５）の３点を通る階調補正テーブルを作成する。

さらに、本発明は、主被写体領域の階調性を確保する手段として主被写体領域の輝度分布情報を利用して主被写体領域の階調範囲を判断し、その上限値と下限値を設定する手段を持ち、その手段により設定された領域分は階調補正テーブルを作成において入出力関係における傾き「１」を確保するようにし、作成する階調補正テーブルにおいて、上限値と下限値及び（０，０）、（２５５，２５５）の４点を通る階調補正テーブルを作成する。

さらにまた、本発明は、主被写体と判定できる特徴領域が検出できなかった場合や主被写体を対象とした特徴領域検出を行わない場合においては、青空領域等の非主被写体領域の検出を行い、その特徴量によって画像全体における良質化に影響を与えているか影響度を検出し、必要に応じて検出領域以外の領域を最適化するための補正目標の設定を行う。

具体的な手段としては、青空領域を特徴領域とした検出し、検出した領域の特徴量として輝度平均値と検出領域情報を算出する。さらにまた、検出対象となった画像の輝度平均値と検出領域情報を算出し、青空領域の輝度平均値の絶対値と判定値の比較、検出対象となった画像の輝度平均値と判定値の比較、青空領域の輝度平均値と検出対象となった画像の輝度平均値の差と判定値を比較することで、青空領域の画像における影響度を判定する。

そして、その判定結果により、特徴領域の青空領域が他の領域の画質へ影響を与えている場合、検出対象となった画像全体から特徴領域の青空領域を削減した領域情報を作成し、その値から補正目標値を決定する。そして、補正目標値及び（０，０）、（２５５，２５５）の３点を通る階調補正テーブルを作成する。

本発明によれば、撮影画像中から抽出された特定領域の個別補正を行って画像全体の補正に反映することで、小さな情報処理量で良好な画像補正を実現することができる。

以下、図面を参照して、本発明の一実施形態に係る画像処理装置とそれを用いた画像処理方法について説明する。

＜第１の実施形態＞
図１１は、本発明の第１の実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。図１１に示すように、本実施形態による画像処理装置は、いわゆるパーソナルコンピュータの構成をもって達成されるものである。

具体的には、データが入出力される入出力ポート（I/O port）５１と、ポインティングデバイスであるマウス（Mouse）５２と、数値や文字等を入力するキーボード（KeyBoard）５３と、種々の表示を行うためのモニタ（Monitor）５４と、装置全体の動作を制御する制御部（Controller）５５と、メモリカードに記録された画像データ（例えば、デジタルカメラ等で撮影された撮影画像）を読み出すメモリカードドライブ（Memory Card Drive）５６と、データやプログラムを記憶するハードディスク（Hard Disk）５７と、各部を接続するバス（Bus）５８とを備える。

モニタ５４としては、例えば、液晶モニタ、ＣＲＴモニタ、ＥＬディスプレイ、プラズマディスプレイ、或いはテレビジョン受像機等を用いることができる。また、マウス５２、キーボード５３及びモニタ５４の各機能を備えた、いわゆるタッチパネルを用いてもよい。

制御部５５は、マウス５２やキーボード５３からの入力に基づいて、入出力ポート５１、若しくは、メモリカードドライブ５６において読み出された画像データに対する各種処理を行う。

第１の実施形態においては、画像処理装置を実現する装置としてパーソナルコンピュータを例に挙げて説明を行うが、画像データを処理可能な装置であれば、画像を扱うマルチファンクションプリンタ（MFP）やフォトダイレクトプリンタ（FDP）等のパーソナルコンピュータ以外の機器への組み込み機器等であっても同様の実施形態が考えられる。

図１は、第１の実施形態に係る画像処理装置における画像処理の全体の流れを説明するためのフローチャートである。まず、図１１に示される画像処理装置の入出力ポート５１、メモリカードドライブ５６において読み出された画像データ、或いはハードディスク５７に保存されている画像データをマウス５２やキーボード５３からの入力操作に基づいて取得する（ステップＳ１０１）。

次に、ステップＳ１０１で取得された画像データを不図示のＲＡＭ等に展開して、取得された画像データに対する特徴領域の抽出処理を行う（ステップＳ１０２）。例えば、登録されている特徴領域の定義が画像中の主要人物肌領域である場合は、入退室管理や監視システムとして動画を含む画像の中に人物の顔領域を検出する処理方法等が知られている。そして、人物肌又は顔領域の特徴判定を行って、合致した領域を抽出し、その情報を保持すると共に、抽出した領域の特徴量を算出して保持する。ここでは、少なくとも輝度平均値や画素数を含むサイズ情報を含むものとする。

図１０は、図１に示すフローチャートの特徴領域抽出処理（ステップＳ１０２）の詳細を説明するためのフローチャートである。ここでは、抽出の対象となる特徴領域として画像中の主要人物の肌領域である場合について説明する。

まず、ステップＳ１０１で取得された画像データに対して、ＪＰＥＧ画像の圧縮単位である８×８画素を単位とした色度比率と配置組み合わせによって、主要人物の肌領域候補のグループを検出する（ステップＳ１００１）。次に、ステップＳ１００１の処理によって候補となるグループの検出に成功したか否かを判定する（ステップＳ１００２）。

その結果、検出に失敗した場合（Ｎｏ）は、主要人物の肌領域の検出に失敗したことを登録する（ステップＳ１００６）。具体的には、検出結果ＨＭ＝”００００”としてセットする。一方、検出に成功した場合（Ｙｅｓ）は、ステップＳ１００１で検出された主要人物の肌領域候補のグループに対して、検出された領域が予め設定して保存されている空間周波数特性の範囲に適合するか否かを比較する（ステップＳ１００３）。

そして、ステップＳ１００３での比較結果に基づいて検出が成功したか否か、すなわち、主要人物の肌領域候補のグループが主要人物の肌領域であると判定されたか否かを判定する（ステップＳ１００４）。その判定の結果、検出不成功、すなわち主要人物の肌ではないと判定された場合（Ｎｏ）は、前述したステップＳ１００６の処理に移行して、主要人物の肌領域の検出に失敗したことを登録する。また、検出成功、すなわち主要人物の肌であると判定された場合（Ｙｅｓ）は、主要人物の肌領域の検出に成功したことを登録する（ステップＳ１００５）。具体的には、検出結果ＨＭ＝”１１１１”としてセットする。さらに、検出された特徴データを保存する。

尚、上述した実施形態では、ステップＳ１０２の特徴領域の抽出処理を、主要人物の肌領域の特徴領域を検出することによって説明したが、他の人物の顔領域の検出や個人顔の認証等による検出に置き換えてもよい。

次に、ステップＳ１０１において取得した画像データの特徴を解析する（ステップＳ１０３）。ここでは、特徴解析によって、少なくとも輝度平均値や画素数を含むサイズ情報を求め、それらを保持する。

次いで、ステップＳ１０２における検出結果（ＨＭ）が「１１１１」であると判定されている時（すなわち、検出成功の場合）には、ステップＳ１０２とステップＳ１０３の処理によって算出した特徴量に基づいて、画像データから抽出した特徴領域を利用した画像の補正目標値を設定する必要があるか否かの判定を行う（ステップＳ１０４）。

例えば、ステップＳ１０１で取得された撮影画像中に人物が存在する場合には、当該人物が主被写体である可能性が高い。そこで、本実施形態では、撮影画像より抽出した主被写体と考えられる人物の特徴領域の輝度平均値自体と、当該撮影画像の輝度平均との比較関係により判定を行う。

一方、ステップＳ１０２における検出結果ＨＭが「００００」と判定された場合には（すなわち、検出失敗の場合）、ステップＳ１０５をスキップして、ステップＳ１０６において通常の画像補正を実行する。

また、ステップＳ１０５においては、ステップＳ１０４において、撮影画像から抽出した特徴領域を利用した画像補正目標値を設定する必要があると判定した場合に、特徴領域の状況を踏まえて、どの輝度レベルまで最終目標値に近付けるかを設定する。また、設定した目標値を使用して補正用テーブルを作成する。

ステップＳ１０６においては、ステップＳ１０５において特徴領域の特徴量を利用して作成した補正用テーブルの有無を判断し、補正用テーブルが存在しない場合は特徴領域の検出結果を反映しない共通の定義に基づく画像補正を実行する。一方、補正用テーブルが存在する場合は、共通の定義に基づく画像補正ではなく、作成した補正用テーブルを利用できるように共通の定義に基づく画像補正に対して置き換えを行った後に画像補正を実行する。

ここで、共通の定義に基づく画像補正について、簡単に説明する。良い画像の定義とは、一般に次のようなことに基づいて定義される。
１）光源のホワイトバランスが良好である。
２）コントラストが良好である。
３）必要な部分の階調が確保されている。

そして、ステップＳ１０６の画像補正処理に先立って、上記条件を満足する画像であるか否かを撮影画像を解析して判定する。その結果、不適当である場合はステップＳ１０６の画像補正処理工程において、必要な補正項目に対するパラメータを算出して出力する。

まず、光源のホワイトバランスについては、画像中の最高輝度部分近辺が光源と近似すると仮定し、この領域のＲＧＢバランスを判定する。そして、補正が必要な場合は、ＲＧＢ成分ごとに変換テーブルを作成し、画像データを変換して補正する。

また、コントラストについては、画像データの輝度範囲０〜２５５（８ビットの場合）の中で実データの分布を解析し、分布が一様になるように変換テーブルを作成して適用することで補正する。

さらに、画像データにおける主要部分の階調が確保されていない場合は、階調の配分を最適化するために階調補正テーブルを作成して適用することで補正する。

次に、露出補正テーブルの作成方法について具体的に説明する。図１５は、第１の実施形態で用いられる露出補正量決定テーブルの一例を示す図である。以下では、図１５に示す露出補正量決定テーブルにおいて、横軸は入力画像（撮影画像）の輝度平均（ＡＶＥ）を０から２５５の範囲で表したものであり、縦軸は変換後の輝度平均値の目標値（ＮＡＶＥ）であって、その範囲は０から２５５で表される。

図１５における目標値（ＮＡＶＥ）設定テーブルは、目標輝度レベル（ここでは一例として１４４としている。）より低輝度の画像は、目標レベルに近付くように目標値（ＮＡＶＥ）を現在の状態より高くなるように設定する。一方、目標輝度レベルより高輝度の画像は、目標レベルに近付くように目標値（ＮＡＶＥ）を現在の状態より低くなるように設定する。

そして、ＮＡＶＥの値を図１５に示す露出補正量決定テーブルを用いて入力画像の輝度平均（ＡＶＥ）ごとに求め、その結果から図１６に示すテーブルを作成する。図１６は、第１の実施形態で用いられる露出補正用のルックアップテーブルの一例を示す図である。図１６に示すテーブルの作成方法は、まず横軸の０から２５５の間に入力画像の輝度平均（ＡＶＥ＝Ａ）値をプロットする。次いで縦軸の０から２５５の間に変換後の輝度平均値の目標値（ＮＡＶＥ＝ＮＡ）をプロットする。そして、プロット点より垂直に互いの交点を探し出し、その点と（０，０）及び（２５５，２５５）を図１６に示すように結んで変換テーブルを作成する。或いは、露出補正用のルックアップテーブルを、目標値と（０，０）と（２５５，２５５）の３点を通るガンマ階調の変換テーブルとして作成しても良い。このような変換テーブルを用いることで、画像全体の輝度値を、希望する値へ簡易に変換することができる。

ここで、画像データを白銀のゲレンデに立つ人とした場合の補正処理について説明する。そこで、画像全体の平均輝度をＢ（＝１８８）とし、特徴領域検出にて検出された人物の肌の平均輝度はＡ（＝６４）とする。このような条件において、特徴領域検出処理が行われない場合は、画像補正の露出処理では全体画像の輝度を１８８から１７０へ落とす処理を行う。しかし、当該補正処理を行うことによって、本来被写体として一番見たい人物の顔は６４よりもさらに暗い方向へ補正されてしまい、画像補正がかえって画像を悪くしてしまう。

しかしながら、特徴領域検出の出力を画像補正値に反映することで、人物肌の平均輝度値である６４が露出補正の対象になるので、人物の顔を６４から１００へ引き上げる露出補正を実行して、画像データの見たい部分をより高品位化することが可能である。

ここで、上述した露出補正方法では、補正によって画像はある程度改善するものの補正される補正量もわずかなものであり、輝度が１００で撮影された人の顔は、一般的にまだ暗い状態のままである。本来、人の顔を撮影した画像をモニタ上、或いは印刷して鑑賞するような場合、好ましい輝度としては１７０〜２２０程度の範囲が要求されると考えられる。しかしながら、上述した特徴領域検出処理において検出された人物肌の平均輝度Ａ（＝６４）を１７０へ上げる階調補正テーブルを作成して露出補正を実行した場合、背景である白銀のゲレンデはほとんど白飛びしてしまうこととなる。従って、階調補正として、上記特徴領域検出処理において検出された人物肌の平均輝度Ａ（＝６４）を、単純に１７０へ上げる補正を実行することは好ましくない。

図２は、第１の実施形態において使用される画像中の特徴領域に対する輝度補正目標値設定表を示す図である。図２に示す輝度補正目標設定表において、縦の行では、画像全体の輝度平均により［０〜６０］，［６１〜１２０］，［１２１〜１９０］，［１９１〜２５５］の４クラスに分けて対象画像を分類する。また、横の列では特徴領域検出（ＡＰＤ検出）により算出した最終候補の特徴領域の輝度により［０〜３５］，［３６〜８０］，［８１〜１２０］，［１２１〜２５５］の４クラスに分けて対象領域を分類する。そして、画像全体の輝度平均と最終候補の特徴領域輝度の該当する目標設定用係数を利用して、最終候補の特徴領域の輝度目標値を算出する。

すなわち、輝度補正目標設定処理は、特徴領域検出処理で検出された人物の肌領域が主要被写体として設定され、全画像の画質を落とすことなく特徴領域をより良く補正することを可能にする。

そこで、図２に示す輝度補正目標値設定表において、縦の行は画像全体の輝度平均が［１９１〜２５５］の場合においては、背景の輝度が高過ぎるので特徴領域検出の結果を反映できないと判断し、特徴領域検出結果を反映した階調補正は実行されず、通常の画像補正のみの実行が指定されることなる。

また、横の列において、特徴領域検出により算出した最終候補の特徴領域の輝度が［０〜３５］の場合は、特徴領域検出結果を反映した階調補正が実行されず、通常の画像補正のみの実行が指定される。これは、撮影機器の入力特性を考慮したものである。すなわち、ＣＣＤ等の撮像素子への入力信号が低い時のＳ／Ｎ比は悪いことが知られており、さらに、主被写体が黒潰れしていることが考えられる。従って、この領域における主被写体の輝度を上げても良質な状態へ補正できないと判断したことに基づくものである。

さらに、特徴領域検出により算出した最終候補の特徴領域である人物肌領域の輝度が［１３１〜２５５］の場合は、ほぼ良好な輝度状態、或いは白跳びに近い状態であると判断する。そこで、特徴領域検出の結果を反映する必要性が低いと判断して、特徴領域検出結果を反映した階調補正が実行されず、通常の画像補正のみの実行が指定される。

ここで、前述した白銀のゲレンデに立つ人を撮影した画像を例に挙げると、画像全体の平均輝度はＢ（＝１８８）であり特徴領域検出にて検出された人物の肌の平均輝度はＡ（＝６４）である。従って、図２に示す表より、「＊１．５」となり、人物肌の平均輝度Ａ（＝６４）に１．５を乗算した値が輝度目標値となる。そして、この値を用いてＮＡを設定し、図１６に示す補正テーブルの作成に反映する。

次に、実際の撮影画像を例に用いて、補正処理について詳細に説明する。図２１、２５、２９、３３は、それぞれ、特徴領域検出の対象として主被写体と設定する人物の肌領域を含む撮影画像のサンプル例を示す図である。

まず、図２１に示す撮影画像の処理について説明する。図２２は、図２１の画像に対して人物の肌領域の最終候補として領域を検出した結果を示す図である。図２１の撮影画像における人物の肌部分としては、人物の顔、両膝、手のひら等が存在するが、最も重みのある最終被写体候補として検出された領域が図２２で検出された顔の部分である。

図２３は、図２１に示す撮影画像の全体の輝度平均及び輝度ヒストグラムを含む特徴量の一例を表示する図である。図２３では、ヒストグラムの横軸について輝度を２５６階調で表している。すなわち、その範囲は０〜２５５の幅になっており、左端が０、右端が２５５となる。また、図２３では、平均輝度が１６０であり、輝度分布としては、最高輝度分布の雪領域と、次の高い輝度分布領域である空領域と、かなり暗い背景の山領域とが大きく分けて存在することが確認できる。

図２４は、図２１に示される撮影画像で検出された人物の顔領域における特徴量の一例を表示する図である。図２４において、検出された領域の平均輝度は９２であり、この値を中心に主に上下３０の輝度範囲で検出した領域の輝度データ分布が存在していることが確認できる。

図２に示す表を用いて特徴領域に対する輝度補正目標値設定を行う場合、画像全体の平均輝度はＢ（＝１６１）であって、特徴領域検出にて検出された人物の肌の平均輝度はＡ（＝９２）であることから「＊１．３」が求まり、人物肌の平均輝度Ａ（＝９２）に１．３を乗算した値（１２０）が、輝度目標値となる。この値を用いてＮＡを設定し、図１６に示される補正テーブルの作成に反映する。

次に、図２５に示す撮影画像を用いた例について説明する。図２６は、図２５に示す撮影画像に対して人物肌領域の最終候補として領域を検出した結果を示す図である。尚、図２５の画像における撮影された人物肌としては人物の顔のみであり、これがそのまま最終被写体候補として検出された領域が図２６に示す検出された部分である。

図２７は、図２５に示す撮影画像全体の輝度平均及び輝度ヒストグラムを含む特徴量の一例を示す図である。図２７において、ヒストグラムの横軸は輝度を２５６階調で表して０〜２５５の幅で与えられており、左端が０で右端が２５５である。また、ヒストグラムにおいて平均輝度が１１１であり、輝度分布としては、全体に渡ってほぼ一様に分布して存在することが確認できる。

図２８は、図２５に示す撮影画像中から特徴領域として検出された人物の顔領域における特徴量を表した図である。図２８に示すように、検出された領域の平均輝度は９３であり、この値を中心に、主に上下３０〜４０の輝度範囲で検出された領域の輝度データ分布が存在していることが確認できる。

ここで、図２に示す表に基づいて検出された特徴領域に対する輝度補正目標値設定を行う場合、画像全体の平均輝度はＢ（＝１１１）であり、特徴領域検出にて検出された人物肌の平均輝度はＡ（＝９３）であるので表から「＊１．５」が得られる。そして、人物肌の平均輝度Ａ（＝９３）に１．５を乗算した値（１４０）が輝度目標値となる。この値を用いてＮＡを設定し、図１６に示すような補正テーブルの作成に反映される。

次に、図２９に示す撮影画像を用いた例について説明する。図３０は、図２９に示す撮影画像に対して人物肌領域の最終候補として領域を検出した結果を示す図である。尚、図２９の画像における撮影された人物肌としては、人物の顔と両腕が存在するが、最も重みのある最終被写体候補として検出された領域が図３０で検出された部分である。

図３１は、図２９に示す撮影画像全体の輝度平均及び輝度ヒストグラムを含む特徴量の一例を示す図である。図３１において、ヒストグラムの横軸は輝度を２５６階調で表して０〜２５５の幅で与えられており、左端が０で右端が２５５となる。また、ヒストグラムにおいて平均輝度は８４であり、輝度分布としては、最高輝度分布の空領域と、比較的暗い背景である林領域が存在することが確認できる。

図３２は、図２９に示す撮影画像中から特徴領域として検出された人物の顔領域における特徴量を表した図である。図３２に示すように、検出された領域の平均輝度は７３であり、この値を中心に主に上下３０の輝度範囲で検出した領域の輝度データ分布が存在していることが確認できる。

ここで、図２に示す表に基づいて検出された特徴領域に対する輝度補正目標値設定を行う場合、画像全体の平均輝度はＢ（＝８４）であり、特徴領域検出によって検出された人物肌の平均輝度はＡ（＝７３）であるので表から「＊１．８」が得られる。そして、人物肌の平均輝度Ａ（＝７３）に１．８を乗算した値（１３１）が輝度目標値となる。この値を用いてＮＡを設定し、図１６に示すような補正テーブルの作成に反映される。

次に、図３３に示す撮影画像を用いた例について説明する。図３４は、図３３に示す撮影画像に対して人物肌領域の最終候補として領域を検出した結果を示す図である。尚、図３３の画像における撮影された人物肌としては、人物の顔と両腕が存在するが、最も重みのある最終被写体候補として検出された領域が図３４で検出された部分である。

図３５は、図３３に示す撮影画像全体の輝度平均及び輝度ヒストグラムを含む特徴量の一例を示す図である。図３５において、ヒストグラムの横軸は輝度を２５６階調で表して０〜２５５の幅で与えられており、左端が０で右端が２５５となる。また、ヒストグラムにおいて平均輝度は１２５であり、輝度分布としては、最高輝度分布の空領域と暗い背景の枯草領域が存在することが確認できる。

図３６は、図３３に示す撮影画像中から特徴領域として検出された人物の顔領域における特徴量を表した図である。図３６に示すように、検出された領域の平均輝度は８０であり、この値を中心に主に上下３０の輝度範囲で検出した領域の輝度データ分布が存在していることが確認できる。

次に、図２に示す表に基づいて検出された特徴領域に対する輝度補正目標値設定を行う場合、画像全体の平均輝度はＢ（＝１２５）であり、特徴領域検出によって検出された人物肌の平均輝度はＡ（＝８０）であるので表から「＊１．５」が得られる。そして、人物肌の平均輝度Ａ（＝８０）に１．５を乗算した値（１３１）が輝度目標値となる。この値を用いてＮＡを設定し、図１６に示すような補正テーブルの作成に反映される。

上述したように、図２１、図２５、図２９、及び図３３に示す撮影画像サンプルを用いて、主被写体として人物肌領域を対象としてその特徴量を抽出して反映した補正結果を示した。ここで、図２１に示す人物肌領域の平均輝度が９２となり、その輝度アップ量は２８である。また、図２５に示す人物肌領域の平均輝度が９３となり、輝度アップ量は４７である。さらに、図２９に示す人物肌領域の平均輝度が７３となり、その輝度アップ量は５８である。さらにまた、図３３に示す人物肌領域の平均輝度が８０となり、その輝度アップ量は５１となる。

これらの結果から、背景を含む画像全体の輝度と特徴領域として抽出した主被写体の輝度関係により、主被写体への輝度補正目標が背景を含む画像全体の状況により影響することが明らかである。従って、背景部分の階調を損ねることのない条件下において特徴領域として抽出された主被写体領域の階調補正が良好に実行することができることとなる。

図７は、第１の実施形態において使用される画像中の特徴領域に対する別の輝度補正目標値設定表を示す図である。図２で示した輝度補正目標値設定表では、撮影画像全体の輝度平均及び特徴領域として抽出した主被写体の人物肌領域の輝度平均の値によってクラスを分けて対象画像を分類して目標設定を行った。しかし、この場合、クラスの境目で、目標値の設定が変わる段差が発生することとなる。そこで、これをリニアな変化にした目標値設定にしたものが図７に示す表で示されたものである。

図７では、全画像における平均輝度が０〜３５未満、或いは１８０より大きい場合は、特徴領域を利用した画像補正の目標設定対象外としている。また、同じように、特徴抽出した主被写体の平均輝度が０〜３５未満、或いは１６０より大きい場合は、特徴領域を利用した画像補正の目標設定対象外としている。

さらに、全画像における平均輝度が３５〜１８０であり、かつ特徴抽出した主被写体の平均輝度が３５〜１６０の条件を満たした画像は、特徴領域を利用した画像補正の目標設定対象となり、各ポイントをリニアにつないだ値による目標設定となる。

図５及び図６は、本発明の第１の実施形態で使用されるＮＡＶＥ設定（補正目標値設定）テーブルをグラフ化した図である。図５において、横軸は画像全体の輝度平均、奥への軸は特徴領域として抽出した主被写体としての人物肌の輝度平均、縦軸は目標設定用特徴領域への乗数を示している。図５に示すように、目標設定の乗数が滑らかに変化することが確認できる。

図４７は、図２９に示す撮影画像サンプルに対して本実施形態に係る補正処理を施した結果を示す図である。図４７は、図２９に示す撮影画像における主被写体である特徴領域の人物肌における輝度が増し、撮影画像の観察者が注目する領域を中心とした画質が向上していることがわかる。

また、図４６は、図４７に示す補正結果画像の輝度ヒストグラムを示す図である。図４６では、ヒストグラムの横軸は輝度を２５６階調で表して０〜２５５の幅になっており、左端が０で右端が２５５となる。また、ヒストグラムにおいて平均輝度が１１４であり、通常の画像補正では原画像の輝度分布特性から人物肌領域の輝度を最適化できないが、本実施形態に係る補正処理によって良好な状態に補正されていることが確認できる。

上述したように、本実施形態では非主被写体領域より主被写体領域への画質向上化を目指した補正処理について説明した。また、第１の実施形態において、具体的には階調への反映方法を示したが、その他の補正項目であるコントラストやホワイトバランス等に関しても同様にして補正の対象と成り得る。

＜第２の実施形態＞
次に、前述した第１の実施形態と同じハードウェア構成を利用して、特徴領域への補正目標値を設定した後に階調補正用ルックアップテーブルを作成して補正を行う画像処理について説明する。尚、前述した第１の実施形態においては、特徴領域の特徴量として特徴領域の面積比率と輝度平均を用いたが、これによって補正を行った結果、輝度は良好に補正されるものの、画像によっては主被写体である人物肌領域の階調が減ってしまう可能性があった。そこで、第２の実施形態では、特徴領域に対する輝度及び階調補正を簡便に行う補正テーブルの作成方法について説明する。

図４は、本発明の一実施形態に係るＬＵＴ階調増の変換例を示す図である。図４において、横軸は特徴領域の輝度を表し、０〜２５５の２５６段階で表している。また、特徴領域の輝度データの分布を、図３２の輝度ヒストグラムから上下５％等の予め設定している閾値Ｍを用いて、制限された範囲に入る輝度範囲を設定する。そしてその設定範囲を表したのもが「ＳＫ ＩＮ」である。「ＳＫ ＩＮ」データは、目標設定に基づいて階調補正テーブルを用いた変換が行われるが、出力へ変換した後の写像が縦軸で示される。すなわち、図４において、縦軸は変換後の輝度を表し、０〜２５５の２５６段階で表している。この特徴領域への変換出力が「ＳＫ ＯＵＴ」である。

ここで、図４に示す画像変換例においては、「ＳＫ ＯＵＴ」が「ＳＫ ＩＮ」より大きくなるので、輝度変換の目標設定及び階調範囲ともに良好に変換された例であることがわかる。尚、前述した特徴領域の輝度ヒストグラムから上下に設定している閾値Ｍは、画像サイズ及び特徴領域のサイズ等により設定される。

図３は、本発明の一実施形態に係るＬＵＴ階調減の変換例を示す図である。図３におけるグラフの構成は図４に示すグラフと同様である。ここで、特徴領域である主被写体の最終候補の人物肌領域平均輝度及び輝度分布により、「ＳＫ ＩＮ」データは、目標設定に基づいて階調補正テーブルによる変換が行われて「ＳＫ ＯＵＴ」に変換される。ここで、「ＳＫ ＩＮ」が「ＳＫ ＯＵＴ」より大きくなるので、輝度変換の目標設定は良好に変換されたものの、変換後の階調が減少してしまうこととなる。従って、主被写体として設定した特徴領域のデータを中心とした補正としては、輝度は良好となるが、階調が減少した分のっぺりとした感じになってしまう場合がある。

そこで、こうした現象を改善するために、図１に示すフローチャートにおける特徴量判定ステップ（ステップＳ１０４）において、ステップＳ１０２における検出結果ＨＭが「１１１１」と判定されている場合は、まず、最初に、図８及び図９に示す処理を実行する。図８は、本発明の第２の実施形態における面積比率による反映値決定処理手順を説明するためのフローチャートである。また、図９は、本発明の第２の実施形態におけるＬＵＴ作成処理手順を説明するためのフローチャートである。

図８と図９に示す処理の目的は、特徴領域である主被写体領域に対して輝度補正用目標テーブルを作成する際に、特徴領域の階調を確保することに対応したものを作成することである。すなわち、図８及び図９に示す処理では、検出された特徴領域である主被写体領域が画像全体に占める面積比率を求め、その結果を反映して輝度補正テーブル作成において、特徴領域の階調の確保する輝度補正テーブルへの指示方法を提供する。

具体的には、まず、図９に示すように、検出結果ＨＭが「１１１１」と判定した特徴領域データを取り込む（ステップＳ９０１）。次に、特徴領域のすべての画素データによる輝度ヒストグラムを作成する（ステップＳ９０２）。そして、階調確保の基準値として、ステップＳ９０２で作成した輝度ヒストグラムから特徴領域データの総画素数の上下に設定している比率に対する閾値Ｍを利用して、特徴領域における階調として確保すべき上限（Ａ点）と下限（Ｂ点）の値を設定する（ステップＳ９０３）。ここで、本実施形態においては、閾値Ｍ＝５％とした。尚、閾値Ｍの値は、画像サイズ、特徴領域サイズ及び両者の比率により設定を変えるようにしてもよい。

次いで、特徴領域の輝度平均からステップＳ９０３において算出した上限（Ａ点）と下限（Ｂ点）の差である輝度階調数と、その平均値Ｃを算出する（ステップＳ９０４）。そして、補正テーブルにおける特徴領域の階調を確保する量Ｔ１を算出する（ステップＳ９０５）。ステップＳ９０５の具体的な処理は図８に示すフローチャートを用いて説明する。

まず、画像の全領域と特徴領域として抽出した主被写体領域との面積比率を算出する（ステップＳ８０１）。次に、予め用意している面積比率による特徴領域の階調確保指示値である「Ｓ１」、「Ｓ２」を読み込む（ステップＳ８０２）。尚、「Ｓ１」は、全画像における特徴領域が占める割合が小さいか否かを判定するための閾値である。また、「Ｓ２」は、全画像における特徴領域が占める割合が大き過ぎるか否かを判定する閾値である。

そして、閾値「Ｓ１」より特徴領域の占める面積比率が大きいか否かを判定する（ステップＳ９０３）。その結果、小さいと判定された場合（Ｙｅｓ）は、階調確保指定乗数Ｔ１に０．８をセットする（ステップＳ８０６）。尚、Ｔ１は、入力に対する出力の階調を確保する乗数である。一方、大きいと判定された場合（Ｎｏ）は、さらに閾値「Ｓ２」より特徴領域の占める面積比率が大きいか否かを判定する（ステップＳ８０４）。

その結果、小さいと判定された場合（Ｎｏ）は、階調確保指定乗数Ｔ１に１．２をセットする（ステップＳ８０５）。一方、大きいと判定された場合は、階調確保指定乗数Ｔ１に１．０をセットする（ステップＳ８０７）。

上述したステップＳ９０５までの処理結果を踏まえて、階調補正用変換テーブル（ＬＵＴ）を作成する（ステップＳ９０６）。尚、本実施形態では、上述したように閾値Ｓ１、Ｓ２による面積比率による階調確保のクラス分けを行ったが、面積比率から関数演算による階調確保量を算出するようにしてもよい。

そして、上記処理を行った後に、前述した第１の実施形態で行った処理である下記の処理を実行する。すなわち、ステップＳ１０２とステップＳ１０３により算出した特徴量に基づいて、画像より抽出した特徴領域を利用した画像補正目標値を設定する必要があるか判定を行う。判定の結果、撮影画像において人物が存在する場合は主被写体の可能性が高い。従って、主被写体と考えられる画像より抽出した特徴領域の輝度平均値自体と撮影画像の輝度平均との比較関係により判定を行う。ステップＳ１０２における検出結果ＨＭが「００００」と判定されている時には、ステップＳ１０５をスキップして、ステップＳ１０６において通常の画像補正を実行する。

さらに、ステップＳ１０５においては、ステップＳ１０４において画像より抽出した特徴領域を利用した画像補正目標値を設定する必要があると判定した場合に、特徴領域の状況を踏まえてどの輝度レベルまで最終目標値に近付けるかを設定し、かつ、目標値を挟んで確保する特徴領域に対応する階調範囲を設定する。また、設定した目標値を使用して補正用テーブルを作成する。

図１７は、第２の実施形態における補正用テーブルの作成方法について説明するための図である。図１７において、横軸は補正前の画像の輝度であり、０〜２５５で表す。また、縦軸は補正後の輝度であり、０〜２５５で表す。

まず、画像全体の輝度平均及び特徴領域として抽出した主被写体の人物肌領域の輝度平均値から、図７に示す表を利用した輝度補正目標値Ｃをとり、傾き１の傾斜において階調を確保すべき上限（Ａ点）と下限（Ｂ点）の値を配置する。そして、上限値（Ａ点）と（２５５，２５５）、下限値（Ｂ点）と（０，０）をそれぞれ直線で結ぶ。

この結果、目標値と（０，０）及び（２５５，２５５）、上限値（Ａ点）、下限値（Ｂ点）との４点を通るガンマ階調の変換テーブルが作成される。この変換テーブルを用いることで、画像全体の輝度値を希望する値へ変換することができる。

＜第３の実施形態＞
第３の実施形態では、前述した第１、第２の実施形態と同じ構成のシステムで、画像に対する特徴領域の抽出対象をこれまでの主被写体となる人物肌や人物顔等ではなく、非主被写体として設定される青空領域とした場合について説明する。

実際の撮影画像の例を用いて詳細に説明する。図３７及び図４０は、第３の実施形態における特徴領域検出の対象として非主被写体と設定する青空領域が含まれる撮影画像サンプルを示す図である。

まず、図４０に示す撮影画像に対する処理について説明する。図４１は、図４０に示す撮影画像に対して青空領域の最終候補として検出された領域例を示す図である。

また、図４２は、図４０に示す撮影画像全体の輝度平均及び輝度ヒストグラムを含む特徴量の一例を表示した図である。図４０においては、ヒストグラムの横軸は輝度を２５６階調で表して０〜２５５の幅で与えられ、左端が０、右端が２５５となる。また、ヒストグラムの平均輝度は１３２であり、輝度分布としては、輝度２００近辺の最高輝度分布である雲領域と、輝度分布がおおよそ７５〜１４０の範囲である青空領域と、輝度１００近辺の牧草が広がる丘領域が存在することが確認できる。

この中で、特徴領域として検出された青空領域は、青みの強い青空なので、平均輝度が適度に下がり、結果として画像中の他の構成要素とバランス良い輝度範囲に入っている。

次に、図３７に示す撮影画像ついて説明する。図３８は、図３７に示す撮影画像に対して、青空領域の最終候補として検出された結果を示す図である。図３８には、図３７に示す撮影画像における青空部分を最終被写体候補として検出した領域が示されている。

図３９は、図３７に示す撮影画像全体の輝度平均及び輝度ヒストグラムを含む特徴量の一例を示す図である。図３９に示すヒストグラムにおいて、横軸は輝度を２５６階調で表して０〜２５５の幅になっており、左端が０、右端が２５５でなる。また、ヒストグラムの平均輝度は７７であり、輝度分布としては、輝度２１０〜２２５近辺の最高輝度分布である青空領域と、輝度分布がおおよそ０〜４０の範囲のかなり暗い主被写体領域である寺の門が存在することが確認できる。

図３７に示されるような特徴領域として検出された青空領域は、青みの薄い青空であるために平均輝度がかなり高くなり、その結果として画像中の他の構成要素が影響を受け、主被写体が黒潰れに近い状態でバランスが悪い輝度範囲に入っている。

図３７に示す撮影画像から得られる図３９に示す輝度ヒストグラムにおける輝度分布においては、低輝度或いは高輝度で撮影された領域のデータが多く存在するので、通常の画像補正定義においては主被写体に対して階調を割り振る画像補正を行うことができない。

そこで、本実施形態では、特徴領域として抽出した非主被写体である青空領域部分のデータの画像に対する影響度を鑑みて、その後に必要に応じて、抽出した非主被写体である青空領域部分のデータを画像全体から外し、その青空領域を外した撮影画像データに対して画像補正を行う評価を行う。そして、その値に対して、必要に応じて先の青空領域の影響度を加味した物を目標値と設定した画像補正を実行する。このようにすることで、図３７に示す撮影画像に対して適正な画像補正を提供することが可能となる。

次に、図３７や図４０における２つの青空領域に含まれる画像サンプルの主被写体への撮影影響度の違いをより客観的に観察する。図１８は、撮影画像サンプル数を増やして青空領域を考慮した補正を適用することが好ましい状況がどのような条件下であるのかを探索した結果を示す図である。

図１８に示すグラフにおいて、横軸は画像全体の平均輝度を２５６階調で表して０〜２５５の幅で与えたものであり、実際の表示範囲は左端が６０で、右端が２００である。また、縦軸は特徴領域として抽出した青空領域の最終候補の平均輝度を２５６階調で表して０〜２５５の幅で与えたものであり、実際の表示範囲は下端が６０で、上端が２４０である。

図１８では、各撮影画像において特徴領域として抽出された青空領域を反映した画像補正を実行した場合の効果について示されている。すなわち、図１８では、特に効果が顕著な物を「○」印で示し、通常の画像補正より効果が明らかに確認できる物を「△」印で示し、通常の画像補正に対して明らかな効果が確認できない物を「□」印で示したものである。

図１８に示すように、特徴領域として抽出した青空領域の平均輝度が１６０以上で、かつ、全体画像の平均輝度が１４０以下の領域範囲において、効果が大きいことを確認することができる。さらに、この範囲内においても特徴領域として抽出した青空領域の平均輝度と全体画像の平均輝度の差が大きいほど、効果がより大きいことを確認することができる。

また、図１８に示すグラフにおいては明示されていないが、特徴領域として抽出した青空領域が全画像領域の３０％を越えるような場合は影響が大きいと判断することができる。

以下では、上述したような特性を鑑みて、特徴領域と画像全体の相関に基づく最適な補正方法について説明をする。尚、全体の処理の流れは、前述した第１の実施形態で使用した図１に示すフローチャートを用いる。但し、図１のフローチャートにおいて、ステップＳ１０２で対象となる特徴領域が主被写体となる人物肌を対象とするのではなく、非主被写体と設定される青空領域となる。

図１２は、第３の実施形態における特徴抽出処理手順の詳細を説明するためのフローチャートである。まず、ステップＳ１０１で取得された画像データに対して、ＪＰＥＧ画像の圧縮単位である８×８画素を単位とした色度比率と輝度及び面積の組み合わせによる青空領域候補のグループの検出処理を実行する（ステップＳ１２０１）。そして、ステップＳ１２０１において候補となるグループを検出できたか否かを判定する（ステップＳ１２０１）。

その結果、検出に失敗した場合（Ｎｏ）は、青空領域の検出に失敗したことをセットする（ステップＳ１２０６）。具体的には、ＢＳ＝「００００」というセットを行う。一方、検出に成功した場合（Ｙｅｓ）は、青空領域候補のグループに対して、予め設定して保存してある空間周波数特性の範囲に適合するか否かを判定する（ステップＳ１２０３）。そして、ステップＳ１２０３の判定処理によって青空領域候補のグループが青空領域と判断されたか否か（すなわち、検出に成功したか否か）を判定する（ステップＳ１２０４）。

そして判定の結果、青空領域でないと判定された場合（Ｎｏ）は、ステップＳ１２０６に移行して、青空領域の検出に失敗したことをセットする（ＢＳ＝「００００」）。一方、青空領域であると判定された場合（Ｙｅｓ）は、青空領域の検出に成功したことをセットする（ステップＳ１２０５）。具体的には、ＢＳ＝「１１１１」ろいうセットを行う。さらに、検出した特徴データを保存する。

図１３は、青空領域の検出に成功した（ＢＳ＝「１１１１」画像を対象に行われる処理の手順を説明するためのフローチャートである。まず、ＢＳが「１１１１」と判定した特徴領域データを取り込む（ステップＳ１３０１）。そして、特徴領域である青空領域データを反映した画像補正が、より効果が発揮することができる条件である全画像領域の平均輝度が１４０未満であるか否かを判定する（ステップＳ１３０２）。

その結果、全画像領域の平均輝度が１４０以上の場合（Ｎｏ）は、ＢＳＨへ「００００」をセットする（ステップＳ１３０３）。一方、全画像領域の平均輝度が１４０未満の場合（Ｙｅｓ）は、特徴領域である青空領域データを読み込む（ステップＳ１３０４）。そして、特徴領域である青空領域の平均輝度が１６０より大きいか否かを判定する（ステップＳ１３０５）。

その結果、上記青空領域の平均輝度が１６０以下の場合（Ｎｏ）は、ステップＳ１３０３に移行して、ＢＳＨへ「００００」をセットする。一方、青空領域の平均輝度が１６０より大きい場合（Ｙｅｓ）は、ＢＳＨへ「１０００」をセットする（ステップＳ１３０６）。尚、ＢＳＨ＝「００００」がセットされた画像は、基本的にステップＳ１０５をスキップして、ステップＳ１０６において通常の画像補正を実行する。

図１４は、図１３に示すフローチャートの処理でＢＳＨ＝「１０００」がセットされた画像を対象とした青空領域と全画像の平均輝度とを比較判定する処理を説明するためのフローチャートである。まず、特徴領域として抽出した青空領域の平均輝度と全画像の平均輝度の輝度差を算出し、その値が５０を越えるか否かを判定する（ステップＳ１４０１）。その結果、算出した輝度差が５０以下の場合（Ｎｏ）は、ＢＳＨへ「００００」をセットする（ステップＳ１４０２）。一方、算出した輝度差が５０より大きいの場合（Ｙｅｓ）は、ステップＳ１４０３へ移行する。

ステップＳ１４０３では、特徴領域として抽出した青空領域の平均輝度と全画像の平均輝度の輝度差を算出し、その値が８０を越えるか否かを判定する。その結果、算出した輝度差が８０以下の場合（Ｎｏ）は、ＢＳＨへ「１００１」をセットする（ステップＳ１４０５）。一方、算出した輝度差が８０より大きい場合（Ｙｅｓ）は、ＢＳＨへ「１０１０」をセットする（ステップＳ１４０４）。

前述した検討結果より、特徴領域として抽出した青空領域の平均輝度と全画像の平均輝度の輝度差が大きいほど、特徴領域として抽出した青空領域を反映した画像補正が有効であることは確認済みであるため、この輝度差により補正への反映度を切り替える。

その補正効果反映方法として、上述した実施形態で説明した輝度情報における階調補正テーブル作成を例に説明する。すなわち、判定結果のＢＳＨに「１０１０」がセットされている場合において、補正目標値「ＮＡＶＥ」を設定する際に「ＡＶＥ」の値として画像全体の輝度平均を用いるのではなく、全画像の中から特徴領域として抽出した青空領域を取り除いた輝度データを用いて、ここにおいての輝度平均を算出し、「ＡＶＥ」へ入力する。このようにすることで、青空領域部分を取り除いた輝度特徴量を使用して目標値「ＮＡＶＥ」を設定する。これにより、図１５に示される輝度補正目標値は、明るい方向へ補正目標を設定することができる。

また、その他の補正項目への反映としては、コントラスト補正において、全画像の中から特徴領域として抽出した青空領域を取り除いたヒストグラムを作成して、これに基づいてコントラスト補正目標値を設定する。

すなわち、判定結果のＢＳＨに「１００１」がセットされている場合は、全画像の中から特徴領域として抽出した青空領域を取り除いた輝度データを用いて、ここにおいての輝度平均を算出し、「ＡＶＥ」へ入力することで目標値「ＮＡＶＥ」を設定する。そして、「ＮＡＶＥ」と「ＡＶＥ」の差分を算出し、差分に１未満の定数を乗算したものを算出した「ＮＡＶＥ」より減算したものを目標値「ＮＡＶＥ」として使用する。

このようにして求めた輝度補正目標値「ＮＡＶＥ」を使用して階調補正用変換テーブルを作成し、原画像に対して画像補正を実行する。また、特徴領域として抽出した青空領域の全画像に占める面積比率による効果を重みとして乗算した補正目標を設定しても良い。

図４５は、図３７に示す撮影画像に対して第３の実施形態に係る補正処理を施した結果得られる画像を示す図である。図３７と図４５とを比較することによって、非主被写体である特徴領域の青空の重みを軽減したことで、撮影画像の観察者が注目する領域を中心とした画質が向上していることがわかる。

また、図４３は、図３７に示す撮影画像から特徴領域として抽出した青空領域のデータを削除した後の輝度ヒストグラムを示す図である。そして、このデータに対して補正目標値を設定して補正を実行する。図４４は、図３７に示す撮影画像を補正した図４５に示す画像の輝度ヒストグラムを示す図である。図４４に示すように、ヒストグラムの横軸は輝度を２５６階調で表して、０〜２５５の幅で与えられており、左端が０で、右端が２５５となっている。図４４に示すヒストグラムから、平均輝度が１０５であって、特に主被写体領域の輝度が大幅に改善したことで、本実施形態に係る補正処理によって良好な状態になっていることを確認することができる。

上述したように、本実施形態では、非主被写体領域より主被写体領域への画質向上化を目指した補正であって階調への反映方法を示したが、その他の補正項目であるコントラストやホワイトバランス等に関しても同様にして適用することが可能である。

＜第４の実施形態＞
第４の実施形態では、前述した実施形態と同じハードウェア構成を用いて、画像に対する特徴領域の抽出対象を複数個設定した場合における特徴領域と全画像との相関による画像補正方法に関して説明する。

画像に対する特徴領域の抽出においては、その特徴領域に指定される対象により、画像における主被写体と非主被写体に分類することができる。ここで、特徴領域が主被写体である場合は、その検出した特徴領域をより良い画質になり得るように画像補正を行う必要がある。一方、特徴領域が非主被写体である場合は、検出した特徴領域が画像における主被写体部分の撮影状態に悪影響を与えていないか評価を行い、必要に応じて検出した特徴領域以外に対して高画質化のための補正を実行する必要がある。

そこで、検出した特徴領域を判断し、主被写体か非主被写体かの判定、及び、特徴領域を反映した補正が有効であるか否かの判定を行い、その結果に伴って補正を行う。これにより、使用者が求める個別画像の最適化を行うことが可能となる。

次に、本実施形態に係る補正処理について説明する。尚、ハードウェア構成が前述した実施形態と同じであるため重複する説明は省略する。図１９は、第４の実施形態における人物肌領域と青空領域を検出対象とした露出補正を行う処理手順を説明するためのフローチャートである。

まず、原画像に対して特徴領域を主被写体である人物の肌の部分として領域の検出処理を行う（ステップＳ１９０１）。次いで、特徴領域である主被写体である人物の肌の検出に成功したか否かの判定を行う(ステップＳ１９０２）。その結果、特徴領域として人物肌の候補が検出された場合（Ｎｏ）は、検出された特徴領域を主被写体としてセットする（ステップＳ１９０３）。そして、第１、第２の実施形態で説明したように、特徴領域抽出した最終の人物肌候補に対して露出最適化処理を実行する（ステップＳ１９０４）。

一方、ステップＳ１９０２において、特徴領域として人物肌の候補が非検出の場合（Ｎｏ）は、原画像に対して特徴領域を非主被写体である青空とした検出処理を行う（ステップＳ１９０５）。そして、特徴領域である非主被写体である青空の検出に成功したか判定を行う（ステップＳ１９０６）。その結果、特徴領域として青空の候補が検出された場合（Ｙｅｓ）は、検出された特徴領域を非主被写体としてセットする（ステップＳ１９０７）。次いで、第３の実施形態で説明したように、特徴領域抽出した最終の青空候補の影響度を判定して、必要に応じて領域外部分に対して露出最適化処理を実行する（ステップＳ１９０８）。

一方、ステップＳ１９０６において、特徴領域として青空の候補が非検出の場合（Ｎｏ）は、特徴領域データを反映しない通常の露出補正処理を含む画像補正処理を実行する（ステップＳ１９０９）。

尚、上述した実施形態においては、画像補正において露出補正について反映する方法について説明したが、これは露出補正だけに限定することではない。また、主被写体と非主被写体との特徴領域の設定がそれぞれ１個であったが、複数存在した重み付け等を行うことで成り立つものと考える。さらに、本実施形態では、検出後に主被写体と非主被写体を分けて効果補正を設定した例について説明したが、設定したすべての特徴領域を検出して、その値を反映するようにしても良い
＜第５の実施形態＞
第５の実施形態としては、前述した実施形態と同じハードウェア構成を用いて、画像に対する特徴領域の抽出対象が登録した個人の顔情報に対して行い、特徴領域と全画像との相関による画像補正について行われる。

次に、本実施形態に係る補正処理について説明する。尚、ハードウェア構成が前述した実施形態と同じであるため重複する説明は省略する。図２０は、第５の実施形態に係る個人登録情報を検出対象とした露出補正を行うためのフローチャートである。

まず、前述した実施形態における特徴領域を人物肌とした抽出結果として、最終候補の人物肌領域が抽出できたか否かを、ＨＭのセット値が「１１１１」であるか否かで判別する（ステップＳ２００１）。その結果、ＨＭ＝「１１１１」でない場合（Ｎｏ）は、特徴領域データを反映しない通常の露出補正処理を含む画像補正処理を実行する。

一方、ＨＭが「１１１１」である場合（Ｙｅｓ）は、個人を特定した画像設定があるかどうかの登録状態を確認する（ステップＳ２００２）。その結果、個人登録がない場合（Ｎｏ）は、第２、第４の実施形態で実施した特徴領域としての人物肌領への最適化露出補正テーブルを作成する（ステップＳ２００６）。一方、個人登録が存在する場合（Ｙｅｓ）は、登録されている個人認識の情報（設定値）と、登録した個人ごとに設定されている補正目標値（目標値）とを読み込む（ステップＳ２００３）。

さらに、ステップＳ２００３で読み込んだ個人判別登録データより画像認識を実行し、登録した個人の顔が原画像に存在するか否かの判定を行う（ステップＳ２００４）。その結果、登録されていた個人が検出できなかった場合（Ｎｏ）は、ステップＳ２００６へ移行して、第２、第４の実施形態で実施した特徴領域としての人物肌領への最適化露出補正テーブルを作成する。

一方、ステップＳ２００４で、登録されていた個人が検出できた場合（Ｙｅｓ）は、先に読み込んだ登録した個人ごとに設定して、ある補正目標値より該当する個人目標を読み込んで露出補正テーブルを作成する（ステップＳ２００５）。

そして、上述した処理手順に従って作成された露出補正テーブルを利用して、個人の好みに合わせた登録個人に対して、思考を満足させる画像補正を実行する。

＜その他の実施形態＞
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体（記録媒体）等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

第１の実施形態に係る画像処理装置における画像処理の全体の流れを説明するためのフローチャートである。 第１の実施形態において使用される画像中の特徴領域に対する輝度補正目標値設定表を示す図である。 本発明の一実施形態に係るＬＵＴ階調減の変換例を示す図である。 本発明の一実施形態に係るＬＵＴ階調増の変換例を示す図である。 本発明の第１の実施形態で使用されるＮＡＶＥ設定（補正目標値設定）テーブルをグラフ化した図である。 本発明の第１の実施形態で使用されるＮＡＶＥ設定（補正目標値設定）テーブルをグラフ化した図である。 第１の実施形態において使用される画像中の特徴領域に対する別の輝度補正目標値設定表を示す図である。 本発明の第２の実施形態における面積比率による反映値決定処理手順を説明するためのフローチャートである。 本発明の第２の実施形態におけるＬＵＴ作成処理手順を説明するためのフローチャートである。 図１に示すフローチャートの特徴領域抽出処理（ステップＳ１０２）の詳細を説明するためのフローチャートである。 本発明の第１の実施形態に係る画像処理装置のハードウェア構成を示すブロック図である。 第３の実施形態における特徴抽出処理手順の詳細を説明するためのフローチャートである。 青空領域の検出に成功した（ＢＳ＝「１１１１」画像を対象に行われる処理の手順を説明するためのフローチャートである。 図１３に示すフローチャートの処理でＢＳＨ＝「１０００」がセットされた画像を対象とした青空領域と全画像の平均輝度とを比較判定する処理を説明するためのフローチャートである。 第１の実施形態で用いられる露出補正量決定テーブルの一例を示す図である。 第１の実施形態で用いられる露出補正用のルックアップテーブルの一例を示す図である。 第２の実施形態における補正用テーブルの作成方法について説明するための図である。 撮影画像サンプル数を増やして青空領域を考慮した補正を適用することが好ましい状況がどのような条件下であるのかを探索した結果を示す図である。 第４の実施形態における人物肌領域と青空領域を検出対象とした露出補正を行う処理手順を説明するためのフローチャートである。 第５の実施形態に係る個人登録情報を検出対象とした露出補正を行うためのフローチャートである。 特徴領域検出の対象として主被写体と設定する人物の肌領域を含む撮影画像のサンプル例を示す図である。 図２１の画像に対して人物の肌領域の最終候補として領域を検出した結果を示す図である。 図２１に示す撮影画像の全体の輝度平均及び輝度ヒストグラムを含む特徴量の一例を表示する図である。 図２１に示される撮影画像で検出された人物の顔領域における特徴量の一例を表示する図である。 特徴領域検出の対象として主被写体と設定する人物の肌領域を含む撮影画像のサンプル例を示す図である。 図２５に示す撮影画像に対して人物肌領域の最終候補として領域を検出した結果を示す図である。 図２５に示す撮影画像全体の輝度平均及び輝度ヒストグラムを含む特徴量の一例を示す図である。 図２５に示す撮影画像中から特徴領域として検出された人物の顔領域における特徴量を表した図である。 特徴領域検出の対象として主被写体と設定する人物の肌領域を含む撮影画像のサンプル例を示す図である。 図２９に示す撮影画像に対して人物肌領域の最終候補として領域を検出した結果を示す図である。 図２９に示す撮影画像全体の輝度平均及び輝度ヒストグラムを含む特徴量の一例を示す図である。 図２９に示す撮影画像中から特徴領域として検出された人物の顔領域における特徴量を表した図である。 特徴領域検出の対象として主被写体と設定する人物の肌領域を含む撮影画像のサンプル例を示す図である。 図３３に示す撮影画像に対して人物肌領域の最終候補として領域を検出した結果を示す図である。 図３３に示す撮影画像全体の輝度平均及び輝度ヒストグラムを含む特徴量の一例を示す図である。 図３３に示す撮影画像中から特徴領域として検出された人物の顔領域における特徴量を表した図である。 第３の実施形態における特徴領域検出の対象として非主被写体と設定する青空領域が含まれる撮影画像サンプルを示す図である。 図３７に示す撮影画像に対して、青空領域の最終候補として検出された結果を示す図である。 図３７に示す撮影画像全体の輝度平均及び輝度ヒストグラムを含む特徴量の一例を示す図である。 第３の実施形態における特徴領域検出の対象として非主被写体と設定する青空領域が含まれる撮影画像サンプルを示す図である。 図４０に示す撮影画像に対して青空領域の最終候補として検出された領域例を示す図である。 図４０に示す撮影画像全体の輝度平均及び輝度ヒストグラムを含む特徴量の一例を表示した図である。 図３７に示す撮影画像から特徴領域として抽出した青空領域のデータを削除した後の輝度ヒストグラムを示す図である。 図３７に示す撮影画像を補正した図４５に示す画像の輝度ヒストグラムを示す図である。 図３７に示す撮影画像に対して第３の実施形態に係る補正処理を施した結果得られる画像を示す図である。 図４７に示す補正結果画像の輝度ヒストグラムを示す図である。 図２９に示す撮影画像サンプルに対して本実施形態に係る補正処理を施した結果を示す図である。

Claims (13)

1. 画像を取得する取得工程と、
   色度に基づき、前記画像中の人物の肌領域を抽出する抽出工程と、
   前記画像の輝度値を解析して、前記画像全体の平均輝度値を算出する第１の解析工程と、
   前記抽出工程によって抽出された肌領域に含まれる画素の輝度値に基づいて前記肌領域の平均輝度値を算出する第２の解析工程と、
   前記画像全体の平均輝度値と前記肌領域の平均輝度値とに基づいて補正係数を決定し、前記肌領域の平均輝度値に前記補正係数を乗算することで前記肌領域の補正後の輝度値を算出する算出工程と、
   前記算出工程の算出結果に基づいて、前記肌領域の平均輝度値が前記肌領域の補正後の輝度値に変換される階調補正テーブルを作成するテーブル作成工程と、
   前記作成された階調補正テーブルを使用して、前記画像の輝度を補正する補正工程と
   を有することを特徴とする画像処理方法。
2. 予め設定された空間周波数特性と比較して、前記肌領域の平均輝度値を利用する補正を行うか否かを判定する判定工程をさらに有し、
   前記算出工程は、前記判定工程により前記肌領域の平均輝度値を利用する補正を行うと判定された場合、前記画像全体の平均輝度値と前記肌領域の平均輝度値とに基づいて前記肌領域の補正後の輝度値を算出する
   ことを特徴とする請求項１に記載の画像処理方法。
3. 前記補正工程が、前記肌領域の平均輝度値に前記画像全体の平均輝度値と前記肌領域の平均輝度値とに基づく補正係数を乗算するルックアップテーブルを前記階調補正テーブルとして使用して前記画像の補正を行うことを特徴とする請求項２に記載の画像処理方法。
4. 前記予め設定された空間周波数特性と比較して、肌領域の平均輝度値を利用する補正を行うか否かを判定する判定工程をさらに有し、
   前記算出工程は、前記判定工程により前記肌領域の平均輝度値を利用する補正を行うと判定された場合、前記画像全体の平均輝度値と前記肌領域の平均輝度値とに基づいて前記肌領域の補正後の輝度値を算出し、かつ、前記肌領域の平均輝度値から輝度分布情報に基づいて前記肌領域における階調数を確保すべき範囲を設定し、
   前記テーブル作成工程が、前記肌領域の平均輝度値が前記肌領域の補正後の輝度値に変換される階調補正テーブルであって、前記階調を確保すべき範囲内では階調数を減少させることのない特性を有する階調補正テーブルを作成する
   ことを特徴とする請求項１に記載の画像処理方法。
5. 前記補正工程が、前記肌領域の平均輝度値に前記画像全体の平均輝度値と前記肌領域の平均輝度値とに基づく補正係数を乗算するルックアップテーブルであって、前記算出工程により算出された上限値と下限値との間を前記階調数を減少させることのない範囲として含むルックアップテーブルを前記階調補正テーブルとして使用して前記画像の補正を行うことを特徴とする請求項４に記載の画像処理方法。
6. 前記画像中の背景領域を抽出する背景領域抽出工程と、
   予め設定された空間周波数特性と比較して、前記背景領域の平均輝度値を利用する補正を行うか否かを判定する判定工程とをさらに有し、
   前記算出工程は、前記判定工程により前記背景領域の平均輝度値を利用する補正を行うと判定された場合、前記画像全体の平均輝度値と前記背景領域の平均輝度値とに基づいて、前記画像の補正時における前記背景領域の影響度を加味した前記画像全体の補正後の輝度値を算出する
   ことを特徴とする請求項１に記載の画像処理方法。
7. 前記算出工程が、前記画像全体の平均輝度値のうち、前記背景領域が占める特徴量を低減又は排除した特徴量に基づいて前記画像全体の補正後の輝度値を算出することを特徴とする請求項６に記載の画像処理方法。
8. 画像を取得する取得手段と、
   色度に基づき、前記画像中の人物の肌領域を抽出する抽出手段と、
   前記画像の輝度値を解析して、前記画像全体の平均輝度値を算出する第１の解析手段と、
   前記抽出手段によって抽出された肌領域に含まれる画素の輝度値に基づいて前記肌領域の平均輝度値を算出する第２の解析手段と、
   前記画像全体の平均輝度値と前記肌領域の平均輝度値とに基づいて補正係数を決定し、前記肌領域の平均輝度値に前記補正係数を乗算することで前記肌領域の補正後の輝度値を算出する算出手段と、
   前記算出手段の算出結果に基づいて、前記肌領域の平均輝度値が前記肌領域の補正後の輝度値に変換される階調補正テーブルを作成するテーブル作成手段と、
   前記作成された階調補正テーブルを使用して前記画像の輝度を補正する補正手段と
   を備えることを特徴とする画像処理装置。
9. 予め設定された空間周波数特性と比較して、前記肌領域の平均輝度値を利用する補正を行うか否かを判定する判定手段をさらに備え、
   前記算出手段は、前記判定手段により前記肌領域の平均輝度値を利用する補正を行うと判定された場合、前記画像全体の平均輝度値と前記肌領域の平均輝度値とに基づいて前記肌領域の補正後の輝度値を算出する
   ことを特徴とする請求項８に記載の画像処理装置。
10. 予め設定された空間周波数特性と比較して、前記肌領域の平均輝度値を利用する補正を行うか否かを判定する判定手段をさらに備え、
    前記算出手段は、前記判定手段により前記肌領域の平均輝度値を利用する補正を行うと判定された場合、前記画像全体の平均輝度値と前記肌領域の平均輝度値とに基づいて前記肌領域の補正後の輝度値を算出し、かつ、前記肌領域の平均輝度値から輝度分布情報に基づいて前記肌領域における階調数を確保すべき範囲を設定し、
    前記テーブル作成手段が、前記補正目標値の前後で異なる特性を有する階調補正テーブルであって、前記階調を確保すべき範囲内では階調数を減少させることのない特性を有する階調補正テーブルを作成する
    ことを特徴とする請求項８に記載の画像処理装置。
11. 前記画像中の背景領域を抽出する背景領域抽出手段と、
    予め設定された空間周波数特性と比較して、前記背景領域の平均輝度値を利用する補正を行うか否かを判定する判定手段とをさらに有し、
    前記算出手段は、前記判定手段により前記背景領域の平均輝度値を利用する補正を行うと判定された場合、前記画像全体の平均輝度値と前記背景領域の平均輝度値とに基づいて、前記画像の補正時における前記背景領域の影響度を加味した前記画像全体の補正後の輝度値を算出する
    ことを特徴とする請求項８に記載の画像処理装置。
12. コンピュータに、
    画像を取得する取得手段と、
    色度に基づき、前記画像中の人物の肌領域を抽出する抽出手段と、
    前記画像の輝度値を解析して、前記画像全体の平均輝度値を算出する第１の解析手段と、
    前記抽出手段によって抽出された肌領域に含まれる画素の輝度値に基づいて前記肌領域の平均輝度値を算出する第２の解析手段と、
    前記画像全体の平均輝度値と前記肌領域の平均輝度値とに基づいて補正係数を決定し、前記肌領域の平均輝度値に前記補正係数を乗算することで前記肌領域の補正後の輝度値を算出する算出手段と、
    前記算出手段の算出結果に基づいて、前記肌領域の平均輝度値が前記肌領域の補正後の輝度値に変換される階調補正テーブルを作成するテーブル作成手段と、
    前記作成された階調補正テーブルを使用して前記画像の輝度を補正する補正手段と
    を実行させるためのプログラム。
13. 請求項１２に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。

Images