JP2010102426A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】自動で撮影画像の逆光と順光のレベル算出を行い、これに基づき画像補正を行う。
【解決手段】入力された画像からこの画像中のオブジェクトを検出し、オブジェクトが画像中のどの領域にあるかを示す領域情報を求めるオブジェクト検出手段１と、画像とオブジェクト検出手段１からの領域情報とに基づき、オブジェクトの領域とオブジェクトの領域以外の一部又は全部の背景領域と画像の全体の領域とのそれぞれの輝度又は色を基にした特徴量を算出する特徴量抽出手段２と、この特徴量抽出手段２からのオブジェクトの領域の特徴量と背景領域又は全体の領域の特徴量とから画像の逆光と順光のレベルを算出する逆光順光レベル算出手段３と、オブジェクト検出手段１からの領域情報と特徴量抽出手段２からの画像の全体の特徴量と逆光順光レベル算出手段３からの逆光と順光のレベルとに基づき画像を補正する画像補正手段４とを備える。
【選択図】図１

Description

この発明は、画像の順光や逆光状態を判定し、適切な画像補正を行う画像処理装置及び画像処理方法に関する。

近年、デジタルカメラの普及により、デジタルカメラによる写真撮影や、その撮影画像のプリント需要が増えてきている。しかし、デジタルカメラはその手軽さ故、カメラに関して知識が十分でないユーザーでも簡単に取り扱うことが可能であり、様々な環境下であまり意識せずに大量に撮影を行うため、撮影された画像は必ずしも好適な条件で撮影された画像ばかりではなく、逆光や、ハイコントラストシーンである場合が多々ある。しかし、好適でない条件で撮影した画像であっても、内容が撮影者にとって重要である場合には、廃棄できるものではなく、適切な画像補正を行い、好適な状態にして、保存、あるいはプリントすることが望まれる。

そのため、従来の画像処理装置、画像状態判別方法及び記憶媒体においては、予め逆光画像とされる画像を入力して、画像から算出したヒストグラムに基づいてこの画像の逆光の程度を判別し、逆光の程度に応じて画像補正を行っている。（例えば、特許文献１参照。）。

特開２００２−９２６０７号公報（第３〜４頁、第１〜３図）

従来の画像処理装置、画像状態判別方法及び記憶媒体においては、逆光画像とされる画像に対し、逆光の程度を判別して画像補正を行うため、逆光画像であるかどうかが予めわかっていなければならなく、また、画像補正は、大量に撮影した画像に対して行う場合が多いため、自動処理と高速処理が困難であるという問題があった。

この発明は、上述のような問題点を解決するためになされたもので、自動で撮影画像の逆光と順光のレベル算出を行い、これに基づき画像補正を行う画像処理装置及び画像処理方法を得るものである。

この発明に係る画像処理装置は、入力された画像からこの画像中のオブジェクトを検出し、オブジェクトが画像中のどの領域にあるかを示す領域情報を求めるオブジェクト検出手段と、画像とオブジェクト検出手段からの領域情報とに基づき、オブジェクトの領域とオブジェクトの領域以外の一部又は全部の背景領域と画像の全体の領域とのそれぞれの輝度又は色を基にした特徴量を算出する特徴量抽出手段と、この特徴量抽出手段からのオブジェクトの領域の特徴量と背景領域又は全体の領域の特徴量とから画像の逆光と順光のレベルを算出する逆光順光レベル算出手段と、オブジェクト検出手段からの領域情報と特徴量抽出手段からの画像の全体の特徴量と逆光順光レベル算出手段からの逆光と順光のレベルとに基づき画像を補正する画像補正手段とを備えるものである。

この発明によれば、入力された画像中のオブジェクトを検出し、オブジェクトの領域情報に基づき特徴量を算出し、画像の逆光と順光のレベル算出を行って画像補正をするので、自動処理が可能で高速処理ができる画像処理装置が得られる。

実施の形態１．
図１は、この発明の実施の形態１における画像処理装置を示すブロック図である。ここでは、画像領域内のオブジェクトを人物の顔とした場合で説明する。オブジェクト検出手段１は、入力画像に対し、パターンマッチング等により画像中にあるオブジェクト（この場合は人物の顔）を検出し、オブジェクトが画像中のどの領域にあるかを示すオブジェクト領域情報（この場合は顔領域情報）を求める。特徴量抽出手段２は、オブジェクト検出手段１からの顔領域情報により、顔領域とそれ以外の領域に分けて、それぞれの画素値の統計量を特徴量として算出するとともに、画像全体の特徴量も算出する。逆光順光レベル算出手段３は、特徴量抽出手段により算出された画像の特徴量により、逆光と順光のレベルを算出する。画像補正手段４は、オブジェクト検出手段１から出力されるオブジェクト領域情報と、特徴量抽出手段２から出力される画像全体の特徴量と、逆光順光レベル算出手段３から出力される逆光順光レベル算出結果に基づき、それぞれの画像に適した画像補正を行う。

このように構成された画像処理装置の動作について図２のフローチャートを基に説明する。まず、オブジェクト検出ステップＳ１０１では、入力画像に対し、オブジェクト検出手段１が画像中にある人物の顔領域を検出する。具体的には、特表２００４−５２７８６３号公報に記載されているような特徴抽出、肌色検出、パターンやテンプレートマッチング等の様々な公知の手法を用いて検出する。

オブジェクト検出手段１で検出される顔領域情報の例を図３に示す。図３において、
オブジェクト検出手段１により、写真画像全体１１から、顔領域１２と、この顔領域１２以外を示す背景領域１３（図中に点の表示を施している）が検出される。本実施の形態では、図のように、顔領域１２は矩形で表示されるものとして説明する。顔座標（ｘ，ｙ）１４は、オブジェクト検出手段１により検出される顔領域１２の画面上向かって左上の画素位置を示す。また、幅１５は顔領域の横の長さであり、高さ１６は顔領域の縦の長さであり、それぞれ画素数で示す。以上のように、本実施の形態でオブジェクト検出手段１から出力される顔領域情報は、顔座標（ｘ，ｙ）１４、幅１５、及び高さ１６であり、顔が複数個ある場合にはこれらの情報が顔別にそれぞれ検出されるものとする。

次に、特徴量抽出ステップＳ１０２では、オブジェクト検出手段１で検出された顔領域情報に基づき、特徴量抽出手段２が顔領域と顔以外の背景領域に分割し、それぞれの領域の画素値の統計量を特徴量として算出する。また、入力される写真画像全体１１も１つの領域としてこの領域の画素値の統計量も合わせて特徴量として算出する。具体的には画素値の統計量として、各領域別に輝度ヒストグラム、および平均輝度を特徴量として算出する。なお、ここでの輝度は、０〜２５５階調とする。

次に、逆光順光レベル算出ステップＳ１０３では、特徴量抽出手段２において、各領域別に算出した平均輝度の特徴量に基づき、逆光順光レベル算出手段３が逆光と順光のレベルの算出を行う。具体的には、各領域別に平均輝度を求め、各領域間の平均輝度の差を逆光順光値ｇとして算出することにより、逆光順光レベル算出を行う。以下、本実施の形態では、入力写真画像に人物の顔が１個ある場合の逆光順光レベル算出方法を示す。

顔が１個の場合、逆光順光値ｇは１個の顔領域の平均輝度ｆａｃｅ＿ａｖｅと顔領域以外の背景領域の平均輝度ｂａｃｋ＿ａｖｅの差により、例えば（１）式のように定める。各領域の平均輝度は、各領域に含まれる画素の輝度値の和を各領域に含まれる画素数で除して算出する。

逆光順光レベル算出方法の詳細について述べる。まず、逆光順光値ｇが正のとき、すなわち、顔領域の平均輝度が顔以外の背景領域の平均輝度よりも高い場合を順光と判定する。一方、逆光順光値ｇが０以下のとき、すなわち顔領域の平均輝度が顔以外の背景領域の平均輝度よりも同じか、低い場合を逆光と判定するものとする。図４に逆光順光値ｇにより逆光の程度を示す逆光順光レベルを設定する設定条件の一例を示す。

以上のように、逆光順光レベル算出手段３において、逆光順光値ｇにより逆光順光レベルが設定され、逆光順光レベル算出結果として、画像補正手段４に出力される。

画像補正ステップＳ１０４では、画像補正手段４がオブジェクト検出手段１からのオブジェクト領域情報（この場合は顔領域情報）と、特徴量抽出手段２からの画像全体の特徴量と、逆光順光レベル算出手段３からの逆光順光レベル算出結果に基づき、それぞれの画像に適した画像補正を行う。

ここで、画像補正手段４において行われるいくつかの画像補正の方法について説明する。まず、一つ目の画像補正方法として、例えば、ＡＮＩＬ Ｋ. ＪＡＩＮ著、「Ｆｕｎｄａｍｅｎｔａｌｓ ｏｆ Ｄｉｇｉｔａｌ ｉｍａｇｅＰｒｏｃｅｓｓｉｎｇ」Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ，Ｉｎｃ．出版、１９８９年、ｐｐ.２４１−２４４に記載されているようなヒストグラム均等化法を用いた、階調補正がある。

これは、入力画像の画面全体にわたって、各画素の例えば輝度値を算出し、同じ階調の値を持つ画素、または、階調の量子化数よりも少ない区間に区切った同じ区間に含まれる画素の出現頻度を示すヒストグラムを作成し、この作成したヒストグラムの形状（出現頻度の分布）が最適になるような階調変換のための１個のマッピングテーブルを作成し、このマッピングテーブルを用いて、画面全体にわたって階調補正処理を行うというものである。このヒストグラム均等化法を用いることにより、画面内の階調があるレベルに偏っている場合に、階調の分布を最適化することで、画面全体の階調特性を改善することができる。ただし、１画面全体に対し、１種類のマッピングテーブルしか作成しないので、ある階調レベル範囲の階調幅を広げると、代わりに他の階調レベル範囲の階調幅が狭くなり、狭くなった階調レベル範囲の階調潰れが発生するという場合がある。以下、この補正をコントラスト補正方法と記すことにする。

この方法は、具体的にはヒストグラム均等化法により階調補正用のγカーブ（マッピングカーブ）を作成し、これに基づき画質調整を行う。図５にヒストグラム均等化法によるγカーブ作成手順を示す。まず、横軸に階調（この場合は０〜２５５の階調）を取り、縦軸に頻度を取って、画面全体の輝度信号のヒストグラムを作成し（図５（ａ））、次にこのヒストグラムの総和が２５５になるよう正規化する（図５（ｂ））。つづいてこの図から累積ヒストグラムを作成し（図５（ｃ））、累積ヒストグラムの代表値２１を算出する。最後にこれらの代表値を滑らかに結び、コントラスト補正γカーブ２２を作成する（図５（ｄ））。なお、図５（ｅ）は、このコントラスト補正γカーブ２２を用いて画像全体を補正した場合の輝度ヒストグラムを示す。ヒストグラムが均等化されたことが分かる。

次に、二つ目の画像補正方法として、１画面全体に対し１種類のマッピングテーブルにより階調補正を行う上記ヒストグラム均等化法を改善した、局所階調補正がある（例えば特許第４０１１０７３号参照）。これは、画面の局所領域毎に局所領域の平均輝度に応じてマッピングテーブルを作成することにより、それぞれの領域で必要な階調の幅を広げることができ、さらに、他の領域の階調変動の影響を受けにくいため、局所領域の階調幅を広げたことにより他の領域の階調幅が狭くなるという、上記ヒストグラム均等化法の悪影響を抑えることができるものである。また、局所階調補正によると、対象となる画像が、逆光状態で撮影された画像の場合のように、黒く潰れ気味の領域と、明るく白飛び気味の領域の両方が存在するような画像の場合に対しても、両方の領域に対して、より効果の高い階調補正を行うことができる。以下、この補正を逆光補正方法と記すことにする。

この方法は、具体的には逆光補正パラメータに応じて階調補正に用いるγカーブを変更する。図６を用いてγカーブの決定方法を説明する。図において横軸は２５５階調の入力を示し、縦軸は２５５階調の出力を示す。γカーブは低輝度用と高輝度用の２種類あり、低輝度用逆光補正γカーブ３１、３２は低輝度領域の傾きが大きく、黒潰れを改善する。高輝度用逆光補正γカーブ３６、３７は高輝度領域の傾きが大きく、白飛びを改善する。傾きの変化が最も大きい第一の低輝度用逆光補正γカーブ３１と、第一の高輝度用逆光補正γカーブ３７は画像に寄らず固定とし、各画像の第二の低輝度用逆光補正γカーブ３２と、第二の高輝度用逆光補正γカーブ３６を画像の逆光補正パラメータに応じて生成する。γカーブは、逆光補正パラメータが大きいほど固定のγカーブに近づき、小さいほど傾き１の直線３４に近づくような曲線とする。

引き続き局所領域毎に階調補正を行う。局所領域の平均輝度にもとづき階調の補正量を変更する。図７、８を用いて階調補正方法を説明する。局所領域の平均輝度が１２８未満のときは低輝度用逆光補正γカーブを用い、１２８以上のときは高輝度用逆光補正γカーブを用いて補正を行う。局所領域内の各画素の輝度Ｙ_ｉｎに対する出力値Ｙ_ｏｕｔは、低輝度用・高輝度用のγカーブを使用した場合の出力値をＹ_ｏｕｔ１、傾き１の直線３４を使用した場合の出力値をＹ_ｏｕｔ２、局所領域の平均輝度をＹ_ａｖｅとして、式（２−１）と式（２−３）のように求める。結果的に、Ｙ_ｉｎに対するＹ_ｏｕｔは図７、８の点線（第三の低輝度用逆光補正γカーブ３３、又は第三の高輝度用逆光補正γカーブ３５）で示す曲線上に乗ることとなる。なお、図中のαとβの関係は式（２−２）と式（２−４）に示す通りである。以上より、局所領域の平均輝度に応じた補正ができる。

次に、三つ目の画像補正方法として、上記局所階調補正を応用し、さらに人物の肌色度合いを検出することにより、画像中の人物の肌をきめ細かく美しく見せることができる、美肌補正方法がある（例えば、特許第４０５４３６０号参照）。

この美肌補正方法は、肌色部分を検出し階調を下げてノイズを減少させ、目立たなくするものである。美肌補正の処理は、逆光補正と同様に局所的にγカーブを変更することにより行う。美肌補正γカーブは、図９、１０に示すように３つの直線からなる折れ線であり、傾き１の直線３４と交わる。傾きの小さい直線部分により、肌色領域の階調差が減少してノイズが除去された滑らかな肌色に補正される。

なお、各画像の美肌補正γカーブは美肌補正パラメータにもとづき逆光補正γカーブと同様にして決定する。図９を用いてγカーブの決定方法を説明する。傾きが最も小さい直線を有する第一の美肌補正γカーブ４１は画像に寄らず固定とし、各画像の第二の美肌補正γカーブ４２を画像の美肌補正パラメータに応じて生成する。γカーブは、美肌補正パラメータが大きいほど固定のγカーブに近づき、小さいほど傾き１の直線３４に近づくような曲線とする。

また、補正は肌色である局所領域に限定して行う。このとき、局所領域の肌色の度合いを示す「美肌度」に応じて補正量が変更される。図１０に示すように、局所領域内の各画素の輝度Ｙ_ｉｎの補正後の出力値Ｙ_ｏｕｔは、美肌補正γカーブを適用した場合の出力値Ｙ_ｏｕｔ１と、傾き１の直線３４を適用した場合の出力値をＹ_ｏｕｔ２として、美肌度が高いほどＹ_ｏｕｔ１に近く、美肌度が低いほどＹ_ｏｕｔ２に近い値となる。

上述した３つの画像補正方法を有する画像補正手段を入力画像の内容に応じて、適切に動作させるためには、外部から補正の度合いを設定することが必要である。ここで、逆光順光レベル算出手段３において求めた人物画像に対する逆光順光レベル算出結果と、オブジェクト検出手段１から出力されるオブジェクト領域情報（顔領域情報）と、特徴量抽出手段２から出力される画像全体の特徴量に基づき、上記３つの画像補正方法に対する補正の度合いの設定方法について説明する。

まず、画像補正手段４における、画像補正方法のうち、逆光補正方法への補正度合いの設定値について説明する。図１１に図４の逆光順光レベルに対する逆光補正方法の設定値の一例を示す。Ｌｅｖｅｌ１は、弱い順光なので、逆光補正は行わず、以下、Ｌｅｖｅｌ２から順にＬｅｖｅｌ４まで逆光度合いが強まるにつれて、逆光補正方法の補正度合いを弱から強まで段階的に上げるように設定する。なお、Ｌｅｖｅｌ０は強い順光なので、弱い補正を行う。つまり、白飛び傾向の顔等の領域を若干暗くし、黒潰れ傾向の背景等の領域を若干明るくする。

次に、画像補正手段４における、画像補正方法のうち、ヒストグラム均等化法によるコントラスト補正方法への補正度合いの設定値について説明する。コントラスト補正は、逆光時に輝度ヒストグラムの分布が偏っているときに効果があるため、これも逆光補正方法への補正度合いの設定の場合と同様に、図４の逆光順光レベルに応じて設定する。図１２に図４の逆光順光レベルに対するコントラスト補正方法の設定値の一例を示す。Ｌｅｖｅｌ０、１は、順光であるが、ヒストグラム均等化法により、ヒストグラムの偏りのある部分を若干補正することにより、偏った階調レベルの階調幅を上下の階調まで補正することによる画質改善が期待される。また、Ｌｅｖｅｌ２からＬｅｖｅｌ４までについては、逆光度合いが強まるにつれてより大きなヒストグラムの偏りが予想されるので、ヒストグラム均等化の度合いを上げ、より偏りをなくす方向へ補正度合いを弱からやや強まで段階的に上げるように設定する。

次に、画像補正手段４における、画像補正方法のうち、美肌補正方法への補正度合いの設定値について説明する。図１３には、図４の逆光順光レベルに対する美肌補正パラメータ設定値の一例を示す。なお、美肌補正は、人の肌のシミ、シワ、吹き出物等を目立たなくする効果があり、ある程度顔領域が大きい場合に効果がある。一方、顔領域が小さい場合には、目や口といった必要な顔の部分を目立たなくする方向に補正が働くので、補正を行わないほうがよい。このことを踏まえ、オブジェクト検出手段１から出力される顔領域情報のうち、顔領域の大きさを示す、幅１５及び高さ１６に応じて美肌補正方法への補正度合いの設定を更に行う。

図１４に顔領域の大きさに対する、美肌補正方法の設定値の一例を示す。なお、顔領域のサイズは顔領域の幅１５と高さ１６で表されるものであるが、ここでは、顔領域は幅１５と高さ１６が等しい、すなわち正方形の領域として扱うものとして、正方形の一辺の長さを顔領域のサイズ（図中、ｓｉｚｅと表す）として、この顔領域サイズに応じて、美肌補正方法への補正度合いを設定する。また、図中に示す、ｍｉｎ＿ｓｉｚｅは画像の短辺の例えば１／３の長さとし、美肌補正方法の設定の基準として用いる。図１４に示すように、Ｌｅｖｅｌ０の顔領域サイズがｍｉｎ＿ｓｉｚｅより小さいときは、目や口といった顔の必要な部分を目立たなくしてしまう可能性があるので、美肌補正は行わない。顔が中間の大きさの場合（Ｌｅｖｅｌ１）は、図１３のパラメータの逆光順光レベルに応じて弱からやや強まで段階的補正する。顔が大きい場合（Ｌｅｖｅｌ２）は、肌をぼかした方が美肌に見えるので、図１３のパラメータを一段強め（弱→中、中→やや強、やや強→強）、中から強まで段階的に上げるように設定する。

なお、コントラスト補正について、図１２に設定値の一例を示したが、逆光順光レベルの他に、コントラスト補正の補正度合いの設定において考慮すべき条件について説明する。上述のように、コントラスト補正は、ヒストグラム均等化法に基づく補正である。従って、逆光時に顔領域サイズが小さく、この小さな顔領域の大半が属する階調が全画面に占める割合が小さい階調にあたる場合、ヒストグラム均等化法によってこの階調の分布を増やす方向に他の階調から値が割り振りされ、顔領域をより黒く潰す方向に補正が働く可能性がある。そのため、コントラスト補正を行わないか、補正の度合いを弱めるように調整して設定する。

また、全画面の輝度ヒストグラムの分布が非常に偏っている場合は、コントラスト補正を図１５に示すパラメータで行うように設定する。例えば、全画面の輝度ヒストグラムを８個の区間に分けて作成する場合に、最多出現階調区間に全体の画素の１／２以上が含まれるような場合、ヒストグラムの分布が非常に偏っていると判断して、コントラスト補正の補正度合いを、中〜強のように設定する。

なお、ここでは主に輝度ヒストグラムと平均輝度を特徴として抽出しているが、これらは、色信号のヒストグラムを特徴として抽出し、これに基づいて解析を行ってもよい。

また、逆光順光値ｇの求め方も（１）式に示す方法に限るものではなく、顔領域と画面全体の領域の平均輝度の差分、あるいは、顔領域と背景領域の一部との平均輝度の差分など、画面内の輝度変化が捉えられる方法であればよい。

また、図４に逆光順光値ｇによる逆光順光レベルの設定条件の一例、図１１に逆光補正方法の設定値の一例、図１２にコントラスト補正方法の設定値の一例、図１３、１４に美肌補正方法の設定値の一例を示し、また、輝度ヒストグラムの分布に応じてコントラスト補正の度合いを設定する条件を図１５に示したが、設定条件、および設定の方法はこれに限るものではなく、画像補正方法の特性に応じて、適切に設定値を定めればよい。

また、ここではオブジェクト領域や美肌補正は矩形の領域を用いているが、これに限られるものでは無い。なお、オブジェクトは人物の顔に限らず、車や建物など画像中から検出できるものであれば何でもよい。この際、画像中で特に注目したいオブジェクトを対象とすると、オブジェクトの逆光の度合いにより、画像補正の補正量を設定するため、より効果的な補正画像が得られる。

上記のように構成された画像処理装置及び画像処理方法においては、入力画像に対し、パターンやテンプレートマッチング等によってオブジェクトの検出を行い、オブジェクト領域とこれ以外の背景領域や画像全体の領域の特徴量を算出し、簡単な演算で逆光順光レベル算出を行って画像補正をするので、自動処理が可能で、高速処理ができる画像処理装置が得られる。

また、自動で輝度など明るさに関する信号のヒストグラムの解析を行って逆光を判定し画像補正を行う方法の場合は、複雑な解析演算が必要となるが、本発明はパターンマッチング等によってオブジェクト検出を行うので、簡単で高速な演算が可能となる。また、オブジェクト領域情報と、画像全体の特徴量と、逆光のみならず順光レベルも算出をすることができる逆光順光レベル算出結果とを用いることにより、様々な環境下で撮影された、様々な画像に対し、それぞれに適した画像補正を行うことができる。

実施の形態２．
実施の形態１では、入力画像に人物の顔が１個ある場合の逆光順光レベル算出方法を示したが、ここでは、人物の顔が複数個ある場合の逆光順光レベル算出方法を示す。

図１６はこの発明装置の実施の形態２の画像処理装置を示すブロック図である。この図の逆光順光レベル算出手段３ａが実施の形態１の図１と異なる。実施の形態１の逆光順光レベル算出手段３は、入力画像に人物の顔が１個の場合に、特徴量抽出手段２により算出された画像の特徴により、逆光順光レベルを算出したが、図１６の逆光順光レベル算出手段３ａは、入力画像に人物の顔が複数個ある場合に、特徴量抽出手段２により算出された画像の特徴により、逆光順光レベルを算出するものである。

このように構成された画像処理装置の動作について説明する。基本的な処理の流れは実施の形態１の図２と同様である。まず、オブジェクト検出手段１では、画像中に複数のオブジェクトを検出した場合、図３に示す顔領域情報が複数求められる。顔領域情報は、矩形で検出される顔領域の画面上向かって左上の画素位置を示す顔座標（ｘ，ｙ）１４、及び顔領域の大きさを示す幅１５と高さ１６からなり、これらの情報が顔別にそれぞれ検出される。

オブジェクト検出手段１で検出された顔領域情報に基づき、特徴量抽出手段２では、複数の顔領域と、顔領域以外の背景領域に分けて、それぞれの領域の画素値の統計量を特徴量として算出する。また、入力される写真画像全体１１も１つの領域としてこの領域の画素値の統計量も合わせて特徴量として算出する。具体的には画素値の統計量として、各領域別に輝度ヒストグラム、および平均輝度を特徴量として算出する。

次に、逆光順光レベル算出手段３ａは、複数の顔領域情報と、特徴量抽出手段２で各領域別に求めた平均輝度の特徴量に基づき、逆光順光レベル算出を行う。具体的には、各領域別に平均輝度を求め、各領域間の平均輝度の差を逆光順光値ｇとして算出することにより、逆光順光レベル算出を行う。以下、本実施の形態の逆光順光レベル算出手段３ａによる、入力写真画像に人物の顔が複数個ある場合の逆光順光レベル算出の動作について説明する。なお、本実施の形態では、顔が３個ある場合についての逆光順光レベル算出方法を示す。

顔が３個の場合、逆光順光値ｇは３個の顔領域のうち、基準となる顔を以下の４通りの設定方法により設定し、この基準となる顔領域の平均輝度ｆａｃｅ＿ａｖｅと、顔領域以外の背景領域の平均輝度ｂａｃｋ＿ａｖｅの差により求めるものとする。４通りの設定方法として、（Ａ）顔領域が最大の顔、（Ｂ）平均輝度が最も暗い顔、（Ｃ）平均輝度が３つの顔の中央値の顔、（Ｄ）３つの顔の平均輝度、の場合について説明する。

まず、１つ目の（Ａ）顔領域が最大の顔を基準の顔とする場合、逆光順光値ｇは顔領域が最大の顔の平均輝度ｆａｃｅ＿ａｖｅ（ｍａｘ＿ｓｉｚｅ）と顔領域以外の背景領域の平均輝度ｂａｃｋ＿ａｖｅの差により、（３）式のように定めることができる。

また、２つ目の、（Ｂ）平均輝度が最も暗い顔を基準の顔とする場合、逆光順光値ｇは顔領域が３つの顔のうち最も暗い顔の平均輝度ｆａｃｅ＿ａｖｅ（ｍａｘ＿ｄａｒｋ）と顔領域以外の背景領域の平均輝度ｂａｃｋ＿ａｖｅの差により、（４）式のように定めることができる。

また、３つ目の、（Ｃ）平均輝度が３つの顔の中央値の顔を基準の顔とする場合、逆光順光値ｇは平均輝度が３つの顔の中央値の顔の平均輝度ｆａｃｅ＿ａｖｅ（ｍｉｄｄｌｅ＿ｄａｒｋ）と顔領域以外の背景領域の平均輝度ｂａｃｋ＿ａｖｅの差により、（５）式のように定めることができる。

また、４つ目の（Ｄ）３つの顔の平均輝度を基準とする場合、逆光順光値ｇは３つの顔の平均輝度ｆａｃｅ＿ａｖｅ（ｆａｃｅ＿ａｌｌ＿ａｖｅ）と顔領域以外の背景領域の平均輝度ｂａｃｋ＿ａｖｅの差により、（６）式のように定めることができる。

なお、実施の形態１の（１）式で示したのと同様に、各領域の平均輝度は、各領域に含まれる画素の輝度値の和を各領域に含まれる画素数で除して算出するものとする。

上記のように、４通りの設定方法で基準となる顔を設定し、逆光順光値ｇを求める方法を示した。これら４通りの設定方法は、適宜選んでも良いが、例えば図１７（ａ）に示すフローチャートに従って選んでも良い。なお、図１７（ｂ）は基準となる顔を選択する際のイメージ図である。これらの図において、例えば、顔が３個の場合、顔領域のサイズの差を最大サイズの顔と残り２つの顔とのサイズの差分の平均値とし、顔領域のサイズの差が所定値以上のときは、基準となる顔は、（Ａ）顔領域が最大の顔とする。所定値よりも小さいときは、顔領域の明るさの差で判断する。この場合、最も暗い顔と残り２つの顔との平均輝度の差分の平均値が所定値以上のときは、基準となる顔は、（Ｂ）平均輝度が最も暗い顔とし、所定値よりも小さいときは、（Ｄ）３つの顔の平均輝度とする。なお、３つの顔の平均輝度があまり変わらない場合は、基準となる顔は、（Ｃ）平均輝度が３つの顔の中央値の顔としてもよい。この様な方法によって基準となる顔が決まると、それに対応して、（３）〜（６）式を用いて逆光順光値ｇを求める。なお、これは一例であって、顔のサイズのバラツキ、顔の明るさの違いが求まるものであれば、算出方法は問わない。

以上のように、逆光順光レベル算出手段３ａにおいて、逆光順光値ｇにより逆光順光レベルが設定され、画像補正手段４に出力される。画像処理手段４では、実施の形態１の場合と同様に、逆光順光レベル算出結果と、特徴量抽出手段２から出力される画像全体の特徴量と、オブジェクト検出手段１からのオブジェクト領域情報に基づき、逆光補正方法、コントラスト補正方法、美肌補正方法の各画像補正方法に対し、必要な補正の度合いを設定して画像補正を行う。

図４に示す逆光順光レベルに応じ、逆光補正方法については図１１に示すように逆光補正の度合いを設定し、また、コントラスト補正方法については図１２に示すようにコントラスト補正の度合いを設定する。

また、美肌補正方法については、図１３、１４に示すように、顔領域サイズに応じて、美肌補正の度合いを設定する。ここで、美肌補正の補正の度合いを設定する際に設定の基準となる顔領域のサイズであるが、（Ａ）顔領域が最大の顔を逆光順光レベル算出の基準する場合は、最大の顔のサイズを基準の顔領域サイズとし、（Ｂ）平均輝度が最も暗い顔を逆光順光レベル算出の基準する場合は、平均輝度が最も暗い顔のサイズを基準の顔領域サイズとし、（Ｃ）平均輝度が３つの顔の中央値の顔を逆光順光レベル算出の基準とする場合は、平均輝度が３つの顔の中央値の顔のサイズを基準の顔領域サイズとする。また、逆光順光レベル算出の基準となる顔を（Ｄ）３つの顔の平均輝度とする場合、基準の顔領域のサイズは、例えば、３つの顔の面積の合計を求め、この平方根をとって、正方形の顔領域の一辺として算出する。

なお、コントラスト補正については、実施の形態１で説明したように、逆光時に顔領域サイズが小さく、この小さな顔領域の大半が属する階調が、全画面に占める割合が小さい階調にあたる場合はコントラスト補正を行わないか、補正の度合いを弱めるように設定する。このとき、基準の顔領域のサイズが小さく、この小さな基準の顔領域の大半が属する階調が、全画面に占める割合が小さい階調にあたる場合のみならず、本実施の形態は、顔が３つある場合なので、基準の顔領域以外の２つの顔領域についても、これらの顔領域の大半が属する階調が、全画面に占める割合が小さい階調にあたるか否かを調べ、基準の顔領域以外の２つの顔領域が、全画面に占める割合が小さい階調にあたる場合は、コントラスト補正を行わないか補正の度合いを弱めるなど調整を行う。なお、実施の形態１と同様に、全画面の輝度ヒストグラムの分布が非常に偏っている場合は、コントラスト補正を図１５に示すパラメータで行うように設定するとよい。

なお、上述の（Ａ）〜（Ｄ）の逆光順光レベル算出の基準となる顔の４通りの設定方法であるが、設定方法はこれに限るものではなく、また、それぞれの方法での逆光順光値ｇの求め方も（３）〜（６）式に示すものに限るものではなく、最大の顔と中間の大きさの顔の２つの顔を基準として背景との平均輝度の差分により求めてもよいし、最暗の顔と中間の暗さの顔の２つの顔を基準として背景との平均輝度の差分により求めてもよい。また、顔領域と全画面の平均輝度の差分、あるいは、顔領域と背景領域の一部との平均輝度の差分など、画面内の輝度変化が捉えられる方法であればよい。

上記のように構成された画像処理装置及び画像処理方法においては、入力画像に対し、パターンマッチング等によって複数のオブジェクトの検出を行い、複数のオブジェクト領域とこれら以外の背景領域や画像全体の領域の特徴量を算出し、簡単な演算で逆光順光レベル算出を行って画像補正をするので、自動処理が可能で、高速処理ができる画像処理装置が得られる。また、複数のオブジェクト領域情報と、画像全体の特徴と、逆光のみならず順光レベルも算出をすることができる逆光順光レベル算出結果とを用いることにより、様々な環境下で撮影された、様々な画像に対し、それぞれに適した画像補正を行うことができる。

ところで、上記説明ではこの発明をデジタルカメラの撮影やプリントへ適用する場合について述べたが、これらに限られるわけではない。例えば、ビデオカメラや監視カメラ等による撮影によって画像信号が入力されたときは、この画像信号からの画像を基にして上記実施の形態と同様の処理を行うことができる。これにより撮影時に逆光や順光のため人物の顔等に黒潰れや白飛びが発生し、顔等が確認しにくいときにも適切な画像に補正できる。また、この発明の画像処理方法はカメラ等に限られるわけではなく、例えば電子計算機の画像処理ソフトウェアにも適用できる。この場合は、画像処理ソフトウェアが電子計算機のＣＰＵ、メモリ、ＬＳＩ、入出力装置等を用いて上記実施の形態と同様の処理を自動で実行する。これにより、撮影画像が逆光や順光のため適切でない場合にも、適切な画像に補正することができることはいうまでもない。

この発明の実施の形態１を示すブロック図である。 この発明の実施の形態１、２の動作を示すフローチャートである。 この発明の実施の形態１、２におけるオブジェクト検出手段１が出力するオブジェクトの領域情報を示す説明図である。 この発明の実施の形態１、２における逆光順光レベル算出手段３が出力する逆光順光レベルと逆光順光値ｇの関係を示す図である。 この発明の実施の形態１におけるコントラスト補正方法の説明図である。 この発明の実施の形態１における逆光補正方法の説明図である。 この発明の実施の形態１における低輝度の際の逆光補正方法の説明図である。 この発明の実施の形態１における高輝度の際の逆光補正方法の説明図である。 この発明の実施の形態１における美肌補正方法の説明図である。 この発明の実施の形態１における美肌補正方法の説明図である。 この発明の実施の形態１、２における画像補正手段４が設定する逆光順光レベルと逆光補正パラメータの関係を示す図である。 この発明の実施の形態１、２における画像補正手段４が設定する逆光順光レベルとコントラスト補正パラメータの関係を示す図である。 この発明の実施の形態１、２における画像補正手段４が設定する逆光順光レベルと美肌補正パラメータの関係を示す図である。 この発明の実施の形態１、２における画像補正手段４が設定する顔領域サイズと美肌補正パラメータの関係を示す図である。 この発明の実施の形態１、２における画像補正手段４が設定するヒストグラムの分布が偏っている場合の逆光順光レベルとコントラスト補正パラメータの関係を示す図である。 この発明の実施の形態２を示すブロック図である。 この発明の実施の形態２における顔が複数ある場合の基準となるの顔を決定するフローチャートである。

符号の説明

１ オブジェクト検出手段
２ 特徴量抽出手段
３、３ａ 逆光順光レベル算出手段
４ 画像補正手段
１１ 写真画像全体
１２ 顔領域
１３ 背景領域
１４ 顔座標
１５ 幅
１６ 高さ
２１ 累積ヒストグラムの代表値
２２ コントラスト補正γカーブ
３１ 第一の低輝度用逆光補正γカーブ
３２ 第二の低輝度用逆光補正γカーブ
３３ 第三の低輝度用逆光補正γカーブ
３４ 傾き１の直線
３５ 第三の高輝度用逆光補正γカーブ
３６ 第二の高輝度用逆光補正γカーブ
３７ 第一の高輝度用逆光補正γカーブ
４１ 第一の美肌補正γカーブ
４２ 第二の美肌補正γカーブ

Claims (10)

1. 入力された画像からこの画像中のオブジェクトを検出し、前記オブジェクトが前記画像中のどの領域にあるかを示す領域情報を求めるオブジェクト検出手段と、
   前記画像と前記オブジェクト検出手段からの前記領域情報とに基づき、前記オブジェクトの領域と前記オブジェクトの領域以外の一部又は全部の背景領域と前記画像の全体の領域とのそれぞれの輝度又は色を基にした特徴量を算出する特徴量抽出手段と、
   この特徴量抽出手段からの前記オブジェクトの領域の特徴量と前記背景領域又は前記全体の領域の特徴量とから前記画像の逆光と順光のレベルを算出する逆光順光レベル算出手段と、
   前記オブジェクト検出手段からの前記領域情報と前記特徴量抽出手段からの前記画像の全体の特徴量と前記逆光順光レベル算出手段からの前記逆光と順光のレベルとに基づき前記画像を補正する画像補正手段とを備えた画像処理装置。
2. 前記特徴量抽出手段は、それぞれの領域の平均輝度を前記特徴量として算出する請求項１に記載の画像処理装置。
3. 前記オブジェクト検出手段は、前記画像中に複数のオブジェクトを検出した場合、前記複数のオブジェクトのそれぞれの領域情報を求め、
   前記特徴量抽出手段は、前記複数のオブジェクトのそれぞれの領域の特徴量を更に算出し、
   前記逆光順光レベル算出手段は、前記複数のオブジェクトの領域情報とこれらの特徴量とから基準となるオブジェクトの領域を決定し、この基準となるオブジェクトの領域の特徴量と前記背景領域又は前記全体の領域の特徴量とから前記画像の逆光と順光のレベルを算出する請求項１に記載の画像処理装置。
4. 前記画像補正手段は、前記画像の全体の輝度のヒストグラムの分布を補正するコントラスト補正、前記画像中の局所領域ごとに前記画像の階調をγカーブを用いて補正する逆光補正、及び、人物の肌のノイズを減少させる美肌補正のうち少なくとも一つの画像補正を行う請求項１に記載の画像処理装置。
5. 前記オブジェクト検出手段は、人物の顔をオブジェクトとして検出し、顔領域情報を求める請求項１又は３のいずれかに記載の画像処理装置。
6. 入力された画像からこの画像中のオブジェクトを検出し、前記オブジェクトが前記画像中のどの領域にあるかを示す領域情報を求めるオブジェクト検出ステップと、
   前記画像と前記オブジェクト検出ステップからの前記領域情報とに基づき、前記オブジェクトの領域と前記オブジェクトの領域以外の一部又は全部の背景領域と前記画像の全体の領域とのそれぞれの輝度又は色を基にした特徴量を算出する特徴量抽出ステップと、
   この特徴量抽出ステップからの前記オブジェクトの領域の特徴量と前記背景領域又は前記全体の領域の特徴量とから前記画像の逆光と順光のレベルを算出する逆光順光レベル算出ステップと、
   前記オブジェクト検出ステップからの前記領域情報と前記特徴量抽出ステップからの前記画像の全体の特徴量と前記逆光順光レベル算出ステップからの前記逆光と順光のレベルとに基づき前記画像を補正する画像補正ステップとを備えた画像処理方法。
7. 前記特徴量抽出ステップは、それぞれの領域の平均輝度を前記特徴量として算出する請求項６に記載の画像処理方法。
8. 前記オブジェクト検出ステップは、前記画像中に複数のオブジェクトを検出した場合、前記複数のオブジェクトのそれぞれの領域情報を求め、
   前記特徴量抽出ステップは、前記複数のオブジェクトのそれぞれの領域の特徴量を更に算出し、
   前記逆光順光レベル算出ステップは、前記複数のオブジェクトの領域情報とこれらの特徴量とから基準となるオブジェクトの領域を決定し、この基準となるオブジェクトの領域の特徴量と前記背景領域又は前記全体の領域の特徴量とから前記画像の逆光と順光のレベルを算出する請求項６に記載の画像処理方法。
9. 前記画像補正ステップは、前記画像の全体の輝度のヒストグラムの分布を補正するコントラスト補正、前記画像中の局所領域ごとに前記画像の階調をγカーブを用いて補正する逆光補正、及び、人物の肌のノイズを減少させる美肌補正のうち少なくとも一つの画像補正を行う請求項６に記載の画像処理方法。
10. 前記オブジェクト検出ステップは、人物の顔をオブジェクトとして検出し、顔領域情報を求める請求項６又は８のいずれかに記載の画像処理方法。

Images