JP2008305122A

JP2008305122A - 画像処理装置、画像処理方法、およびプログラム

Info

Publication number: JP2008305122A
Application number: JP2007151182A
Authority: JP
Inventors: Mei Ri; 銘李; Takuya Chiba; 卓也千葉
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2007-06-07
Filing date: 2007-06-07
Publication date: 2008-12-18

Abstract

【課題】DRC処理の精度を向上させることができるようにする。
【解決手段】処理対象の画像の特徴が各部により求められる。例えば、輝度分布判断部１０１において、画像のヒストグラムの型がＵ型であるか否かを判断され、中央領域明るさ判断部１０２において、画像の中央部分が暗いか否かが判断される。また、顔明るさ判断部１０３において、画像に写っている人の顔が黒つぶれになるかどうかが判断され、空領域判断部１０４において、画像に空が写っているかどうかが判断される。さらに、テキスチャー領域判断部１０５において、画像に暗いテキスチャー領域があるかどうかが判断される。トーンカーブ設定部１０６においては、各部の判断結果に基づいてトーンカーブの調整が行われ、調整されたトーンカーブに従って、画像の輝度のダイナミックレンジを圧縮するDRC処理が施される。本発明は、デジタルスチルカメラやビデオカメラに適用することができる。
【選択図】図２３

Description

本発明は、画像処理装置、画像処理方法、およびプログラムに関し、特に、DRC処理の精度を向上させることができるようにした画像処理装置、画像処理方法、およびプログラムに関する。

デジタルビデオカメラなどのカメラシステムの内部で行われる画像処理として、画像の輝度の階調を圧縮するダイナミックレンジ圧縮処理（以下、適宜、DRC(Dynamic Range Compression)処理という）がある。

逆光の条件下で撮影した画像などのように、高輝度の被写体と低輝度の被写体が共存するようなダイナミックレンジの広い画像を対象としてDRC処理を施すことにより、高輝度の被写体部分に生じていた白飛びと低輝度の被写体部分に生じていた黒つぶれの両方をなくして画質を向上させることが可能になる。

ところで、DRC処理は、ダイナミックレンジの広い画像を対象とした場合には画質の向上に貢献するものの、順光下などの通常の条件下で撮影した画像は輝度のダイナミックレンジがそれほど広くなく、輝度のヒストグラムもほぼフラットなものになっていることから、このような画像を対象としてDRC処理を施すと逆に画質が悪くなってしまう。

従って、どんな時、どんな画像に対してDRC処理を行うか、また、どんな時、どんな画像に対してDRC処理を行わないか、の判断をカメラに正しく行わせることが重要になる。

例えば、カメラの筐体に「逆光ボタン」を用意し、ユーザにより逆光ボタンが押されてから撮影された画像にはDRC処理を施し、ユーザにより逆光ボタンが押されずに撮影された画像にはDRC処理を施さない、といった制御のやり方が従来提案されている。

この場合、当然、ユーザは撮影時にDRC処理をするかしないかを自分で判断する必要があり、操作に不慣れな一般的なユーザにこのような判断を求めることは難しい。その上、ユーザは逆光の条件下で撮影することを分かっていても、逆光ボタンを押すのを忘れてしまい、そのまま撮影を行ってしまうことが多い。

そこで、従来、画像の輝度のヒストグラムを観測し、ヒストグラムの型がＵ型（高輝度、低輝度成分の量が多く、中間輝度成分の量が少ない型）になっているかどうかに基づいて、ユーザの操作によらずに、DRC処理を自動で制御する技術がビデオカメラなどで運用されている。ヒストグラムの型がＵ型である場合には、１つの画像に高輝度の被写体と低輝度の被写体が写っていると判断され、DRC処理が施される。

特開２００１−２９８６２１号公報特開２００７−６０６８号公報

輝度のヒストグラムの型に基づいてDRC処理をカメラが自動で制御する場合、次のような問題がある。

１番目の問題は、判断基準が少なくて、判断の精度が低いという問題である。すなわち、ヒストグラムの型だけを基準としてDRC処理を行うか否かが判断されるから、逆光の条件下で撮影した画像にDRC処理を施さなかったり、順光の条件下で撮影した画像にDRC処理を施してしまったりするように、誤動作が多い。

２番目の問題は、画像中に占める面積の広い被写体の輝度の影響を大きく受けて、DRC処理をするかしないかが決定されてしまうという問題である。このため、人物など、ユーザが中心に撮りたい被写体が画像中に小さく写っている時は、DRC処理の制御がうまくいかず、最適な画像を得ることができない。

本発明はこのような状況に鑑みてなされたものであり、DRC処理をユーザによる操作によらずに自動で行う場合に、その精度を向上させることができるようにするものである。

本発明の一側面の画像処理装置は、処理対象の画像に高輝度の被写体と低輝度の被写体が写っているか否かを前記画像を構成する画素の輝度の分布に基づいて判断する輝度分布判断手段と、前記画像の中央を含む一部の領域を構成する画素の輝度に基づいて、前記一部の領域に写る被写体の明るさを判断する中央領域明るさ判断手段と、前記画像に被写体として写る人の顔を検出し、検出した顔を構成する画素の輝度に基づいて、前記顔の明るさを判断する顔明るさ判断手段と、前記画像に空が写っているか否かを、空と考えられる領域の前記画像中の位置、空と考えられる領域の色、空と考えられる領域を構成する画素の輝度、空と考えられる領域の面積の少なくともいずれかに基づいて判断する空判断手段と、前記画像を構成する画素の輝度と、前記画像の周波数成分に基づいて、暗く、高周波成分を多く含む領域が前記画像中にあるか否かを判断するテキスチャー領域判断手段と、前記輝度分布判断手段による判断結果、前記中央領域明るさ判断手段による判断結果、前記顔明るさ判断手段による判断結果、前記空判断手段による判断結果、および、前記テキスチャー領域判断手段による判断結果のうちの少なくともいずれかの判断結果に基づいて、前記画像の輝度のダイナミックレンジを圧縮するときに用いられる、圧縮の程度を規定するトーンカーブを設定する設定手段と、前記画像の輝度のダイナミックレンジを、前記設定手段により設定された前記トーンカーブに従って圧縮する圧縮手段とを備える。

前記画像に被写体として写る人の顔が閾値としての明るさより暗くなっている確率が高いと前記顔明るさ判断手段により判断された場合、前記設定手段には、前記顔明るさ判断手段による判断結果以外の判断結果を考慮させずに、前記画像を構成する画素の輝度を上げるようにトーンカーブを設定させることができる。

本発明の一側面の画像処理方法またはプログラムは、処理対象の画像に高輝度の被写体と低輝度の被写体が写っているか否かを前記画像の輝度の分布に基づいて判断し、前記画像の中央を含む一部の領域を構成する画素の輝度に基づいて、前記一部の領域に写る被写体の明るさを判断し、前記画像に被写体として写る人の顔を検出し、検出した顔を構成する画素の輝度に基づいて、前記顔の明るさを判断し、前記画像に空が写っているか否かを、空と考えられる領域の前記画像中の位置、空と考えられる領域の色、空と考えられる領域を構成する画素の輝度、空と考えられる領域の面積の少なくともいずれかに基づいて判断し、前記画像を構成する画素の輝度と、前記画像の周波数成分に基づいて、暗く、高周波成分を多く含む領域が前記画像中にあるか否かを判断し、前記処理対象の画像に高輝度の被写体と低輝度の被写体が写っているか否かの判断結果、前記一部の領域に写る被写体の明るさの判断結果、前記顔の明るさの判断結果、前記画像に空が写っているか否かの判断結果、および、暗く、高周波成分を多く含む領域が前記画像中にあるか否かの判断結果のうちの少なくともいずれかの判断結果に基づいて、前記画像の輝度のダイナミックレンジを圧縮するときに用いられる、圧縮の程度を規定するトーンカーブを設定し、前記画像の輝度のダイナミックレンジを、設定した前記トーンカーブに従って圧縮するステップを含む。

本発明の一側面においては、処理対象の画像に高輝度の被写体と低輝度の被写体が写っているか否かが前記画像の輝度の分布に基づいて判断され、前記画像の中央を含む一部の領域を構成する画素の輝度に基づいて、前記一部の領域に写る被写体の明るさが判断される。また、前記画像に被写体として写る人の顔が検出され、検出された顔を構成する画素の輝度に基づいて、前記顔の明るさが判断され、前記画像に空が写っているか否かが、空と考えられる領域の前記画像中の位置、空と考えられる領域の色、空と考えられる領域を構成する画素の輝度、空と考えられる領域の面積の少なくともいずれかに基づいて判断される。さらに、前記画像を構成する画素の輝度と、前記画像の周波数成分に基づいて、暗く、高周波成分を多く含む領域が前記画像中にあるか否かが判断され、前記処理対象の画像に高輝度の被写体と低輝度の被写体が写っているか否かの判断結果、前記一部の領域に写る被写体の明るさの判断結果、前記顔の明るさの判断結果、前記画像に空が写っているか否かの判断結果、および、暗く、高周波成分を多く含む領域が前記画像中にあるか否かの判断結果のうちの少なくともいずれかの判断結果に基づいて、前記画像の輝度のダイナミックレンジを圧縮するときに用いられる、圧縮の程度を規定するトーンカーブが設定される。前記画像の輝度のダイナミックレンジが、設定された前記トーンカーブに従って圧縮される。

本発明の一側面によれば、DRC処理の精度を向上させることができる。

以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が発明に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外には対応しないものであることを意味するものでもない。

本発明の一側面の画像処理装置（例えば、図１のビデオカメラ１）は、処理対象の画像に高輝度の被写体と低輝度の被写体が写っているか否かを前記画像を構成する画素の輝度の分布に基づいて判断する輝度分布判断手段（例えば、図２３の輝度分布判断部１０１）と、前記画像の中央を含む一部の領域を構成する画素の輝度に基づいて、前記一部の領域に写る被写体の明るさを判断する中央領域明るさ判断手段（例えば、図２３の中央領域明るさ判断部１０２）と、前記画像に被写体として写る人の顔を検出し、検出した顔を構成する画素の輝度に基づいて、前記顔の明るさを判断する顔明るさ判断手段（例えば、図２３の顔明るさ判断部１０３）と、前記画像に空が写っているか否かを、空と考えられる領域の前記画像中の位置、空と考えられる領域の色、空と考えられる領域を構成する画素の輝度、空と考えられる領域の面積の少なくともいずれかに基づいて判断する空判断手段（例えば、図２３の空領域判断部１０４）と、前記画像を構成する画素の輝度と、前記画像の周波数成分に基づいて、暗く、高周波成分を多く含む領域が前記画像中にあるか否かを判断するテキスチャー領域判断手段（例えば、図２３のテキスチャー領域判断部１０５）と、前記輝度分布判断手段による判断結果、前記中央領域明るさ判断手段による判断結果、前記顔明るさ判断手段による判断結果、前記空判断手段による判断結果、および、前記テキスチャー領域判断手段による判断結果のうちの少なくともいずれかの判断結果に基づいて、前記画像の輝度のダイナミックレンジを圧縮するときに用いられる、圧縮の程度を規定するトーンカーブを設定する設定手段（例えば、図２３のトーンカーブ設定部１０６）と、前記画像の輝度のダイナミックレンジを、前記設定手段により設定された前記トーンカーブに従って圧縮する圧縮手段（例えば、図４の階調圧縮部４４）とを備える。

本発明の一側面の画像処理方法またはプログラムは、処理対象の画像に高輝度の被写体と低輝度の被写体が写っているか否かを前記画像の輝度の分布に基づいて判断し、前記画像の中央を含む一部の領域を構成する画素の輝度に基づいて、前記一部の領域に写る被写体の明るさを判断し、前記画像に被写体として写る人の顔を検出し、検出した顔を構成する画素の輝度に基づいて、前記顔の明るさを判断し、前記画像に空が写っているか否かを、空と考えられる領域の前記画像中の位置、空と考えられる領域の色、空と考えられる領域を構成する画素の輝度、空と考えられる領域の面積の少なくともいずれかに基づいて判断し、前記画像を構成する画素の輝度と、前記画像の周波数成分に基づいて、暗く、高周波成分を多く含む領域が前記画像中にあるか否かを判断し、前記処理対象の画像に高輝度の被写体と低輝度の被写体が写っているか否かの判断結果、前記一部の領域に写る被写体の明るさの判断結果、前記顔の明るさの判断結果、前記画像に空が写っているか否かの判断結果、および、暗く、高周波成分を多く含む領域が前記画像中にあるか否かの判断結果のうちの少なくともいずれかの判断結果に基づいて、前記画像の輝度のダイナミックレンジを圧縮するときに用いられる、圧縮の程度を規定するトーンカーブを設定し、前記画像の輝度のダイナミックレンジを、設定した前記トーンカーブに従って圧縮するステップ（例えば、図２４のステップＳ７）を含む。

以下、本発明の実施の形態について図を参照して説明する。

図１は、本発明の一実施形態に係るビデオカメラ１の構成例を示すブロック図である。

被写体からの光はレンズ１１により集光され、絞り１２を介して撮像素子１３を照射する。

撮像素子１３は、各画素にRGBのカラーフィルタをもっており、光電変換によって得られた被写体の像を表す信号をAGC(Automatic Gain Control)・A/D(Analog/Digital)変換部１４に出力する。

AGC・A/D変換部１４は、撮像素子１３から供給された画像信号に対してゲインコントロール処理、A/D変換処理を施し、得られたディジタルの画像データをカメラ信号処理部１５に出力する。

カメラ信号処理部１５は、カメラ補正補間処理部３１、ダイナミックレンジ圧縮処理部３２、YC分離信号処理部３３、およびOPD検波部３４から構成される。カメラ補正補間処理部３１、ダイナミックレンジ圧縮処理部３２、YC分離信号処理部３３、OPD検波部３４の各部の動作は、カメラ信号処理部１５が周辺部品として備える演算処理部１８により制御される。

カメラ補正補間処理部３１は、AGC・A/D変換部１４から供給された画像に対して、光学系やセンサー系の特性などに応じた補正と補間を行い、RGBの３つの色の全画素分の画像データを生成する。カメラ補正補間処理部３１は、生成した画像データをダイナミックレンジ圧縮処理部３２に出力する。カメラ補正補間処理部３１においては、例えば、光学系の明るさのムラを補正するシェーディング補正、黒レベルを補正するDCL処理（デジタルクランプ処理）、画素を補間するITP（デモザイク）処理などが施される。

ダイナミックレンジ圧縮処理部３２は、高輝度の被写体と低輝度の被写体が写っているような輝度のダイナミックレンジの広い画像にDRC処理を施すことで、白飛びと黒つぶれが軽減された良好な画像を生成する。ダイナミックレンジ圧縮処理部３２は、生成した画像を表す信号をYC分離信号処理部３３に出力する。ダイナミックレンジ圧縮処理部３２等により行われるDRC処理については後に詳述する。

YC分離信号処理部３３は、ダイナミックレンジ圧縮処理部３２から供給された信号を輝度信号（Ｙ）とクロマ信号（Ｃ）に分離し、分離して得られた信号を記録フォーマット処理部１６に出力する。

OPD検波部３４は、AGC・A/D変換部１４からカメラ補正補間処理部３１に供給される信号、カメラ補正補間処理部３１からダイナミックレンジ圧縮処理部３２に供給される信号、ダイナミックレンジ圧縮処理部３２からYC分離信号処理部３３に供給される信号のそれぞれの信号に基づいて、画像のある一定の範囲の信号（RGBデータ、YCデータ）を積分することにより検波を行う。OPD検波部３４は、検波結果を表す検波情報を演算処理部１８に出力する。演算処理部１８においては、OPD検波部３４から供給された検波情報に基づいて、カメラ信号処理部１５の各部の動作が制御される。

記録フォーマット処理部１６は、YC分離信号処理部３３から供給された信号に対して、誤り訂正符号を付加する処理や変調処理などを施すことによって所定のフォーマットの画像データ（信号Ｓ２）を生成し、生成した画像データを記録メディア１７に記録させる。

記録メディア１７は、メモリカード、光ディスク、ハードディスクなどよりなり、記録フォーマット処理部１６から供給された画像データを記録する。

演算処理部１８は、カメラ信号処理部１５のOPD検波部３４から供給される検波情報に基づいて画像を分析し、ビデオカメラ１の各部の動作を制御する。

例えば、演算処理部１８は、ダイナミックレンジ圧縮処理部３２により行われるDRC処理を制御する。また、演算処理部１８は、レンズ制御信号を駆動部１９に出力し、レンズ１１、絞り１２を制御する。演算処理部１８は、ゲイン信号をAGC・A/D変換部１４に出力することによってAGC・A/D変換部１４において行われるゲインコントロールを制御するとともに、電子シャッタ制御信号を撮像素子１３に出力することによって、撮像素子１３の電子シャッタを制御する。

駆動部１９は、演算処理部１８から供給されるレンズ制御信号に基づいてレンズ１１を制御し、焦点距離の調整などを行うとともに、撮像素子１３の入力光量が適正なものになるように絞り１２の口径を制御する。

−DRC処理について−
ここで、DRC処理について説明する。

CCD(Charge Coupled Device)、CMOS(Complementary Metal Oxide Semiconductor)などよりなる撮像素子１３で検出される光の輝度のダイナミックレンジ（一度に表現することのできる明るさ（階調）の幅）は、一般的には、人の目によって感じることのできる輝度のダイナミックレンジよりも狭く、さらに、フィルムカメラのフィルムによって検出される輝度のダイナミックレンジよりも狭い。

このため、輝度差のあるシーンを撮影した場合、人の目であれば階調の変化を感じることができるものであっても、デジタルカメラの自動露出制御モードでの撮影などによって得られた画像では、高輝度の被写体の部分は白飛びし、低輝度の被写体の部分は黒つぶれしてしまうことがある。

例えば、高輝度の被写体と低輝度の被写体が写っているような輝度のダイナミックレンジの広い画像の撮影中に、高輝度の被写体が写っていることが検波結果に基づいて判断されたことから、高輝度の被写体が白飛びしないように露光を制御する場合、低輝度の被写体の部分に黒つぶれが生じてしまう。反対に、低輝度の被写体が写っていることが検波結果に基づいて判断されたことから、低輝度の被写体が黒つぶれしないように露光を制御する場合、高輝度の被写体の部分に白飛びが生じてしまう。

このように、露光を制御することだけで明るさを調整しようとすると、輝度のダイナミックレンジが十分に広い画像を再現することができない。

次に、図２と図３に示す輝度のヒストグラムを用いて、DRC処理の原理について説明する。

図２、図３において、縦軸は頻度（画素の数）、横軸は輝度を表している。左側に現れる輝度成分を有する画素の色は黒色に近くなり、右側に現れる輝度成分を有する画素の色は白色に近くなる。横軸は、黒色から白色の階調を例えば最大１０２３ビットの情報で表し、縦軸は頻度を例えば最大２５５ビットの情報で表している。

図２は、白飛びと黒つぶれの両方が発生している画像の輝度のヒストグラムの例を示す図である。

画像に高輝度の被写体と低輝度の被写体が写っている時、その画像の輝度のヒストグラムの型は図２に示されるようにＵ型（高輝度、低輝度成分の量が多く、中間輝度成分の量が少ない型）になる。DRC処理は、図２に示すようなＵ型の階調分布を調整することにより、白飛びと黒つぶれが生じている領域に対して幅広い階調領域を割り当て、これによって輝度変化の度合いを明確にして、見かけ上、ダイナミックレンジが広がったように見せる画像処理技術である。

図３は、図２に示される階調分布を有する画像に対してDRC処理を施して得られた画像の輝度のヒストグラムの例を示す図である。

DRC処理後にはある程度の階調領域が使用されて表現されるため、DRC処理前には黒つぶれしていた領城を浮き出たせることによって輝度変化の度合いを明確にし、視認性を向上させることが可能になる。同様に、白つぶれしていた領域を浮き出たせることによって輝度変化の度合いを明確にし、視認性を向上させることができる。

図２と図３を比べると、処理後の画像は輝度のダイナミックレンジが圧縮されるように見える。このことから、以上のような処理はDRC処理と呼ばれる。

−ビデオカメラ１におけるDRC処理−
DRC処理を行うことで、高輝度の被写体と低輝度の被写体が共存するような、輝度のダイナミックレンジの広い画像に現れる白飛びと黒つぶれの両方をなくすことができ、視認性を向上させることができる。図２に示されるように、ヒストグラムの型がＵ型になっている、高輝度の被写体と低輝度の被写体が共存する画像はWDR(Wide Dynamic Range)画像と呼ばれている。逆光の条件下で撮影された画像はよくWDR画像になる。

通常の条件下で撮影された画像は輝度のダイナミックレンジがそれ程広くなく、輝度のヒストグラムの型もほぼフラットなものになる。このような画像に対して、DRC処理を行うと、逆に画質が悪くなる。

従って、DRC処理を施すか施さないか、施すとしてもどの程度の強さでDRC処理を施すかの判断が重要になるため、図１のビデオカメラ１においては、基本的に、次のようにして最適なDRC処理が行われるようになされている。

１つ目の方法は、輝度のヒストグラムの型がＵ型の場合にはDRC処理を施し、Ｕ型でない場合にはDRC処理を施さないといったように１元的な基準から判断するのではなく、DRC処理の制御に用いる判断基準を追加し、多元化する方法である。これにより、ユーザの意図に近いDRC制御を行うことができるようになされている。

２つ目の方法は、上の判断基準を利用し、DRC処理を単純なON／OFFの制御（処理を施すか施さないか）ではなく、DRC処理に用いられるトーンカーブやゲインなどの様々なパラメータを制御する方法である。これにより、対象になっている画像に最も合うDRC処理を行うことができるようになされている。

図４を参照して、DRC処理を行うビデオカメラ１の構成と、DRC処理の流れについて説明する。

図４に示されるように、DRC処理は、主に、演算処理部１８、ダイナミックレンジ圧縮処理部３２、OPD検波部３４の３つの構成によって実現される。

OPD検波部３４は、カメラ補正補間処理部３１からダイナミックレンジ圧縮処理部３２に入力されるRGBデータによって表される入力画像Iの全体を走査しながら、後述する５つの特徴を検波によって取得する。演算処理部１８は、検波によって取得した特徴に関する情報を検波情報として演算処理部１８に出力する。

演算処理部１８は、OPD検波部３４から供給された検波情報を利用して、DRC処理の強さなどを規定するトーンカーブ（Tone Curve）と、各種のパラメータを算出し、トーンカーブをダイナミックレンジ圧縮処理部３２の階調圧縮部４４に設定するとともに、パラメータとして算出したゲイン１をコントラスト強調部４３に、ゲイン２をRGB圧縮・色味補正処理部４６にそれぞれ設定する。

ダイナミックレンジ圧縮処理部３２は、カメラ補正補間処理部３１から供給された入力画像Iを走査しながら、演算処理部１８による設定に基づいて、入力画像Iを構成するそれぞれの画素に対してパイプライン的に処理を施す。図４に示されるように、ダイナミックレンジ圧縮処理部３２は、輝度信号生成部４１、領域分割部４２、コントラスト強調部４３、階調圧縮部４４、全域輝度信号生成部４５、およびRGB圧縮・色味補正処理部４６から構成される。

輝度信号生成部４１は、入力画像IのRGBデータから輝度信号Ｙを生成し、生成した輝度信号Ｙを後段の領域分割部４２とRGB圧縮・色味補正処理部４６に出力する。

領域分割部４２は、輝度信号生成部４１から供給された輝度信号Ｙを高周波成分の信号と低周波成分の信号に分割する。領域分割部４２に対しては、輝度信号を分離するための閾値となる周波数が設定されている。

領域分割部４２により分割された低周波成分の信号は、入力画像Iの輝度信号の全体の大まかな照明情報を持っているため、照明成分信号と呼ばれている。一方、高周波成分の信号は、入力画像Iの輝度信号の詳細な照明情報を持っているため、ディテール（Detail）成分信号と呼ばれている。領域分割部４２は、分割して得られたディテール成分信号をコントラスト強調部４３に出力し、照明成分信号を階調圧縮部４４に出力する。

コントラスト強調部４３は、領域分割部４２から供給されたディテール成分信号に対して、コントラスト強調処理を演算処理部１８により設定されたゲイン１に従って施す。コントラスト強調部４３は、コントラストを強調した輝度信号を全域輝度信号生成部４５に出力する。

階調圧縮部４４は、領域分割部４２から供給された照明成分信号に対して、輝度の階調を圧縮する階調圧縮処理を演算処理部１８により設定されたトーンカーブに従って施す。階調圧縮部４４は、階調を圧縮した輝度信号を全域輝度信号生成部４５に出力する。

全域輝度信号生成部４５は、コントラスト強調部４３から供給された輝度信号と、階調圧縮部４４から供給された輝度信号をミックスして全域輝度信号Ｙ’を生成し、生成した全域輝度信号Ｙ’をRGB圧縮・色味補正処理部４６に出力する。

RGB圧縮・色味補正処理部４６は、輝度信号生成部４１から供給された、ダイナミックレンジ圧縮処理などが施される前の輝度信号Ｙ、全域輝度信号生成部４５から供給されたダイナミックレンジの圧縮などが施された後の全域輝度信号Ｙ’、および、演算処理部１８により設定されたゲイン２に基づいて、入力画像Ｉに対してRGB圧縮処理と色味補正処理を施す。RGB圧縮・色味補正処理部４６は、RGB圧縮処理と色味補正処理を施して得られた画像を出力画像ＯとしてYC分離信号処理部３３（図１）に出力する。

このように、DRC処理は図４に示される各構成によって行われる。その流れは、まず、OPD検波部３４により、５つの特徴を取得するための検波が入力画像Ｉを対象として行われ、検波情報が演算処理部１８に出力される。

演算処理部１８においては、検波情報に含まれる５つの特徴を基準として、DRC処理に用いられるトーンカーブと、コントラスト強調処理などに用いられるゲインが算出され、演算処理部１８により算出されたトーンカーブに従って、ダイナミックレンジ圧縮処理部３２によりDRC処理が行われる。また、演算処理部１８により算出されたゲインに従って、コントラスト強調部４３によりコントラスト強調処理が施され、RGB圧縮・色味補正処理部４６によりRGB圧縮処理と色味補正処理が施される。

以上の処理により、ダイナミックレンジ圧縮処理部３２においては、入力画像Iに適したものになるように強さなどが調整されたDRC処理が行われることになる。

なお、DRC処理を実現するには、例えば、特開２００１−２９８６２１号公報や特開２００７−６１６８号公報に示されるような手法もある。この２つの公報に記載されている手法においてはYC信号の領域でDRC処理が行われているのに対し、ビデオカメラ１においては、以上のように、RGB信号の領域でDRC処理が行われる。

−５つの特徴について−
以下、DRC処理の制御に用いられる５つの特徴について説明する。

（１）ヒストグラムの型がＵ型であるかどうか
高輝度の被写体と低輝度の被写体が共存するようなダイナミックレンジの広い画像の輝度のヒストグラムの型はＵ型になることが多い。ビデオカメラ１においては、入力画像の輝度のヒストグラムの型がＵ型になっているかどうかが、DRC処理の制御のための１つ目の特徴として用いられる。

例えば、図４のOPD検波部３４は、入力画像Iの全体を一度走査し、輝度のヒストグラムを演算により求める。OPD検波部３４は、求めたヒストグラムの情報を演算処理部１８に出力する。

演算処理部１８は、ヒストグラムの型がＵ型になっているかどうかを判断する。ヒストグラムの型がＵ型になっているかどうかの判断には例えばパターンマッチング（Pattern Matching）の手法が利用される。

演算処理部１８により行われるパターンマッチングについて図５を用いて説明する。

まず、高輝度の被写体と低輝度の被写体が共存するようなダイナミックレンジの広い画像を集め、これらの画像のヒストグラムがどのようなＵ型になっているのかが統計的に調べられる。その結果、代表的なＵ型のヒストグラムが選択され、選択されたＵ型のヒストグラムが、入力画像Iに対してDRC処理を実際に施す前に演算処理部１８に記録される。

演算処理部１８に記録された代表的なヒストグラムはパターンヒストグラムと呼ばれている。図５の右側に示されるパターン１、パターン２、・・・、パターンＭは、全て、演算処理部１８に記録されたパターンヒストグラムである。

入力画像Iに対してDRC処理を実際に施すとき、演算処理部１８は、OPD検波部３４から供給された情報によって表される入力画像Ｉのヒストグラムと、あらかじめ記録されているそれぞれのパターンヒストグラムとの似た程度（類似度）を例えば下式（１）により求める。

式（１）のHistData[i]は入力画像Ｉのヒストグラムを表し、iは各輝度領域の番号を表す。入力画像Ｉには全部でＮの輝度領域がある。FHistData[i]は事前に記録されていた各パターンヒストグラムを表し、Weight[i]はヒストグラム中の各輝度領域に対する重みを表す。式（１）で求められる似た程度は、その値が小さければ小さいほど、入力画像Ｉのヒストグラムとパターンヒストグラムが似ていることを表す。

入力画像Ｉのヒストグラムと各パターンヒストグラムの似た程度が求められた後、求められた似た程度の値の中で一番小さい値の逆数が、入力画像ＩのヒストグラムのＵ型傾向を表す値となる。Ｕ型傾向を表す値をHistUとすると、HistUは下式（２）として表される。

HistUの値が大きければ大きいほど、そのことは入力画像Ｉのヒストグラムの型がＵ型になる可能性が高いことを表す。図６に、演算処理部１８に記録されるＵ型のパターンヒストグラムの例を示す。図６には、PTN１乃至PTN３の３つのパターンヒストグラムが示されている。

（２）画像の中央が暗いかどうか
ビデオカメラ１においては、入力画像の中央付近の暗さが、DRC処理の制御のための２つ目の特徴として用いられる。

この特徴を用いる目的は、ユーザの意図を重視し、DRC処理の自動化の精度を上げることである。通常、ユーザは注目する被写体がフレームの中央付近にくるようにして撮影を行うことが多いから、中央付近の被写体の暗さに応じてDRC処理を制御することは、ユーザの意図に沿うことになるものと考えられる。

図７は、ユーザにより撮影された画像の例を示す図である。

図７の画像Ｐ₁乃至Ｐ₄に示されるように、通常、ユーザの最も注目している部分が枠Ｗで示される画像の中央部分にくるように撮影が行われる。図７の画像Ｐ₁乃至Ｐ₄は、いずれも建物や展示物を被写体にした画像であるが、人物を被写体として撮影を行う場合、被写体の人物が中央にくる可能性が更に高くなるものと考えられる。つまり、画像の中央の部分は一番重要な部分であるといえるから、この部分の被写体が黒つぶれになって写っている画像は、撮影に失敗した画像としてユーザにより判断される可能性が高くなる。

ここで、２つ目の特徴に関する処理について説明する。

図８は、画像の内側に設定された中央エリアの例を示す図である。

図８の例においては、画像全体のうち、左右の端から横幅の３／１６ずつと上端から縦幅の２／９の範囲を除く、画像の中央を含む斜線で示される範囲が中央エリアＡ₁として設定されている。この中央エリアＡ₁の位置、大きさを表す情報がOPD検波部３４に設定されており、中央エリアＡ₁を構成する画素の輝度に基づいて、画像の中央部分が暗いかどうかが判断される。なお、中央エリアＡ₁の設定は適宜変えることができるようにしてもよい。

DRC処理の対象となる入力画像Iが入力されたとき、OPD検波部３４は、中央エリアＡ₁内の画素のうち、閾値以下の輝度の画素の数をカウントする。カウントされた画素数は下式（３）のように表される。

式（３）のCount(Black_pixel)は閾値より低い輝度の画素の数を表し、Y(Current_pixel)は中央エリアＡ₁内の画素の輝度を表す。Y_Threshold0は輝度の閾値を表し、その設定は可変とされる。

式（３）に示されるように、中央エリアＡ₁内の各画素が注目され、注目された入力画素の輝度が閾値以下である場合にCount(Black_pixel)の値が１だけ加算される。注目された入力画素の輝度が閾値より大きい場合、Count(Black_pixel)の値は加算されない。OPD検波部３４は、閾値より輝度が低い、暗い画素の数を表すCount(Black_pixel)の情報を演算処理部１８に出力する。

演算処理部１８は、OPD検波部３４から供給された情報に基づいて、中央エリアＡ₁に含まれる暗い画素の比率を下式（４）により求める。

式（４）のRation_CenterBは中央エリアＡ₁に含まれる暗い画素の比率を表し、Count(Center_pixel)は中央エリアＡ₁を構成する全ての画素の数を表す。

Ration_CenterBの値が大きければ大きいほど、そのことは、入力画像Ｉの中央が暗い可能性が高いことを表す。この場合、DRC処理を施さなければ、ユーザが撮ろうとする部分が黒つぶれになる可能性が高い。

１つ目の特徴として求められた、入力画像Iのヒストグラムの型がＵ型になっているかどうかと、２つ目の特徴として求められた画像の中央が暗いかどうかを組み合わせた場合、下式（５）で表されるような値を用いたDRC処理の制御が可能となる。

式（５）のDRC_Gainはトーンカーブの調整に用いられるゲインを表す。DRC_Gainの詳細については後述する。演算処理部１８は、このDRC_Gainが大きければ大きいほど、DRC処理を強く、すなわち、ダイナミックレンジの圧縮率が高くなるように制御する。

式（５）のHistUは上式（２）により求められたヒストグラムのＵ型傾向を表し、Ration_CenterBは上式（４）により求められた中央エリアＡ₁に含まれる暗い画素の比率を表す。Ｋ１とＫ２は、それぞれ、HistUとRation_CenterBに乗算する重みを表す。なお、式（５）で表されるようなDRC処理の制御は、後述するように、入力画像Iに写る人の顔の明るさが暗いと判断されなかったときに行われる。

図９と図１０を参照して、式（５）により求められたDRC_Gainに基づいてDRC処理を制御することにより、DRC処理の精度を向上させることができることについて説明する。

図９と図１０は、同じ風景を違う条件下で撮影した画像の例を示す図である。

図９の条件下で撮影した画像においては、中央の人物は適正な明るさで写っているが、その後方にある建物は黒つぶれの状態で写っている。一方、図１０の条件下で撮影した画像においては、建物は適正な明るさで写っているが、人物は黒つぶれの状態で写っている。なお、画像全体を基準とした人物の大きさと建物の大きさは大体同じである。また、図９と図１０の２つの画像のヒストグラムの型は大体同じ型になる。

このような画像を対象として、仮に、１つ目の特徴であるヒストグラムの型がＵ型になっているかどうかだけに基づいてDRC処理を施すとした場合、図９の画像と図１０の画像に対してそれぞれ同じ強さでDRC処理が施されることになる。

従って、この場合、ユーザが注目して撮影している部分は中央の人物の部分であるから、その部分が適正な明るさで写っている図９の画像に対してはDRC処理を施さない方がよいのにもかかわらず、結果的にDRC処理が施されることになり、DRC処理の実現方法によっては中央の人物の画質が落ちる可能性がある。

これに対して、１つ目の特徴として求められた入力画像Iのヒストグラムの型がＵ型になっているかどうかと、２つ目の特徴として求められた画像の中央が暗いかどうかを組み合わせた上式（５）により求められたゲインに基づいてDRC処理を制御することにより、図９の画像に対しては弱いDRC処理を施し、図１０の画像に対しては強いDRC処理を施すといったことが可能となる。DRC_GainがそのようなDRC処理を実現するものになるように上式（５）のＫ１，Ｋ２の値が設定される。

これにより、図９の画像に対してDRC処理を施すことにより画質が低下してしまうといった副作用を軽減することができる。また、図１０の画像に対して強いDRC処理を施すことにより、その効果を大きなものにすることができ、ユーザが注目している中央の人物の部分の画質を向上させることができる。

（３）顔検出の結果
ビデオカメラ１においては、顔検出の結果が、DRC処理の制御のための３つ目の特徴として用いられる。

黒つぶれによって撮影に失敗したと判断されたいろいろな画像を調べたところ、人物が写っており、その人物の顔の部分が黒つぶれになっている画像が目立つ。つまり、顔が黒つぶれになると、普通の風景などが黒つぶれになった画像を見たときより、ユーザが失敗したものとして判断する可能性が高い。その上、一般的なユーザにとっては、ビデオカメラを使って人物を撮影することの方が、風景を撮影することより多いと思われる。従って、顔検出の結果を使い、人の顔が写っているかどうかに応じてDRC処理を制御することは、より多くの画像を、成功した画像であるとユーザに判断させることにつながるものと考えられる。

図４のOPD検波部３４の内部には、例えば、顔検出専用のハードウェアが入っている。OPD検波部３４は、入力画像Ｉの全体を一度走査し、そのハードウェアによって顔の検出を行い、顔に関する情報を取得する。顔検出の方法については、例えば、特開２００４−３０６２９号公報、特開２００５−１５７６７９号公報に開示されており、OPD検波部３４においてはそのような方法により顔の検出が行われる。OPD検波部３４は、検出した人の顔を構成する画素の輝度などの情報を演算処理部１８に出力する。

演算処理部１８は、顔に関する処理として２つの処理をOPD検波部３４から供給された情報に基づいて行う。

１つ目の処理として、演算処理部１８は、画像に顔が写っている確率を求める。画像に顔が写っている確率をFace_probと表し、演算処理部１８は、Face_probの値が閾値以上である場合に、画像に顔が写っていると判断する。

２つ目の処理として、演算処理部１８は、画像に写る人の顔が黒つぶれになるかどうかを判断する。この判断は、例えば、下式（６）に従って行われる。

式（６）のRation_FaceBは人の顔が黒つぶれになる確率を表し、Y(i)は顔を構成する画素の輝度を表す。式（６）の右辺の下段に示される下の（７）で示される値は、人の顔の輝度の平均を表す。

輝度の平均の逆数は、人の顔が黒つぶれになる確率を表すことになる。式（６）のFaceP_Thresholdは閾値を表し、所定の値を設定することが可能である。

式（６）は、Face_probの値が閾値としてのFaceP_Thresholdより小さい場合、画像に人の顔が写っていないと判断して、演算処理部１８がRation_FaceBの値を０として設定することを表し、一方、Face_probの値が閾値としてのFaceP_Thresholdより大きい場合、画像に人の顔が写っている判断して、演算処理部１８がRation_FaceBの値を顔の平均の輝度の逆数の値として設定することを表す。

１つ目の特徴として求められた、入力画像Iのヒストグラムの型がＵ型になっているかどうかと、２つ目の特徴として求められた画像の中央が暗いかどうかと、３つ目の特徴として求められた、顔検出の結果を組み合わせた場合、下式（８）で表されるような値を用いたDRC処理の制御が可能となる。

式（８）のFaceBlk_Thresholdは人の顔の明るさが暗いかどうかを判断するときの基準となる閾値である。Ration_FaceBの値がこの閾値より大きい場合、演算処理部１８は、顔の明るさが暗いと判断する。Ｋ１，Ｋ２，Ｋ３は、全て可変の係数である。

式（８）は、画像に人の顔が写っており、かつ、その顔の明るさが暗いと判断された場合、DRC処理を強めに施すため、DRC処理の強さの基準となるDRC_GainとしてRation_FaceBの値に係数Ｋ３を乗算することによって得られた値を設定し、それに基づいてトーンカーブを調整してDRC処理を施すことを表す。

また、式（８）は、それ以外の場合（画像に人の顔が写っていないと判断された場合、または、人の顔が写っていると判断されたが、その顔の明るさが暗いと判断されていない場合）に、１つ目の特徴として求められた、入力画像Iのヒストグラムの型がＵ型になっているかどうかと、２つ目の特徴として求められた画像の中央が暗いかどうかを組み合わせて、上式（５）により求められたゲインに基づいてトーンカーブの調整を行い、DRC処理を施すことを表す。

（４）空
ビデオカメラ１においては、画像に写る空に関する情報が、DRC処理の制御のための４つ目の特徴として用いられる。

室外において逆光の条件下で撮影した画像などの、高輝度の被写体と低輝度の被写体が共存するようなダイナミックレンジの大きいいろいろな画像の輝度の分布を調べたところ、輝度の分布において中高レベルに現れるピークを構成する画素が空領域の画素である可能性が高いという特徴が発見された。

図１１に示される画像Ｐ₁₁乃至Ｐ₁₄は、いずれも、室外において逆光の条件下で撮影した画像であるが、画像Ｐ₁₁乃至Ｐ₁₄のそれぞれの輝度の分布には中高レベルでピークが現れ、そのピークを構成する画素が空領域の画素となる。

ここで、画像に写る空の特徴に関する処理について説明する。

DRC処理の対象となる入力画像Iが入力されたとき、OPD検波部３４は、入力画像Ｉの全体を一度走査し、画像に写る空に関する情報を取得する。OPD検波部３４は、取得した情報を演算処理部１８に出力する。

演算処理部１８は、OPD検波部３４から供給された情報に基づいて、画像に空が写っている確率を求め、求めた確率を上記３つの特徴と一緒に用いてDRC処理を制御する。

空が写っている確率は以下のようにして求められる。

（４−１）空と思われる領域の場所（空検波エリア）
はじめに、OPD検波部３４に対して空検波エリアが設定される。空検波エリアの設定は可変である。

図１２は、画像に設定された空検波エリアの例を示す図である。

一般的なユーザが撮影した画像において、空は画像の上の方にある可能性が高ことから、例えば、図１２に示されるように、上から１／３の範囲が空検波エリアSky_areaとして設定される。空検波エリアSky_areaに含まれる画素の数の情報がOPD検波部３４から演算処理部１８に出力される。

（４−２）空と思われる領域の色
空と思われる領域の色の検波は、図１３に示されるように、Cr，Cb空間の信号を対象として行われる。Cr，Cb空間の信号は、例えば、RGBデータである入力画像Ｉに基づいてOPD検波部３４により生成される。

撮影した画像に写る空の色は基本的に青色であるため、また、色が飛んでしまったときには白色であるため、青い色と白い色の２つの色が検波の対象とされる。図１１中の画像Ｐ₁₁，Ｐ₁₃，Ｐ₁₄に含まれる空の色は青色であり、画像Ｐ₁₂に含まれる空の色は白色である。

例えば、青い色と白い色の検波に用いられる検波式は下式（９）に示されるものになる。

式（９）の上段に示される条件を満たす色が白色と判断され、式（９）の下段に示される条件を満たす色が青色と判断される。白色または青色の画素として判断された画素の情報がOPD検波部３４から演算処理部１８に出力される。式（９）のWhite_Treshold，Blue_Treshold1，Blue_Treshold2は所定の閾値である。

（４−３）空と思われる領域の輝度
OPD検波部３４においては、空と思われる領域の輝度の検波も行われる。

例えば、輝度の検波に用いられる検波式は下式（１０）に示されるものになる。

式（１０）のY(i)は図１２に示される空検波エリアを構成する画素の輝度を表し、SkyLum_thrdは設定された閾値である。ある画素の輝度が閾値以上の輝度である場合、その画素は、空を構成する画素であると判断される。空を構成するものとして判断された画素の情報がOPD検波部３４から演算処理部１８に出力される。

（４−４）空と思われる領域の面積
最後に、OPD検波部３４から供給された情報に基づいて、空と思われる領域の面積が演算処理部１８により求められる。例えば、空と思われる領域の面積は、上記３つの条件（場所、色、輝度）を全部満足する画素の数をカウントすることによって求められる。

カウントできた画素数をSky_PixelNumとし、下式（１１）に示されるように、このSky_PixelNumを空検波エリアSky_areaを構成する画素の数Area_PixelNumで割ることで、画像に空が写っている確率が求められる。

式（１１）のRation_Skyは画像に空が写っている確率を表す。演算処理部１８においては、後述するように、このRation_Skyの値が、上記３つの特徴と一緒にDRC処理の制御に利用される。

（５）暗いテキスチャー領域があること（暗い高周波成分領域があること）
ビデオカメラ１においては、暗いテキスチャー領域がある場合、その領域に関する情報が、DRC処理の制御のための５つ目の特徴として用いられる。

黒つぶれによって撮影に失敗したと判断されたいろいろな画像を調べたところ、フラット（flat）でディテール（Detail）成分があまりない画像より、ディテール成分を多く含む、テキスチャー領域のある画像が目立つ。

図１４は、黒つぶれによって撮影に失敗したと判断された画像の例を示す図である。

図１４の画像Ｐ₂₁乃至Ｐ₂₄に示されるように、暗い時に撮影された木や草などが写っている領域が、暗いテキスチャー領域として判断されることが多い。

ここで、暗いテキスチャー領域に関する処理について説明する。

（５−１）検波エリア（BT_area）
はじめに、OPD検波部３４に対して検波エリアBT_areaが設定される。検波エリアの設定は可変である。一番効果のよかった検波エリアは、図１５に示されるような、画像の周辺を除くエリアである。検波エリアBT_areaに含まれる画素の数の情報がOPD検波部３４から演算処理部１８に出力される。

（５−２）輝度(BT_lum)
暗いという特徴を検出するために、例えば、下式（１２）に従って、検波エリアBT_areaに含まれる各画素の輝度が閾値より高いか否かが判断される。

式（１２）において、Y(i)は検波エリアBT_areaに含まれる画素の輝度を表し、BTLum_thrdは設定可能な閾値を表す。検波エリアBT_areaに含まれる画素の輝度が閾値BTLum_thrdより小さい場合、その画素は暗い画素として判断される。暗い画素として判断された画素の情報がOPD検波部３４から演算処理部１８に出力される。

（５−３）水平方向高周波成分（BT_Hbpf）
画像のテキスチャー成分は画像の高周波成分のことであり、画像の高周波成分には水平方向の高周波成分と垂直方向の高周波成分の２種類がある。

まず、水平方向の周波成分信号に対してBPF(Band Pass Filter)をとり、このBPFの出力値が大きければ大きいほど、高周波成分が大きいとして判断される。

下式（１３）に示されるように、BPFの出力値Valu_Hbpfが閾値Hbpf_thrdより大きい場合、水平方向の高周波成分がテキスチャー領域を構成するほどにあるものとして判断される。水平方向の高周波成分がテキスチャー領域を構成するほどにあるものとして判断された画素に関する情報がOPD検波部３４から演算処理部１８に出力される。閾値Hbpf_thrdとして適宜所定の周波数の値を設定することが可能である。

例えば、BPFとして下式（１４）、（１５）により表されるフィルタを用いることが可能である。

式（１４）、（１５）において、Y(x)は処理対象の画素の輝度値を表す。Y(x-1)はY(x)によって輝度値が表される処理対象の画素の左隣（左側の１番目）の画素の輝度値を表し、Y(x+1)はY(x) によって輝度値が表される処理対象の画素の右隣の画素の輝度値を表す。同じように、Y(x-2)はY(x)によって輝度値が表される処理対象の画素の左側の２番目の画素の輝度値を表し、Y(x+2)はY(x) によって輝度値が表される処理対象の画素の右側の２番目の画素の輝度値を表す。

（５−４）垂直方向高周波成分（BT_Vbpf）
垂直方向の周波成分信号に対してBPFをとり、このBPFの出力値が大きければ大きいほど、高周波成分が大きいとして判断される。

下式（１６）に示されるように、BPFの出力値Valu_Vbpfが閾値Vbpf_thrdより大きい場合、垂直方向の高周波成分がテキスチャー領域を構成するほどにあるものとして判断される。垂直方向の高周波成分がテキスチャー領域を構成するほどにあるものとして判断された画素に関する情報がOPD検波部３４から演算処理部１８に出力される。

例えば、BPFとして下式（１７）、（１８）により表されるフィルタを用いることが可能である。

式（１７）、（１８）において、Y(y)は処理対象の画素の輝度値を表す。Y(y-1)はY(y)によって輝度値が表される処理対象の画素の上側の１番目の画素の輝度値を表し、Y(y+1)はY(y) によって輝度値が表される処理対象の画素の下側の１番目の輝度値を表す。同じように、Y(y-2)はY(y)によって輝度値が表される処理対象の画素の上側の２番目の画素の輝度値を表し、Y(y+2)はY(y) によって輝度値が表される処理対象の画素の下側の２番目の画素の輝度値を表す。

最後に、上記４つの条件を全て満たす画素の数がカウントされ、暗いテキスチャー領域を構成する画素の数が求められる。

また、カウントできた画素数をBT_PixelNumとし、下式（１９）に示されるように、このBT_PixelNumを検波エリアBT_areaを構成する画素の数Area_PixelNumで割ることで、暗いテキスチャー領域がある確率を表すRation_BTが求められる。

以上のようにして暗いテキスチャー領域がある確率を求める構成は図１６に示されるものになる。図１６に示される構成の少なくとも一部は、OPD検波部３４と演算処理部１８によって実現される。図１６に示されるように、検波エリアBT_areaを構成する画素の輝度Ｙを表す信号は比較部５１、VBPF５２、およびHBPF５４に入力される。

比較部５１は、上式（１２）に従って、検波エリアBT_areaに含まれる各画素の輝度が閾値BTLum_thrdより小さいか否かを判断し、閾値BTLum_thrdより小さい、暗い画素の情報を画素カウンタ５７に出力する。

VBPF５２は、垂直方向の周波数成分のうち、上式（１７）、（１８）の条件を満たす成分を表す出力値Valu_Vbpfを比較部５３に出力する。

比較部５３は、上式（１６）に従って、VBPF５２から供給された出力値Valu_Vbpfが閾値Vbpf_thrdより大きいか否かを判断する。比較部５３は、垂直方向の高周波成分がテキスチャー領域を構成するほどにあるものとして判断した画素に関する情報を画素カウンタ５７に出力する。

HBPF５４は、水平方向の周波数成分のうち、上式（１４）、（１５）の条件を満たす成分を表す出力値Valu_Hbpfを比較部５５に出力する。

比較部５５は、上式（１３）に従って、HBPF５４から供給された出力値Valu_Hbpfが閾値Hbpf_thrdより大きいか否かを判断する。比較部５５は、水平方向の高周波成分がテキスチャー領域を構成するほどにあるものとして判断した画素に関する情報を画素カウンタ５７に出力する。

検波エリア判断部５６は、検波エリアBT_areaに含まれる画素の数の情報を画素カウンタ５７に出力する。検波エリア判断部５６に対しては、検波エリアBT_areaの範囲を表す情報（横座標Px、縦座標Py）が入力される。

画素カウンタ５７は、比較部５１、比較部５３、比較部５５、および検波エリア判断部５６から供給された情報に基づいて、条件を全て満たす画素の数をカウントし、上式（１９）に従って、画像に暗いテキスチャー領域がある確率を表すRation_BTを求める。求められたRation_BTは、他の特徴の情報とともにDRC処理の制御に用いられる。

−５つの特徴を利用したDRC_Gainの算出−
以上のようにして検出された５つの特徴を利用して、DRC処理を規定するトーンカーブの調整に用いられるDRC_Gainを算出する方法について説明する。

DRC_Gainは下式（２０）に基づいて算出される。式（２０）は、５つの特徴のうちの少なくともいずれかを適宜考慮してDRC処理を制御することを表す。

式（２０）により算出されるDRC_GainはDRC処理を制御するパラメータの総称であり、色味補正ゲイン（Gian_color）、コントラスト強調ゲイン（Gain_cont）、トーンカーブ制御ポイント座標（Pos_M）、トーンカーブ正側ゲイン（GainP）、およびトーンカーブ負側ゲイン（GainN）の５つの要素からなる。図４において演算処理部１８からコントラスト強調部４３に出力されるゲイン１がGain_contに相当し、演算処理部１８からRGB圧縮・色味補正処理部４６に出力されるゲイン２がGian_colorに相当する。

Gain_contは、コントラスト強調部４３により用いられるゲインであり、この値を調整することによって、コントラスト強調処理の強さを調整することができるようになされている。Gain_contの値が大きければ大きいほど、それは、コントラスト成分をより強く強調するように処理を行うことを表す。

Gain_colorは、RGB圧縮・色味補正処理部４６により用いられるゲインであり、この値を調整することによって、色味補正処理の強さを調整することができるようになされている。Gain_colorの値が大きければ大きいほど、それは、色味補正を強く、つまり、白飛びと黒つぶれ部分の色を強く再現するように処理を行うことを表す。

Pos_M、GainP、GainNは、演算処理部１８が階調圧縮部４４に設定するトーンカーブを調整するときに用いられる値である。調整の元になるトーンカーブの基本型は、例えば、入力画像Ｉのヒストグラムに応じて選択される。

図１７は、トーンカーブの例を示す図である。図１７の横軸は入力輝度を表し、縦軸は出力輝度を表す。

図１７に示されるように、Pos_Mは、トーンカーブと、点線で示されるｙ＝ｘの直線の交点Ｍの座標を表す。また、図１７の実線矢印に示されるように、GainPは、トーンカーブの正側（入力輝度を高輝度にする側）の幅を制御するゲインであり、GainNは、トーンカーブの負側（入力輝度を低輝度にする側）の幅を制御するゲインである。

階調圧縮部４４においては、Pos_M、GainP、GainNが用いられて演算処理部１８により調整されたトーンカーブに基づいて、入力画像Ｉの輝度のダイナミックレンジが圧縮される。

次に、特徴を用いてDRC_Gainを算出する具体的な方法について説明する。

（１）顔の明るさが暗い
まず、上式（２０）の右側に示される条件式を利用して、明るさの暗い顔が処理対象の画像に写っているどうかが判断される。条件式に含まれるRation_FaceBの値は、顔と認識された部分の輝度の平均の逆数であり、式（６）により求められる。Ration_FaceBの値が大きければ大きい程、顔が黒つぶれになる確率が高いことを表す。

この条件を満たす場合、演算処理部１８は、大きな値をGainPとして設定し、それに従って基本型のトーンカーブを調整する。これにより、図１７に示されるように、入力輝度のままでは黒つぶれになってしまう顔の輝度を上げることができ、顔が黒つぶれするのを防ぐことが可能になる。

式（２０）の上段の式は、明るさの暗い顔が処理対象の画像に写っていると判断された場合、明るさの暗い顔が写っているといった特徴を、他の特徴より優先的に利用して、暗く写っている顔の輝度を最適化するようにDRC処理を制御することを表す。この場合、他の特徴（ヒストグラムの型がＵ型になっているかどうか、画像の中央が暗いかどうか、空、暗いテキスチャー領域があること）はDRC処理の制御には考慮されない。

なお、逆光の条件下で撮影されたいろいろな画像を調べた結果、顔が黒つぶれになるときは、顔の色が薄くなっていることがわかった。従って、明るさの暗い顔が処理対象の画像にあると判断された場合、顔の色を濃くしてきれいな肌色に再現することができるように、Ration_FaceBの値が大きければ大きい程、RGB圧縮・色味補正処理部４６により行われる色味補正処理において用いられるGain_colorの値としてより大きな値が演算処理部１８により設定される。

（２）ヒストグラムの型がＵ型であるかどうか
図１８乃至図２０は、パターンマッチングによりヒストグラムの型がＵ型であると判断された場合のDRC処理の制御の例を示す図である。

図１８乃至図２０の左側に示されるヒストグラムは、それぞれ、図６のPTN１乃至PTN３として示されるヒストグラムと同じものであり、右側に示されるトーンカーブは、それぞれのパターンのヒストグラムに対応して調整された後のトーンカーブである。

上述したように、ヒストグラムの型がＵ型になる画像においては、高輝度と低輝度の画素の数が多く、中輝度の画素の数が少ない。図１９乃至図２０のヒストグラムを見るとわかるように、高輝度側（右側）と低輝度側（左側）は画素の数が多く、高輝度側から、または低輝度側から、中輝度にいくほど画素の数が少なくなる。

ヒストグラムの型がＵ型になる画像においては、空領域は中輝度の画素により構成される。空領域を構成する画素の輝度のヒストグラム上の場所は、撮影条件によって変わってくる。例えば、図１８の左側に示されるPTN１のヒストグラムにおいては、空領域を構成する画素の輝度の場所が中央より低輝度側（図２０のヒストグラムにおける空領域の場所を中央として左側）にあり、図１９の左側に示されるPTN２のヒストグラムにおいては、空領域を構成する画素の輝度の場所が中央にある。図２０の左側に示されるPTN３のヒストグラムにおいては、空領域を構成する画素の輝度の場所が中央より高輝度側（図２０のヒストグラムにおける空領域の場所を中央として右側）にある。

ヒストグラムの型がＵ型であることの特徴を利用してDRC処理を制御する方法は以下の通りとなる。

すなわち、演算処理部１８は、ヒストグラムにおいて空領域を構成する画素の輝度の場所が低輝度側にいくほど、交点Ｍの位置をｙ＝ｘの直線上で原点に近い方向に調整し、反対に、空領域が高輝度側にいくほど、交点Ｍの位置をｙ＝ｘの直線上で原点に遠い方向に調整するといったように、ヒストグラムから判断される空領域を構成する画素の輝度の場所に応じて、トーンカーブの交点Ｍの座標を調整する。

例えば、図１８に示されるヒストグラムにおいては、空領域を構成する画素の輝度の場所が中央より低輝度側にあるから、このような画像を対象としたDRC処理で用いられるトーンカーブの交点Ｍの座標は、白抜き矢印の先に示されるように、ｙ＝ｘの直線上で原点に近い方向の座標に調整される。

また、図２０に示されるヒストグラムにおいては、空領域を構成する画素の輝度の場所が中央より高輝度側にあるから、このような画像を対象としたDRC処理で用いられるトーンカーブの交点Ｍの座標は、白抜き矢印の先に示されるように、ｙ＝ｘの直線上で原点から遠い方向の座標に調整される。

（３）画像の中央が暗いかどうか
画像の中央が暗いかどうかの特徴を利用してDRC処理を制御する方法は以下の通りとなる。

すなわち、演算処理部１８は、上式（２０）の下段に含まれるRation_CenterBの値に応じて、トーンカーブの正側の幅を制御するゲインであるGainPを設定し、基本型のトーンカーブを調整する。Ration_CenterBは、画像に設定された中央エリアに含まれる暗い画素の比率を表す値であり、上式（４）により求められる。

演算処理部１８は、Ration_CenterBの値が大きければ大きいほど、大きな値をGainPとして設定する。逆に、演算処理部１８は、Ration_CenterBの値が０に近ければ近いほど、小さな値をGainPとして設定し、輝度の低い画素を、ｙ＝ｘ直線の方向により近い輝度の画素に変える。これにより、演算処理部１８は、DRC処理において、入力輝度と差が少ない輝度が出力輝度として出力されるようにすることができる。

（４）空の特徴
画像に含まれる空の特徴を利用してDRC処理を制御する方法は以下の通りとなる。

すなわち、演算処理部１８は、第１に、空の特徴と、ヒストグラムの型がＵ型であることと、画像の中央が暗いこととの３つの特徴を一緒に使い、例えば、画像に空が写っている確率を表すRation_Sky、入力画像Ｉのヒストグラムの型がＵ型になる可能性が高いことを表すHistU、入力画像Ｉの中央が暗い確率を表すRation_CenterBの値がそれぞれ閾値を超え、それぞれの条件を同時に満たす場合、処理対象の入力画像Ｉが外で逆光の条件下で撮影された画像であると判断し、GainPとGainNを大きくして、DRC処理で用いられるトーンカーブを調整する。

また、演算処理部１８は、第２に、図２１に示されるように、空の特徴と、ヒストグラムの型がＵ型であることと、画像の中央が暗いこととの３つの特徴などから、空が白飛びしている状態の画像が処理対象になっていると判断した場合、図２２に示されるように、GainNを大きくし、トーンカーブの負側の幅を大きくすることで、空の出力輝度を下げ、空の色をうまく再現することができるようにする。

具体的には、演算処理部１８は、空の特徴を検出するときに式（１０）などにより求めていた空の輝度が大きければ大きいほど、GainNの値としてより大きな値を設定する。

さらに、演算処理部１８は、輝度の調整だけではなく、空の色を濃くして正しく再現することができるように、空の輝度が大きければ大きいほど、Gain_colorの値として大きな値を設定し、RGB圧縮・色味補正処理部４６により行われる色味補正処理を制御する。

（５）暗いテキスチャー領域があること
画像に暗いテキスチャー領域が含まれるといった特徴を利用してDRC処理を制御する方法は以下の通りとなる。

すなわち、演算処理部１８は、上式（１９）により求められるRation_BTが閾値より高いことから、暗いテキスチャー領域があると判断した場合、GainPとGain_contの２つのパラメータを調整する。例えば、演算処理部１８は、Ration_BTの値が大きければ大きいほど、GainPとGain_contの値としてそれぞれ大きな値を設定する。

GainPの値として大きな値を設定し、トーンカーブの正側の幅を大きくすることで、演算処理部１８は、階調圧縮部４４により行われるDRC処理において、処理対象の画像に含まれる暗い部分（テキスチャー領域）の輝度を上げることができ、黒つぶれになる部分の視認性を向上させることができる。

また、演算処理部１８は、Gain_contの値として大きな値を設定することで、コントラスト強調部４３により行われるコントラスト強調処理を、高周波成分をより強く強調するものになるように制御することができる。結果として、本来、黒つぶれの状態になってしまうテキスチャー領域の輝度が上がる上、テキスチャー成分も強調され、可視性が向上されることになる。

このように、処理対象の画像に明るさの暗い顔が写っていないと判断された場合、式（２０）の下段の式に基づいて、ヒストグラムの型がＵ型になっているかどうか、画像の中央が暗いかどうか、空、暗いテキスチャー領域があることの少なくともいずれかが組み合わされ、DRC処理が制御される。式（２０）の下段のf(HistU,Ration_CenterB,Ration_sky,Ration_BT)はそのことを表している。

図２３は、以上のようにしてDRC処理の制御を行うビデオカメラ１の機能構成例を示すブロック図である。図２３に示す機能部のうちの少なくとも一部は、図４の演算処理部１８、OPD検波部３４により実現される。

図２３に示されるように、ビデオカメラ１においては輝度分布判断部１０１、中央領域明るさ判断部１０２、顔明るさ判断部１０３、空領域判断部１０４、テキスチャー領域判断部１０５、およびトーンカーブ設定部１０６が実現される。輝度分布判断部１０１、中央領域明るさ判断部１０２、顔明るさ判断部１０３、空領域判断部１０４、テキスチャー領域判断部１０５に対しては処理対象の画像が入力される。

輝度分布判断部１０１は、処理対象の画像のヒストグラムを算出し、パターンマッチングを行うなどして、そのヒストグラムの型がＵ型であるか否かを判断する。輝度分布判断部１０１は、処理対象の画像のヒストグラムのＵ型傾向を表すHistUを判断結果としてトーンカーブ設定部１０６に出力する。

中央領域明るさ判断部１０２は、処理対象の画像の中央部分が暗いか否かを、設定された中央エリアＡ₁に含まれる画素の数と、中央エリアＡ₁に含まれる画素のうちの輝度の低い画素の数などに基づいて判断する。中央領域明るさ判断部１０２は、中央エリアＡ₁に含まれる暗い画素の比率を表すRation_CenterBを判断結果としてトーンカーブ設定部１０６に出力する。

顔明るさ判断部１０３は、画像に写っている人の顔を検出し、検出した顔を構成する画素の輝度などに基づいて、人の顔が黒つぶれになるかどうかを判断する。顔明るさ判断部１０３は、人の顔が黒つぶれになる確率を表すRation_FaceBを判断結果としてトーンカーブ設定部１０６に出力する。

空領域判断部１０４は、空と思われる領域の画像中の場所や面積、その領域を構成する画素の色や輝度に基づいて、処理対象の画像に空が写っているかどうかを判断する。空領域判断部１０４は、画像に空が写っている確率を表すRation_Skyを判断結果としてトーンカーブ設定部１０６に出力する。

テキスチャー領域判断部１０５は、設定された検波エリアに含まれる画素の輝度、画像の周波数成分などに基づいて、暗いテキスチャー領域が処理対象の画像にあるかどうかを判断する。テキスチャー領域判断部１０５は、暗いテキスチャー領域がある確率を表すRation_BTを判断結果としてトーンカーブ設定部１０６に出力する。

トーンカーブ設定部１０６は、輝度分布判断部１０１、中央領域明るさ判断部１０２、顔明るさ判断部１０３、空領域判断部１０４、テキスチャー領域判断部１０５によるそれぞれの判断結果に基づいて、上式（２０）に従ってトーンカーブの調整を行い、調整したトーンカーブを階調圧縮部４４に設定する。また、トーンカーブ設定部１０６は、適宜、コントラスト強調部４３、RGB圧縮・色味補正処理部４６にゲインを設定し、コントラスト強調部４３とRGB圧縮・色味補正処理部４６において行われる処理を制御する。

次に、図２４のフローチャートを参照して、ビデオカメラ１により行われる一連のDRC処理について説明する。

ステップＳ１において、輝度分布判断部１０１は、処理対象の画像のヒストグラムを算出し、そのヒストグラムの型がＵ型であるか否かを判断する。輝度分布判断部１０１は、処理対象の画像のヒストグラムのＵ型傾向を表すHistUを判断結果としてトーンカーブ設定部１０６に出力する。

ステップＳ２において、中央領域明るさ判断部１０２は、処理対象の画像の中央部分が暗いか否かを判断する。中央領域明るさ判断部１０２は、中央エリアに含まれる暗い画素の比率を表すRation_CenterBを判断結果としてトーンカーブ設定部１０６に出力する。

ステップＳ３において、顔明るさ判断部１０３は、画像に写っている人の顔を検出し、検出した顔が黒つぶれになるかどうかを判断する。顔明るさ判断部１０３は、人の顔が黒つぶれになる確率を表すRation_FaceBを判断結果としてトーンカーブ設定部１０６に出力する。

ステップＳ４において、空領域判断部１０４は、処理対象の画像に空が写っているかどうかを判断する。空領域判断部１０４は、画像に空が写っている確率を表すRation_Skyを判断結果としてトーンカーブ設定部１０６に出力する。

ステップＳ５において、テキスチャー領域判断部１０５は、処理対象の画像に暗いテキスチャー領域があるかどうかを判断する。テキスチャー領域判断部１０５は、暗いテキスチャー領域がある確率を表すRation_BTを判断結果としてトーンカーブ設定部１０６に出力する。

ステップＳ６において、トーンカーブ設定部１０６は、輝度分布判断部１０１、中央領域明るさ判断部１０２、顔明るさ判断部１０３、空領域判断部１０４、テキスチャー領域判断部１０５によるそれぞれの判断結果に基づいて、上式（２０）に従ってトーンカーブの調整を行い、調整したトーンカーブを階調圧縮部４４に設定する。

ステップＳ７において、階調圧縮部４４は、トーンカーブ設定部１０６により設定されたトーンカーブに従ってDRC処理を行い、DRC処理を施して得られた画像を出力し、処理を終了させる。

その後、DRC処理により得られた信号などに基づいてRGB圧縮処理や色味補正処理がRGB圧縮・色味補正処理部４６により行われ、RGB圧縮処理や色味補正処理により得られた信号に対して、ダイナミックレンジ圧縮処理部３２の後段に設けられる各部で各種の処理が施される。

以上においては、上述したようなDRC処理がビデオカメラ１において行われる場合について説明したが、デジタルスチルカメラやカメラ機能付き携帯電話機などの、撮影機能を有する各種の機器において行われるようにしてもよい。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

インストールされる実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアに記録して、あるいは、ローカルエリアネットワーク、インターネット、ディジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明の一実施形態に係るビデオカメラの構成例を示すブロック図である。 DRC処理前の輝度のヒストグラムの例を示す図である。 DRC処理後の輝度のヒストグラムの例を示す図である。 DRC処理を行うビデオカメラの構成を示すブロック図である。パターンマッチングについて示す図である。パターンヒストグラムの例を示す図である。画像の例を示す図である。中央エリアの例を示す図である。 DRC処理の効果について示す図である。 DRC処理の効果について示す他の図である。画像の他の例を示す図である。空検波エリアの例を示す図である。色空間の例を示す図である。画像のさらに他の例を示す図である。検波エリアの例を示す図である。テキスチャー領域の検出を行う構成を示すブロック図である。トーンカーブの例を示す図である。トーンカーブの調整の例を示す図である。トーンカーブの調整の他の例を示す図である。トーンカーブの調整のさらに他の例を示す図である。画像のさらに他の例を示す図である。トーンカーブの調整の例を示す図である。ビデオカメラの機能構成例を示すブロック図である。ビデオカメラのDRC処理について説明するフローチャートである。

符号の説明

１ビデオカメラ，１８演算処理部，３２ダイナミックレンジ圧縮処理部，３４ OPD検波部，４４階調圧縮部，１０１輝度分布判断部，１０２中央領域明るさ判断部，１０３顔明るさ判断部，１０４空領域判断部，１０５テキスチャー領域判断部，１０６トーンカーブ設定部

Claims

処理対象の画像に高輝度の被写体と低輝度の被写体が写っているか否かを前記画像を構成する画素の輝度の分布に基づいて判断する輝度分布判断手段と、
前記画像の中央を含む一部の領域を構成する画素の輝度に基づいて、前記一部の領域に写る被写体の明るさを判断する中央領域明るさ判断手段と、
前記画像に被写体として写る人の顔を検出し、検出した顔を構成する画素の輝度に基づいて、前記顔の明るさを判断する顔明るさ判断手段と、
前記画像に空が写っているか否かを、空と考えられる領域の前記画像中の位置、空と考えられる領域の色、空と考えられる領域を構成する画素の輝度、空と考えられる領域の面積の少なくともいずれかに基づいて判断する空判断手段と、
前記画像を構成する画素の輝度と、前記画像の周波数成分に基づいて、暗く、高周波成分を多く含む領域が前記画像中にあるか否かを判断するテキスチャー領域判断手段と、
前記輝度分布判断手段による判断結果、前記中央領域明るさ判断手段による判断結果、前記顔明るさ判断手段による判断結果、前記空判断手段による判断結果、および、前記テキスチャー領域判断手段による判断結果のうちの少なくともいずれかの判断結果に基づいて、前記画像の輝度のダイナミックレンジを圧縮するときに用いられる、圧縮の程度を規定するトーンカーブを設定する設定手段と、
前記画像の輝度のダイナミックレンジを、前記設定手段により設定された前記トーンカーブに従って圧縮する圧縮手段と
を備える画像処理装置。
前記画像に被写体として写る人の顔が閾値としての明るさより暗くなっている確率が高いと前記顔明るさ判断手段により判断された場合、
前記設定手段は、前記顔明るさ判断手段による判断結果以外の判断結果を考慮せずに、前記画像を構成する画素の輝度を上げるようにトーンカーブを設定する
請求項１に記載の画像処理装置。
処理対象の画像に高輝度の被写体と低輝度の被写体が写っているか否かを前記画像の輝度の分布に基づいて判断し、
前記画像の中央を含む一部の領域を構成する画素の輝度に基づいて、前記一部の領域に写る被写体の明るさを判断し、
前記画像に被写体として写る人の顔を検出し、検出した顔を構成する画素の輝度に基づいて、前記顔の明るさを判断し、
前記画像に空が写っているか否かを、空と考えられる領域の前記画像中の位置、空と考えられる領域の色、空と考えられる領域を構成する画素の輝度、空と考えられる領域の面積の少なくともいずれかに基づいて判断し、
前記画像を構成する画素の輝度と、前記画像の周波数成分に基づいて、暗く、高周波成分を多く含む領域が前記画像中にあるか否かを判断し、
前記処理対象の画像に高輝度の被写体と低輝度の被写体が写っているか否かの判断結果、前記一部の領域に写る被写体の明るさの判断結果、前記顔の明るさの判断結果、前記画像に空が写っているか否かの判断結果、および、暗く、高周波成分を多く含む領域が前記画像中にあるか否かの判断結果のうちの少なくともいずれかの判断結果に基づいて、前記画像の輝度のダイナミックレンジを圧縮するときに用いられる、圧縮の程度を規定するトーンカーブを設定し、
前記画像の輝度のダイナミックレンジを、設定した前記トーンカーブに従って圧縮する
ステップを含む画像処理方法。
処理対象の画像に高輝度の被写体と低輝度の被写体が写っているか否かを前記画像の輝度の分布に基づいて判断し、
前記画像の中央を含む一部の領域を構成する画素の輝度に基づいて、前記一部の領域に写る被写体の明るさを判断し、
前記画像に被写体として写る人の顔を検出し、検出した顔を構成する画素の輝度に基づいて、前記顔の明るさを判断し、
前記画像に空が写っているか否かを、空と考えられる領域の前記画像中の位置、空と考えられる領域の色、空と考えられる領域を構成する画素の輝度、空と考えられる領域の面積の少なくともいずれかに基づいて判断し、
前記画像を構成する画素の輝度と、前記画像の周波数成分に基づいて、暗く、高周波成分を多く含む領域が前記画像中にあるか否かを判断し、
前記処理対象の画像に高輝度の被写体と低輝度の被写体が写っているか否かの判断結果、前記一部の領域に写る被写体の明るさの判断結果、前記顔の明るさの判断結果、前記画像に空が写っているか否かの判断結果、および、暗く、高周波成分を多く含む領域が前記画像中にあるか否かの判断結果のうちの少なくともいずれかの判断結果に基づいて、前記画像の輝度のダイナミックレンジを圧縮するときに用いられる、圧縮の程度を規定するトーンカーブを設定し、
前記画像の輝度のダイナミックレンジを、設定した前記トーンカーブに従って圧縮する
ステップを含む処理をコンピュータに実行させるプログラム。