JP2008085634A - 撮像装置及び画像処理方法 - Google Patents

Abstract

【課題】露出の異なる複数枚の画像を撮影したり、画像のエントロピーを計算することなく、演算処理時間の短縮化及び低コスト化を図りつつ、画像各部に露出の偏りのない全体が適正な露出状態とされた高画質な画像を得る。
【解決手段】１つの基画像を複数の部分領域に分割する画像分割手段と、画像分割手段により分割された部分領域毎に該部分領域画像の特徴量を算出する特徴量算出手段と、特徴量算出手段により算出された特徴量に基づいて、部分領域画像毎に明度に関する補正量である部分領域補正量を算出する部分領域補正量算出手段と、部分領域補正量算出手段により算出された部分領域補正量に基づいて、基画像の各画素値に対する補正量である画素補正量を算出する画素補正量算出手段と、画素補正量算出手段により算出された画素補正量に基づいて、基画像の各画素値を補正する画像補正手段とを備える。
【選択図】図３

Description

本発明は、撮影画像の各部の露出を適正化することが可能な撮像装置及び画像処理方法に関するものである。

従来、デジタルカメラ等の撮像装置による撮影に際して、撮影シーンの明るさが大きく変化するような場合に、シャッタースピード等に拘わらず、撮影画像に露出の偏り、すなわち撮影画像中に露出オーバー或いは露出アンダーの部分が生じてしまうことがある。

これに関し、例えば非特許文献１には、異なる露出（例えばシャッタースピード）で複数回撮影することで露出（露光量）の異なる複数枚の画像を取得し、これら複数枚の画像から、当該画像各部の露出が補正された１枚の画像を生成する方法が知られている（例えばＧｏｓｈｔａｓｂｙの手法；非特許文献１参照）。この方法においては、図１１に示すように、露出の異なる複数枚例えば画像ａ〜ｄの４枚の撮影画像を所定数例えば１６個のブロックに分割して各ブロックの画像（ブロック画像という）のエントロピーを求めておき、各撮影画像における同じ位置のブロック、例えばブロック８０１〜８０４における４つのブロック画像同士でこのエントロピーを比較して、最もエントロピー（情報量；平均情報量）が高いブロック画像を選択する。当該選択したものが後述の画像ｅにおけるブロック８０５の画像である。他のブロック領域についても同様に４つのブロック画像から最もエントロピーが高いブロック画像を選択する。このようにして選択した各位置のブロック画像（それぞれエントロピーが最大）を合体して１枚の画像ｅを作成する。しかしながら、このままでは画像ｅは各ブロック領域の明るさ（輝度）が異なる、換言すれば各ブロック画像の繋ぎ目が不自然である所謂モザイク状の画像となっているため、さらに画像ｅに対してＬＰＦ（Low Pass Filter）等を用いて当該不自然な継ぎ目を無くすよう、所謂ぼかす処理（以降、ブレンド又はブレンド処理という）を施すことにより、自然な１枚の画像ｅ’にする。
Ａ．Ｇｏｓｈｔａｓｂｙ，"Ｆｕｓｉｏｎ ｏｆ Ｍｕｌｔｉ−Ｅｘｐｏｓｕｒｅ Ｉｍａｇｅｓ"，Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ，ｖｏｌ．２３，２００５，ｐｐ．６１１−６１８

しかしながら、上記従来の方法には以下（１）〜（３）の問題がある。
（１）露出の異なる複数枚の画像を撮影するのに時間がかかる。また、当該複数枚の画像間に被写体ブレが発生することがあり、これらから作成される画像の画質低下を招く。
（２）複数枚の画像を記憶する必要があるため、容量が大きなメモリが必要となり、コストアップとなる。
（３）画像のエントロピーを求めるために、ヒストグラム計算や対数演算が必要となるので、演算処理が複雑となり、プログラムや回路規模が大きくなりコストアップとなる。

なお、一枚の画像から、模擬的な、露出の異なる複数枚の画像を生成し、上記Ｇｏｓｈｔａｓｂｙの手法と同様にエントロピー計算、ブレンド処理を行う技術が知られているが、この場合、上記（１）の問題は生じないものの、上記（２）、（３）の問題は依然として残る。

本発明は、上記事情に鑑みてなされたもので、露出の異なる複数枚の画像を撮影したり、画像のエントロピーを計算することなく、演算処理時間の短縮化、及びメモリやプログラム、回路規模の大型化を抑えることによる低コスト化を図りつつ、画像各部に露出の偏りがなく、全体が適正な露出状態（明度）とされた高画質な画像を得ることができる撮像装置及び画像処理方法を提供することを目的とする。

本発明に係る撮像装置は、１つの基画像を複数の部分領域に分割する画像分割手段と、前記画像分割手段により分割された部分領域毎に該部分領域画像の特徴量を算出する特徴量算出手段と、前記特徴量算出手段により算出された特徴量に基づいて、前記部分領域画像毎に明度に関する補正量である部分領域補正量を算出する部分領域補正量算出手段と、前記部分領域補正量算出手段により算出された部分領域補正量に基づいて、前記基画像の各画素値に対する補正量である画素補正量を算出する画素補正量算出手段と、前記画素補正量算出手段により算出された画素補正量に基づいて、前記基画像の各画素値を補正する画像補正手段とを備えることを特徴とする。

上記構成によれば、画像分割手段によって１つの基画像が複数の部分領域に分割され、特徴量算出手段によって、画像分割手段により分割された部分領域毎に該部分領域画像の特徴量が算出される。また、部分領域補正量算出手段によって、特徴量算出手段により算出された特徴量に基づいて、部分領域画像毎に、明度に関する補正量である部分領域補正量が算出される。そして、画素補正量算出手段によって、部分領域補正量算出手段により算出された部分領域補正量に基づいて、基画像の各画素値に対する補正量である画素補正量が算出され、画像補正手段によって、画素補正量算出手段により算出された画素補正量に基づいて、基画像の各画素値が補正される。

また、上記構成において、前記画素補正量算出手段は、前記各部分領域の部分領域補正量に対して、前記基画像の所定の画素位置から前記部分領域画像内の所定の基準位置までの距離に応じた重みを用いて重み付けしてなる値を、該基画像における少なくとも前記所定の画素近傍の部分領域について積算することにより前記画素補正量を算出することが好ましい。（請求項２）

これによれば、画素補正量算出手段によって、各部分領域の部分領域補正量に対して、基画像の所定の画素位置から部分領域画像内の所定の基準位置までの距離に応じた重みを用いて重み付けしてなる値が、該基画像における少なくとも当該所定の画素近傍の部分領域について積算されることにより画素補正量が算出される。

また、上記構成において、前記特徴量算出手段は、前記部分領域画像における画素値の平均値、最小値、最大値、及び該部分領域画像の画素値分布の中央値のうちのいずれかを前記特徴量として算出することが好ましい。（請求項３）

これによれば、特徴量算出手段によって、部分領域画像における画素値の平均値、最小値、最大値、及び該部分領域画像の画素値分布の中央値のうちのいずれかが特徴量として算出される。

また、上記構成において、前記部分領域補正量算出手段は、前記各部分領域画像の明度に応じて補正するべく該各部分領域画像の特徴量を所定の目標値に変換するためのゲインを、前記部分領域補正量として算出することが好ましい。（請求項４）

これによれば、部分領域補正量算出手段によって、各部分領域画像の明度に応じて補正するべく該各部分領域画像の特徴量を所定の目標値に変換するためのゲインが、部分領域補正量として算出される。

また、上記構成において、前記部分領域補正量算出手段は、前記各部分領域画像の明度に応じて補正するべく該各部分領域画像の特徴量を所定の目標値に変換するためのオフセットを、前記部分領域補正量として算出することが好ましい。（請求項５）

これによれば、部分領域補正量算出手段によって、各部分領域画像の明度に応じて補正するべく該各部分領域画像の特徴量を所定の目標値に変換するためのオフセットが、部分領域補正量として算出される。

また、上記構成において、前記特徴量を所定の目標値に変換するための変換特性は、前記基画像の暗部が明るくなるよう持ち上げられて且つ明部の変化が抑えられた変換であることが好ましい。（請求項６）

これによれば、特徴量を所定の目標値に変換するための変換特性が、基画像の暗部が明るくなるよう持ち上げられて（暗部の明度或いは輝度が高められて）且つ明部の変化が抑えられた（明部の明度や輝度の変化が抑えられた）変換とされる。

また、上記構成において、入射光量に対して電気信号が線形的に変換されて出力される線形特性と、入射光量に対して電気信号が対数的に変換されて出力される対数特性とからなる光電変換特性を有し、撮影により線形／対数画像を得ることが可能に構成された撮像手段と、前記撮像手段により得られる線形／対数画像に対して、該線形／対数画像における対数画像を線形画像に変換して画像全体を線形特性に統一する処理を行う変換処理手段とをさらに備え、前記画像分割手段は、前記線形／対数画像が前記変換処理手段により線形特性に統一されてなる前記基画像としての統一線形画像を前記複数の部分領域に分割することが好ましい。（請求項７）

これによれば、撮像手段が、入射光量に対して電気信号が線形的に変換されて出力される線形特性と、入射光量に対して電気信号が対数的に変換されて出力される対数特性とからなる光電変換特性を有し、撮影により線形／対数画像を得ることが可能とされ、また、変換処理手段によって、撮像手段により得られる線形／対数画像に対して、該線形／対数画像における対数画像を線形画像に変換して画像全体を線形特性に統一する処理が行われる。そして、画像分割手段によって、線形／対数画像が変換処理手段により線形特性に統一されてなる基画像としての統一線形画像が複数の部分領域に分割される。

また、上記構成において、前記部分領域補正量算出手段は、前記部分領域補正量を前記基画像の各画素値に乗算又は加算した値が所定の画素値を超えないように該部分領域補正量を算出することが好ましい。（請求項８）

これによれば、部分領域補正量算出手段によって、部分領域補正量を基画像の各画素値に乗算又は加算した値が所定の画素値を超えないように該部分領域補正量が算出される。

また、本発明に係る画像処理方法によれば、１つの基画像を画像分割手段により複数の部分領域に分割する第１の工程と、前記画像分割手段により分割された部分領域毎に該部分領域画像の特徴量を特徴量算出手段により算出する第２の工程と、前記特徴量算出手段により算出された特徴量に基づいて、前記部分領域画像毎に明度に関する補正量である部分領域補正量を部分領域補正量算出手段により算出する第３の工程と、前記部分領域補正量算出手段により算出された部分領域補正量に基づいて、前記基画像の各画素値に対する補正量である画素補正量を画素補正量算出手段により算出する第４の工程と、前記画素補正量算出手段により算出された画素補正量に基づいて、前記基画像の各画素値を画像補正手段により補正する第５の工程とを有することを特徴とする。（請求項９）

これによれば、第１の工程において、１つの基画像が画像分割手段により複数の部分領域に分割され、第２の工程において、画像分割手段により分割された部分領域毎に該部分領域画像の特徴量が特徴量算出手段により算出される。また、第３の工程において、特徴量算出手段により算出された特徴量に基づいて、部分領域画像毎に明度に関する補正量である部分領域補正量が部分領域補正量算出手段により算出される。そして、第４の工程において、部分領域補正量算出手段により算出された部分領域補正量に基づいて、基画像の各画素値に対する補正量である画素補正量が画素補正量算出手段により算出され、第５の工程において、画素補正量算出手段により算出された画素補正量に基づいて、基画像の各画素値が画像補正手段により補正される。

また、上記構成において、前記第４の工程は、前記画素補正量算出手段によって、前記各部分領域の部分領域補正量に対して、前記基画像の所定の画素位置から前記部分領域画像内の所定の基準位置までの距離に応じた重みを用いて重み付けしてなる値を、該基画像における少なくとも前記所定の画素近傍の部分領域について積算することにより前記画素補正量を算出する工程であることが好ましい。（請求項１０）

これによれば、第４の工程において、画素補正量算出手段によって、各部分領域の部分領域補正量に対して、基画像の所定の画素位置から部分領域画像内の所定の基準位置までの距離に応じた重みを用いて重み付けされてなる値が、該基画像における少なくとも当該所定の画素近傍の部分領域について積算されることにより画素補正量が算出される。

請求項１に係る撮像装置によれば、１つの基画像が複数の部分領域に分割され、この部分領域毎に特徴量が算出される。また、この特徴量に基づいて部分領域画像毎に明度に関する部分領域補正量が算出される。そして、この部分領域補正量に基づいて基画像の各画素値に対する画素補正量が算出され、この画素補正量に基づいて基画像の各画素値が補正されるすなわち基画像全体が補正されるので、露出の異なる複数枚の画像を撮影したり、画像のエントロピーを計算する必要がなく、演算処理時間の短縮化、及び、複数枚の画像を記憶するためのメモリ（メモリ使用量）やエントロピーを計算するためのプログラムや回路規模の大型化を抑えることによる低コスト化を図りつつ、画像各部に露出（明度）の偏りがなく、全体が適正な露出状態（明度）とされた高画質な画像を得ることができる。

請求項２に係る撮像装置によれば、基画像の所定の画素位置から部分領域画像内の所定の基準位置までの距離に応じた重みによって部分領域補正量に重み付けがなされ、この重み付けされた部分領域補正量が基画像における少なくとも当該所定の画素近傍の部分領域について積算されたものが画素補正量とされるので、各部分領域画像間の露出（明度）の差違をなくす所謂ブレンド処理に用いる画素補正量を、容易な方法で且つ精度良く求めることができる。

請求項３に係る撮像装置によれば、部分領域画像における画素値（すなわち輝度値）の平均値、最小値、最大値、及び部分領域画像の画素値分布の中央値のうちのいずれかが特徴量として算出される構成であるので、各部分領域画像の特徴量を容易に得ることができる。

請求項４に係る撮像装置によれば、各部分領域画像の部分領域補正量としてゲインが算出されるので、部分領域補正量を容易に求めることができる。

請求項５に係る撮像装置によれば、各部分領域画像の部分領域補正量としてオフセットが算出されるので、部分領域補正量を容易に求めることができる。

請求項６に係る撮像装置によれば、特徴量を所定の目標値に変換するための変換特性が、基画像の暗部が明るくなるよう持ち上げられて且つ明部の変化が抑えられた変換とされるので、この変換特性を用いて、すなわちこの変換特性から得られる部分領域補正量を用いて、基画像の暗部が明るくなるよう持ち上げられて且つ明部の変化が抑えられた状態となるような基画像各部の露出の適正化を容易に行うことができる。なお、このように変換特性に基づいて露出の適正化が行える構成であるので、変換特性を任意に設定することによる、どのように露出の適正化を行うかといった露出適正化方法の自由度が高くなる。

請求項７に係る撮像装置によれば、撮像手段により得られた線形／対数画像が変換処理手段によって統一線形画像に変換され、これが（画像分割手段により分割される）基画像として用いられる構成であるので、撮像手段が、撮影によって線形／対数画像が得られるようなもの（つまりここでの線形特性及び対数特性からなる光電変換特性を有する撮像手段；例えばリニアログセンサ）である場合でも、当該得られた線形／対数画像を統一線形画像に変換して、一般的な撮像手段により得られる線形画像の場合と同様に露出適正化を行うことが可能となる。

請求項８に係る撮像装置によれば、部分領域補正量が、該部分領域補正量を基画像の各画素値に乗算又は加算した値が所定の画素値を超えないような値とされるので、この所定の画素値を例えば画素値の最大値と設定するなどして、基画像の明部すなわち明度が特に高い領域において、露出適正化処理によって出力画素値（輝度値）がオーバーフロー（飽和）してしまうことを防止或いは緩和することができる。

請求項９に係る画像処理方法によれば、１つの基画像が複数の部分領域に分割され、この部分領域毎に特徴量が算出される。また、この特徴量に基づいて部分領域画像毎に明度に関する部分領域補正量が算出される。そして、この部分領域補正量に基づいて基画像の各画素値に対する画素補正量が算出され、この画素補正量に基づいて基画像の各画素値が補正されるすなわち基画像全体が補正されるので、露出の異なる複数枚の画像を撮影したり、画像のエントロピーを計算する必要がなく、演算処理時間の短縮化、及び、複数枚の画像を記憶するためのメモリ（メモリ使用量）やエントロピーを計算するためのプログラムや回路規模の大型化を抑えることによる低コスト化を図りつつ、画像各部に露出（明度）の偏りがなく、全体が適正な露出状態（明度）とされた高画質な画像を得ることができる。

請求項１０に係る画像処理方法によれば、基画像の所定の画素位置から部分領域画像内の所定の基準位置までの距離に応じた重みによって部分領域補正量に重み付けがなされ、この重み付けされた部分領域補正量が基画像における少なくとも当該所定の画素近傍の部分領域について積算されたものが画素補正量とされるので、各部分領域画像間の露出（明度）の差違をなくす所謂ブレンド処理に用いる画素補正量を、容易な方法で且つ精度良く求めることができる。

（実施形態１）
図１は、第１の実施形態に係る撮像装置の一例であるデジタルカメラの主に撮像処理に関する概略的なブロック構成図を示す。図１に示すようにデジタルカメラ１は、レンズ部２、撮像センサ３、アンプ４、Ａ／Ｄ変換部５、画像処理部６、画像メモリ７、制御部８、モニタ部９及び操作部１０を備えている。

レンズ部２は、被写体光（光像）を取り込むレンズ窓として機能するとともに、この被写体光をカメラ本体の内部に配置されている撮像センサ３へ導くための光学レンズ系（被写体光の光軸Ｌに沿って直列的に配置される例えばズームレンズやフォーカスレンズ、その他の固定レンズブロック）を構成するものである。レンズ部２は、当該レンズの透過光量を調節するための絞りやシャッタ（いずれも図示省略）を備えており、制御部８によりこの絞りやシャッタの駆動制御がなされる構成となっている。

撮像センサ３は、レンズ部２において結像された被写体光像の光量に応じ、Ｒ、Ｇ、Ｂ各成分の画像信号に光電変換して後段のアンプ４へ出力するものである。本実施形態では、この撮像センサ３は、後述のリニアログセンサに対して、一般的なデジタルカメラが備えるリニアセンサ、すなわち１種類の線形特性からなる光電変換特性を有する撮像センサとなっている。なお、デジタルカメラ１は動画撮影が可能に構成されていてもよく、この場合、撮像センサ３により撮影された動画における１フレームの画像（静止画像）を使用すればよい。なお、この一般的なリニアセンサによる撮像により得られる画像のことを、後述のリニアログセンサの場合の「線形／対数画像」というのに対して、「線形画像」という。

アンプ４は、撮像センサ３から出力された画像（映像）信号を増幅するものであり、例えばＡＧＣ（オートゲインコントロール）回路を備え、当該出力信号のゲイン（増幅率）調整を行う。アンプ４は、ＡＧＣ回路の他、アナログ値としての当該画像信号のサンプリングノイズの低減を行うＣＤＳ（相関二重サンプリング）回路を備えていてもよい。なお、ＡＧＣ回路に対するゲイン値は制御部８によって設定される。

Ａ／Ｄ変換部５は、アンプ４にて増幅されたアナログ値の画像信号（アナログ信号）をデジタル値の画像信号（デジタル信号）に変換するものであり、撮像センサ３の各画素で受光して得られる画素信号をそれぞれ例えば１２ビットの画素データに変換する。

画像処理部６は、Ａ／Ｄ変換部５によるＡ／Ｄ変換処理によって得られた画像信号に対する各種画像処理（デジタル信号処理）を行うものである。本実施形態では、画像処理部６におけるダイナミックレンジ圧縮（ＤＲ圧縮）処理或いは露出適正化処理に主たる特徴点がある。画像処理部６におけるこの特徴点に関する処理を含む各種画像処理については後に詳述する。

画像メモリ７は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等のメモリからなり、画像処理部６での画像処理を終えた画像データを保存するものである。画像メモリ７は、例えば撮影よる所定フレーム分の画像データを記憶し得る容量を有したものとなっている。

制御部８は、各制御プログラム等を記憶するＲＯＭ、一時的にデータを格納するＲＡＭ、及び制御プログラム等をＲＯＭから読み出して実行する（中央演算処理装置：ＣＰＵ）等からなり、デジタルカメラ１全体の動作制御を司るものである。制御部８は、撮像センサ３や画像処理部６或いは操作部１０等の装置各部からの各種信号に基づき、装置各部が必要とする各種制御パラメータ等を算出し、これを送信することで各部の動作を制御する。具体的には、制御部８は、撮像センサ３で撮影された画像信号から、自動露出制御（ＡＥ制御）、自動焦点制御（ＡＦ制御）或いはホワイトバランス（ＷＢ）処理等を行うに際してのベースとなる評価値（制御パラメータ）、すなわちＡＥ評価値、ＡＦ評価値、ＷＢ評価値等を算出する。制御部８は、これら評価値を用いて、タイミング生成部（タイミングジェネレータ）や駆動部（いずれも図示省略）を介して、撮像センサ３やレンズ部２（絞りやシャッタ）に対する撮像動作制御やズーム・フォーカス駆動制御を行ったり、画像処理部６に対する画像処理制御を行う。なお、制御部８は、モニタ部９への表示制御や画像メモリ７に対する画像信号の入出力制御なども行う。

モニタ部９は、撮像センサ３で撮影された画像（画像メモリ７に保存されていた画像）等のモニタ表示を行うものである。モニタ部９は、具体的には、例えばカメラ背面に配設されたカラー液晶表示素子からなる液晶表示器（ＬＣＤ；Liquid Crystal Display）、或いは接眼部を構成する電子ビューファインダ（ＥＶＦ；Electronic View Finder）等からなる。

操作部１０は、デジタルカメラ１に対するユーザによる操作指示（指示入力）を行うものであり、例えば電源スイッチ、レリーズスイッチ、或いは各種撮影モードを設定するモード設定スイッチ、ニュー選択スイッチ等の各種の操作スイッチ（ボタン）群からなる。例えばレリーズスイッチが押下（オン）されることで、撮影動作、すなわち撮像センサ３により被写体が撮像され、この撮像により得られた画像データに対して所定の画像処理が施された後、画像メモリ７等に記録されるといった一連の動作が実行される。

ここで、画像処理部６の構成及び動作の詳細について説明する。図２は、画像処理部６の一回路構成例を示す機能ブロック図である。同図に示すように画像処理部６は、基本処理部６１、ＷＢ補正部６２、ＤＲ圧縮部６３、色補間部６４、色補正部６５、γ補正部６６、色空間変換部６７及びノイズ処理部６８を備えている。

基本処理部６１は、後段の画像処理に対して基本となる画像処理、ここでは黒基準補正処理及びＦＰＮ補正処理を行うものである。黒基準補正処理は、Ａ／Ｄ変換部５から入力されるデジタル画像信号の黒レベル（暗黒時の画像信号レベル）を基準の値に補正する処理である。すなわちＡ／Ｄ変換部５から入力される画像信号レベルをＳＤ１とし、暗黒時の画像信号レベルをＳＤ２とするときに、ＳＤ１−ＳＤ２の演算を行う。

ＦＰＮ補正処理は、黒基準補正処理により得られた信号の固定パターンノイズ（ＦＰＮ；Fixed Pattern Noise）を除去する処理である。固定パターンノイズは、撮像センサ３の各画素回路の閾値バラツキ等が要因となって生じる、各画素が発生する画像信号の出力値のバラツキに起因するノイズである。

ＷＢ補正部６２は、入力画像に対するＷＢ補正、すなわち被写体光源の色温度変化によって生じる白色変化に伴う色バランス補正を行うものである。ＷＢ補正部６２は、制御部８から与えられるＷＢ評価値に基づいて、画像信号の色バランスが所定の色バランスになるよう各色成分Ｒ、Ｇ、Ｂの各画素データのレベルを変換する補正を行う。

ＤＲ圧縮部６３は、例えば入力画像が表示系（モニタ等）のダイナミックレンジに収まるようにするべく、入力画像のダイナミックレンジ（ＤＲ）を圧縮する処理（ＤＲ圧縮処理）を行うものである。本実施形態では、このＤＲ圧縮処理において画像各部の露出の適正化を行う。この画像各部の露出を適正化する処理のことを露出適正化処理という（本実施形態の露出適正化処理を行うことで実質的にＤＲ圧縮処理も行っていることになる）。ＤＲ圧縮部６３におけるこのＤＲ圧縮処理（露出適正化処理）については後に詳述する。なお、このＤＲ圧縮部６３は後述するγ補正部６６よりも前段に設けられているのであれば何れの位置でもよい。本実施形態では、メモリ容量が少なくて済むことから、色補間（ベイヤー補間）を行う前、すなわち色補間部６４の前段にＤＲ圧縮部６３を設けている。

色補間部（ベイヤー補間部）６４は、入力される画像信号の各色成分Ｒ、Ｇ、Ｂ毎に、フレーム画像の不足する画素位置のデータを補間する色補間処理を行うものである。すなわち、撮像センサ３のカラーフィルタ構造は、例えばＧが市松状でＲ、Ｂが線順次配列（以降、Ｇ市松ＲＢ線順次配列という）された所謂ベイヤー方式が採用されており、この関係上、色情報が不足していることから、色補間部６４は実在する複数の画素データを用いて実在しない画素位置の画素データを補間する。

色補正部６５は、色補間部６４から入力される色成分Ｒ、Ｇ、Ｂの画像信号の色合い（色バランス；彩度）を補正する色補正処理を行うものである。色補正部６５は、色成分ＲＧＢの各画像信号のレベル比を変換する３種類の変換係数を有し、撮影シーンに応じた変換係数で該レベル比を変換して画像データの色合いを補正する。

γ補正部６６は、入力画像に対し、所定のガンマ特性を用いて非線形変換するガンマ補正処理を行うものである。具体的には、γ補正部６６は、入力される色成分ＲＧＢの各画像信号が適切な出力レベルになるよう、画像信号のレベルを各色成分毎に、モニタ部９や外部出力されるモニターテレビ等の表示メディア（表示媒体）の表示特性（階調特性；非線形表示特性；γカーブ）に応じて、所定のガンマ補正テーブル（ガンマ補正用ＬＵＴ）を用いて非線形補正を行う。ガンマ補正テーブルは、表示メディアの表示特性に応じたものが例えばγ補正部６６内に予め記憶されている。

色空間変換部６７は、入力画像データにおけるＲＧＢ、すなわち赤、緑、青の３色の階調により表現するＲＧＢ表示系から、輝度（Ｙ）と青の色差（Ｃｂ）及び赤の色差（Ｃｒ）により表現するＹＣｂＣｒ表示系（ＹＣＣ表示系）へ色空間変換する色空間変換処理を行うものである。

ノイズ処理部６８は、入力される画像信号のノイズ成分を除去するノイズ除去処理を行うものである。ノイズ処理部６８は、例えばコアリング係数を用いたコアリング処理を行うことで、適正なノイズ除去処理を行う。

ここで、ＤＲ圧縮部６３の構成及び動作の詳細について説明する。図３は、ＤＲ圧縮部６３の一回路構成例を示す機能ブロック図である。同図に示すようにＤＲ圧縮部６３は、ブロック値計算部６３１、ブロックゲイン計算部６３２、ブレンドゲイン計算部６３３及び乗算部６３４を備えている。ブロック平均計算部６３１は、ＤＲ圧縮部６３に入力された画像（入力画像、元画像）Ｉを、ｍ×ｎの複数のブロック（ブロック画像）に分割（区分）し、この分割した各ブロックの特徴を表す特徴量、すなわち各ブロックを代表する値（ブロック値という）を算出するものである。ブロック値計算部６３１は、このブロック値として、各ブロックにおける画素値（輝度値）の平均（ブロック平均）であるＡｊｋ（１≦ｊ≦ｍ、１≦ｋ≦ｎ）を算出する。ただし、ブロック値はこのブロック平均Ａｊｋ（平均値）に限らず、各ブロックにおける画素値の最小値や最大値、或いは各ブロックの画素値分布（輝度分布）の中央値（所謂メディアン）であってもよい。要は、Ａｊｋの値は各ブロックを代表する値であればよい（実施形態２でも同様）。

ブロックゲイン計算部６３２は、各ブロックにおける明度（露出、輝度）に関する補正量、具体的には、ブロック値計算部６３１により算出したブロック平均Ａｊｋを所定の値に変換するようなゲインを算出するものである。この変換は、画像の暗部を明るく持ち上げ（明度或いは輝度を大きくして）、明部は明度或いは輝度の変化の少ないもの（明度或いは輝度の変化が抑えられたもの）とする変換であり、例えば図４における変換特性４１（ゲイン特性）で示されるものである。この変換特性４１は、以下の（１）式に示す変換式（変換関数）で表される。
ｙ＝ｅｘｐ（ｌｏｇ（ｘ）＊ｃ）＊ｎ ・・・（１）（（１）式はすなわちｙ＝ｘ＾ｃ＊ｎ（記号「＾」は階乗）である）
但し、記号「ｃ」、「ｎ」は係数を示す。また、記号「＊」は乗算を示す（以降同じ）。

変換特性４１は、図４に示すように点Ｓ（Ａｍｉｎ，ｔ０）及び点Ｔ（Ａｍａｘ，ｔ１）の２点を通過するため、これら点Ｓ及びＴの座標値をそれぞれ代入して得られる連立方程式から、（１）式における２つの未知数ｃ、ｎを算出することができる。点Ｓ及びＴはこの変換特性４１をすなわちゲインを制御する制御点である。これら制御点におけるｘ座標値、すなわちＡｍｉｎ及びＡｍａｘは、それぞれブロック平均Ａｊｋの最小値及び最大値である。ただし、この各制御点におけるｘ座標値は、当該ブロック平均の最小値、最大値でなくともよく、例えばブロック平均Ａｊｋが最小、最大となるブロックにおける中央値（上記各ブロックの中央位置の画素値）であってもよい。

また、制御点Ｓにおけるｙ座標値であるｔ０は、変換特性４１により上記Ａｍｉｎを変換した後の値であり、後段のγ補正部６６によるガンマ補正後に適切な明るさ（例えば８ｂｉｔ画像では階調値１２８程度）となる値（当該変換における目標レベル）である。制御点Ｔにおけるｙ座標値であるｔ１は、変換特性４１により上記Ａｍａｘを変換した後の値（目標レベル）であり、画素値の最大値（例えば８ｂｉｔ画像では階調値２５５）である。このｔ１は、該ｔ１の値を下げると、画像の明部すなわち明度が特に高い領域において、ブレンド後に（露出適正化処理により）出力画素値（輝度値）がオーバーフロー（飽和）してしまうことが防止或いは緩和されるので、明部の多い画像ではこのｔ１の値を下げる、すなわち上記オーバーフローが防止又は緩和されるような所定値（閾値）より小さい値に設定することが望ましい。なお、ブロックゲイン計算部６３２は、ブロックゲインの算出に際してこの変換特性４１を算出する（後述の変換特性５１も同様）。また、変換特性もこの変換特性４１に限らず、例えば上記制御点の位置を制御するなどして（上記制御点以外の点を制御してもよい）、任意なものを採用することが可能である。

ブロックゲイン計算部６３２は、このように設定される変換特性４１と、ブロック平均Ａｊｋとの情報に基づいて、ゲイン（ブロックゲイン）Ｂｊｋ（１≦ｊ≦ｍ、１≦ｋ≦ｎ）を算出する。すなわち、ブロックゲインＢｊｋは、変換特性４１における入力と出力との比（入出力比）であり、以下の（２）式により算出される。
Ｂｊｋ＝ｅｘｐ（ｌｏｇ（Ａｊｋ）＊ｃ）＊ｎ／Ａｊｋ ・・・（２）
但し、記号「／」は除算を示す（以降同じ）。

＜変形例＞
なお、上述では、画像の暗部を明るく持ち上げ、明部は変化の少ないものとする変換として図４に示す変換特性４１（対数的に変化する所謂カーブを描く特性）を用いたが、これに限らず、例えば図５に示すような変換特性５１（低輝度部及び高輝度部それぞれの傾きが異なる２つの線形特性からなる特性）を用いてもよい。この場合、変換特性５１は以下の（３・１）、（３・２）式で与えられる。
ｙ＝ａ０＊ｘ （０≦ｘ≦Ａｍｉｎ） ・・・（３・１）
ｙ＝ａ１＊ｘ＋ｂ１ （ｘ＞Ａｍｉｎ） ・・・（３・２）
ただし、変換特性５１も変換特性４１と同様、制御点Ｐ及びＱを通るものとし、Ａｍｉｎ、Ａｍａｘ、ｔ０及びｔ１の値も変換特性４１と同様に設定されるものとする。

この場合、ブロックゲインＢｊｋは、以下の（４・１）、（４・２）式により算出される。
Ｂｊｋ＝（ａ０＊Ａｊｋ）／Ａｊｋ＝ａ０ （０≦ｘ≦Ａｍｉｎ） ・・・（４・１）
Ｂｊｋ＝（ａ１＊Ａｊｋ＋ｂ１）／Ａｊｋ＝ａ１＋ｂ１／Ａｊｋ （ｘ＞Ａｍｉｎ） ・・・（４・２）
なお、上記と同様、この変換特性５１に限らず、任意な変換特性を採用することが可能である。

ブレンドゲイン計算部６３３は、ブロックゲイン計算部６３２により算出したブロックゲインＢｊｋを用いて、入力画像Ｉの各画素（後述の入力画像Ｉ（ｘ，ｙ）の各画素値）に対するブレンド用のゲインであるブレンドゲインＰ（ｘ，ｙ）を算出するものである。このブレンドゲインＰ（ｘ，ｙ）は、以下の（５）式により算出される。

但し、Ｗｊｋ（ｘ，ｙ）は、各ブロックにおける各画素に対するウエイト（重み、加重平均）を示しており、以下の（６）式で与えられる。

但し、Ｇｊｋ（ｘ，ｙ）はガウシアンを示しており、以下の（７）式で与えられる。

但し、ｘ_ｊｋ、ｙ_ｊｋは、各ブロック画像の中心座標或いは各ブロックの中心画素の座標（ｘ_ｊｋ，ｙ_ｊｋ）を示す。また、記号「σ」は標準偏差であって所定のブレンド半径を示している。

乗算部６３４は、ブレンドゲイン計算部６３３により算出したブレンドゲインＰ（ｘ，ｙ）を入力画像Ｉの各画素値Ｉ（ｘ，ｙ）に乗算する（入力画像の画素毎にブレンドゲインを掛ける）ものである。この乗算処理の結果、乗算部６３４から出力画像Ｏが出力される。乗算部６３４における当該乗算処理は、以下の（８）式で表される。
Ｏ（ｘ，ｙ）＝Ｐ（ｘ，ｙ）＊Ｉ（ｘ，ｙ） ・・・（８）
但し、画素値Ｏ（ｘ，ｙ）は、出力画像Ｏの各画素値を示す。

上述の演算処理で行っていることは以下のように換言できる。すなわち、各ブロック画像は、変換特性４１（５１）に基づき算出されたブロックゲインＢｊｋが掛けられることによって、上述したように暗部が明るく持ち上げられ且つ明部の変化が抑えられた好適な画素値（輝度値）となる。しかしながら、画像Ｉの各画素Ｉ（ｘ，ｙ）に対してこのＢｊｋ（固定値）をそのまま掛けたのでは、各ブロック画像に境界が生じて全体が所謂モザイク画像のようになってしまう。そこで、単にＢｊｋを掛けるのではなく、このＢｊｋに対して、ブロック中心までの距離を考慮した重み（ウエイト）を加えてなるもの（Ｐ（ｘ，ｙ））を求めておき、これを各画素Ｉ（ｘ，ｙ）に掛けるようにすることで、各ブロック画像間に境目の無い（モザイク画像でない）、すなわち各ブロック画像の画素値がブレンドされて全体の露出が適正化された画像（出力画像Ｏ）を得ることができる。

上記ブロック中心までの距離を考慮した重みとは、或るブロック（ブロック画像）において或る注目画素を考えた場合の、この注目画素からブロックの中心画素までの距離に応じた重みであって、中心画素までの距離が近い注目画素ほど重みが大きなものとなる、すなわちブロックの中心に近い位置にある画素ほど、このブロックを代表するＢｊｋの値を使用する割合（ウエイト）が大きくなり、一方、遠い位置にある画素つまりブロック境界に近い位置にある画素ほどこのブロックのＢｊｋの値を使用する割合が小さくなる。

実際の計算においては、画像Ｉにおける或る画素Ｉ（ｘ，ｙ）（注目画素Ｉ（ｘ，ｙ）とするｓ）から各ブロック（ｊ、ｋ）の中心画素の座標（ｘ_ｊｋ，ｙ_ｊｋ）までの距離が上記（７）式に示すガウシアンＧ_ｊｋ（ｘ，ｙ）によって求められ、この値が上記（６）式に示すように上記注目画素Ｉ（ｘ，ｙ）から全てのブロックの中心画素までの距離の積算値（合算値）で除算されたものが、画像Ｉの或る画素Ｉ（ｘ，ｙ）における、各ブロック（ｊ、ｋ）のＢｊｋに対するウエイト（Ｗ_ｊｋ（ｘ，ｙ））となる。さらに、このＢｊｋに対してウエイトＷ_ｊｋ（ｘ，ｙ）を掛けてなるＷ_ｊｋ（ｘ，ｙ）＊Ｂｊｋが、全てのブロック（ｊ＝１〜ｍ、ｋ＝１〜ｎ）について（全ブロックに亘って）積算（合算）されたものがＰ（ｘ，ｙ）となる。このように画像Ｉの或る画素Ｉ（ｘ，ｙ）に対し、該画像Ｉの全てのブロックについて考慮しつつＰ（ｘ，ｙ）を求めることが謂わば上記モザイク画像をブレンドしていることになる。

なお、Ｐ（ｘ，ｙ）は、上述のようにＷ_ｊｋ（ｘ，ｙ）＊Ｂｊｋが“全ての”ブロック（ｊ＝１〜ｍ、ｋ＝１〜ｎ）について積算（合算）されたものでなくともよく、すなわちｊが１からｍまで、ｋが１からｎまでの全範囲でなくともよく、例えば、当該注目画素近傍のブロック（近傍の所定ブロック）、或いはこの注目画素を有するブロックの近傍のブロックというように画像Ｉの部分的なブロックについて積算されたものであってもよい（ｊ、ｋの値は任意でよい）。要は好適にブレンドすることが可能となるような所定数、所定位置のブロック（ブロック範囲）について積算される構成であればよい。

また、或る注目画素からの距離を求めるときの画素は、必ずしもブロック中心の画素（中心座標）でなくともよく、ブレンドするに際して各ブロックにおいて基準となる位置（基準位置、基準点）であれば何れの位置（基準位置、基準座標）又は画素（基準画素）であってもよい。また、上記では各ブロックを矩形の領域に分割したが、当該領域の形状は矩形でなくともよく、例えば曲線によって分割されてなる形状（曲線領域）でもよい。要は１枚の画像が任意な形状（自由形状）の部分領域に分割されればよい。ただし、上記基準となる位置は、例えば空間的に或いは輝度的に基準となる位置である。また、上記部分領域の中心に相当する位置として“重心”或いは“図心”を求めてもよい。これらのことは後述の第２の実施形態においても同様である。

図６は、第１の実施形態に係るデジタルカメラ１のＤＲ圧縮部６３におけるＤＲ圧縮処理（露出適正化処理）に関する動作の一例を示すフローチャートである。先ず撮像センサ３（リニアセンサ）による撮像によって撮影画像（線形画像）が取得される（ステップＳ１）。次に、ブロック値計算部６３１によって、この線形画像（入力画像Ｉ）が各ブロックに分割され、この分割された各ブロックにおけるブロック値すなわちブロック平均Ａｊｋが算出される（ステップＳ２）。この算出されたブロック平均Ａｊｋと変換特性４１（５１）（図４、５参照）とに基づいて、ブロックゲイン計算部６３２によって、各ブロックにおけるブロックゲインＢｊｋが算出される（ステップＳ３）。この算出されたブロックゲインＢｊｋに基づいて、ブレンドゲイン計算部６３３によって、入力画像Ｉの各画素に対するブレンドゲインＰ（ｘ，ｙ）が算出される（ステップＳ４）。そして、乗算部６３４によって、この算出されたブレンドゲインＰ（ｘ，ｙ）が入力画像Ｉの各画素値Ｉ（ｘ，ｙ）に乗算される。この乗算の結果、出力画像Ｏが乗算部６３４から出力される（ステップＳ５）。

（実施形態２）
上記第１の実施形態では、撮像センサ３として一般的なリニアセンサを用いたが、第２の実施形態では、広いダイナミックレンジ（広ＤＲ）での撮影が可能な撮像センサ３として、例えば図７に示すような、センサ入射輝度が低い場合（暗時）に出力画素信号（光電変換により発生する出力電気信号）が線形的に変換されて出力される線形特性領域と、センサ入射輝度が高い場合（明時）に出力画素信号が対数的に変換されて出力される対数特性領域とからなる光電変換特性、すなわち低輝度側が線形、高輝度側が対数の光電変換特性（線形／対数特性という）を有するセンサ（リニアログセンサという）を用いる。

具体的には撮像センサ３は、例えば、フォトダイオード等の光電変換素子をマトリクス状に配置してなる固体撮像素子に、Ｐ型（又はＮ型）のＭＯＳＦＥＴ等を備えた対数変換回路を付加し、ＭＯＳＦＥＴのサブスレッショルド特性を利用することで、固体撮像素子の出力特性を入射光量に対して電気信号が対数的に変換されるようにした所謂ＣＭＯＳイメージセンサが採用される。ただし、ＣＭＯＳイメージセンサに限らず、ＶＭＩＳイメージセンサやＣＣＤイメージセンサ等であってもよい。

ところで、デジタルカメラ１では露出制御（ＡＥ制御）が行われるが、この概念に関する定義を説明しておく。いわゆる銀塩カメラと異なり、デジタルカメラやデジタルムービィ等の撮像装置においては、ＡＥ制御のための制御要素としては、撮像センサの光電変換特性に関連づけて（光電変換特性を作為的に変化させて）制御する方法と、撮像センサの撮像面に届く光の総量と光電変換後の光電変換電流の積分時間を調整する方法とがある。前者を「ダイナミックレンジ制御」と呼び、後者を「露光量制御」と呼ぶものとする。「ダイナミックレンジ制御」は、例えば撮像センサの光電変換特性の制御、すなわち線形特性領域と対数特性領域との切り替わり点（以下、変曲点という）を制御することで実行される。また、「露光量制御」は、例えば絞りの開口量調整や、或いはメカニカルシャッタのシャッタスピードの調整、又は撮像センサに対するリセット動作の制御による電荷の積分時間制御により実行される。

本実施形態では、撮像センサ３による撮影画像から得た被写体の輝度情報に基づいて、露出制御に関する所定の露出評価値を検出し、制御部８によって、この露出評価値を用いて、所要の露光量を確保するべく光電変換特性に基づき露光量の制御を行うと共に、この露出評価値を用いて、所要のダイナミックレンジを確保するべく光電変換特性に基づきダイナミックレンジの制御を行うことで、撮像にあたっての露出制御を行う。このように、撮像センサ３（リニアログセンサ）の光電変換特性（線形／対数特性）と関連付けて、露光量制御とダイナミックレンジ制御とを行うことによってデジタルカメラ１の露出制御を行うことができるため、被写体輝度に応じて、被写体を最適な露光状態で、しかも所定のダイナミックレンジを確保した状態で撮像することができる。

なお、上記ダイナミックレンジ制御は、線形／対数特性における上記変曲点の位置を制御することで行う。この変曲点は、制御部８による撮像センサ３の各画素回路に対する所定の制御信号によって制御される。また、上記露光量制御では、線形／対数特性の線形特性領域において、露光量設定用の或る被写体輝度に対する撮像センサの出力が、所定の目標出力レベルとなるような（このような光電変換特性が得られる）露光量設定値を用いて該露光量制御を行うことで、低輝度の被写体（暗部）でも高コントラストな画像信号を得ることができる適正な露光量（明るさ）が確保される。

かかる撮像センサ３を用いることに対応して、本実施形態では図２に示すＤＲ圧縮部６３を、図８に示すブロック構成としている。この図８に示すＤＲ圧縮部をＤＲ圧縮部６３ａとすると、ＤＲ圧縮部６３ａは、上記ＤＲ圧縮部６３と同様、ブロック値計算部６３１ａ、ブロックゲイン計算部６３２ａ、ブレンドゲイン計算部６３３ａ及び乗算部６３４ａを備えるとともに、これらに加えてログリニア変換部６３５を備えている。

ログリニア変換部６３５は、入力画像Ｉすなわち撮像センサ３（リニアログセンサ）による撮像により得られた画像（線形／対数画像という）に対して、該線形／対数画像における対数特性の画像を線形特性の画像に変換する（この変換を「ログリニア変換」という）ものである。これは、謂わば線形及び対数の２種類の特性からなる画像データを、線形特性１種類の画像データに統一して扱えるようにするものである。なお、線形特性（線形画像）に統一された画像のことを「統一線形画像」という。図８にこの統一線形画像Ｉｔを示す。

ブロック値計算部６３１ａは、ログリニア変換部６３５による変換処理によって得られた統一線形画像Ｉｔを、ブロック値計算部６３１と同様、ｍ×ｎの複数のブロックに分割し、各ブロックにおけるブロック平均Ａｊｋ（１≦ｊ≦ｍ、１≦ｋ≦ｎ）を算出する。ブロックゲイン計算部６３２ａは、ブロックゲイン計算部６３２と同様、ブロック値計算部６３１ａにより算出したブロック平均Ａｊｋを所定の値に変換するようなゲインを算出する。ただし、本実施形態では、この変換における変換特性７１は以下の（９・１）、（９・２）式で表される変換式を用いる。
ｙ＝ｘ （０≦ｘ≦ｔ０） ・・・（９・１）
ｙ＝ａ＊ｘ＋ｂ （ｘ＞ｔ０） ・・・（９・２）

図９に変換特性７１を示す。この変換特性７１は、上記（９・１）式に示すように、０≦ｘ≦ｔ０の範囲でｙ＝ｘとなっている。これは、上述したように、本実施形態ではリニアログセンサを用いることで、既にＡＥ制御の段階で、画像の暗部すなわち低輝度側の線形特性領域が適正な明度（明るさ、明るさの度合い）となるようにされているので、この暗部を変化させない、すなわちゲイン＝１（Ａｊｋ／Ａｊｋ＝１）とすることによるものである。なお、変換特性７１は図９に示すように制御点Ｍ及びＮを通る。この制御点Ｍ及びＮは上記制御点Ｐ及びＱに相当するものである。ただし、制御点Ｍは、当該暗部を変化させないようにする（ゲイン＝１）ため、ｘ座標値がｙ座標値と同じｔ０に設定されている。このｔ０並びにｔ１及びＡｍａｘは上述と同様に設定される。

この場合、ブロックゲインＢｊｋは、以下の（１０・１）、（１０・２）式に示すものとなる。
Ｂｊｋ＝１ （０≦ｘ≦ｔ０） ・・・（１０・１）
Ｂｊｋ＝ａ＋ｂ／Ａｊｋ （ｘ＞ｔ０） ・・・（１０・２）
なお、上記と同様、この変換特性７１に限らず、任意な変換特性を採用することが可能である。

ブレンドゲイン計算部６３３ａは、ブレンドゲイン計算部６３３と同様、ブレンドゲインＰ（ｘ，ｙ）を算出する。このブレンドゲインＰ（ｘ，ｙ）は、以下の（１１）式により算出される。この（１１）式におけるＷｊｋ（ｘ，ｙ）は上記（６）式と同じである。

但し、Ｃｊｋ（ｘ，ｙ）（単にＣｊｋとも表記する）は、制限付きのブロックゲインであり、以下の（１２）式（条件式）により定義されるものである。

ｉｆ（Ｂｊｋ＊Ｉｔ（ｘ，ｙ）＞Ｖｍａｘ）
Ｃｊｋ（ｘ，ｙ）＝Ｖｍａｘ／Ｉｔ（ｘ，ｙ）
ｅｌｓｅ
Ｃｊｋ（ｘ，ｙ）＝Ｂｊｋ ・・・（１２）
但し、Ｖｍａｘは最大画素値（例えば８ｂｉｔ画像では階調値２５５）である。

この（１２）式は、統一線形画像Ｉｔの或る画素値Ｉｔ（ｘ，ｙ）に或るブロックのゲインＢｊｋを積算してなる値が、閾値である最大画素値Ｖｍａｘを超えないように、すなわち、当該ブロックゲインを、画素値Ｉｔ（ｘ，ｙ）に乗算したとしてもその乗算値が最大画素値Ｖｍａｘ以下となるように（Ｖｍａｘでクリップされるように）制限するものである。本実施形態ではリニアログセンサによる線形／対数画像（広ＤＲ画像）を扱うことから、このような条件（制限）がないと、明度が特に高い領域（高輝度領域）でのゲイン値が小さくならないため、この領域周辺が飽和し、明るく飛んでしまう（白飛びする）可能性がある。ただし、上記閾値は、最大画素値Ｖｍａｘに限らず、任意の値を設定してよい。すなわち、画素値Ｉｔ（ｘ，ｙ）にゲインＢｊｋを積算してなる値が、所定の画素値を超えないようにすればよい。

乗算部６３４ａは、乗算部６３４と同様、ブレンドゲイン計算部６３３ａにより算出したブレンドゲインＰ（ｘ，ｙ）を統一線形画像Ｉｔの各画素値Ｉｔ（ｘ，ｙ）に乗算し、出力画像Ｏ（ｘ，ｙ）として出力する。乗算部６３４ａにおける当該乗算処理は、以下の（８）’式で表される。
Ｏ（ｘ，ｙ）＝Ｐ（ｘ，ｙ）＊Ｉｔ（ｘ，ｙ） ・・・（８）’

図１０は、第２の実施形態に係るデジタルカメラ１のＤＲ圧縮部６３ａにおけるＤＲ圧縮処理（露出適正化処理）に関する動作の一例を示すフローチャートである。先ず撮像センサ３（リニアログセンサ）による撮像によって撮影画像（線形／対数画像）が取得される（ステップＳ１１）。次に、ログリニア変換部６３５によって、この線形／対数画像に対するログリニア変換が行われて、統一線形画像Ｉｔが得られる（ステップＳ１２）。そして、ブロック値計算部６３１ａによって、この統一線形画像Ｉｔが各ブロックに分割され、この分割された各ブロックにおけるブロック値すなわちブロック平均Ａｊｋが算出される（ステップＳ１３）。この算出されたブロック平均Ａｊｋと変換特性７１（図９参照）とに基づいて、ブロックゲイン計算部６３２ａによって、各ブロックにおけるブロックゲインＢｊｋが算出される（ステップＳ１４）。この算出されたブロックゲインＢｊｋに基づいて、ブレンドゲイン計算部６３３ａによって、統一線形画像Ｉｔの各画素に対するブレンドゲインＰ（ｘ，ｙ）が算出される（ステップＳ１５）。そして、乗算部６３４ａによって、この算出されたブレンドゲインＰ（ｘ，ｙ）が統一線形画像Ｉｔの各画素値Ｉｔ（ｘ，ｙ）に乗算される。この乗算の結果、出力画像Ｏが乗算部６３４ａから出力される（ステップＳ１６）。

以上のように、上記各実施形態に係る撮像装置（デジタルカメラ１）によれば、ブロック値計算部６３１（６３１ａ）（画像分割手段）によって１つの基画像Ｉ（Ｉｔ）が複数の部分領域（ブロック）に分割され、ブロック値計算部６３１（６３１ａ）（特徴量算出手段）によって、上記画像分割手段により分割された部分領域毎に該部分領域画像の特徴量（Ａｊｋ）が算出される。また、ブロックゲイン計算部６３２（６３２ａ）（部分領域補正量算出手段）によって、上記特徴量算出手段により算出された特徴量に基づいて、部分領域画像毎に、明度に関する補正量である部分領域補正量（ブロックゲインＢｊｋ、Ｃｊｋ又は後述のＦｊｋ）が算出される。そして、上記画素補正量算出手段によって、上記部分領域補正量算出手段により算出された部分領域補正量に基づいて、基画像の各画素値（Ｉ（ｘ，ｙ）、Ｉｔ（ｘ，ｙ））に対する補正量である画素補正量（ブレンドゲインＰ（ｘ，ｙ））が算出され、乗算部６３４（６３４ａ）（画像補正手段）によって、上記画素補正量算出手段により算出された画素補正量に基づいて、基画像の各画素値が補正される。

このように、１つの基画像が複数の部分領域に分割され、この部分領域毎に特徴量が算出される。また、この特徴量に基づいて部分領域画像毎に明度に関する部分領域補正量が算出される。そして、この部分領域補正量に基づいて基画像の各画素値に対する画素補正量が算出され、この画素補正量に基づいて基画像の各画素値が補正されるすなわち基画像全体が補正されるので、露出の異なる複数枚の画像を撮影したり、画像のエントロピーを計算する必要がなく、演算処理時間の短縮化、及び、複数枚の画像を記憶するためのメモリ（メモリ使用量）やエントロピーを計算するためのプログラムや回路規模の大型化を抑えることによる低コスト化を図りつつ、画像各部に露出（明度）の偏りがなく、全体が適正な露出状態（明度）とされた高画質な画像を得ることができる。

また、上記画素補正量算出手段によって、各部分領域の部分領域補正量に対して、基画像の所定の画素位置（注目画素）から部分領域画像内の所定の基準位置までの距離に応じた重み（Ｗｊｋ（ｘ，ｙ））を用いて重み付けしてなる値が、該基画像の全ての部分領域について積算されることにより画素補正量が算出される。このように、基画像の所定の画素位置から部分領域画像内の所定の基準位置までの距離に応じた重みによって部分領域補正量に重み付けがなされ、この重み付けされた部分領域補正量が基画像における少なくとも上記所定の画素の近傍（或いはこの所定画素を含む部分領域の近傍）の部分領域について積算された（全部分領域について積算されてもよい）ものが画素補正量（Ｐ（ｘ，ｙ））とされるので、各部分領域画像間の露出（明度）の差違をなくす所謂ブレンド処理に用いる画素補正量を、容易な方法で且つ精度良く求めることができる。

また、上記特徴量算出手段によって、部分領域画像（ブロック画像）における画素値（すなわち輝度値）の平均値、最小値、最大値、及び部分領域画像の画素値分布の中央値のうちのいずれかが特徴量として算出される構成であるので、各部分領域画像の特徴量を容易に得ることができる。

また、部分領域補正量算出手段によって、各部分領域画像の明度に応じて補正するべく該各部分領域画像の特徴量を所定の目標値に変換するためのゲインが部分領域補正量として算出される。すなわち各部分領域画像の部分領域補正量としてゲイン（ブロックゲイン）が算出されるので、部分領域補正量を容易に求めることができる。

また、特徴量を所定の目標値に変換するための変換特性（変換特性４１、５１又は７１）が、基画像の暗部が明るくなるよう持ち上げられて且つ明部の変化が抑えられた変換とされるので、この変換特性を用いて、すなわちこの変換特性から得られる部分領域補正量を用いて、基画像の暗部が明るくなるよう持ち上げられて且つ明部の変化が抑えられた状態となるような基画像各部の露出の適正化を容易に行うことができる。なお、このように変換特性に基づいて露出の適正化が行える構成であるので、変換特性を任意に設定することによる、どのように露出の適正化を行うかといった露出適正化方法の自由度が高くなる。

また、撮像センサ３（撮像手段）が、入射光量に対して電気信号が線形的に変換されて出力される線形特性と、入射光量に対して電気信号が対数的に変換されて出力される対数特性とからなる光電変換特性（図７参照）を有し、撮影により線形／対数画像を得ることが可能とされ、また、ログリニア変換部６３５（変換処理手段）によって、上記撮像手段により得られる線形／対数画像に対して、該線形／対数画像における対数画像を線形画像に変換して画像全体を線形特性に統一する処理が行われる。そして、上記画像分割手段によって、線形／対数画像が変換処理手段により線形特性に統一されてなる基画像としての統一線形画像が複数の部分領域に分割される。このように、撮像手段により得られた線形／対数画像が変換処理手段によって統一線形画像に変換され、これが（画像分割手段により分割される）基画像として用いられる構成であるので、撮像手段が、撮影によって線形／対数画像が得られるようなもの（つまりここでの線形特性及び対数特性からなる光電変換特性を有する撮像手段；例えばリニアログセンサ）である場合でも、当該得られた線形／対数画像を統一線形画像に変換して、一般的な撮像手段（リニアセンサ）により得られる線形画像の場合と同様に露出適正化を行うことが可能となる。

また、上記部分領域補正量算出手段によって、部分領域補正量を基画像の各画素値に乗算又は加算した値が所定の画素値を超えないように該部分領域補正量が算出される、すなわち、部分領域補正量が、該部分領域補正量を基画像の各画素値に乗算又は加算した値が所定の画素値を超えないような値とされるので、この所定の画素値を例えば画素値の最大値と設定するなどして、基画像の明部すなわち明度が特に高い領域において、露出適正化処理によって出力画素値（輝度値）がオーバーフロー（飽和）してしまうことを防止或いは緩和することができる。

また、本実施形態に係る画像処理方法によれば、第１の工程において、１つの基画像が画像分割手段により複数の部分領域に分割され、第２の工程において、画像分割手段により分割された部分領域毎に該部分領域画像の特徴量が特徴量算出手段により算出される。また、第３の工程において、特徴量算出手段により算出された特徴量に基づいて、部分領域画像毎に明度に関する補正量である部分領域補正量が部分領域補正量算出手段により算出される。そして、第４の工程において、部分領域補正量算出手段により算出された部分領域補正量に基づいて、基画像の各画素値に対する補正量である画素補正量が画素補正量算出手段により算出され、第５の工程において、画素補正量算出手段により算出された画素補正量に基づいて、基画像の各画素値が画像補正手段により補正される。

このように、当該画像処理方法によれば、１つの基画像が複数の部分領域に分割され、この部分領域毎に特徴量が算出される。また、この特徴量に基づいて部分領域画像毎に明度に関する部分領域補正量が算出される。そして、この部分領域補正量に基づいて基画像の各画素値に対する画素補正量が算出され、この画素補正量に基づいて基画像の各画素値が補正されるすなわち基画像全体が補正されるので、露出の異なる複数枚の画像を撮影したり、画像のエントロピーを計算する必要がなく、演算処理時間の短縮化、及び、複数枚の画像を記憶するためのメモリ（メモリ使用量）やエントロピーを計算するためのプログラムや回路規模の大型化を抑えることによる低コスト化を図りつつ、画像各部に露出（明度）の偏りがなく、全体が適正な露出状態（明度）とされた高画質な画像を得ることができる。

また、上記第４の工程において、画素補正量算出手段によって、各部分領域の部分領域補正量に対して、基画像の所定の画素位置から部分領域画像内の所定の基準位置までの距離に応じた重みを用いて重み付けされてなる値が、該基画像の全ての部分領域について積算されることにより画素補正量が算出される。すなわち、基画像の所定の画素位置から部分領域画像内の所定の基準位置までの距離に応じた重みによって部分領域補正量に重み付けがなされ、この重み付けされた部分領域補正量が基画像における少なくとも当該所定の画素近傍の部分領域について積算されたものが画素補正量とされるので、各部分領域画像間の露出（明度）の差違をなくす所謂ブレンド処理に用いる画素補正量を、容易な方法で且つ精度良く求めることができる。

なお、本発明は、以下の態様をとることができる。
（Ａ）上記第２の実施形態における撮像センサ３は、リニアログセンサでなくともよく、広ＤＲ画像が得られる（広ＤＲ撮影が可能な）ものであれば、例えば異なるシャッタスピードや絞り値で撮影して得た露出の異なる複数枚の画像を合成して出力するタイプでもよいし、ニー処理（明るい画像分部（高輝度領域）にだけ所定のゲインをかけて圧縮するような処理）して出力するタイプでもよい。ただし、撮像センサ３は、当該広ＤＲ画像が得られるものに限らず、第１の実施形態のように通常の線形画像が得られるものも含め、任意のタイプの撮像センサが採用可能である。

（Ｂ）上記第１の実施形態においては、ブロックゲイン計算部６３２により、ブロック平均Ａｊｋを所定の値に変換するゲイン（Ｂｊｋ）を算出したが、当該“ゲイン”の代わりに、“オフセット（ブロックオフセット）”を算出するようにしてもよい。このオフセットは、ゲインと同様、各ブロック画像の特徴量（ブロック平均Ａｊｋ）を所定の目標値に変換するための値であると言える。この場合、上記（２）式は、以下の（２）’式で表されることになる。
Ｆｊｋ＝ｅｘｐ（ｌｏｇ（Ａｊｋ）＊ｃ）＊ｎ−Ａｊｋ ・・・（２）’
但し、Ｆｊｋはブロックオフセットを示す（以降同じ）。

また、上記（４・１）、（４・２）式は、以下の（４・１）’、（４・２）’式で表されることになる。
Ｆｊｋ＝ａ０＊Ａｊｋ−Ａｊｋ＝（ａ０−１）＊Ａｊｋ ・・・（４・１）’
Ｆｊｋ＝（ａ１＊Ａｊｋ＋ｂ１）−Ａｊｋ＝（ａ１−１）＊Ａｊｋ＋ｂ１ ・・・（４・２）’
なお、この場合、ブレンドゲイン計算部６３３により、ブロックオフセットＦｊｋからブレンドオフセット（これをブレンドオフセットＱ（ｘ，ｙ）とする）が算出される。すなわち、上記（５）式の右辺におけるＢｊｋをブロックオフセットＦｊｋで置き換えたものがＱ（ｘ，ｙ）として算出される。そして、乗算部６３４により、入力画像Ｉの各画素値Ｉ（ｘ，ｙ）にこのブレンドオフセットＱ（ｘ，ｙ）が乗算されて、出力画像Ｏが出力される。

（Ｃ）上記変形態様（Ｂ）と同様に、ゲインの代わりにオフセットを算出する場合、上記（１０・１）、（１０・２）式は、以下の（１０・１）’、（１０・２）’式で表されることになる。
Ｆｊｋ＝１ （０≦ｘ≦ｔ０） ・・・（１０・１）’
Ｆｊｋ＝（ａ＊Ａｊｋ＋ｂ）−Ａｊｋ＝（ａ−１）＊Ａｊｋ＋ｂ ・・・（１０・２）’

また、上記（１２）式は、以下の（１２）’式で表されることになる。
ｉｆ（Ｆｊｋ＋Ｉｔ（ｘ，ｙ）＞Ｖｍａｘ）
Ｃｊｋ（ｘ，ｙ）＝Ｖｍａｘ−Ｉｔ（ｘ，ｙ）
ｅｌｓｅ
Ｃｊｋ（ｘ，ｙ）＝Ｆｊｋ ・・・（１２）’
なお、この場合も上記変形態様（Ｂ）と同様、ブレンドゲイン計算部６３３ａにより、ブロックオフセットＦｊｋからブレンドオフセットＱ（ｘ，ｙ）が算出され、乗算部６３４ａにより、統一線形画像Ｉｔの各画素値Ｉｔ（ｘ，ｙ）にこのブレンドオフセットＱ（ｘ，ｙ）が乗算されて、出力画像Ｏが出力される。

このように、ブレンドゲイン計算部６３３（６３３ａ）によって各ブロック画像のオフセットが算出されるので、各ブロック画像における露出（明度、輝度）に関する補正量を容易に求めることができる。

（Ｄ）上記実施形態１、２においては、画像（Ｉ又はＩｔ）に対するブレンド処理、すなわちブレンドゲイン或いは上記ブレンドオフセットを算出して画像（Ｉ又はＩｔ）に乗算して画像Ｏとして出力する処理をデジタルカメラ１内（ＤＲ圧縮部６３、６３ａ）において実行する構成となっているが、これに限らず、デジタルカメラ１外の所定の処理部において実行する構成としてもよい。具体的には、例えばＵＳＢ等を用いたデジタルカメラ１との直接接続又は無線接続された（ネットワーク接続された）或いはメモリカードといったストレージメディア等を用いて情報伝達可能に構成された、ユーザーインターフェイスを備える所定のホスト例えばＰＣ（Personal Computer）やＰＤＡ（Personal Digital Assistant；個人向け携帯情報端末）においてこのブレンド処理が実行されてもよい。

第１の実施形態に係る撮像装置の一例であるデジタルカメラの主に撮像処理に関する概略的なブロック構成図である。 上記デジタルカメラにおける画像処理部の一回路構成例を示す機能ブロック図である。 上記画像処理部におけるＤＲ圧縮部の一回路構成例を示す機能ブロック図である。 上記ＤＲ圧縮部におけるブロックゲイン計算部でのブロックゲイン算出時に用いる変換特性の一例を示すグラフ図である。 上記ＤＲ圧縮部におけるブロックゲイン計算部でのブロックゲイン算出時に用いる変換特性の一変形例を示すグラフ図である。 第１の実施形態に係るデジタルカメラのＤＲ圧縮部におけるＤＲ圧縮処理（露出適正化処理）に関する動作の一例を示すフローチャートである。 第２の実施形態に係るデジタルカメラにおける撮像センサ（リニアログセンサ）の光電変換特性（線形／対数特性）を示すグラフ図である。 第２の実施形態に係るデジタルカメラにおけるＤＲ圧縮部の一回路構成例を示す機能ブロック図である。 図８に示すＤＲ圧縮部におけるブロックゲイン計算部でのブロックゲイン算出時に用いる変換特性の一例を示すグラフ図である。 第２の実施形態に係るデジタルカメラのＤＲ圧縮部におけるＤＲ圧縮処理（露出適正化処理）に関する動作の一例を示すフローチャートである。 従来における複数枚の画像から画像各部の露出が補正された１枚の画像を生成する方法を説明する模式図である。

符号の説明

１ デジタルカメラ（撮像装置）
３ 撮像センサ（撮像手段）
６ 画像処理部
６３、６３ａ ＤＲ圧縮部
６３１、６３１ａ ブロック値計算部（画像分割手段、特徴量算出手段）
６３２、６３２ａ ブロックゲイン計算部（部分領域補正量算出手段）
６３３、６３３ａ ブレンドゲイン計算部（画素補正量算出手段）
６３４、６３４ａ 乗算部（画像補正手段）
６３５ ログリニア変換部（変換処理手段）

Claims (10)

1. １つの基画像を複数の部分領域に分割する画像分割手段と、
   前記画像分割手段により分割された部分領域毎に該部分領域画像の特徴量を算出する特徴量算出手段と、
   前記特徴量算出手段により算出された特徴量に基づいて、前記部分領域画像毎に明度に関する補正量である部分領域補正量を算出する部分領域補正量算出手段と、
   前記部分領域補正量算出手段により算出された部分領域補正量に基づいて、前記基画像の各画素値に対する補正量である画素補正量を算出する画素補正量算出手段と、
   前記画素補正量算出手段により算出された画素補正量に基づいて、前記基画像の各画素値を補正する画像補正手段とを備えることを特徴とする撮像装置。
2. 前記画素補正量算出手段は、前記各部分領域の部分領域補正量に対して、前記基画像の所定の画素位置から前記部分領域画像内の所定の基準位置までの距離に応じた重みを用いて重み付けしてなる値を、該基画像における少なくとも前記所定の画素近傍の部分領域について積算することにより前記画素補正量を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記特徴量算出手段は、前記部分領域画像における画素値の平均値、最小値、最大値、及び該部分領域画像の画素値分布の中央値のうちのいずれかを前記特徴量として算出することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記部分領域補正量算出手段は、前記各部分領域画像の明度に応じて補正するべく該各部分領域画像の特徴量を所定の目標値に変換するためのゲインを、前記部分領域補正量として算出することを特徴とする請求項１〜３のいずれかに記載の撮像装置。
5. 前記部分領域補正量算出手段は、前記各部分領域画像の明度に応じて補正するべく該各部分領域画像の特徴量を所定の目標値に変換するためのオフセットを、前記部分領域補正量として算出することを特徴とする請求項１〜３のいずれかに記載の撮像装置。
6. 前記特徴量を所定の目標値に変換するための変換特性は、前記基画像の暗部が明るくなるよう持ち上げられて且つ明部の変化が抑えられた変換であることを特徴とする請求項４又は５に記載の撮像装置。
7. 入射光量に対して電気信号が線形的に変換されて出力される線形特性と、入射光量に対して電気信号が対数的に変換されて出力される対数特性とからなる光電変換特性を有し、撮影により線形／対数画像を得ることが可能に構成された撮像手段と、
   前記撮像手段により得られる線形／対数画像に対して、該線形／対数画像における対数画像を線形画像に変換して画像全体を線形特性に統一する処理を行う変換処理手段とをさらに備え、
   前記画像分割手段は、前記線形／対数画像が前記変換処理手段により線形特性に統一されてなる前記基画像としての統一線形画像を前記複数の部分領域に分割することを特徴とする請求項１〜６のいずれかに記載の撮像装置。
8. 前記部分領域補正量算出手段は、前記部分領域補正量を前記基画像の各画素値に乗算又は加算した値が所定の画素値を超えないように該部分領域補正量を算出することを特徴とする請求項７に記載の撮像装置。
9. １つの基画像を画像分割手段により複数の部分領域に分割する第１の工程と、
   前記画像分割手段により分割された部分領域毎に該部分領域画像の特徴量を特徴量算出手段により算出する第２の工程と、
   前記特徴量算出手段により算出された特徴量に基づいて、前記部分領域画像毎に明度に関する補正量である部分領域補正量を部分領域補正量算出手段により算出する第３の工程と、
   前記部分領域補正量算出手段により算出された部分領域補正量に基づいて、前記基画像の各画素値に対する補正量である画素補正量を画素補正量算出手段により算出する第４の工程と、
   前記画素補正量算出手段により算出された画素補正量に基づいて、前記基画像の各画素値を画像補正手段により補正する第５の工程とを有することを特徴とする画像処理方法。
10. 前記第４の工程は、前記画素補正量算出手段によって、前記各部分領域の部分領域補正量に対して、前記基画像の所定の画素位置から前記部分領域画像内の所定の基準位置までの距離に応じた重みを用いて重み付けしてなる値を、該基画像における少なくとも前記所定の画素近傍の部分領域について積算することにより前記画素補正量を算出する工程であることを特徴とする請求項９に記載の画像処理方法。

Images