JP2010130150A - 階調補正装置および撮像装置 - Google Patents

Abstract

【課題】 被写体の面積に依存しない階調変換カーブを求め、最適な階調変換を行う階調補正装置を提供する。
【解決手段】 階調補正装置１００は、入力された画像に階調補正を行う階調補正装置であって、画像を複数のエリアに分割し、それぞれのエリア内の画素値を代表する値をエリア値として算出するエリア値算出回路１２と、それぞれのエリア内のエッジ成分の量を示すエッジ量を算出するエッジ量算出回路１３と、エリア値とエッジ量とに基づいて、計算対象のエリアを中心とする第１の所定の範囲におけるエリア値のヒストグラムを生成する局所的ヒストグラム算出回路１６と、計算対象のエリアに対応するヒストグラムに基づいて、そのエリアに対応する階調変換カーブを生成する階調変換カーブ生成回路１８と、階調変換カーブ生成回路１８にて生成された階調変換カーブを用いて、計算対象のエリア内の画素値を変換する階調変換回路１９とを備える。
【選択図】 図１

Description

本発明は、画像の階調補正を行う階調補正装置に関し、主にデジタルスチルカメラやデジタルビデオカメラ等に代表される撮像装置に用いられるものに関する。

一般にデジタルカメラ等の撮像装置において、画面内に明るい領域と暗い領域が同時に存在する場合、２つの領域間での明暗差は得られるが、それぞれの領域内でのコントラストは小さくなる傾向がある。そのため、領域内におけるコントラストを強調する階調補正方式が提案されている。

広く一般に知られている有効な階調補正の方法として、ヒストグラム均等化による階調補正がある。この階調補正は、次の手順で階調補正を行う。まず、補正対象の画像のヒストグラムを作成し、ヒストグラムにおいて要素数の多い階調のコントラストを強調する階調変換カーブを求め、階調変換カーブを用いて階調補正する。

画像に対して１つのヒストグラムではなく、複数の領域のそれぞれのヒストグラムを作成し、それぞれの領域に対応するヒストグラムに基づいて階調変換を行う方法を局所的ヒストグラム均等化による階調補正と呼ぶ。一般的には局所的ヒストグラム均等化による階調補正の方が効果的であることが知られている。

しかし、ヒストグラム均等化による階調補正は、ヒストグラムの分布に基づいて階調変換を行っていることに起因する欠点がある。具体的には、画面中に同じ明るさで広い面積を占める被写体が存在したとき、ヒストグラム分布としてはその被写体の明るさに該当する階調の要素数が非常に多くなり、結果としてその被写体の階調を補正するような階調変換カーブが求まるという性質がある。このため、狭い面積の被写体に対して階調変換の効果が効きにくいという問題がある。

また、広い面積の被写体が元々濃淡なく均一に近いものであっても階調変換によりコントラストを強調してしまうため、本来濃淡が均一である筈の被写体に不自然に濃淡がついてしまったり、ノイズ成分だけを強調してしまったりする問題も存在する。これはヒストグラム均等化による階調補正が、被写体の面積に強く依存していることが原因である。

この問題に対し、特許文献１に記載された階調補正方法では、あらかじめテクスチャを解析してテクスチャが同じ部分を１つの領域として画像を領域分割し、それぞれの領域ごとにヒストグラムを求めて階調補正を行っている。また、階調補正前の段階で各領域中の濃度バラツキを判定し、濃度バラツキが十分にあると判定した領域に対してはヒストグラムの要素クリップ値を調整して階調変換の効き目を弱めるという処理を行っている。
特許第３４６５２２６号

しかしながら、上記の階調補正方法では、小面積の被写体に対する解決にはなるが、大面積の均一な被写体に対しては問題解決の手段とはならない。また、あらかじめテクスチャを解析して領域を分割することは、画像のシーンによって領域分割結果が毎回異なることになり、処理が煩雑になる。

本発明は、上記背景に鑑み、被写体の面積に依存しない階調変換カーブを求め、最適な階調変換を行う階調補正装置を提供することを目的とする。

本発明の階調補正装置は、入力された画像に階調補正を行う階調補正装置であって、画像を複数のエリアに分割し、それぞれのエリア内の画素値を代表する値をエリア値として算出するエリア値算出部と、前記それぞれのエリア内のエッジ成分の量を示すエッジ量を算出するエッジ量算出部と、前記エリア値と前記エッジ量とに基づいて、計算対象のエリアを中心とする第１の所定の範囲におけるエリア値のヒストグラムを生成するヒストグラム生成部と、計算対象のエリアに対応するヒストグラムに基づいて、そのエリアに対応する階調変換カーブを生成する階調変換カーブ生成部と、前記階調変換カーブ生成部にて生成された階調変換カーブを用いて、計算対象のエリア内の画素値を変換する階調変換部とを備えた構成を有する。

この構成により、エッジ量をも用いて求めたエリア値のヒストグラムに基づいて階調変換カーブを求めているので、階調補正前の画像の中で階調の変化が存在している領域（エッジの多い領域）を重点的に階調補正することができる。また、処理負荷の大きいヒストグラムの算出をエリアの画素値を代表するエリア値を用いて行っているので、階調補正処理に必要な記憶容量と処理負荷を大幅に削減できる。

本発明の階調補正装置において、前記ヒストグラム生成部は、エリアのエッジ量に基づいて前記第１の所定の範囲内の各エリア固有の値を計算し、エリア値が同じ階調に属する前記エリア固有の値を加算してヒストグラムを生成する構成を有する。

この構成により、各エリアにおけるエッジ量の大きさをエリア値のヒストグラムに適切に反映することができる。

本発明の階調補正装置において、前記ヒストグラム生成部は、計算対象のエリアからの距離に基づいて前記第１の所定の範囲内の各エリア固有の値を計算する構成を有する。

この構成により、計算対象のエリアから第１の所定の範囲内の各エリアまでの距離をヒストグラムに反映することができる。

本発明の階調補正装置は、計算対象のエリアを中心とする第２の所定の範囲内にあるエリアのエッジ量の総和を求めるエッジ総和部を備え、前記階調変換カーブ生成部は、計算対象のエリアに対応するヒストグラムとエッジ総和とに基づいて、そのエリアに対応する階調変換カーブを生成する構成を有する。

この構成により、階調変換カーブをエリア値だけでなくエッジ量の総和に基づいて求めているので、階調補正前の画像の中で階調の変化が存在している領域を重点的に階調補正することができる。なお、第２の所定の範囲は、第１の所定の範囲と同じであってもよいし、異なってもよい。

本発明の別の態様の階調補正装置は、入力された画像に階調補正を行う階調補正装置であって、画像を複数のエリアに分割し、それぞれのエリア内の画素値を代表する値をエリア値として算出するエリア値算出部と、前記それぞれのエリア内のエッジ成分の量を示すエッジ量を算出するエッジ量算出部と、前記エリア値に基づいて、計算対象のエリアを中心とする第１の所定の範囲におけるエリア値のヒストグラムを生成するヒストグラム生成部と、計算対象のエリアを中心とする第２の所定の範囲内にあるエリアのエッジ量の総和を求めるエッジ総和部と、計算対象のエリアに対応するヒストグラムとエッジ総和とに基づいて、そのエリアに対応する階調変換カーブを生成する階調変換カーブ生成部と、前記階調変換カーブ生成部にて生成された階調変換カーブを用いて、計算対象のエリア内の画素値を変換する階調変換部とを備えた構成を有する。

この構成により、階調変換カーブをエリア値だけでなくエッジ量の総和に基づいて求めているので、階調補正前の画像の中で階調の変化が存在している領域を重点的に階調補正することができる。

本発明の階調補正装置において、前記階調変換カーブ生成部は、前記エッジ総和の大きさに応じて各階調の要素数の上限値および下限値を設定し、要素数が上限値を超える階調については要素数を上限値とし、要素数が下限値を下回る階調については要素数を下限値とするヒストグラムの整形を行い、各階調の要素数をその階調より下位の階調の要素数を累積した累積ヒストグラムを生成し、生成された累積ヒストグラムに基づいて階調変換カーブを求める構成を有する。

この構成により、ヒストグラムから階調変換カーブを生成したときに、エッジ総和の大きさに応じて各階調別に階調変換カーブの最大傾きおよび最小傾きを調整し、シーンに応じて階調補正の度合いを調整できる。

本発明の階調補正装置において、前記階調変換カーブ生成部は、前記エッジ総和が大きいほど各階調の要素数の上限値を大きく、下限値を小さく設定する構成を有する。

この構成により、エッジ総和が大きいほど階調変換カーブの最大傾きおよび最小傾きの制限を緩和して、より強力な階調補正を行うことができる。

本発明の階調補正装置において、前記エッジ総和部は、前記第２の所定の範囲内のエリアのエッジ量の総和を求める際に、計算対象のエリアからエッジ量を加算しようとするエリアまでの距離に応じた重み付けをする構成を有する。

この構成により、第２の所定の範囲におけるエッジ総和を算出する際に、計算対象のエリアから各エリアまでの距離に応じて、エッジ量がエッジ総和に与える影響を調整できる。

本発明の階調補正装置において、前記エッジ量算出部は、エリアの明るさに応じて算出するエッジ量を調整する構成を有する。

この構成により、階調補正を重点的に行うべき明るさの対象について、階調を制御できる。

本発明の撮像装置は、撮像素子と、前記撮像素子によって撮像された画像を階調補正する上記した階調補正装置とを備えた構成を有する。

この構成により、上記した階調補正装置と同様に、階調補正前の画像の中で階調の変化が存在している領域を重点的に階調補正することができる。なお、本発明の階調補正装置の各種の構成を、本発明の撮像装置に適用することも可能である。

本発明の階調補正プログラムは、入力された画像に階調補正を行う階調補正プログラムであって、コンピュータに、画像を複数のエリアに分割し、それぞれのエリア内の画素値を代表する値をエリア値として算出するステップと、前記それぞれのエリア内のエッジ成分の量を示すエッジ量を算出するステップと、前記エリア値と前記エッジ量とに基づいて、計算対象のエリアを中心とする所定の範囲におけるエリア値のヒストグラムを生成するステップと、計算対象のエリアに対応するヒストグラムに基づいて、そのエリアに対応する階調変換カーブを生成するステップと、生成された階調変換カーブを用いて、計算対象のエリア内の画素値を変換するステップとを実行させる。

本発明のコンピュータ読み取り可能な記録媒体は、上記した階調補正プログラムを記録した構成を有する。

本発明の階調補正方法は、入力された画像に階調補正を行う階調補正方法であって、画像を複数のエリアに分割し、それぞれのエリア内の画素値を代表する値をエリア値として算出するステップと、前記それぞれのエリア内のエッジ成分の量を示すエッジ量を算出するステップと、前記エリア値と前記エッジ量とに基づいて、計算対象のエリアを中心とする所定の範囲におけるエリア値のヒストグラムを生成するステップと、計算対象のエリアに対応するヒストグラムに基づいて、そのエリアに対応する階調変換カーブを生成するステップと、生成された階調変換カーブを用いて、計算対象のエリア内の画素値を変換するステップとを備えた構成を有する。

これらの構成により、上記した階調補正装置と同様に、階調補正前の画像の中で階調の変化が存在している領域を重点的に階調補正することができる。なお、本発明の階調補正装置の各種の構成を、本発明の階調補正プログラム、記録媒体および階調補正方法に適用することも可能である。

本発明によれば、エッジ量をも用いて求めたエリア値のヒストグラムに基づいて階調変換カーブを求めているので、階調補正前の画像の中で階調の変化が存在している領域を重点的に階調補正することができるというすぐれた効果を有する。

以下に、本発明の実施の形態の階調補正装置を備えた撮像装置について、図面を参照しながら説明する。

図１は、実施の形態の撮像装置の構成を示す図である。撮像装置は、被写体からの光を撮像素子３に結像するためのレンズ１と、撮像素子３に入射する光量を制御する絞り部２と、結像した像を光電変換する撮像素子３と、撮像素子３から得られるアナログ信号をデジタル信号に変換するＡ／Ｄ変換器４と、Ａ／Ｄ変換された映像信号に対しＯＢ減算やホワイトバランス調整などを行う前処理回路５と、前処理後の映像信号を輝度信号と色差信号に分離するＹＣ分離回路６と、ＹＣ分離回路６から出力された輝度信号および色差信号に階調補正を行う階調補正部１００と、輝度信号を処理するＹ信号処理回路７と、色差信号を処理するＣ信号処理回路８を備える。階調補正部１００は、本発明の階調補正装置に該当する。

階調補正部１００は、前処理後の映像信号からエッジ信号を抽出するエッジ抽出回路１０と、エッジ抽出回路１０で抽出したエッジ信号と前処理後の映像信号をそれぞれ複数のエリアに分割するエリア分割回路１１と、エリア分割回路１１で分割した全てのエリアについて、映像信号からエリア値を算出するエリア値算出回路１２と、エッジ信号からエッジ量を算出するエッジ量算出回路１３を備えている。エリア値とは、エリアを代表する映像信号の値であり、例えば、エリアに含まれる全画素の画素値の平均値や中央値を用いることができる。エッジ量とはエリアを代表するエッジ信号の値であり、例えばエリアに含まれる全画素のエッジ信号の大きさの平均値や中央値を用いることができる。

また、階調補正部１００は、エリア値算出回路１２で算出されたエリア値と、エッジ量算出回路１３で算出されたエッジ量を１フレーム期間記憶する記憶部１４とを備えている。

また、階調補正部１００は、記憶部１４が記憶するエッジ量に基づいて各エリアを中心とした局所領域におけるエッジ量の総和を算出するエッジ総和算出回路１５と、エリア値とエッジ量に基づいて各エリアを中心とした局所領域におけるヒストグラムを算出する局所的ヒストグラム算出回路１６と、局所的ヒストグラム算出回路１６で算出された各ヒストグラムに対してエッジ総和算出回路１５で算出したエッジ総和を参照してクリップ処理や平滑化などの整形処理を行うヒストグラム整形回路１７と、整形後のヒストグラムからエリア毎の階調変換カーブを生成する階調変換カーブ生成回路１８とを備えている。ここで、ヒストグラム整形回路１７、および階調変換カーブ生成回路１８は、請求項に記載した「階調変換カーブ生成部」に該当する。階調変換カーブ生成回路１８にて求められる階調変換カーブは、エリア別の階調変換カーブである。すなわち、所定のエリアを中心とした局所領域におけるヒストグラムを用いて算出された階調変換カーブは、その所定のエリアに対応する階調変換カーブである。

階調補正部１００は、階調変換カーブを使って前処理後の映像信号値Ｌを変換する階調変換回路１９と、階調変換回路１９で得られた複数の階調変換後の映像信号値を線形補間計算する線形補間回路２０と、前処理後の映像信号値Ｌと階調変換後の映像信号値Ｌ’の比を計算する比率計算回路２１と、計算された比率をＹＣ分離回路７で生成された輝度信号および色信号に乗算する回路とを備えている。

以上のように構成された撮像装置における階調補正の動作、すなわち、エッジ抽出回路１０から比率計算回路２１を経て求めた変換比率を、輝度信号および色信号に乗算するまでの動作について説明する。

撮像素子３による撮像によって得られた映像信号は、Ａ／Ｄ変換部４および前処理回路５を介してＹＣ分離回路６および階調補正部１００に入力される。

階調補正部１００のエッジ抽出回路１０は、入力された画像からエッジ信号を抽出する。本実施の形態においてエッジ信号抽出は、階調補正結果に大きく影響を与える。ここでは有効なエッジ信号抽出手法として２つの方法を取り上げる。

図２は、１つ目のエッジ信号抽出手法を説明する図である。まず、入力画像に対してエッジ抽出フィルタを適用する。なお、エッジ抽出フィルタを適用する前にローパスフィルタなどを適用し、あらかじめ画面中のノイズ成分を除去することも有効である。ここで、エッジ抽出フィルタとしては、SobelフィルタやCannyエッジフィルタなどの既知のフィルタを用いることができる。これらのフィルタの結果として、フィルタによる抽出結果が得られる。次に、この結果に対して、エッジ調整係数を乗ずることで最終的なエッジ信号抽出結果を得る。エッジ調整係数とは、入力画像の各画素の画素値に応じて、フィルタによるエッジ抽出結果に対して乗ずるゲインのことである。図２に示す例では、入力画像の画素値が小さいほどゲインは大きくなっており、結果として低画素値のエッジ信号が大きくなる。このように、エッジ調整係数は、どの階調のエッジ信号を抽出するかを調整する役割を担う。これにより、エリアの明るさに応じてエッジを抽出することが可能となり、例えば画面中の暗い領域に存在するエッジ信号だけを重点的に抽出することができる。階調補正の狙いに沿ったエッジ信号抽出が可能になる。

図３は、２つ目のエッジ信号抽出手法について説明する図である。まず、入力画像に対してローパスフィルタを適用する。このローパスフィルタによる処理は、ノイズ成分をエッジ信号と誤判定しないための処理である。次に、画面中の各画素を注目画素として、注目画素とその周辺近傍の８画素との差分値をそれぞれ計算する。差分値は、２つの画素の差分の絶対値である。ノイズ対策のため、求まった差分値が閾値ｄｉｆｆＴＨより小さいときは差分無しとする。

次に、ここまでの処理で求まっている８つの差分値に対して、それぞれの差分値を計算した２つの画素の平均値で除算する。例えば、注目画素と左上画素Ａ１について考えると、まず２つの画素の差分の絶対値から差分１’が求まり、さらに差分１’を注目画素と左上画素Ａ１の平均値で除算したものが差分１となる。同様に差分１から差分８までを求める。求めた差分１から差分８の総和を差分計とし、差分計がＴＨｍｉｎ以上、ＴＨｍａｘ未満のとき注目画素はエッジ信号であると判定する。

以上が２つ目のエッジ信号抽出手法である。この抽出手法では画面中の暗い領域のエッジは抽出しやすく、明るい領域のエッジは抽出しにくいという特性を持つ。この特性により、主に暗部の視認性を向上する目的に用いる階調補正に適している。

次に、エリア分割回路１１は、入力された画像およびエッジ抽出回路１０によって抽出されたエッジ抽出結果を複数のエリアに分割する。入力画像およびエッジ抽出結果のエリア分割は同じとし、１エリア内には少なくとも１個の画素が属している。

図４は、エリア分割の例を示す図である。図４では、画像の大きさを水平６４０画素、垂直４８０画素としたときに、画像を水平８０個、垂直６０個の計４８００個のエリアに分割した例を示している。このとき、１エリア中には、水平８個、垂直８個の計６４個の画素が含まれる。

続いて、エリア値算出回路１２は、エリア分割回路１１にて分割されたエリアごとに、そのエリアに属する画素値の平均値を算出し、算出した平均値をエリア値とする。以下の処理では、このエリア値を用いる。

また、エッジ量算出回路１３においても同様に、エリア分割回路１１にて分割されたエリアごとに、そのエリアに属するエッジ信号の大きさの平均値を算出し、算出した平均値をエッジ量とする。以下の処理では、このエッジ量を用いる。

これらのエリア化により、画素単位の画素値やエッジ信号を利用した計算を行わなくてもよいので、計算処理の負荷を軽減できる。また、エリア値およびエッジ量は必要に応じて階調削減を行う。本実施の形態では、エリア値を５ｂｉｔ長に、エッジ量を２ｂｉｔに削減する。これにより、エリア値およびエッジ量を記憶部１４に記憶するにあたりメモリ容量を削減することができる。

ここまでの処理によって、階調削減された各エリアのエリア値とエッジ量が、階調補正部１００の記憶部１４に記憶される。階調補正部１００は、各エリアのエリア値とエッジ量を用いて、各エリアに対応する階調変換カーブを求める。階調変換カーブを求める処理は、エッジ総和算出回路１５、局所的ヒストグラム算出回路１６、ヒストグラム整形回路１７、階調変換カーブ生成回路１８によって行われる。

エッジ総和算出回路１５は、記憶部１４に記憶されたエッジ量を使って、各エリアを中心とした局所領域におけるエッジ量の総和を算出する。

図５は、エッジ総和の算出について説明するための図である。エッジ総和算出回路１５は、注目エリアを中心とした所定範囲にあるエリアを対象に、注目エリアからの距離に応じて重み付けを行った上で、所定範囲内にあるエリアのエッジ量の総和を求める。

図５に示す例では、注目エリアＥＣを中心に水平距離Ｄ１、垂直距離Ｄ１の範囲Ｅ１内にある各エリアについては、エッジ量をＫ１倍する。同様に、注目エリアＥＣを中心に水平距離Ｄ２、垂直距離Ｄ２の範囲にあり、かつ範囲Ｅ１に含まれない範囲Ｅ２内にある各エリアについては、エッジ量をＫ２倍する。注目エリアＥＣを中心に水平距離Ｄ３、垂直距離Ｄ３の範囲にあり、かつ範囲Ｅ１およびＥ２に含まれない範囲Ｅ３内にある各エリアについては、エッジ量をＫ３倍する。注目エリアＥＣを中心に水平距離Ｄ４、垂直距離Ｄ４の範囲にあり、かつ範囲Ｅ１からＥ３に含まれない範囲Ｅ４内にある各エリアについては、エッジ量をＫ４倍する。そして、これらの重み係数をかけたエッジ量の合計値をエッジ総和とする。

なお、注目エリアＥＣを中心として範囲Ｅ４以内に含まれない画面上のエリアは、この注目エリアで算出するエッジ総和には関与しない。ここで、重み係数Ｋ１〜Ｋ４は、重み係数Ｋ１が一番大きく重み係数Ｋ４に向かって順次係数を小さくし、距離Ｄ１〜Ｄ４は、距離Ｄ１が一番小さく、距離Ｄ４に向かった順次距離を大きくする。これにより、注目エリアＥＣから距離的に遠くなるほど注目エリアＥＣにおけるエッジ総和に与える影響を小さくすることができる。重み係数Ｋ１〜Ｋ４と水平距離および垂直距離Ｄ１〜Ｄ４は、経験上Ｋ１＝４、Ｋ２＝３、Ｋ３＝２、Ｋ４＝１、Ｄ１＝１２、Ｄ２＝２５、Ｄ３＝４０、Ｄ４＝６０程度の値とすることが望ましい。

ここで、本実施の形態では、階調変換を行う際に、階調変換の対象となる画素を含むエリアと当該エリアに隣接する３つのエリアの合計４つのエリアの階調変換カーブを用いて階調補正を行う。階調補正部１００は、エッジ総和算出回路１５から階調変換回路１９まで、４つの注目エリアについて、独立にそれぞれのエッジ総和や局所的ヒストグラムを算出し、それに基づいて階調変換カーブを生成して階調変換結果を得る。

図６は、４つの注目エリアについて説明する図である。４つの注目エリアは、図６に示すように現在処理している注目画素Ｋから、重心位置への距離が近いエリア（ｉ，ｊ）、エリア（ｉ＋１，ｊ）、エリア（ｉ，ｊ＋１）、エリア（ｉ＋１，ｊ＋１）を選択する。エッジ総和算出回路１５から階調変換回路１９まで並列に処理され、線形補間回路２０において４つの階調変換後の映像信号値を用いて線形補間計算を行い、１つの階調変換後の映像信号値Ｌ’を得る。

４つのエリアに注目した処理は、並列に実行されるが処理内容としては同様であるので、エッジ総和算出回路１５から階調変換回路１９の説明では１つのエリアの処理について注目して説明する。

局所的ヒストグラム算出回路１６は、記憶部１４に記憶されたエリア値とエッジ量を使って、各エリアを中心とした局所領域におけるヒストグラムを算出する。

図７は、局所的ヒストグラムの算出について説明するための図である。局所的ヒストグラム算出回路１６は、注目エリアを中心にした所定範囲内にあるエリアを対象に、注目エリアから各エリアへの距離と各エリアのエッジ量に応じて、各エリアの固有の値を求め、エリア固有の値を階調ごとに加算してヒストグラムを算出する。なお、エリア固有の値は、そのエリアのエリア値が属する階調の要素数としてカウントする際に、１個としてカウントするのではなく、重みＷを乗じて「Ｗ個」としてカウントする際のＷに対応する値である。

図７に示す例では、注目エリアＥＣを中心に水平距離Ｄ１、垂直距離Ｄ１の範囲Ｅ１内にある各エリアについては、エリア固有の値Ｗ１を次式により求める。

範囲Ｅ１内に適用される距離重み係数ｏｒｉｇＷ１をベースに、各エリアのエッジ量に応じて係数ｏｒｉｇＷ１をエッジ量で調整した重みである。係数Ｇ１は、エッジ量を調整する係数である。係数ｏｒｉｇＷ１および係数Ｇ１は、範囲Ｅ１内で同じ値が適用されるが、エッジ量は各エリアによって異なるので範囲Ｅ１の中であっても、エリア固有の値Ｗ１は異なる。

同様に、注目エリアＥＣを中心に水平距離Ｄ２、垂直距離Ｄ２の範囲にあり、かつ範囲Ｅ１に含まれない範囲Ｅ２内にある各エリアについては、エリア固有の値Ｗ２を次式により求める。

注目エリアＥＣを中心に水平距離Ｄ３、垂直距離Ｄ３の範囲にあり、かつ範囲Ｅ１およびＥ２に含まれない範囲Ｅ３内にある各エリアについては、エリア固有の値Ｗ３を次式により求める。

注目エリアＥＣを中心に水平距離Ｄ４、垂直距離Ｄ４の範囲にあり、かつ範囲Ｅ１からＥ３に含まれない範囲Ｅ４内にある各エリアについては、エリア固有の値Ｗ４を次式により求める。

注目エリアＥＣを中心として範囲Ｅ４以内に含まれない画面上のエリアは、この注目エリアで算出する局所的ヒストグラムには関与しない。ここで、距離重み係数ｏｒｉｇＷ１〜ｏｒｉｇＷ４は、距離重み係数ｏｒｉｇＷ１が一番大きく距離重み係数ｏｒｉｇＷ４に向かって順次係数を小さくし、距離Ｄ１〜Ｄ４は、距離Ｄ１が一番小さく、距離Ｄ４に向かった順次距離を大きくするのが適当である。これにより、注目エリアＥＣから距離的に遠くなるほど注目エリアＥＣにおける局所的ヒストグラムに与える影響を小さくすることができる。また、エッジ量調整係数Ｇ１〜Ｇ４は、距離重み係数との乗算となるため距離重み係数との兼ね合いで適宜設定する。それぞれの係数は、経験上ｏｒｉｇＷ１＝１４、ｏｒｉｇＷ２＝６、ｏｒｉｇ＝２、Ｗ４＝１、Ｇ１＝０．２９、Ｇ２＝０．５、Ｇ３＝１、Ｇ４＝１程度の値を取ることが望ましい。距離Ｄ１〜Ｄ４は、エッジ総和算出回路１５と同じとする。また、エッジ量は２ｂｉｔに削減されているため０〜３の値を取る。

図８は、注目エリアが画像の端部付近にある場合を示している。図８のように、注目エリアが画像の端部付近にある場合には、当該エリアを中心とする所定範囲（エリア参照範囲）が画像の外にはみ出してしまう場合がある。この場合、画面外にはみ出した範囲に関しては、値が存在しないものとして扱ってもよいし、端部処理として別処理を行ってもよい。例えば、画面の一番外枠のエリアが画面外に無限に広がっていると考えて局所的ヒストグラムの範囲をケアする方法や、画面の一番外枠のエリアを対称に画面の外側は内側を折り返していると考えて局所的ヒストグラムの範囲をケアする方法が考えられる。

次に、ヒストグラム整形回路１７は、局所的ヒストグラム算出回路１６にて算出された局所的ヒストグラムに対して処理を行う。ヒストグラム整形回路１７は、（１）要素数の上下階調への分配処理、（２）要素数のＭＡＸクリップ、（３）要素数のＭＩＮクリップの３つの処理を行う。

図９は、ヒストグラムの要素数を上下階調へ分配する処理を説明するための図である。分配処理では、ヒストグラム全３２階調において、各階調の要素数を上下の階調に分配することにより、ヒストグラムの平滑化を行う。本実施の形態では、エリアに含まれる８×８画素の画素値を一つのエリア値によって処理しているために、実際の画像に含まれていた様々な値の画素値が丸められてしまっている。分配処理は、エリア値を用いることによって、丸められた分を元に戻すという考えに基づく処理である。

要素数の分配処理は、注目階調の要素数に対し、注目階調から見て上下１階調離れた階調へは重み係数Ｖ１を乗じた値を加算し、上下２階調離れた階調へは重み係数Ｖ２を乗じた値を加算し、上下３階調離れた階調へは重み係数Ｖ３を乗じた値を加算するというように、注目階調との階調差に応じて重み係数を設定し、注目階調の要素数を上下階調へ分配する。

図９（ａ）は、分配処理前のヒストグラムの例を示す図である。図９（ｂ）は、図９（ａ）に示すヒストグラムに対して、Ｖ１＝０．７５、Ｖ２＝０．５０、Ｖ３＝０．２５という重み係数を設定し、かつ、存在しない階調への分配分を破棄する処理を行った結果を示す図である。なお、重み係数Ｖ１、Ｖ２、Ｖ３は経験上Ｖ１≧Ｖ２≧Ｖ３とするのが望ましい。

図９（ｃ）〜図９（ｅ）は、図９（ａ）に示すヒストグラムから、分配処理により図９（ｂ）にヒストグラムを求める途中経過を示す図である。図９（ｃ）は、図９（ａ）に示すヒストグラムの階調０における値１００を上下の階調に分配する例を示す図である。図９（ｃ）に示すように階調１に対しては、１００×Ｖ１（０．７５）＝７５という値が加算され、階調２に対しては、１００×Ｖ２（０．５）＝５０という値が加算され、階調３に対しては、１００×Ｖ３（０．２５）＝２５という値が加算される。なお、階調０は最も低い階調であるので、階調０より低い階調は存在しない。この場合、階調外への分配分は消失する。

図９（ｄ）は、図９（ｃ）と同様に、図９（ａ）に示すヒストグラムの階調１における値２００を上下の階層に分配する例を示し、図９（ｅ）は、階調２における値１５０を上下の階層に分配する例を示す。図９（ｃ）、図９（ｄ）、図９（ｅ）に示す分配値の総和をとることによって、図９（ｂ）に示す結果が得られる。図９（ｂ）に見られるように、分配処理によって、ヒストグラムは平滑化される。
次に、ヒストグラム整形回路１７が行う要素数のクリップについて説明する。

図１０（ａ）および図１０（ｂ）は、要素数のクリップを説明するための図である。図１０（ａ）はクリップ処理前のヒストグラムを示し、図１０（ｂ）はクリップ処理後のヒストグラムを示す。ヒストグラム整形回路１７は、各階調について独立に、要素数のＭＡＸクリップ値およびＭＩＮクリップ値を設定し、要素数のクリップ処理を行う。すなわち、ヒストグラム整形回路１７は、各階調についてＭＡＸクリップ値を超える要素数はＭＡＸクリップ値まで減算し、ＭＩＮクリップ値に満たない要素数はＭＩＮクリップ値まで加算する。

次に、ＭＡＸクリップ値およびＭＩＮクリップ値について説明する。ＭＡＸクリップ値およびＭＩＮクリップ値の設定は、階調補正結果に大きく関係する。基本的には、ＭＡＸクリップ値を大きくするほど、または、ＭＩＮ値クリップを小さくするほど階調補正の度合いは大きくなりコントラスト改善も大きくなる。クリップ値は、各階調で独立して設定する。

ＭＡＸクリップ値およびＭＩＮクリップ値は、あらかじめ設定した値を基準にエッジ総和算出回路１５で求めた注目エリアのエッジ総和によって調整する。

図１１（ａ）および図１１（ｂ）は、エッジ総和の大きさとＭＡＸクリップ値およびＭＩＮクリップ値の調整について説明する図である。図１１（ａ）は、ＭＡＸクリップ値の調整を説明する図であり、エッジ総和が大きいときはＭＡＸクリップ値を基準値よりも大きくし、エッジ総和が小さいときは基準値よりも小さくする。

図１１（ｂ）は、ＭＩＮクリップ値の調整を説明する図であり、エッジ総和が大きいときはＭＩＮクリップ値を基準値よりも小さくし、エッジ総和が大きいときは基準値よりも大きくする。この調整の仕方は次の考えに基づいている。エッジ総和が小さいエリアについては、被写体が、均一に近く階調を拡大する必要性が低い。従って、階調補正の度合いが小さくなるようにＭＡＸクリップ値を小さく、ＭＩＮクリップ値を大きくする。逆に、エッジ総和が大きいエリアは階調を拡大する必要性が高いエリアであるので、より階調補正の度合いが大きくなるようにＭＡＸクリップ値を基準よりも大きく、ＭＩＮクリップ値を基準よりも小さくする。

次に、階調変換カーブ生成回路１８は、ヒストグラム整形回路１７にて整形されたヒストグラムから、階調変換カーブを生成する。

図１２（ａ）〜図１２（ｃ）は、階調変換カーブの生成について説明するための図である。図１２（ａ）は、ヒストグラム整形回路１７にて整形されたヒストグラムを示す図である。階調変換カーブ生成回路１８は、図１２（ａ）に示すヒストグラムを下位階調から累積して、図１２（ｂ）に示す累積ヒストグラムを作成する。次に、階調変換カーブ生成回路１８は、累積ヒストグラムの最上位階調の要素数が映像信号値の階調数になるように正規化して、図１２（ｃ）に示す階調変換カーブを生成する。

図１２（ａ）〜図１２（ｃ）に示す例では、映像信号値の階調数を２５６階調として正規化を行い、正規化された累積ヒストグラムから階調変換カーブを生成している。階調変換カーブは０を原点とし、原点以外を等間隔の３２点の制御点で結んだ折れ線カーブとなる。

ここまでの処理により、各エリアに対応する階調変換カーブが生成される。この階調変換カーブを用いて、エリア内の画素を階調変換することにより、階調補正することができる。本実施の形態では、エリア別の階調変換カーブを用いた階調補正によって、エリア境界線が生じる問題点を解決するために、以下に説明するような処理を行う。

階調変換回路１９は、生成された階調変換カーブを用いて前処理後の映像信号値Ｌの階調変換を行う。
図１３は、階調変換の例を示す図である。階調変換カーブに基づく変換では、前処理後の映像信号値Ｌに対応する値を、階調変換カーブから読み出して階調変換後の出力値とする。階調変換カーブは３２点の制御点からなる折れ線カーブであるので、制御点間については補間計算を行って出力値を算出する。

階調変換回路１９は、注目画素を含む４つのエリア（図６参照）の階調変換カーブを用いて注目画素の階調変換を行う。これによって階調変換回路１９は、一の画素に対して４つの階調変換結果を得ることになる。

線形補間回路２０は、階調変換回路１９にて求められた４つの階調変換結果に線形補間処理を行い、画素に対する階調補正結果を求める。

図１４は、線形補間回路２０による処理について説明するための図である。線形補間回路は、図１４に示すように、注目画素Ｋと注目エリアであるエリア（ｉ，ｊ）、エリア（ｉ＋１，ｊ）、エリア（ｉ，ｊ＋１）、エリア（ｉ＋１，ｊ＋１）のそれぞれの重心位置との距離を用いて補間演算を行う。ここで、エリアの水平および垂直のサイズをＲ、注目エリア（ｉ，ｊ）と注目画素Ｋとの水平距離をｐ、垂直距離をｑとし、エリア（ｉ，ｊ）、エリア（ｉ＋１，ｊ）、エリア（ｉ，ｊ＋１）、エリア（ｉ＋１，ｊ＋１）の階調変換結果を順にＬＡ、ＬＢ、ＬＣ、ＬＤとしたとき、線形補間後の信号値Ｌ’は次式で求められる。

次に、比率計算回路２１は、前処理回路５から出力された映像信号値Ｌと、線形補間回路２０で求められた階調変換後の映像信号値Ｌ’に基づいて、（階調変換後の映像信号値Ｌ’）／（前処理後の映像信号値Ｌ）を計算して変換比率を求める。階調補正部１００は、比率計算回路２１で求めた変換比率を、ＹＣ分離回路７で生成した輝度信号（Ｙ信号）および色差信号（Ｃ信号）に乗算する。
以上、階調補正部１００の動作について説明した。

本実施の形態の撮像装置は、エリア値だけでなくエッジ量をも用いて階調変換カーブを求めているので、階調補正前の画像の中で階調として変化が存在している領域の階調を重点的に階調補正することができる。

本実施の形態の撮像装置は、処理負荷の大きいヒストグラムの算出をエリア単位で行っているので、処理に必要な記憶容量と処理負荷を大幅に削減した局所的ヒストグラム均等化による階調補正を実現できる。

本実施の形態の撮像装置は、エリアに対応した階調変換カーブを求める際に、当該エリアを含む所定範囲内のエリア値とエッジ量からヒストグラムを算出しているので、エリア内の画素値とエッジ信号から算出したヒストグラムを用いて階調変換カーブを求める場合に比べ、広い範囲のデータを利用して階調変換カーブを求めることができる。

本実施の形態の撮像装置は、エリアに対応した階調変換カーブを求める際に、局所的ヒストグラムの算出にあたり該当エリアを含む所定範囲内のエリア値やエッジ量に対し該当エリアからの距離に基づいて段階的に重みを調整しているのでエリアによって急激なヒストグラムの変動が生じない。従って、階調変換カーブもエリアによって滑らかに変化しており階調補正後に違和感のない結果が得られる。

本実施の形態の撮像装置では、ヒストグラム整形回路１７によってヒストグラムの分配処理を行っているので、エリア内の複数の画素をエリア値によって処理することに起因する階調潰れを低減することができる。

本実施の形態の撮像装置では、各エリアに対応した階調変換カーブを用いて求められた階調変換結果を線形補間することにより、画素の線形補正結果を求めているので、隣接するエリアの階調変換カーブを加味した階調補正値が得られる。これにより、階調補正後の画像にエリア境界線が生じにくくすることができる。

以上、本発明の階調補正装置について、階調補正装置を含む撮像装置を実施の形態を挙げて詳細に説明したが、本発明は上記した実施の形態に限定されるものではない。

上記した実施の形態では、階調補正装置を回路によって構成する例について説明したが、上記した階調補正部１００の各回路の機能を実現するプログラムも本発明の範囲に含まれる。

上記した実施の形態では、前処理回路５が行う処理としてＯＢ減算とホワイトバランス調整を挙げたが、この２つの処理を行なわなくてもよいし、この２つ以外の処理を前処理回路で行ってもよい。例えば、シェーディング補正やガンマ補正などが前処理に含まれてもよい。

また、上記した実施の形態では、エッジ抽出回路１０として２つの手法を説明したがエッジ抽出の方法としてはこれに限られるものではない。エッジ抽出のためのフィルタは画素値の微分成分が抽出できれば何を使ってもよく、上記で説明した２つの手段を組み合わせて使うことも有効である。

また、上記した実施の形態では、画面の大きさを水平６４０画素、垂直４８０画素とし、画面分割において水平８０個、垂直６０個の計４８００個のエリアに分割する例について説明したが、画面の大きさおよびエリア分割数は上記の例に限られない。また、エリア値としてエリア中の画素値の平均値を用いるとしたが、平均値の算出方法は特に限定するものではない。例えば、エリア内の全画素の平均値を求めてもよいし、エリア内のいくつかの画素をサンプリングしてその画素の平均値を求めてもよい。経験上、なるべく多くの画素の平均値を求めるほうが結果は安定する傾向にある。また、画素値として用いる値も特に限定するものではない。例えば、各画素における輝度値を算出してその値を使用してもよい。

また、上記した実施の形態では、エリア値を５ｂｉｔ、エッジ量を２ｂｉｔ、ヒストグラムを３２階調、階調変換カーブを３２点折れ線カーブなどとしたが、いずれもこれに限られない。例えば、ヒストグラムの階調を１６階調にして階調変換カーブを１６点折れ線カーブで求めることは記憶容量や回路規模の削減に対して有効である。逆に、ヒストグラムを６４階調、階調変換カーブを６４点の折れ線カーブとすればより精度の高い階調変換が可能になる。

エッジ量に関してもｂｉｔ数を増加すればさらに高精度なヒストグラムの重み付けが可能になる。また、階調変換カーブは等間隔の折れ線カーブとしているが、等間隔でなくてもよい。例えば、下位側の階調数を増やし、上位側の階調数をまばらに取ることで、下位側だけ折れ線カーブの精度を向上させることも可能である。またヒストグラムの階調についても同様である。

また、上記した実施の形態では、局所的ヒストグラム算出時に参照する範囲を正方形としているが、参照範囲の形は正方形に限らない。例えば、菱形や円形にすることも可能である。

また、上記した実施の形態では、局所的ヒストグラム算出時に４つの参照範囲で段階的に重みを切り替えているが、段階数は４つである必要はない。

また、上記した実施の形態では、局所的ヒストグラム算出時とエッジ総和算出時の参照範囲を同じにしているが必ずしも同じである必要はない。

また、上記した実施の形態では、ヒストグラムの分配処理において最下位階調または最上位階調を超える存在しない階調への分配要素は破棄したが、必ずしも破棄する必要はない。例えば、最下位階調を超える存在しない階調への分配要素は最下位階調に加算し、最上位階調を超える存在しない階調への分配要素は最上位階調に加算するのも有効な方法である。また、上下３階調ずつに要素数を分配する例を説明したが、階調数はこれに限るものではない。

以上説明したように、本発明は、階調補正前の画像の中で階調の変化が存在している領域を重点的に階調補正することができるというすぐれた効果を有し、デジタルスチルカメラやデジタルビデオカメラ等に代表される撮像装置に用いる階調補正装置等に有用である。

実施の形態における階調補正装置の概略構成図 実施の形態における第１のエッジ抽出手法を説明する図 実施の形態における第２のエッジ抽出手法を説明する図 実施の形態におけるエリア分割を説明する図 実施の形態におけるエッジ総和算出を説明する図 実施の形態における４つのエリア選択を説明する図 実施の形態における局所的ヒストグラム算出を説明する図 実施の形態における局所的ヒストグラム算出での参照範囲が画面外に及んだ状態を説明する図 （ａ）分配処理前のヒストグラムの例を示す図、（ｂ）分配処理後のヒストグラムの例を示す図、（ｃ）階調０の分配処理の例を示す図、（ｄ）階調１の分配処理の例を示す図、（ｅ）階調２の分配処理の例を示す図 （ａ）クリップ処理前のヒストグラムの例を示す図、（ｂ）クリップ処理後のヒストグラムの例を示す図 （ａ）ＭＡＸクリップ値の調整について説明する図、（ｂ）ＭＩＮクリップ値の調整について説明する図 （ａ）ヒストグラムの例を示す図、（ｂ）累積比ヒストグラムの例を示す図、（ｃ）階調変換カーブの例を示す図 実施の形態における階調変換の例を説明する図 実施の形態における４つの階調変換結果の線形補間処理を説明する図

符号の説明

１ レンズ
２ 絞り部
３ 撮像素子
４ Ａ／Ｄ変換器
５ 前処理回路
６ ＹＣ分離回路
７ Ｙ信号処理回路
８ Ｃ信号処理回路
１０ エッジ抽出回路
１１ エリア分割回路
１２ エリア値算出回路
１３ エッジ量算出回路
１４ 記憶部
１５ エッジ総和算出回路
１６ 局所的ヒストグラム算出回路
１７ ヒストグラム整形回路
１８ 階調変換カーブ生成回路
１９ 階調変換回路
２０ 線形補間回路
２１ 比率計算回路
１００ 実施の形態の階調補正部

Claims (13)

1. 入力された画像に階調補正を行う階調補正装置であって、
   画像を複数のエリアに分割し、それぞれのエリア内の画素値を代表する値をエリア値として算出するエリア値算出部と、
   前記それぞれのエリア内のエッジ成分の量を示すエッジ量を算出するエッジ量算出部と、
   前記エリア値と前記エッジ量とに基づいて、計算対象のエリアを中心とする第１の所定の範囲におけるエリア値のヒストグラムを生成するヒストグラム生成部と、
   計算対象のエリアに対応するヒストグラムに基づいて、そのエリアに対応する階調変換カーブを生成する階調変換カーブ生成部と、
   前記階調変換カーブ生成部にて生成された階調変換カーブを用いて、計算対象のエリア内の画素値を変換する階調変換部と、
   を備えた階調補正装置。
2. 前記ヒストグラム生成部は、エリアのエッジ量に基づいて前記第１の所定の範囲内の各エリア固有の値を計算し、エリア値が同じ階調に属する前記エリア固有の値を加算してヒストグラムを生成する請求項１に記載の階調補正装置。
3. 前記ヒストグラム生成部は、計算対象のエリアからの距離に基づいて前記第１の所定の範囲内の各エリア固有の値を計算する請求項２に記載の階調補正装置。
4. 計算対象のエリアを中心とする第２の所定の範囲内にあるエリアのエッジ量の総和を求めるエッジ総和部を備え、
   前記階調変換カーブ生成部は、計算対象のエリアに対応するヒストグラムとエッジ総和とに基づいて、そのエリアに対応する階調変換カーブを生成する請求項１〜３のいずれかに記載の階調補正装置。
5. 入力された画像に階調補正を行う階調補正装置であって、
   画像を複数のエリアに分割し、それぞれのエリア内の画素値を代表する値をエリア値として算出するエリア値算出部と、
   前記それぞれのエリア内のエッジ成分の量を示すエッジ量を算出するエッジ量算出部と、
   前記エリア値に基づいて、計算対象のエリアを中心とする第１の所定の範囲におけるエリア値のヒストグラムを生成するヒストグラム生成部と、
   計算対象のエリアを中心とする第２の所定の範囲内にあるエリアのエッジ量の総和を求めるエッジ総和部と、
   計算対象のエリアに対応するヒストグラムとエッジ総和とに基づいて、そのエリアに対応する階調変換カーブを生成する階調変換カーブ生成部と、
   前記階調変換カーブ生成部にて生成された階調変換カーブを用いて、計算対象のエリア内の画素値を変換する階調変換部と、
   を備えた階調補正装置。
6. 前記階調変換カーブ生成部は、前記エッジ総和の大きさに応じて各階調の要素数の上限値および下限値を設定し、要素数が上限値を超える階調については要素数を上限値とし、要素数が下限値を下回る階調については要素数を下限値とするヒストグラムの整形を行い、各階調の要素数をその階調より下位の階調の要素数を累積した累積ヒストグラムを生成し、生成された累積ヒストグラムに基づいて階調変換カーブを求める請求項４または５に記載の階調補正装置。
7. 前記階調変換カーブ生成部は、前記エッジ総和が大きいほど各階調の要素数の上限値を大きく、下限値を小さく設定する請求項６に記載の階調補正装置。
8. 前記エッジ総和部は、前記第２の所定の範囲内のエリアのエッジ量の総和を求める際に、計算対象のエリアからエッジ量を加算しようとするエリアまでの距離に応じた重み付けをする請求項４〜７のいずれかに記載の階調補正装置。
9. 前記エッジ量算出部は、エリアの明るさに応じて算出するエッジ量を調整する請求項１〜８のいずれかに記載の階調補正装置。
10. 撮像素子と、
    前記撮像素子によって撮像された画像を階調補正する請求項１〜９のいずれかに記載の階調補正装置と、
    を備えた撮像装置。
11. 入力された画像に階調補正を行う階調補正プログラムであって、コンピュータに、
    画像を複数のエリアに分割し、それぞれのエリア内の画素値を代表する値をエリア値として算出するステップと、
    前記それぞれのエリア内のエッジ成分の量を示すエッジ量を算出するステップと、
    前記エリア値と前記エッジ量とに基づいて、計算対象のエリアを中心とする所定の範囲におけるエリア値のヒストグラムを生成するステップと、
    計算対象のエリアに対応するヒストグラムに基づいて、そのエリアに対応する階調変換カーブを生成するステップと、
    生成された階調変換カーブを用いて、計算対象のエリア内の画素値を変換するステップと、
    を実行させる階調補正プログラム。
12. 請求項１１に記載された階調補正プログラムを記録したコンピュータ読み取り可能な記録媒体。
13. 入力された画像に階調補正を行う階調補正方法であって、
    画像を複数のエリアに分割し、それぞれのエリア内の画素値を代表する値をエリア値として算出するステップと、
    前記それぞれのエリア内のエッジ成分の量を示すエッジ量を算出するステップと、
    前記エリア値と前記エッジ量とに基づいて、計算対象のエリアを中心とする所定の範囲におけるエリア値のヒストグラムを生成するステップと、
    計算対象のエリアに対応するヒストグラムに基づいて、そのエリアに対応する階調変換カーブを生成するステップと、
    生成された階調変換カーブを用いて、計算対象のエリア内の画素値を変換するステップと、
    を備えた階調補正方法。

Images