JP3949684B2 - 階調補正装置、階調補正用プログラム、携帯端末機器及びパーソナルコンピュータ - Google Patents

Description

本発明は、デジタル化された画像の階調を補正するための技術に関する。

画像の階調を補正するための従来技術として、入力画像の画面全体にわたって各画素の輝度値もしくは濃度値を算出し、同じ階調の値を持つ画素、または、階調の量子化数よりも少ない区間に区切った同じ区間に含まれる画素の出現頻度を示すヒストグラムを作成し、この作成したヒストグラムの形状が最適になるような階調補正処理を画面全体にわたって行う「ヒストグラム均等化法」が、一般的に良く知られている（例えば、非特許文献１参照）。このヒストグラムを用いて画像の階調を補正するヒストグラム均等化法を用いることで、画面内の階調があるレベルに偏っている場合に、階調の分布を最適化することで、画面全体の階調特性を改善することが出来る。

更に、この様な「ヒストグラム均等化法」を逆光補正に応用した技術も、提案されている（例えば、特許文献１及び特許文献２参照）。これらの技術においては、画面全体のヒストグラムを基にして逆光状態を判断し、最適なヒストグラムに近づく様に、階調補正を行っている。

他方で、画面全体ではなく、画面内を複数のブロックに分割し、分割したブロック内の平均輝度値を基にして、局所的なコントラストである局所コントラストの補正を行う「局所コントラスト補正法」を用いた技術も、提案されている（例えば、特許文献３参照）。この「局所コントラスト補正法」を用いると共に、輪郭に輝度勾配を持たせると人間の目の特性により錯視が起こるクレイク・オブライエン効果をも利用することで、擬似的にダイナミックレンジを拡大することが出来る。

特開２００３−６９８２５号公報 特開２００３−２９９１０７号公報 特開平９−６５２５２号公報 ＡＮＩＬ Ｋ． ＪＡＩＮ著、「Ｆｕｎｄａｍｅｎｔａｌｓ ｏｆ Ｄｉｇｉｔａｌ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ」Ｐｒｅｎｔｉｃｅ−Ｈａｌｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ，Ｉｎｃ．出版、１９８９年、ｐｐ．２４１−２４４

しかしながら、既述した、画像の階調を補正するための従来技術である「ヒストグラム均等化法」あるいは「局所コントラスト補正法」を、そのまま逆光補正に適用する場合には、明るい領域又は暗い領域内の局所コントラストを改善する際に限界が生じると言う問題点がある。この点の理由を、以下に、詳細に記載する。

即ち、従来の「ヒストグラム均等化法」を用いた技術では、１画面内の全体にわたって同一の階調補正カーブを用いるため、階調補正カーブの傾きが負の値をとらない限り、あるいは、不連続の階調補正カーブを用いない限り、１画面内で、階調レベルの上下関係が入れ替わることは起こらなかった。例えば、入力画像のヒストグラムが図１０に示す様に、低輝度領域と高輝度領域とがそれぞれ特定階調付近に集中している場合には、「ヒストグラム均等化法」を用いて階調補正を行うと、図１１に示す実線の様な分布となる。即ち、低輝度領域のヒストグラム６０１は、変換後にはより広がった階調分布６１１と成り、低輝度領域内の局所コントラストは上がる。高輝度領域のヒストグラム６０２も同様に、変換後にはより広がった階調分布６１２と成り、高輝度領域内の局所コントラストが上がる。しかしながら、上記先行技術は何れも、図１２に示す様な、変換後の低輝度領域のヒストグラム６２１と高輝度領域のヒストグラム６２２とが、それぞれ一部の階調で階調レベルの上下関係の逆転を引き起こす様な変換を行うことは出来なかった。従って、１画面内の明るい領域の暗部の方が、同一画面内の別の暗い領域の明部よりも明るい場合には、補正後もその階調レベルの上下関係が保存されるため、１画面内の明るい領域の暗部の方が、同一画面内の別の暗い領域の明部よりも明るいか、もしくは、丸められて同一となるかの何れかであった。このため、明るい領域の暗部と暗い領域の明部との補正量の限界が存在しており、画面内の明るい領域内、又は、画面内の暗い領域内の、局所コントラストを改善する際に、必然的に限界が発生していた。

又、従来の「局所コントラスト補正法」を用いた技術では、場所によって階調レベルの上下関係の逆転現象があり得るものの、全階調にわたって局所コントラスト補正を効かせるために、局所領域の平均輝度値をある程度維持するように働くので、明るい領域全体または暗い領域全体としての逆光補正効果には、限界があった。例えば、分割したブロックの大きさ、又は、ブロック単位のフィルタ形状によって決定する分割したブロックの大きさの所定倍の大きさを超える領域にわたって、明るい領域又は暗い領域が連続する場合には、その連続する明るい領域又は暗い領域全体の平均輝度レベルに関しては、補正後にも階調レベルが維持され、補正後の平均輝度レベルも補正前と比較して大きくは変化しないので、局所領域のコントラストは改善されるものの、明るい領域全体又は暗い領域全体としての逆光補正効果には、限界があった。

更に、従来の「局所コントラスト補正法」を用いた技術は、全階調に渡って局所コントラスト補正を効かせるので、当該補正法を逆光補正に適用した場合に、そのままでは、暗い領域や明るい領域への補正効果を上げようとすると、本来の目的ではない中間階調レベルのブロックの局所コントラストも上げてしまうため、中間階調レベルが過補正にならない程度にしか局所コントラストを改善することは出来なかった。

この発明は、上述の様な課題を解消するために成されたものであり、その目的は、逆光補正時に明るい領域又は暗い領域内の局所コントラストをより一層改善可能とする点にある。

本発明の主題に係る階調補正装置は、入力されたデジタル画像の一画面内を複数の局所領域に分割した上で局所領域単位でのタイミングを制御するためのブロックタイミング発生部と、前記入力されたデジタル画像の前記一画面に対して前記複数の局所領域のうちの各々の局所領域の平均輝度を求める平均輝度算出部と、前記各々の局所領域の平均輝度より、輝度補正におけるそれぞれの局所領域の補正の方向及び量を求める補正量算出部と、前記それぞれの局所領域の補正の方向及び量から、画素単位に基づく補正量への補間を行う補間部と、前記画素単位に基づく補正量を用いて、前記入力されたデジタル画像の階調補正を行う階調変換部とを備え、前記補正量算出部は、前記各々の局所領域の平均輝度が全輝度階調レベルの中央よりも低い低輝度部に対しては、前記局所領域の輝度を上げる様に、前記それぞれの局所領域の補正の方向及び量を求めるとともに、前記各々の局所領域の平均輝度が前記全輝度階調レベルの中央よりも高い高輝度部に対しては、前記局所領域の輝度を下げる様に、前記それぞれの局所領域の補正の方向及び量を求めることを特徴とする。

以下、この発明の主題の様々な具体化を、添付図面を基に、その効果・利点と共に、詳述する。

本発明の主題は、以下に述べる１）及び２）の効果を奏する。

１）画面内を複数の局所領域（例えばブロック）に分割した上で、局所領域の平均輝度レベルから補正後の輝度レベルへの補正量を、局所領域の平均輝度レベルによって制御する際に、各局所領域の輝度レベルを、当該局所領域の平均輝度レベルが全輝度階調レベルの中央よりも低いときにはレベルを上げる様に制御しているので、暗い領域が面積的に広く連続する様な部分全体においても、全体的に良好な階調補正結果が得られると言う効果がある。

２）各局所領域の輝度レベルを、当該局所領域の平均輝度レベルが全輝度レベルの中央よりも高いときにはレベルを下げる様に制御しているので、明るい領域が面積的に広く連続する様な部分全体においても、全体的に良好な階調補正結果が得られると言う効果がある。

（実施の形態１）
本実施の形態の特徴点は、画面内を複数のブロックに分割した上で、ブロックとして分割された各局所領域の平均輝度レベルからその補正後の輝度レベルへの変化量を、当該局所領域の平均輝度レベルによって制御する点にある。特に、本実施の形態の特徴点は、各局所領域の平均輝度レベルを、当該局所領域の平均輝度レベルが全輝度階調レベルの中央値から見て相対的に低いときには上げる様に制御する点にある。逆に、本実施の形態の特徴点は、各局所領域の平均輝度レベルを、当該局所領域の平均輝度レベルが全輝度階調レベルの中央値から見て相対的に高いときには下げる様に制御する点にある。更には、本実施の形態の特徴点は、（１）局所領域の平均輝度レベルが全輝度階調レベルの中央値から見て相対的に低いときには、当該局所領域の輝度補正における補正量を大きく制御し、（２）平均輝度レベルが全輝度階調レベルの中央値から見て高いときにも、当該局所領域の輝度補正における補正量を大きく制御する一方で、（３）局所領域の平均輝度レベルが中程度（全輝度階調レベル程度）の時には、当該局所領域の輝度補正における補正量を小さくする様に制御する点にある。あるいは、本実施の形態では、局所領域の平均輝度レベルが全輝度階調レベルの中央値から見て低いときには、当該局所領域の輝度補正における補正量を大きくし、平均輝度レベルが中程度の時には、当該局所領域の輝度補正における補正量を小さくし、平均輝度レベルが全輝度階調レベルの中央値から見て高いときには、当該局所領域の輝度補正における補正量を中程度にする様に制御される。以下、添付の図面に基づき、本実施の形態の特徴点を詳述する。

図１は、本実施の形態に係る階調補正装置の構成ないしは機能部を示すブロック図である。図１において、階調補正装置に入力されたデジタル画像データは、補正量算出部１０１と、記憶部１０６とに入力される。補正量算出部１０１は、その内包するブロックタイミング発生部１０２の制御の下で、ブロック単位（局所領域単位）の処理を行う。先ず、（１）平均輝度算出部１０３は、入力した画像データから、ブロック単位の平均輝度値を算出する。次に、（２）ブロック単位補正量算出部１０４は、入力したブロック単位の平均輝度値から、ブロック単位での補正量を算出する。更に、（３）画素単位補正量算出部１０５は、入力したブロック単位の補正量から、画素単位の補正量を算出する。即ち、画素単位補正量算出部１０５は、ブロック単位毎の補正量から画素単位に基づく補正量への補間を行う「補間部」として、機能する。

階調変換部１０７は、ブロックタイミング発生部１０２から出力される制御信号に基づき、画素単位補正量算出部１０５から入力される補正量と階調変換テーブル部１０８の変換テーブル値とを用いて、同部１０７が記憶部１０６から読み出した画像データ（輝度値データ）に対して階調変換を行う。

次に、各処理ブロックの詳細な動作について記載する。先ず、記憶部１０６について記載する。補正量算出部１０１全体では、１〜数ブロックラインだけの遅延が発生するので、通常、記憶部１０６は、同等の１〜数ブロックラインの遅延を発生するラインメモリで構成されている。若し補正量算出部１０１の側においてフレーム単位の遅延が発生する場合には、記憶部１０６も、同等のフレーム単位の遅延を発生するフレームメモリで構成される。

他方、補正量算出部１０１内に入力された画像データに対しては、ブロックタイミング発生部１０２で発生されたブロック番号毎に、平均輝度算出部１０３は、ブロック単位の平均輝度値（ブロック内平均輝度とも称す）を求める。若し画像データが平均輝度算出部１０３に入力される際に、その画像データ形式が輝度・色差形式になっていない場合には、平均輝度を求める前に輝度・色差形式へのフォーマット変換を行う必要がある。その場合には、その様なフォーマット変換を行うブロックないしは機能部が、補正量算出部１０１の前段階に設けられる。これに対して、若しＲＧＢ形式のままで入力画像データを使用する場合には、平均輝度算出部１０３は、ＲＧＢの平均値を擬似的に「ブロック単位の平均輝度値」として決定しても良いが、以下の記載では、デジタル画像データは予め輝度・色差形式に変換された上で、補正量算出部１０１内に入力されたものとして、扱うことにする。

尚、ブロックタイミング発生部１０２は、１）補正量算出部１０１内に入力するデジタル画像がテレビ映像信号やデジタルカメラモジュールの撮像信号である場合には、当該画像信号の同期信号に同期して、各部１０３，１０４，１０５，１０７の処理を制御する第１〜第４制御信号を出力する。それに対して、２）あるメモリ（図示せず）内に補正量算出部１０１内に入力すべきデジタル画像が既に格納されており、そのデジタル画像をＣＰＵ（図示せず）が読み出して補正量算出部１０１に入力する様なケースにおいては、ブロックタイミング発生部１０２は、上記ＣＰＵの上記メモリの読み出し開始クロックに同期して、各部１０３，１０４，１０５，１０７の処理を制御する第１〜第４制御信号を出力する。

ここで、ブロックタイミング発生部１０２の指令（第１制御信号）によって指定される、１画面を分割するブロックについて、図２を用いて説明する。図２は、画像のブロック分割を示す図である。図２において、符号５０１は１画面全体を示し、縦横に延びる境界線５０２によって、１画面全体５０１は、複数のブロックに分割されている。若し逆光補正を行うときには、例えば、入力画像に、大きく明るい領域と、大きく暗い領域とが存在していた場合には、画像内の明るい領域に含まれるブロック５０３、及び、画像内の暗い領域に含まれるブロック５０４が、１画面全体５０１内に存在することになる。

平均輝度算出部１０３は、入力された画像データの輝度値を同じブロック領域内で累積加算していき、最後にブロック内の画素数で割ることで、ブロック単位の平均輝度値を算出する。ここで、割り算処理の簡略化のために、通常、ブロックサイズには、縦・横ともそれぞれ２のべき乗の画素数を用いることが多い。図２におけるブロック５０３は明るい領域であるため、平均輝度算出部１０３によって求められた各ブロック５０３の平均輝度値は、比較的に高い値となる。逆に、図２におけるブロック５０４は暗い領域であるため、平均輝度算出部１０３によって求められた各ブロック５０４の平均輝度値は、比較的に低い値となる。

尚、同部１０３の上記処理対象のブロック（当該ブロック番号は上記第１制御信号で指定される）における「画素数の情報」は、１）それが可変情報である場合には、個々のブロック毎に、ＣＰＵ（図示せず）から「画素数の情報」が両部１０２，１０３に与えられ、他方、２）それが固定値である場合には、当該固定の「画素数の情報」が両部１０２，１０３内に格納されている。

平均輝度算出部１０３で求められたブロック単位の平均輝度値は、ブロック単位補正量算出部１０４に入力される。ブロック単位補正量算出部（単に補正量算出部とも言う）１０４は、ブロックタイミング発生部１０２で発生されるタイミング（第２制御信号が指示する処理開始タイミング）に応じて、ブロック単位での、補正の方向及び補正量を算出する。その補正量算出方法は、次の通りである。即ち、ブロック単位補正量算出部１０４に入力された、１画面内の処理対象の或るブロック（単位）の平均輝度値が、全輝度階調レベルの中央値から見て比較的低い場合には、図３に示す様に、ブロック単位補正量算出部１０４は、当該ブロック（単位）の平均輝度値に対する補正量を大きく設定し（この場合、補正の方向をプラスに設定する）、この様にして生成された比較的大きな当該ブロック（単位）に関する補正量を出力する。逆に、ブロック単位補正量算出部１０４に入力されたブロック単位の平均輝度値が上記中央値から見て比較的高い場合には、図３に示す様に、ブロック単位補正量算出部１０４は、当該ブロック（単位）の平均輝度値に対する補正量を小さく設定し（この場合、補正の方向をマイナスに設定する）、この様にして生成された比較的小さなブロック単位での補正量を出力する。ここで、図３には、一例として、入力されたブロック内平均輝度値によって補正量を制御するための算出式が直線である場合が図示されているが、この様な直線に変えて、曲線を上記補正用算出式に用いても構わない。しかしながら、若し曲線の制御曲線を用いた場合には、ブロック単位補正量算出部１０４における処理量が増大するため、通常、ブロック単位補正量算出部１０４は、直線又は直線同士の組み合わせより成る補正用算出式で以って、補正方向及び補正量の処理動作を実行する。尚、ブロック単位補正量算出部１０４が求める「補正の方向」を逆に設定した場合には、後述の補正カーブ（図５及び図６）の設定も逆転させる必要がある。

ブロック単位補正量算出部１０４から出力された当該ブロック（上記第１制御信号で指定された現処理対象のブロック）（ブロック単位）の補正量は、画素単位補正量算出部１０５に入力されて、当該ブロック内の画素毎の補正量に補間される。即ち、画素単位補正量算出部１０５は、ブロック単位補正量算出部１０４から入力されるブロック単位の補正量と、ブロックタイミング発生部１０２から共に入力される「ブロック番号」及び「ブロック内オフセット位置」（ブロック内オフセット位置とは、各ブロックの４隅のある一つを原点に設定した位置座標軸により規定される、当該ブロック内に属する各画素の位置である）の情報とに基づき、「画素単位の補正量」を算出する。その際の、画素毎に補正量を求めるための補間の様子を、一例として、図４に示す。図４において、符号２２１は、補間対象である「注目画素」の位置２２５（当該注目画素位置２２５の、当該ブロックの重心に対する位置関係自体は、当該注目画素が属する当該ブロック内のオフセット位置で以って、規定される）の左上側に重心が位置するブロックの補正量である。同様に、符号２２２は注目画素位置２２５の右上側に、符号２２３は注目画素位置２２５の左下側に、符号２２４は注目画素位置２２５の右下側に、それぞれ重心が位置する、各ブロックの補正量である。そして、注目画素の位置２２５における補正量２２６は、周囲４個のブロックにおけるブロック単位の補正量から、ブロックタイミング発生部１０２から入力されるブロック内オフセット位置を用いて、線形補間により求められる。例えば、符号２２１が属するブロックの重心位置のオフセット座標を（０，０）に設定すると、そのオフセット座標を基準として、その他の周囲３個のブロックの重心位置のオフセット座標も規定されるので、これら４個のオフセット座標を基に線形補間の係数値を、同部１０５は求めることが出来、これによって、同部１０５は、位置２２５における注目画素の補正量を算出することが出来る。この様な線形補間による補正量の算出処理は、位置２２５が属する当該ブロック内の全ての注目画素に対して、実行される。尚、ここでは単純な線形補間の例を示しているが、画素単位補正量算出部１０５は、スプライン補間や、多次多項式補間や、あるいは、その他の曲線を用いた補間方法を用いても良い。

以上の記載では、１ブロックを「局所領域」として規定する「ブロック単位」を採用しているが、これに変えて、ブロック単位に基づくブロックサイズの整数倍を、又はその整数分の１倍を、あるいは、その整数分の整数倍を、各部１０３及び１０４における処理の１つの単位としても良い。その意味で、デジタル画像の一画面を複数個に分割する際の、これらの単位を、「局所領域」と定義する。従って、デジタル画像の一画面は、ブロックタイミング発生部１０２による指定制御の下で、複数の局所領域に分割された上で、局所領域単位でのタイミングで、各部１０３，１０４の演算が行われると、言い換え得る。

同様に、画素単位補正量算出部１０５の処理動作の単位として、これまで「画素単位」と表現して来た点についても、画素単位に基づく画素サイズの整数倍、又は、その整数分の１倍、あるいは、その整数分の整数倍を、同部１０５の処理動作における「１つの単位」として設定しても良い。

画素単位補正量算出部１０５から出力される画素単位毎の補正量は、階調変換部１０７に入力される。階調変換部１０７は、ブロックタイミング発生部１０２によって指定される当該画素に関して、当該画素の上記画素単位の補正量と、同部１０７が記憶部１０６内から読み出した当該画素の輝度レベルとを、予め用意されている階調変換テーブル部１０８のアドレスとして用いることで、階調変換テーブル部１０８から該当するデータを読み出すことにより、補正後の輝度データを得る。階調変換テーブル部１０８には、（Ａ）画素単位補正量算出部１０５で求められた補正量が全輝度階調レベルの中央値から見て相対的に高い場合には、例えば図５に示す、低輝度部の階調性を高めて低輝度部のダイナミックレンジを広げる様な第１変換カーブが記憶されており、（Ｂ）逆に、画素単位補正量算出部１０５で求められた補正量が低い場合には、例えば図６に示す、高輝度部の階調性を高めて高輝度部のダイナミックレンジを広げる様な第２変換カーブが記憶されている。ここでは、図５及び図６に示す様な、曲線の階調変換カーブを例示しているが、演算を簡略化して回路規模や消費電力を抑えるか、若しくは処理速度向上のために、直線を組み合わせたものを階調変換用として適用しても良い。あるいは、階調変換テーブル部１０８を予め用意しておく本例に変えて、階調変換部１０７が逐次計算によって自ら変換テーブルを求める様に構成しても良く、又は、変換テーブルを用いずに、階調変換部１０７が入力した補正量から直接演算によって補正を実行する様に、修正を行っても良い。その意味で、階調変換テーブル部１０８は、必須の構成要素と言うよりは、任意の構成要素であると、言える。尚、既述した通り、図３に示す補正量のグラフが正負逆転している変形の場合には、その様な変形例は、図５及び図６の階調変換特性をも逆転させることで、本例と等価となる。階調変換テーブル部１０８は、例えば、ストレージデバイスあるいはゲート回路より構成される。

ここで、図７は、既述した階調補正処理の原理を示すフローチャートである。あるいは、図７は、コンピュータで実行可能なソフトウェアのプログラムにおける各処理過程を示す。先ず、平均輝度算出ステップ３０１において、入力された画像に対してブロック単位で平均輝度値を算出し、次のブロック単位補正量算出ステップ３０２において、平均輝度値から、補正の方向に基づいてブロック単位の補正量を算出し、更に次の画素単位補正量算出ステップ３０３において、入力されたブロック単位の補正量から画素単位の補正量を算出（補間）した上で、最後の階調変換ステップ３０４において、入力された画素単位の補正量を用いて、最終的な画素毎の階調変換を行う。

ブロック単位での、補正の方向及び補正量は、例えば図３に示す様に、入力された画像のブロック単位の平均輝度値によって制御される。そして、ブロック単位の補正量から画素単位の補正量の算出は、例えば図４に示す線形補間によって実行される。更に、階調変換ステップ３０４においては、例えば図５又は図６に示される様なマッピングカーブを用いて、階調が変換される。

このとき、入力画像を複数のブロックに分割して成る、或る局所領域の平均輝度値が、図２に示されるブロック５０４の様に全輝度階調レベルの中央値から見て低い場合には、図５に示されるマッピングカーブが選択・使用される。この場合、当該ブロック５０４内の全画素中で、機能部１０５ないしはステップ３０３で算出された画素単位の補正量が当該ブロックの平均輝度値２０１に等しくなる画素に関しても、当該レベル２０１よりも高い階調レベルに該当する輝度レベル２０２に変換される。同様に、機能部１０５で算出された画素単位の補正量が平均輝度値２０１の付近にある他の画素に関しても、図５の適用により、その階調レベルは、それぞれ、より高い階調レベルに変換される。この点、従来の特許文献３に示された方法では、ブロック内平均輝度レベルが保存されるため、画像の低輝度領域の平均輝度もそれに伴って保存され、画像の低輝度領域全体としては、階調変換後も暗いままであった。これに対して、本実施の形態に示す方法では、上記の通り、ブロック内平均輝度レベルも変化させるため、画像の低輝度領域は全体としても明るく変換され、直感的な暗い部分の認識性を向上させることが出来る。即ち、逆光補正の効果を上げることが可能である。

逆に、入力画像を複数のブロックに分割して成る、或る局所領域の平均輝度値が、図２に示されるブロック５０３の様に高い場合には、図６に示されるマッピングカーブが選択・使用され、当該ブロック５０３内の全画素中で、機能部１０５ないしはステップ３０３で算出された画素単位の補正量が当該ブロックの平均輝度値２０３に等しくなる画素に関しても、ブロックの平均輝度値２０３は、当該レベル２０３よりも低い階調レベルに該当する輝度レベル２０４に変換される。同様に、平均輝度値２０３の付近の階調レベルも、それぞれ、より低い階調レベルに変換される。この点、従来の特許文献３に示された方法では、ブロック内平均輝度レベルが保存されるため、画像の高輝度領域の平均輝度もそれに伴って保存され、画像の高輝度領域全体としては、階調変換後も明るいままであった。これに対して、本実施の形態に示す方法では、上記の通り、ブロック内平均輝度レベルも変化させるため、画像の高輝度領域は全体としても暗く変換され、直感的な明るい部分の認識性を向上させることが出来る。即ち、逆光補正の効果を上げることが可能である。

ここで、図５及び図６に示されるマッピングカーブを用いて階調補正を行う際の補正量は、入力画像をブロックに分割して成る局所領域の平均輝度値が中程度にあるとき、つまり、全輝度階調レベルの中央付近にあるときには、平均輝度値が低いとき、つまり、全輝度階調レベルの下限付近にあるとき、及び、平均輝度値が高いとき、つまり、全輝度階調レベルの上限付近にあるときと比べて、小さくなる様に設定する。この様な設定により、元々階調レベルが適切であった中間調レベルの領域では補正による影響を小さくしながら、暗い領域の視認性を大きく向上させ、明るい領域に関しては、輝度低下による人間の主観的な悪影響を低減しながら視認性も向上させることが出来ると言う効果が得られる。

更に、平均輝度値が低いときの補正量の絶対値を、平均輝度値が高いときの補正量の絶対値よりも大きくした方がより望ましい。これは、逆光補正に適用する場合に特に有効であり、特に昼間の空の画像等の明るい領域に関して、より自然に見せながら、暗い領域への補正量を確保するのに有効である。

又、本実施の形態に示す方法では、画像を図２に示す様に複数のブロックの小領域（局所領域）に区切った上で当該画像の処理が行われ、更に、画素単位補正量算出ステップ３０３（図７）によって、１画素ごと独立に補正量が割り当てられ、その後の階調変換ステップ３０４（図７）において、１画素ごと独立に階調補正のためのマッピングカーブが選ばれるため、場所が異なると、元々同じ階調レベルであっても、階調変換後には異なる階調レベルとして出力されうる。

例えば、入力画像のヒストグラムに関して、図１０に示す様に、低輝度領域６０１と高輝度領域６０２とがそれぞれ特定階調付近に集中している場合に、従来のヒストグラム均等化法を用いる場合には、図１１に示す実線の分布が得られ、変換後の低輝度領域のヒストグラム６１１と高輝度領域のヒストグラム６１２とは、それぞれ一部の階調で階調レベルの上下関係の逆転を引き起こさない。しかしながら、本実施の形態に示す方法を用いた場合には、図１２に示す様に、変換後の低輝度領域のヒストグラム６２１と高輝度領域のヒストグラム６２２とが、それぞれ一部の階調で、階調レベルの上下関係の逆転を引き起こすことが有り得る。

これは、従来の１画面全体で同じ連続で階調反転のないマッピングカーブを用いる方法では、場所による階調の順番の入れ替わりがなかったことと比べて、局所的なダイナミックレンジがより広げられていることになる。つまり、画像の１画面を複数のブロックに分割した上で上記の一連の処理を実行したことによって、画像の低輝度領域、高輝度領域にそれぞれ最適なマッピングカーブを使用することが出来る様になったため、画像の低輝度領域に対しては、高輝度領域の階調特性劣化を意識することなくダイナミックレンジの拡大を行うことが出来ると共に、画像の高輝度領域に対しては、低輝度領域の階調特性劣化を意識することなくダイナミックレンジの拡大が図ることが出来る。即ち、逆光補正の効果を上げることが出来る。又、その他にも、マッピングカーブの設定の自由度が広がり、低輝度領域と高輝度領域との両方に折り合いをつけるための付加的な処理を省くことが出来る。

このことは、更に、本実施の形態に示す方法が、従来のヒストグラム均等化法を使った画面全体の逆光補正方法を、単純にブロック単位の逆光補正処理に変更しただけのものではないことをも、意味している。つまり、画面全体のヒストグラムを元にして画面内の逆光状態を検出して画面内の逆光状態を補正する従来技術を、単純にブロック単位に変更すると、ブロック内の逆光状態を検出してブロック内の逆光状態を補正することになる。しかしながら、本実施の形態に係る装置が採用する既述の方式では、ブロック内の逆光状態を検出するものではなく、しかも、ブロック内の逆光状態を補正するものでもない。本方式は、ブロック内の輝度平均値を元にして、複数ブロック間の逆光状態を補正するものであり、このため、ヒストグラムを作成することなしに、結果的に画面全体の逆光状態を補正することが出来るものである。

又、本実施の形態に示す方法によれば、局所領域の情報を逐次使用することだけで画面全体の補正をすることができるため、１画面全体の前処理が終わるまで待つ必要がなく、回路におけるフレームメモリを必要とせずに、ブロックが含まれる程度のラインメモリ又はその２倍ないし３倍程度のラインメモリのみを用いるだけで、フレーム遅延無く、リアルタイム処理をすることが出来る。

以上の通り、画面内を複数のブロックに分割し、ブロックに分割した局所領域の平均輝度レベルが低いときには、局所領域の輝度補正における補正量を大きくし、平均輝度レベルが中程度の時には、局所領域の輝度補正における補正量を小さくする様にしているので、元々階調レベルが適切であった中間調レベルの領域では補正による影響を小さくしながら、暗い領域の視認性を向上させることが出来る。

又、画面内を複数のブロックに分割し、ブロックに分割した局所領域の平均輝度レベルが低いときには、局所領域の輝度補正における補正量を大きくし、平均輝度レベルが中程度の時には、局所領域の輝度補正における補正量を小さくし、平均輝度レベルが高いときには、局所領域の輝度補正における補正量を大きくする様にしているので、元々階調レベルが適切であった中間調レベルの領域では補正による影響を小さくしながら、暗い領域と明るい領域の視認性を向上させることが出来る。

あるいは、画面内を複数のブロックに分割し、ブロックに分割した局所領域の平均輝度レベルが低いときには、局所領域の輝度補正における補正量を大きくし、平均輝度レベルが中程度の時には、局所領域の輝度補正における補正量を小さくし、平均輝度レベルが高いときには、局所領域の輝度補正における補正量を中程度に設定する様にしても良い。このときには、元々階調レベルが適切であった中間調レベルの領域では補正による影響を小さくしながら、暗い領域の視認性を大きく向上させ、明るい領域に関しては、輝度低下による人間の主観的な悪影響を低減しながら視認性も向上させることが出来ると言う利点がある。

（実施の形態２）
本実施の形態の特徴点は、局所領域の平均輝度レベルから補正後の輝度レベルへの変化量を、局所領域の平均色差ベクトルによっても制御する点にある。更に、本実施の形態は、局所領域の平均輝度レベルから補正後の輝度レベルへの変化量を、局所領域の平均色差ベクトルが概肌色付近である際に小さくなる様に制御する点にも、その特徴点を有する。以下、本実施の形態の特徴点を添付の図面に基づいて詳述する。

図８は、本実施の形態に係る階調補正装置のブロック構成を示す図である。図８の構成が図１のそれと相違する点は、図８における各部１０９及び１１０だけであり、その他の構成要素は図１中の対応する構成要素と同じである。

図８において、階調補正装置に入力された画像データは、補正量算出部１０１Ａと、記憶手段１０６とに入力される。補正量算出部１０１Ａでは、ブロックタイミング発生部１０２によって、ブロック単位の処理が行われる。まず、平均輝度算出部１０３において、画像データからブロック単位の平均輝度値が求められる。それに併行して、平均色算出部１０９において、画像データからブロック単位の平均色が求められる。次に、ブロック単位補正量算出部１１０において、ブロック単位での、平均輝度値と平均色とから、ブロック単位の補正量が求められる。さらに、画素単位補正量算出部１０５において、ブロック単位の補正量から画素単位の補正量が求められる。階調変換部１０７において、画素単位補正量算出部１０５からの補正量と階調変換テーブル１０８とを用いて、記憶部１０６から読み出した画像データに対して階調変換が行われる。

次に、各処理ブロックの詳細な動作について記載する。まず、記憶部１０６について記載する。補正量算出部１０１全体では、１〜数ブロックラインだけの遅延が発生するので、通常、記憶部１０６は、同等の１〜数ブロックラインの遅延を発生するラインメモリで構成される。もし補正量算出部１０１でフレーム単位の遅延が発生する場合には、記憶部１０６も、同等のフレーム単位の遅延を発生するフレームメモリで構成される。

他方、補正量算出部１０１Ａに入力された画像データは、ブロックタイミング発生部１０２で発生されたブロック番号毎に、平均輝度算出部１０３において、ブロック内平均輝度が求められる。同様に、平均色算出部１０９において、ブロック内平均色が求められる。もし平均輝度算出部１０３に画像データが入力される際に、画像データ形式が輝度・色差形式になっていない場合には、平均輝度と平均色とを求める前に、輝度・色差形式にフォーマット変換を行う。若しＲＧＢ形式のままで使用する場合には、ＲＧＢの平均値を擬似的に輝度値として用いても良いが、以下の記載では、予め輝度・色差形式で画像データが入力されたものとして扱うことにする。

ここで、ブロックタイミング発生部１０２で発生されるブロックについて、図２を用いて説明する。図２において、５０１が１画面全体を示し、境界線５０２によって、１画面全体５０１が複数のブロックに分割されている。もし逆光補正を行うときには、例えば、入力画像に、大きく明るい領域と暗い領域とが存在していた場合、画像内の明るい領域に含まれるブロック５０３、および、画像内の暗い領域に含まれるブロック５０４が存在することになる。

平均輝度算出部１０３は、入力された画像データの輝度値を同じブロック領域内で累積加算していき、最後にブロック内の画素数で割ることで、ブロック内の平均輝度を算出する。ここで、割り算の簡略化のために、通常、ブロックサイズとしては、縦・横ともそれぞれ２のべき乗の画素数を用いることが多い。図２におけるブロック５０３は、明るい領域であるため、平均輝度算出部１０３から出力される平均輝度値は高い値となる。また、図２におけるブロック５０４は、暗い領域であるため、平均輝度算出部１０３から出力される平均輝度値は低い値となる。

平均色算出部１０９は、入力された画像データの色を同じブロック領域内で累積加算していき、最後にブロック内の画素数で割ることで、ブロック内の平均色を算出する。ここで、割り算の簡略化のために、通常、ブロックサイズとしては、縦・横ともそれぞれ２のべき乗の画素数を用いることが多い。平均色を求めるための色のデータとしては、通常、輝度・色差形式のうちの色差を用いる。輝度・色差形式が、例えば、Ｙ，Ｃｂ，Ｃｒの場合には、ＣｂとＣｒの２成分を用いてＣｂとＣｒそれぞれについての平均値を求め、求められたＣｂの平均値とＣｒの平均値の２成分から成る色ベクトルを出力する。但し、以下では、この色ベクトルを指して、単に平均色と述べることにする。

ここで、色の情報として、肌色等の特定の色の成分のみしか利用しない場合には、その特定の色と、ブロック内の平均色との差分のスカラ量を予め求めることによって、色ベクトルの代わりに、特定色度合いのスカラ値として出力しても良い。又、ブロック内の平均色を求めてから差分を求めるのではなくて、より細かく、例えば画素単位に特定色と画素の色との差分を求めていき、最後に差分値の平均を求め、その差分値を特定色度合いのスカラ値として出力しても良い。特定色度合いのスカラ値も、上記色ベクトルと同様、以下では、単に平均色と述べることにする。

ここでは、平均色を求めるために色差のみを用いたが、例えば、明るい肌色のみを対象とする場合等で、色差と輝度の両方を用いて、輝度情報も含む平均色を求めても良い。後段のブロック単位補正量算出部１１０において、輝度から求めた平均輝度と色差から求めた平均色の両方の情報を用いて補正量を算出するため、ブロック単位であれば、ブロック単位補正量算出部１１０において輝度情報と色差情報との合成をしても良いが、予め画素単位で輝度情報と色差情報との合成をした方が良い場合には、平均色算出部１０９において、色差と輝度の両方を用いて輝度情報も含む平均色を予め求めておくことになる。

平均輝度算出部１０３で求められたブロック内の平均輝度値と、平均色算出部１０９で求められた平均色は、ブロック単位補正量算出部１１０に入力される。ブロック単位補正量算出部１１０では、ブロックタイミング発生部１０２で指定されるタイミングにおいて、ブロック単位での補正量が算出される。ブロック単位補正量算出部１１０に入力されたブロック内平均輝度値が低い場合には、図３に示す様に、ブロック単位補正量算出部１１０から出力する補正量を大きくする。逆に、ブロック単位補正量算出部１１０に入力されたブロック内平均輝度値が高い場合には、図３に示す様に、ブロック単位補正量算出部１１０から出力する補正量を小さくする。ここで、図３には、入力されたブロック内平均輝度値によって補正量を制御するための算出式が直線の場合を図示したが、この直線が曲線であっても構わない。しかしながら、もし曲線の制御曲線を用いた場合には、処理量が増大するため、通常は直線または直線の組み合わせで制御を行う。また、ここで補正の方向を逆に設定した場合には、後述の補正カーブも逆転する必要がある。

一方、平均色算出部１０９から入力された平均色がおよそ肌色付近である場合には、輝度平均値の場合と同様に、ブロック単位補正量算出部１１０から出力する補正量を小さくする。逆に、平均色算出部１０９から入力された平均色が肌色から色度図上で離れている場合には、ブロック単位補正量算出部１１０から出力する補正量を大きくする。この算出式も、直線または直線の組み合わせであっても、曲線であっても、構わないが、もし曲線の制御曲線を用いた場合には、処理量が増大するため、通常は、直線または直線の組み合わせで制御を行う。

ブロック単位補正量算出部１１０から出力されたブロック単位の補正量は、画素単位補正量算出部１０５に入力される。画素単位補正量算出部１０５では、ブロック単位補正量算出部１１０から入力されたブロック単位の補正量と、ブロックタイミング発生部１０２から入力されたブロック番号及びブロック内オフセット位置とにより、画素単位の補正量を算出する。画素ごとの補正量を求めるための補間の様子を、図４に示す。２２１は注目画素位置２２５の左上側に重心が位置するブロックの補正量である。同様に、２２２は注目画素位置２２５の右上側に、２２３は注目画素位置２２５の左下側に、２２４は注目画素位置２２５の右下側に、それぞれ重心が位置するブロックの補正量である。注目画素位置２２５における補正量２２６を求める際には、周囲４個のブロックの補正量から、ブロックタイミング発生部１０２から入力されるブロック内オフセット位置を用いて、線形補間により求められる。ここでは単純な線形補間の例を示したが、スプライン補間や多次多項式補間や、その他の曲線を用いた補間方法を用いても良い。又、ここで、ブロック単位と表現したが、ブロック単位に基づくブロックサイズの整数倍、整数分の１倍、または、整数分の整数倍を、１つの単位としても良い。同様に、画素単位と表現した点も、画素単位に基づく画素サイズの整数倍、整数分の１倍、または、整数分の整数倍を、１つの単位としても良い。

画素単位補正量算出部１０５から出力された画素単位の補正量は、階調変換部１０７に入力される。階調変換部１０７では、画素単位の補正量と記憶部１０６から読み出された画素の輝度レベルとを、予め用意しておいた階調変換テーブル部１０８のアドレスとして読み出すことにより、補正後のデータを得ることができる。階調変換テーブル部１０８には、補正量が高い場合には、例えば図５に示す、低輝度部の階調性を高め低輝度部のダイナミックレンジを広げる様な変換カーブが記憶され、逆に補正量が低い場合には、例えば図６に示す、高輝度部の階調性を高め高輝度部のダイナミックレンジを広げる様な変換カーブが記憶されている。ここで、図５及び図６においては、曲線の階調変換カーブを示したが、演算を簡略化して回路規模や消費電力を抑えるか、もしくは処理速度向上のために、直線を組み合わせたものを用いても良い。また、ここでは変換テーブルを予め用意しておく例を示したが、逐次計算によって変換テーブルを求める様に構成しても良く、また、変換テーブルを用いずに、補正量から直接演算によって補正を行っても良い。また、図３に示す補正量のグラフが正負逆転している場合には、図５と図６の特性も逆転することで等価となる。

図９は、本実施の形態に係る階調補正処理の原理を示すフローチャートである。以下のステップ３０５及び３０２のみが、図７のフローチャートにおける処理過程と相違するにすぎない。即ち、平均輝度および平均色算出ステップ３０５において、入力された画像に対してブロック単位で平均輝度値と平均色を算出し、ブロック単位補正量算出ステップ３０２において、平均輝度値と平均色とからブロック単位の補正量を算出し、画素単位補正量算出ステップ３０３において、入力されたブロック単位の補正量から画素単位の補正量を算出し、階調変換ステップ３０４において、入力された画素単位の補正量を用いて、階調変換を行う。

ブロック単位の補正量は、図３に示す様に入力された画像のブロック単位の平均輝度値によって制御され、又、同様に当該ブロック単位の平均色によっても制御される。そして、ブロック単位の補正量から画素単位の補正量を算出する際には、図４に示す線形補間が用いられる。

階調変換ステップ３０４において、階調変換を行う際には、例えば図５や図６に示される様なマッピングカーブが用いられる。このとき、入力画像を複数のブロックに分割して成る個々の局所領域の平均輝度値が、図２に示されるブロック５０４の様に低い場合には、図５に示されるマッピングカーブが用いられ、或る画素単位の補正量が当該画素の属するブロックの平均輝度値に等しいときには、そのブロックの平均輝度値２０１は、より高い階調レベルを有する輝度値２０２のレベルに変換される。同様に、平均輝度値付近の階調レベルも、それぞれより高い階調レベルに変換される。

従来の特許文献３に示された方法では、ブロック内平均輝度レベルが保存されるため、画像の低輝度領域の平均輝度もそれに伴って保存され、画像の低輝度領域全体としては、階調変換後も暗いままであった。

これに対して、本実施の形態に示す方法では、ブロック内平均輝度レベルも変化させるため、画像の低輝度領域全体としても、明るく変換され、直感的な暗い部分の認識性を向上させることが出来る。即ち、逆光補正の効果を上げることが出来る。

逆に、入力画像をブロックに分割して成る局所領域の平均輝度値が、図２に示されるブロック５０３の様に比較的に高い場合にも、図６に示されるマッピングカーブが用いられ、ブロックの平均輝度値２０３は、当該レベルよりも低い階調レベルを持つ輝度値２０４のレベルに変換される。同様に、平均輝度値付近の階調レベルも、それぞれ、より低い階調レベルに変換される。

従来の特許文献３に示された方法では、ブロック内平均輝度レベルが保存されるため、画像の高輝度領域の平均輝度もそれに伴って保存され、画像の高輝度領域全体としては、階調変換後も明るいままであった。

一方、本実施の形態に示す方法では、ブロック内平均輝度レベルも変化させるため、画像の高輝度領域全体としても、暗く変換され、直感的な明るい部分の認識性を向上させることが出来る。即ち、逆光補正の効果を上げることが出来る。

ここで、図５および図６に示されるマッピングカーブを用いて補正を行う際の補正量は、入力画像をブロックに分割した領域の平均輝度値が中程度にあるとき、つまり、全輝度階調レベルの中央付近にあるときには、平均輝度値が低いとき、つまり、全輝度階調レベルの下限付近にあるとき、および、平均輝度値が高いとき、つまり、全輝度階調レベルの上限付近にあるときと比べて小さくなる様に設定する。このことにより、元々階調レベルが適切であった中間調レベルの領域では補正による影響を小さくしながら、暗い領域の視認性を大きく向上させ、明るい領域に関しては、輝度低下による人間の主観的な悪影響を低減しながら視認性も向上させることが出来ると言う効果がある。

更に、平均輝度値が低いときの補正量の絶対値を、平均輝度値が高いときの補正量の絶対値よりも大きく設定する方がより望ましい。これは、逆光補正に適用する場合に特に有効であり、特に昼間の空の画像等の明るい領域に関して、より自然に見せながら、暗い領域への補正量を確保するのに有効である。

又、本実施の形態に示す方法は、画像を図２に示す様に複数のブロックの小領域に区切って処理を行い、更に、画素単位補正量算出ステップ３０３によって、１画素ごと独立に補正量が割り当てられ、その後の階調変換ステップ３０４において、１画素ごと独立に階調補正のためのマッピングカーブが選ばれるため、場所が異なると、元々同じ階調レベルであっても、階調変換後には異なる階調レベルとして出力されうる。

例えば、入力画像のヒストグラムが図１０に示す様に、低輝度領域と高輝度領域とがそれぞれ特定階調付近に集中している場合に、従来のヒストグラム均等化法を用いた場合には、図１１に示す実線の様な分布となり、変換後の低輝度領域のヒストグラム６１１と高輝度領域のヒストグラム６１２とは、それぞれ一部の階調で階調レベルの上下関係の逆転を引き起こさなかったが、本実施の形態に示す方法を用いた場合には、図１２に示す様に、変換後の低輝度領域のヒストグラム６２１と高輝度領域のヒストグラム６２２とが、それぞれ一部の階調で階調レベルの上下関係の逆転を起こすことが有り得る。

これは、従来の１画面全体で同じ連続で階調反転のないマッピングカーブを用いる方法では、場所による階調の順番の入れ替わりがなかったことと比べて、局所的なダイナミックレンジがより広げられていることになる。つまり、画像をブロックに分割して処理したことによって、画像の低輝度領域、高輝度領域にそれぞれ最適なマッピングカーブを使用することが出来る様になったため、画像の低輝度領域に対しては、高輝度領域の階調特性劣化を意識することなくダイナミックレンジの拡大が出来、画像の高輝度領域に対しては、低輝度領域の階調特性劣化を意識することなくダイナミックレンジの拡大が図ることが出来る。即ち、逆光補正の効果を上げることが出来る。又、その他にも、マッピングカーブの設定の自由度が広がり、低輝度領域と高輝度領域との両方に折り合いをつけるための付加的な処理を省くことが出来る。

このことはさらに、本実施の形態に示す方法が、従来のヒストグラム均等化法を使った画面全体の逆光補正方法を、単純にブロック単位の逆光補正処理に変更しただけのものではないことも意味している。つまり、従来、画面全体のヒストグラムを元にして画面内の逆光状態を検出して画面内の逆光状態を補正していたのを、単純にブロック単位に変更すると、ブロック内の逆光状態を検出してブロック内の逆光状態を補正することになる。しかしながら、本実施の形態に示す方法では、ブロック内の逆光状態を検出するものではなく、又、ブロック内の逆光状態を補正するものでもない。本実施の形態に示す方法は、ブロック内の輝度平均値を元にして、複数ブロック間の逆光状態を補正するものであるため、ヒストグラムを作成することなしに、結果として画面全体の逆光状態を補正することが出来る。

又、本実施の形態に示す方法では、局所領域の情報を逐次使用することだけで画面全体の補正をすることが出来るため、１画面全体の前処理が終わるまで待つ必要がなく、回路におけるフレームメモリを必要とせずに、ブロックが含まれる程度のラインメモリ又はその２倍又は３倍程度のラインメモリのみを用いるだけで、フレーム遅延無くリアルタイム処理をすることが出来る。

又、実施の形態１に示した方法では、補正処理に色情報を用いていなかったため、特定の色に関して、補正がかかりすぎるという問題点があったが、本実施の形態に示す方法では、補正量を局所領域の平均色差ベクトルによっても制御する様にしているので、特定の色を有する領域についての階調補正による人間が感じる主観的な影響を制御出来ると言う効果がある。

人間が感じる主観的な影響は、人物の肌色に対して特に顕著であるため、局所領域の平均色差ベクトルが概肌色付近である際には補正量を小さくする様に設定すれば、画像に人物画が含まれていた場合であっても、階調補正による人肌画像への人間が感じる主観的な影響を低減出来ると言う効果がある。

以上の通り、本実施の形態によれば、画面内を複数のブロックに分割し、ブロックに分割した局所領域の平均輝度レベルから補正後の輝度レベルへの変化量を、局所領域の平均色差ベクトルによっても制御する様にしているので、特定の色を持つ領域が面積的に広く連続する様な部分全体において、階調補正による人間が感じる主観的な影響を制御出来ると言う利点がある。

又、画面内を複数のブロックに分割し、ブロックに分割した局所領域の平均輝度レベルから補正後の輝度レベルへの変化量を、局所領域の平均色差ベクトルが概肌色付近である際に小さくなる様に制御しているので、階調補正による人肌画像への人間が感じる主観的な影響を低減出来ると言う利点がある。

（実施の形態３）
実施の形態１においては、階調変換部１０７において、画素単位の補正量から補正後の輝度データを得る際、補正量のレベル数に応じた変換テーブルを持って、変換を行う手法を述べたが、本実施の形態では、２種類の変換データテーブルのみを用いて変換を行う。

図１３は、本実施の形態に係る階調補正装置のブロック構成を示す図である。図１３の構成が図１のそれと相違する点は、階調変換を行う部分の装置構成である。階調変換を行う部分は、第１の変換テーブル部１０８Ａを有する第１の階調変換部１０７Ａ、第２の変換テーブル部１０８Ｂを有する第２の階調変換部１０７Ｂ、および階調補間部１０７Ｃから構成されている。図１４に示すように、第１の変換テーブル部１０８Ａには、正の方向に補正量が最大値となる場合のマッピングカーブ２４６が予め用意され、第２の変換テーブル部１０８Ｂには、負の方向に補正量が最大値となる場合のマッピングカーブ２４７が用意されている。

階調変換以外の動作は、実施の形態１と同様であるため、以下において、本実施例における階調変換の動作のみについて説明を行う。

図１３において、記憶部１０６から、第１の階調変換部１０７Ａと第２の階調変換部１０７Ｂに画素毎の輝度レベルが入力される。第１の階調変換部１０７Ａは、第１の変換テーブル部１０８Ａを参照し、図１４に示す２４１に相当する出力値を得る。他方、第２の階調変換部１０７Ｂは、第２の変換テーブル部１０８Ｂを参照し、図１４に示す２４２に相当する出力値を得る。これら２つの出力を受けた階調補間部１０７Ｃは、画素単位補正量算出部１０５から出力された画素単位の補正量により、重み付け平均を行うことで補正量に応じて階調を補間し、図１４における２４３に相当する出力レベルを得る。

この方法では、システムの階調特性に適応した変換テーブルを用いることができ、かつ、変換テーブルを２種類に削減したため、回路規模またはプログラムサイズを削減できるという効果がある。

実施の形態１においても述べたが、演算を簡略化して回路規模や消費電力を抑えるか、若しくは処理速度向上のために、曲線の階調変換カーブの代わりに、直線を組み合わせたものを階調変換用として適用しても良い。あるいは、階調変換テーブルを予め用意して代わりに、階調変換部が逐次計算によって自ら変換テーブルを求める様に構成しても良く、又は、変換テーブルを用いずに、階調変換部が入力した補正量から直接演算によって補正を実行する様に、修正を行っても良い。

例えば、マッピングカーブとして、図１５に示す直線２５６〜２５９を用いることで、図１３に示す第１および第２の変換テーブル部１０８Ａ、１０８Ｂを使わずに、直線の計算と比較を行う演算回路によって回路規模またはプログラムサイズを削減することもできる。具体的には、入力データを直線式２５６と２５７で演算による階調変換を行い、出力結果の小さい方を正方向の補正量最大となる場合の変換後階調（第１の階調変換部の出力）とし、同様に直線式２５８、２５９による変換結果の大きい方を負方向の補正量最大となる場合の変換後階調（第２の階調変換部の出力）とすることもできる。この方法は、変換テーブルも計算式として固定化することで、階調特性の自由度は低くなるものの、上記方法よりもさらに回路規模またはプログラムサイズを削減できるものである。

（付記）
以上、本発明の実施の形態を詳細に開示し記述したが、以上の記述は本発明の適用可能な局面を例示したものであって、本発明はこれに限定されるものではない。即ち、記述した局面に対する様々な修正や変形例を、この発明の範囲から逸脱することの無い範囲内で考えることが可能である。

例えば、実施の形態１あるいは実施の形態２で具現化された本発明に係る階調補正装置は、ハードウェアの装置として実現出来るのみならず、プログラムによる各部の機能実行としてソフトウェア処理で以って実現することも可能である。本願の図７又は図９の例示は、その様なプログラムの適用例をも示すものである。

本発明は、その活用例として、撮像装置によって逆光状態で撮影された画像の補正処理に適用出来るが、逆光状態でなくても、部分的に階調が黒つぶれ、あるいは、白飛びしている画像の補正処理にも適用出来る。その他にも、本発明は、コントラストの乏しい表示装置の視認性向上のためにも適用出来る。又、撮像装置や表示装置を備えていなくても、画像の補正処理を行う装置であれば、本発明適用出来る。

より具体的には、本発明に係る階調補正装置を、携帯電話やＰＤＡ等の携帯端末機器やパーソナルコンピュータ等のデジタル機器にも適用可能である。

この発明の実施の形態１に係る階調補正装置の構成例を示すブロック図である。 画像のブロック分割を示す図である。 ブロック平均輝度値によって補正量を制御することを示す図である。 画素毎の補正量を求めるための補間の様子を示す図である。 低輝度領域における階調変換カーブを示す図である。 高輝度領域における階調変換カーブを示す図である。 この発明の実施の形態１に係る階調補正方法を示すフローチャートである。 この発明の実施の形態２に係る階調補正装置の構成例を示すブロック図である。 この発明の実施の形態２に係る階調補正方法を示すフローチャートである。 入力画像のヒストグラムを示す図である。 変換後の画像のヒストグラムを示す図である。 変換後の画像のヒストグラムを示す図である。 この発明の実施の形態３に係る階調補正装置の構成例を示すブロック図である。 この発明の実施の形態３に係るマッピングカーブを示す図である。 直線のマッピングカーブを示す図である。

符号の説明

１０１ 補正量算出部、１０２ ブロックタイミング発生部、１０３ 平均輝度算出部、１０４ ブロック単位補正量算出部、１０５ 画素単位補正量算出部、１０６ 記憶部、１０７ 階調変換部、１０７Ａ 第１の階調変換部、１０７Ｂ 第２の階調変換部、１０７Ｃ 階調補間部、１０８ 階調変換テーブル部、１０８Ａ 第１の階調変換テーブル部、１０８Ｂ 第２の階調変換テーブル部、１０９ 平均色算出部、１１０ ブロック単位補正量算出部、２０１ ブロック内平均輝度レベル、２０２ ブロック内平均輝度レベルを変換したレベル、２０３ ブロック内平均輝度レベル、２０４ ブロック内平均輝度レベルを変換したレベル、２２１ 左上ブロック内重心位置における補正量、２２２ 右上ブロック内重心位置における補正量、２２３ 左下ブロック内重心位置における補正量、２２４ 右下ブロック内重心位置における補正量、２２５ 注目画素位置、２２６ 注目画素位置における補正量、３０１ 平均輝度算出ステップ、３０２ ブロック単位補正量算出ステップ、３０３ 画素単位補正量算出ステップ、３０４ 階調変換ステップ、３０５ 平均輝度及び平均色算出ステップ、５０１ １画面全体、５０２ 境界線、５０３ 高輝度領域のブロック、５０４ 低輝度領域のブロック、６０１ 入力画像の低輝度領域のヒストグラム、６０２ 入力画像の高輝度領域のヒストグラム、６１１ 変換後の画像の低輝度領域のヒストグラム、６１２ 変換後の画像の高輝度領域のヒストグラム、６２１ 変換後の画像の低輝度領域のヒストグラム、６２２ 変換後の画像の高輝度領域のヒストグラム。

Claims (10)

1. 入力されたデジタル画像の一画面内を複数の局所領域に分割した上で局所領域単位でのタイミングを制御するためのブロックタイミング発生部と、
   前記入力されたデジタル画像の前記一画面に対して前記複数の局所領域のうちの各々の局所領域の平均輝度を求める平均輝度算出部と、
   前記各々の局所領域の平均輝度より、輝度補正におけるそれぞれの局所領域の補正の方向及び量を求める補正量算出部と、
   前記それぞれの局所領域の補正の方向及び量から、画素単位に基づく補正量への補間を行う補間部と、
   前記画素単位に基づく補正量を用いて、前記入力されたデジタル画像の階調補正を行う階調変換部と、
   を備え、
   前記補正量算出部は、
   前記各々の局所領域の平均輝度が全輝度階調レベルの中央よりも低い低輝度部に対しては、前記局所領域の輝度を上げる様に、前記それぞれの局所領域の補正の方向及び量を求めるとともに、
   前記各々の局所領域の平均輝度が前記全輝度階調レベルの中央よりも高い高輝度部に対しては、前記局所領域の輝度を下げる様に、前記それぞれの局所領域の補正の方向及び量を求めることを特徴とする、
   階調補正装置。
2. 請求項１記載の階調補正装置において、
   前記局所領域毎の平均色を求める平均色算出部を更に備えており、
   前記補正量算出部は、前記平均輝度と前記平均色とを用いて前記局所領域毎の輝度補正量を求めることを特徴とする、
   階調補正装置。
3. 請求項２記載の階調補正装置において、
   前記補正量算出部は、前記平均色が予め設定された特定色の付近である場合には、補正による変動幅を変化させることを特徴とする、
   階調補正装置。
4. 請求項３記載の階調補正装置において、
   予め設定された前記特定色は概肌色であることを特徴とする、
   階調補正装置。
5. 請求項４記載の階調補正装置において、
   前記補正量算出部は、前記平均色が前記概肌色の付近である場合には、前記補正による変動幅を小さくすることを特徴とする、
   階調補正装置。
6. 請求項１乃至５の何れかに記載の前記階調補正装置を有することを特徴とする、
   携帯端末機器。
7. 請求項１乃至５の何れかに記載の前記階調補正装置を有することを特徴とする、
   パーソナルコンピュータ。
8. 入力されたデジタル画像の一画面内を複数の局所領域に分割する分割処理と、
   前記入力されたデジタル画像の前記一画面に対して前記複数の局所領域のうちの各々の局所領域の平均輝度を求める平均輝度算出処理と、
   前記各々の局所領域の平均輝度より、前記各々の局所領域の平均輝度が全輝度階調レベルの中央よりも低い低輝度部に対しては前記局所領域の輝度を上げる様に、輝度補正におけるそれぞれの局所領域の補正の方向及び量を求めるとともに、前記平均輝度が前記全輝度階調レベルの中央よりも高い高輝度部に対しては前記局所領域の輝度を下げる様に、前記それぞれの局所領域の補正の方向及び量を求める補正量算出処理と、
   前記それぞれの局所領域の補正の方向及び量から、画素単位に基づく補正量への補間を行う補間処理と、
   前記画素単位に基づく補正量を用いて、前記入力されたデジタル画像の階調補正を行う階調変換処理とを、
   コンピュータに実行させるための階調補正用プログラム。
9. 請求項８記載のコンピュータに実行可能な階調補正用プログラムであって、
   前記局所領域毎の平均色を求める平均色算出処理を更に備えており、
   前記補正量算出処理は、前記平均輝度と前記平均色とを用いて前記局所領域毎の輝度補正量を求めることを特徴とする、
   コンピュータに実行可能な階調補正用プログラム。
10. 請求項９記載のコンピュータに実行可能な階調補正用プログラムであって、
    前記補正量算出処理は、前記平均色が概肌色の付近である場合には、補正による変動幅を小さくする処理であることを特徴とする、
    コンピュータに実行可能な階調補正用プログラム。

Images