JPWO2006025486A1 - 画像補正処理システム及び画像補正処理方法 - Google Patents

Abstract

画像処理システムは、入力画像から少なくとも１つの補正対象の局所領域を選択する局所領域選択部と、前記局所領域は少なくとも１画素を含み、前記補正対象の局所領域に対する階調補正量を算出する補正量算出部と、前記階調補正量に基づいて前記局所領域の階調値を補正する階調補正を行い局所階調補正画像を生成する局所階調補正部とを具備する。また、前記補正量算出部は、前記局所領域の周辺領域の階調値を算出する周辺領域階調値算出部と、前記周辺領域の算出された階調値を用いて前記階調補正量を算出する局所補正量変換部とを具備してもよい。

Description

本発明は、画像補正処理システム及び画像補正処理方法に関し、特に画像の中間階調を改善する技術に関する。

従来、画像の中間階調を改善する方法は、カメラ、スキャナ、プリンタなどの画像を扱う装置で画像の階調を改善するために用いられている。従来の画像の中間階調改善方法としては、トーンカーブと呼ばれる階調変換曲線を用いて、入力される原画像の階調値が変換されている。階調変換曲線を用いる場合、入力階調値と出力階調値が１対１に固定されている階調変換処理を、画像中の全ての画素に対して施す大域的な処理が必要となる。このような大域的処理の場合、画像に明部領域（ハイライト領域）と暗部領域（シャドー領域）があるときは、両方の領域で階調バランスの取れた画像とするための調整が非常に困難である。この問題を解決するために、トーンマスクと呼ばれる非線形マスクを用いて画質の改善を行う手法が特開２００１−３１３８４４号公報に開示されている。

このトーンマスクを用いる手法について説明する。この手法によれば、図１に示される処理フローにより中間階調の改善が行われる。すなわち、この従来手法は、補正対象の画像が入力画像として受信される（Ｓ８０１）。このとき、トーンマスク画像が入力画像から生成される（Ｓ８０２）。入力画像の画素値のそれぞれについて、修正された画素値の集合が求められる（Ｓ８０３）。入力画像の画素値は、対応するピクセルマスク値を有しており、修正された画素値は、入力画像の画素値と、現画素値の対応するピクセルマスク値との非線形の組み合わせにより求められる。

トーンマスクを用いる手法では、画像の局所的な情報に基づいて作成されたトーンマスクを使用して画像が補正される。これにより、画質を局所的に補正することが可能である。しかしながらこの手法には、（１）大きな記憶容量が必要とされる、（２）大域的画質が劣化するという、問題点がある。

（１）の問題は、入力した画像と同サイズのバッファがトーンマスクに対しても必要となるためである。（２）の問題は、利用されているトーンマスクが局所画質情報のみに基づいて作成されるためである。

上記説明と関連して、自動露光制御装置が特開平５−１７６２２０号公報に開示されている。この従来例では、画像の全画面の平均輝度が検出され、また所定の輝度より低輝度の画素数が算出される。低輝度の画素数に基づいて補正量が算出され、その補正量に基づいて全画面の目標輝度が算出される。平均輝度が目標輝度に追従するように、絞りが制御される。

また、画像処理装が特開平１１−３５５５７８号公報に開示されている。この従来例では、画像データの領域を分割することにより得られる複数の所定領域の各濃度に基づいて、所定領域毎の粒状度の補正量が算出される。補正量に基づいて、画像データの粒状度が補正される。

また、ディジタル画像を改善する方法が特表２０００−５１１３１５号公報（ＰＣＴ／ＵＳ９７／０７９９６に対応する）に開示されている。この従来例では、ディスプレイ上の位置を表わすよう添字が付され、各ｉ番目のスペクトル帯域における各位置（ｘ，ｙ）に対する強度値Ｉi（ｘ，ｙ）を示すディジタルデータが与えられる。Ｓをディジタルデータに含まれるユニークなスペクトル帯域の数とし、各ｎについて、Ｗnを重み係数、Ｆn（ｘ，ｙ）を各位置（ｘ，ｙ）に適用されるユニークな周辺視野関数とし、Ｎをユニークな周辺視野関数の総数とすると、各ｉ番目のスペクトル帯域における各位置に対する調整された強度値が生成されるように、以下の式（１）
によって各ｉ番目のスペクトル帯域における各位置に対する強度値が調整される。各ｉ番目のスペクトル帯域における各位置に対する調整された強度値は共通関数でフィルタリングされ、各位置に対してそのようにしてフィルタリングされた各ｉ番目のスペクトル帯域に対して調整された強度値に基づいて改善されたディジタル画像が表示される。

また、画像処理方法が特開２００３−３３３３３１号公報に開示されている。この従来例では、入力画像データの非線形歪が小さくなるように信号が補正され、補正後の信号に対して、着目画素の画素値とその周辺分布領域の濃淡値との相対比が算出される。この相対比から着目画素に対応する処理対象画素の画素値が決定される。さらに、着目画素の画素値とその周辺分布領域の濃淡値との相対比が、対象となる領域を異ならせて算出され、対象とする周辺分布領域の大きさに応じてゲイン係数が算出される。得られた各相対比に、所定の重み係数とゲイン係数がそれぞれ掛けられ、合成値が算出される。この合成値から着目画素に対応する処理対象画素の画素値が決定される。

本発明の目的は、少ない記憶容量で処理することができる画像補正処理システム、画像補正処理方法、および画像補正処理用プログラムを提供することにある。
本発明の他の目的は、補正画像を局所的および大域的に適切な画質にする画像補正処理システム、画像補正処理方法、および画像補正処理用プログラムを提供することにある。

本発明の観点では、画像処理システムは、入力画像から少なくとも１つの補正対象の局所領域を選択する局所領域選択部と、前記局所領域は少なくとも１画素を含み、前記補正対象の局所領域に対する階調補正量を算出する補正量算出部と、前記階調補正量に基づいて前記局所領域の階調値を補正する階調補正を行い局所階調補正画像を生成する局所階調補正部とを具備する。
また、前記補正量算出部は、前記局所領域の周辺領域の階調値を算出する周辺領域階調値算出部と、前記周辺領域の算出された階調値を用いて前記階調補正量を算出する局所補正量変換部とを具備してもよい。
また、画像処理システムは、前記入力画像の部分領域ごとの代表階調値を算出する部分領域輝度算出部を更に具備し、前記補正量算出部は、前記補正対象の局所領域の周辺領域の階調値を、前記補正対象の局所領域の近傍に位置する少なくとも１つの前記部分領域の前記代表階調値を用いて算出する部分領域参照型周辺領域輝度算出部と、前記周辺領域の算出された階調値を用いて前記階調補正量を算出する局所補正量変換部とを具備してもよい。
また、画像処理システムは、前記局所階調補正画像の大域補正量を算出する大域補正量算出部と、前記大域補正量に基づいて前記局所階調補正画像に大域階調を補正する階調補正を行い大域階調補画像を生成する大域補正部とを更に具備してもよい。
また、画像処理システムは、前記入力画像を提供する画像入力部と、前記局所階調補正画像または前記大域階調補正画像を出力する画像出力部とを更に具備してもよい。
ここで、前記階調値は、輝度値、またはスペクトル成分で表現された階調値であることが好ましい。
前記階調補正が、前記補正対象の局所領域の広さを変えながら、あるいは前記補正対象の局所領域の広さを保ちながら、前記補正対象の局所領域に対して、複数回繰り返されてもよい。
また、前記局所領域選択部は、複数の局所領域を選択するとき、前記階調補正が、前記複数の選択された局所領域に対して施されてもよい。
また、前記周辺領域階調値算出部は、前記周辺領域の階調値とガウシアン重みの加重平均輝度値、または前記周辺領域の平均輝度値を前記周辺領域の前記階調値として算出してもよい。あるいは、局所領域と特徴点を結ぶ特徴経路線を１個以上設定し、前記特徴経路線のそれぞれで１個以上の経路特徴点を求め、前記経路特徴点の階調値、又は前記経路特徴点の加重平均輝度値を前記周辺領域の前記階調値として算出してもよい。
また、前記部分領域参照型周辺領域輝度算出部は、前記補正対象となる局所領域とその近傍に位置する少なくとも１つの前記部分領域との距離の比と前記部分領域の代表階調の積を用いて周辺領域の階調を算出してもよい。
前記代表階調値は、前記部分領域に含まれる全てまたは一部の画素の平均値、全てまたは一部の画素の中央値であることが好ましい。
前記補正量算出部は、シャドー領域がハイライト領域より強い補正を施されるように階調補正量を算出してもよし、局所領域の周辺の領域輝度と画像のハイライト領域の輝度とを用いて局所領域の階調補正量を算出してもよい。
前記局所階調補正部は、非線形関数を用いて前記階調補正を行うことが好ましい。また、前記大域階調補正は、コントラスト強調を含むことが好ましい。

本発明の他の観点では、画像処理方法は、入力画像から少なくとも１つの補正対象の局所領域を選択することと、前記局所領域は少なくとも１画素を含み、前記補正対象の局所領域に対する階調補正量を算出することと、前記階調補正量に基づいて前記局所領域の階調値を補正する階調補正を行い局所階調補正画像を生成することとにより達成される。
前記階調補正量を算出することとは、前記局所領域の周辺領域の階調値を算出することとと、前記周辺領域の算出された階調値を用いて前記階調補正量を算出することとにより達成されてもよい。
画像処理方法が、前記入力画像の部分領域ごとの代表階調値を算出することを更に具備し、前記前記階調補正量を算出することは、前記補正対象の局所領域の近傍に位置する少なくとも１つの前記部分領域の前記代表階調値を用いて前記補正対象の局所領域の周辺領域の階調値を算出することと、前記周辺領域の算出された階調値を用いて前記階調補正量を算出することとにより達成されてもよい。
画像処理方法は、更に、前記局所階調補正画像の大域補正量を算出することと、前記大域補正量に基づいて前記局所階調補正画像に大域階調を補正する階調補正を行い大域階調補画像を生成することにより達成されてもよい
また、画像処理方法は、更に、前記入力画像を提供することと、前記局所階調補正画像または前記大域階調補正画像を出力することとにより達成されてもよい
また、前記階調値は、輝度値、またはスペクトル成分で表現された階調値であることが好ましい。
また、画像処理方法は、更に、前記階調補正を、前記補正対象の局所領域の広さを変えながら、あるいは前記補正対象の局所領域の広さを保ちながら、前記補正対象の局所領域に対して、複数回繰り返えすことにより達成されてもよい。
また、前記局所領域を選択することが、複数の局所領域を選択することとを含むとき、画像処理方法は、前記階調補正を、前記複数の選択された局所領域に対して行うことにより達成されてもよい。
前記階調補正量を算出することは、前記周辺領域の階調値とガウシアン重みの加重平均輝度値、または前記周辺領域の平均輝度値を前記周辺領域の前記階調値として算出することにより達成されてもよい。
前記階調補正量を算出することは、局所領域と特徴点を結ぶ特徴経路線を１個以上設定し、前記特徴経路線のそれぞれで１個以上の経路特徴点を求め、前記経路特徴点の階調値、又は前記経路特徴点の加重平均輝度値を前記周辺領域の前記階調値として算出することにより達成されてもよい。
また、前記周辺領域の階調値を算出することとは、前記補正対象となる局所領域とその近傍に位置する少なくとも１つの前記部分領域との距離の比と前記部分領域の代表階調の積を用いて周辺領域の階調を算出することにより達成されてもよい。
前記代表階調値は、前記部分領域に含まれる全てまたは一部の画素の平均値、全てまたは一部の画素の中央値であってもよい。
また、前記階調補正量を算出することとは、シャドー領域がハイライト領域より強い補正を施されるように階調補正量を算出することにより達成されてもよい。
また、前記階調補正量を算出することとは、前記局所領域の周辺の領域輝度と画像のハイライト領域の輝度とを用いて局所領域の階調補正量を算出することにより達成されてもよい。
また、前記階調補正量を算出することとは、非線形関数を用いて前記階調補正を行うことにより達成されてもよい。
また、前記大域階調補正は、コントラスト強調を含むことが好ましい。

従来の中間階調改善手法の動作を示すフローチャートである。 本発明の第１実施例に係る画像処理システムの構成を示すブロック図である。 本発明の第１実施例に係る画像処理システムの画像処理装置の構成を示すブロック図である。 本発明の第１実施例に係る画像処理システムの動作を示すフローチャートである。 第１実施例における特徴経路の例を示す図である。 第１実施例の周辺領域の輝度算出における変換関係を示す図である。 第１実施例における局所階調補正の例を示す図である。 本発明の第２実施例に係る画像処理システムの構成を示すブロック図である。 第２実施例における画像処理システムの動作を示すフローチャートである。 図１０Ａは、第２実施例における部分領域参照型周辺領域輝度算出法として例示された４近傍加重平均輝度値の算出方法を示す図である。 図１０Ｂは、第２実施例における部分領域参照型周辺領域輝度算出法として例示された４近傍加重平均輝度値の算出方法を示す図である。 図１０Ｃは、第２実施例における部分領域参照型周辺領域輝度算出法として例示された４近傍加重平均輝度値の算出方法を示す図である。 図１０Ｄは、第２実施例における部分領域参照型周辺領域輝度算出法として例示された４近傍加重平均輝度値の算出方法を示す図である。 本発明の第３実施例に係る画像処理システムの構成を示すプロック図である。 第３実施例に係る画像処理システムの動作を示すフローチャートである。 第３実施例に係る大域階調補正の例を説明する図である。 本発明の画像処理装置の具体的な構成を示すブロック図である。 図１５Ａは、第１実施例に係る画像処理の例を示す図である。 図１５Ｂは、第１実施例に係る画像処理の例を示す図である。 図１５Ｃは、第１実施例に係る画像処理の例を示す図である。 図１６Ａは、第３実施例に係る画像処理の例を示す図である。 図１６Ｂは、第３実施例に係る画像処理の例を示す図である。

以下に添付図面を参照して、本発明の画像補正処理システムについて詳細に説明する。

図２は、第１実施例に係る画像処理システムの構成を示すブロック図である。画像処理システムは、画像入力部１と画像処理装置２と画像出力部３とを具備する。画像入力部１は、カメラやスキャナなどの撮像機器、またはそれらにより撮影されて画像データが蓄積される画像データベース、あるいは、それらが接続されるネットワークなどで実現される。画像入力部１から原画像データが画像処理装置２に入力される。画像処理装置２は、入力される原画像の中間階調を改善する補正処理を行い、補正画像を画像出力部３に出力する。画像出力部３は、ディスプレイ、プリンタ、画像データを保持するハードディスクやメモリカードなどの記憶媒体、あるいはそれらが接続されるネットワークなどで実現され、画像の表示や蓄積あるいは伝送を行う。

画像処理装置２は、図３に示されるように、局所領域選択部２１、補正量算出部２２、局所階調補正部２３、制御部２４とを備えている。

局所領域選択部２１は、画像入力部１から入力される原画像データから少なくとも１つの局所領域を補正対象として選択する。局所領域選択部２１は、画像データを補正量算出部２２と局所階調補正部２３に出力する。
局所領域は、ユーザーがマニュアルで選択してもよいし、自動的に選択してもよい。自動的に選択する場合には、画像の平均輝度を求め、その平均輝度より所定の閾値だけ明るいあるいは暗い画素の領域を局所領域と選択してもよい。局所領域は、１画素以上で構成される画像領域である。局所領域は、複数の画素の集合でもよい。また、画像を複数の分割領域に分割し、分割領域の各々を局所領域としてもよい。複数の局所領域が存在するとき、局所領域が互いに重複する領域を含んでもよい。選択された局所領域を指定するデータは制御部２４に送られる。

選択された局所領域の全てを補正する必要はなく、補正の必要性は、その局所領域の画像統計量により判断することができる。画像統計量として、例えば、局所領域の画素の分散や、平均輝度などがある。制御部２４は、これらの画像統計量を抽出し、閾値を超えるもの、あるいは閾値を下回るものなどを補正対象の局所領域とする。制御部２４は、補正対象の局所領域指定データを保持する。

補正量算出部２２は、周辺領域画像データに基づいて補正量を算出する。補正量算出部２２は、周辺領域輝度算出部２２１と局所補正量変換部２２２とを備える。周辺領域輝度算出部２２１は、制御部２４からの指示に従って局所領域選択部２１により選択された補正対象である局所領域の周辺領域の輝度値を算出する。局所補正量変換部２２２は、周辺領域輝度算出部２２１で算出される周辺領域の輝度値に基づいて局所領域の補正量を求める。

より詳細には、周辺領域輝度算出部２２１は、制御部２４から供給される局所領域指定データに基づいて、画像データから、選択された局所領域の周辺領域の画像データを決定し、決定された周辺領域の画像データの輝度値を算出する。局所補正量変換部２２２は、算出される周辺領域の輝度値に基づいて、局所領域の補正量を求める。
補正の対象となる局所領域が設定されると、その局所領域の周囲に周辺領域が決定される。周辺領域は、局所領域から一定の距離の範囲にある部分とする。例えば、局所領域の中心を原点として、縦にＭ画素、横にＮ画素分の領域を周辺領域とする。このとき、領域の大きさを示すＭ、Ｎは、画像のサイズに基づいて設定されることが好ましい。また、周辺領域は矩形領域でなくてもよく、円形（楕円形）領域でもよい。

周辺領域輝度算出部２２１は、周辺領域の輝度値として、周辺領域の輝度ヒストグラムの中央値や平均値、周辺領域の輝度の加重平均をとった加重平均輝度値、特徴経路上の参照点の加重平均輝度値などを用いることができる。ここでは、局所領域を中心とする領域の加重平均値輝度ＡＳと、特徴経路上にある参照点の加重平均輝度値ＦＳの算出方法を説明する。

局所領域を中心とする領域の加重平均輝度値ＡＳは、次のように算出される。入力される原画像をＩ（ｘ，ｙ）とし、重み付け係数を等方的２次元正規分布Ｈ（ｘ，ｙ）とすると、局所領域の中心（ｘ_０，ｙ_０）を中心とする周辺領域の加重平均輝度値ＡＳは、（２）式により求められる。
ここで、演算子＊は、畳み込み演算を示す。Ｈ（ｘ，ｙ）は、局所領域（ｘ_０，ｙ_０）を中心とし、標準偏差σの等方的な２次元正規分布であり、次の式（３）、（４）を満たす。

次に、特徴経路上にある参照点の加重平均輝度値の算出方法について説明する。参照点は、周辺領域の中で特徴のある点のうち、特徴経路上にあり加重平均の一要素として算入される点である。周辺領域の中で、輝度がその周囲に比べて高い領域、エッジ強度が大きい領域、ＲＧＢの階調値または輝度の極大値、極小値などの特徴を有する領域が特徴点として設定される。

特徴点決定後、画像処理装置２は、この特徴点のうち中心の局所領域から遠いＰ個の特徴点を選択し、これらのＰ個の特徴点と局所領域を結ぶ特徴経路線を設定する。この特徴経路線は、Ｐ個の特徴点と局所領域の間にある他の未選択の特徴点を特徴経路点として、これらを結ぶように設定される。このようにして設定される特徴経路、特徴点は、例えば、図５に示されるようである。図５に示される経路Ｐ１上にある特徴点を参照点としてその加重平均輝度ＦＳを算出する。特徴経路上の参照点の荷重平均輝度値ＦＳは、以下の式（５）により求められる。
ここで、Ｐ（＞０）は特徴経路の数、Ｎｐ（＞０）は特徴経路ｐ上の参照点の数、ａ（ｘ，ｙ）は係数である。係数ａ（ｘ，ｙ）は、例えば（３）式および（４）式で示される２次元正規分布Ｈ（ｘ，ｙ）などを使用する。また、ａ（ｘ，ｙ）は、定数であってもよい。特徴経路は図５の経路Ｐ１に示される局所領域の周辺に与えられた特徴点と局所領域とを結ぶ任意の線上にある特徴点を辿って結ぶ経路である。

周辺領域の輝度値が算出されると、局所補正量変換部２２２は、その周辺領域輝度値に基づいて局所領域の補正量を算出する。局所補正量変換部２２２は、周辺領域の輝度値から局所領域の補正量への変換処理では、周辺領域の輝度値に対する線形変換や非線形変換などを行い、局所階調補正部２３に補正量を出力する。特に、局所階調補正部２３がガンマ補正を行う場合は、以下のように周辺領域の輝度を補正量に変換することができる。即ち、周辺領域の輝度値Ｓが得られると局所補正量変換部２２２は、この周辺領域の輝度値Ｓに基づき、以下の式（６）により局所領域の補正量Ｚを算出する。
ここで、Ｓ_Ｈは画像中のハイライト領域の輝度値である。ａは、所定の定数（＞０）であり、補正量Ｚの傾きを示す。ｂは、所定の定数（０≦ｂ≦１．０）であり、補正量Ｚの最小値を示す。ｃは、所定の定数（０≦ｃ≦１．０）であり、補正量の飽和部の定数を示す。指数αは、所定の定数（α≧０）であり、補正対象の画像に基づいて値が決定される。したがって、周辺領域の輝度値Ｓがハイライト領域の輝度値Ｓ_Ｈ未満の場合、補正量Ｚは、傾きａ（＞０）、切片ｂ（０≦ｂ≦１．０）、指数α（α≧０）を有する関数により決定される。周辺領域の輝度値Ｓがハイライト領域の輝度値Ｓ_Ｈ以上の場合、補正量Ｚは、定数ｃ（０≦ｃ≦１．０）となる。ここで、以下の式（７）が成り立つ時、補正量Ｚは、周辺領域の輝度値Ｓがハイライト領域の輝度値Ｓ_Ｈの前後において連続となり、補正量Ｚの値域は、図６に示されるように、［ｂ，ｃ］となる。また、ハイライト領域の輝度値Ｓ_Ｈを超える周辺輝度値を持つ領域の補正量Ｚは、ｃとなる。このため、ｃ＝１．０の時、ハイライト領域では階調補正が施されないことになる。

このようにハイライト領域の輝度Ｓ_Ｈを越える領域に対して階調補正を施さないことにより、ハイライト領域が暗く補正される、あるいは、過度に明るく補正されることがなくなる。したがって、ハイライト領域では良好な階調性を維持することが可能である。

また、（６）式を以下の式（８）とすることで、原画像中のシャドー領域の階調を保ち、他の領域の画質を改善することができる。
ここで、Ｓ_Ｌは画像中のシャドー領域の輝度値を示す。ａは、所定の定数（＞０）であり、補正量Ｚの傾きを示す。ｂは、所定の定数（０≦ｂ≦１．０）である。ｃは、所定の定数（０≦ｃ≦１．０）である。指数αは、所定の定数（α≧０）であり、補正対象の画像に基づいて値が決定される。
即ち、周辺領域の輝度値Ｓがシャドー領域の輝度値Ｓ_Ｌ以上の場合は、傾きａ（＞０）、切片ｂ（０≦ｂ≦１．０）、定数ｃ（０≦ｃ≦１．０）、指数α（α≧０）を有する関数により補正量Ｚが決定される。周辺領域の輝度値Ｓが輝度値Ｓ_Ｌ未満の場合は、補正量Ｚは定数ｃとなる。以下の式（９）が成立するとき、補正量Ｚは、周辺領域の輝度値Ｓがシャドー領域の輝度値Ｓ_Ｌの前後において連続となる。このとき、補正量Ｚは、ｃ以上の値となる。シャドー領域の輝度値Ｓ_Ｌ以下の周辺輝度値を持つ領域のガンマ補正量はｃとなる。このため、ｃ＝１．０の時、シャドー領域では階調補正は施されないことになる。

ここでハイライト領域とシャドー領域について説明しておく。ハイライト領域とは、特定輝度以上の階調値または輝度値を有する画素の集合のことである。また、シャドー領域とは、特定輝度以下の階調値または輝度値を有する画素の集合のことである。これらの輝度値を制御部２４が保持しており、必要により、補正量算出部２２に供給する。これらの輝度値は、様々な適用画像を対象にした実験に基づいて決定する場合や、以下のように補正対象画像毎に適応的に求められる場合がある。

まず、画像の階調値（輝度値）のヒストグラムを生成する。階調値（輝度値）の大きい方の、ある割合の要素をハイライト領域の画素とする。例えば、画像が幅３２０画素、高さ２４０画素で、その１％をハイライト領域に指定するものとすると、ハイライト領域の画素数は、ｔｈ＝３２０×２４０×０．０１＝７６８画素である。階調値ヒストグラムにおいて上位７６８個目の画素が有する階調値以上の階調値を持つ画素がハイライト領域となる。同様に、シャドー領域は、下位７６８個目の画素が有する階調値以下の階調値を持つ画素がシャドー領域となる。ここでは、ハイライト領域とシャドー領域の割合は同じ値で説明したが、異なる値であってもよい。

局所階調補正部２３は、局所領域選択部２１から供給される画像データと、補正量算出部２２から供給される補正量とに基づいて画像データのうちの選択された局所領域の階調値を補正する。補正処理された補正画像データは、画像出力部３に出力される。この例では、階調値は、輝度値であってもよいし、あるいはスペクトル成分で表現された階調値であってもよい。

局所階調補正処理は、線形補正関数やシグモイド関数などの非線形関数を用いて実現されることが可能である。例えば、補正量算出部２２により、局所領域を補正するための補正量がガンマ値として算出される場合、局所階調補正部２２は以下の式（１０）のガンマ補正式により局所領域の階調値を変換する。即ち、局所階調補正部２２は、局所領域の階調値Ｉｉ（ｘ，ｙ）をＯｉ（ｘ，ｙ）に変換する階調補正処理を施す（但し、ｉ＝Ｒ，Ｇ，Ｂ）。
ここで、Ｉｍａｘは階調値の最大値、γは補正量算出部２２により算出されたガンマ値である。また、式（１０）は、Ｒ，Ｇ，Ｂを独立に処理する式になっているが、輝度成分のみの補正を行うことも可能である。輝度成分のみの補正を行う場合、まず、ＲＧＢ空間の階調値は輝度成分と色度成分に分割される。次に、輝度成分のみが式（１０）の入力値として補正される。変換後の輝度値と元の色度成分は再びＲＧＢ空間の階調値へと変換される。このように処理することで、輝度成分のみの補正を行うことも可能である。さらに、補正量算出部２２と局所階調補正部２３の処理は、周辺領域輝度算出部２２１により算出される周辺領域の輝度値Ｓに対応して事前に求められる階調補正テーブルを用いることで実現することも可能である。階調補正テーブルを用いることにより、演算時間を短縮できる。

次に、第１実施例の全体の動作について、図４のフローチャートを参照して説明する。

まず、画像入力部１から入力された原画像は、局所領域選択部２１に供給される。局所領域選択部２１では、入力される原画像から局所領域を選択する。制御部２４は、選択された局所領域から補正対象の局所領域を選択する（ステップＳ２１）。

次に、補正量算出部２２において、原画像の選択された局所領域の階調補正量を算出する（ステップＳ２２）。選択された局所領域の階調補正量として、まず、周辺領域輝度算出部２２１において、周辺領域の輝度ヒストグラムの中央値や平均値、周辺領域の輝度の加重平均をとった加重平均輝度値、特徴経路上の参照点の加重平均輝度値などに基づいて、周辺領域の輝度値が算出される。周辺補正量変換部２２２において、算出される周辺領域の輝度値は、局所領域の階調補正量に変換される。この局所領域の階調補正量とは、入力される原画像の局所的な明るさやコントラストなどの画質要因により決定されるものであり、画像の局所領域の画質が最適となるように階調補正を行うための階調補正の強度を決める値である。

局所領域の階調補正量が算出されると、得られた局所階調補正量に基づいて該当する局所領域の階調が補正される（ステップＳ２３）。局所領域を補正するための補正量がガンマ値として算出される場合、局所階調補正部２２は、局所領域の階調値Ｉｉ（ｘ，ｙ）をＯｉ（ｘ，ｙ）に変換する（ｉ＝Ｒ，Ｇ，Ｂ）。

この局所階調補正は、１領域以上ある局所領域に対して逐次的に行われる。制御部２４は、局所領域の階調補正が全ての補正対象の局所領域について行われたか否かを判定する（ステップＳ２４）。未処理の局所領域が残っている場合（ステップＳ２４−ＮＯ）、その領域に対して補正量の取得および階調補正を行う。全ての局所領域に対して処理が終了している場合（ステップＳ２４−ＹＥＳ）、階調補正処理を終了し、画像出力部３に補正後の画像を供給する。画像出力部３への補正画像の出力は、各局所領域の補正処理が終了するごとに行ってもよい。

また、ここでは、局所階調補正が局所領域の各々に対して１度ずつ実行されると説明したが、局所階調補正により各局所階調が補正されるので、この局所階調補正が複数回繰り返されてもよい。その場合、局所領域の広さを保ちながら階調補正が行われてもよいが、局所領域の広さを買えながら階調補正が行われると、特異点のような局所領域などに影響されて補正が過度に進行することが防止できる。この場合、制御部２４が、局所領域の選択を行うための閾値を局所領域選択部２１に供給し、新たに補正対象の局所領域を選択しながら、補正を行ってもよい。また、画像全体を複数の領域に分け、それらを局所領域として階調補正を行ってもよい。

以上のように、局所領域における階調補正処理は行われる。ここで以上の処理を適用した例を示す。そのシステムは、画像入力部１としてＣＣＤカメラを、画像処理装置２としてパーソナル・コンピュータを、画像出力部３としてディスプレイを備えている。

パーソナル・コンピュータは、図１４に示されるように、中央演算処理部（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１、入力部３２、出力部３３、メモリ部３４、外部記憶部３５を具備する。中央演算処理部３１は、メモリ部３４に格納されるプログラムを逐次取り出して実行し、メモリ部３４あるいは外部記憶部３５に格納される画像データ、作業用データに基づいて、画像階調補正処理を行う。入力部３２は、ＣＣＤカメラから画像データを取り込む。出力部３３は、補正処理した画像データをディスプレイに出力する。メモリ部３４は、取り込んだ画像データを記憶し、演算の途中経過を保持し、また、演算処理するためのプログラムを格納する。外部記憶部３５は、メモリ部３４に格納するプログラムを記憶したり、メモリ部３４の内容を保存したりする。

パーソナル・コンピュータは、画像処理装置２としてソフトウェアにより実現される局所領域選択部２１、補正量算出部２２、局所階調補正部２３を備える。繰り返し演算量の多い部分に関しては、専用ハードウェアが実装されていてもよい。また、補正量算出部２２は、ガンマ補正の場合はガンマ値を算出し、局所階調補正部は算出されたガンマ値を用いてガンマ補正を行う。以下ではガンマ補正として説明するが、シグモイド関数による補正であれば、シグモイド関数の傾き、シフト量などのパラメータを算出することになる。

ＣＣＤカメラから図１５Ａに示される画像が入力されたとする。中央演算処理部３１は、入力される原画像中の局所領域、例えば１画素を選択し、図１５Ｂに示されるように、その局所領域の周辺領域の輝度値を算出する。図１５Ｂでは、局所領域として２ヵ所示され、周辺領域は、その局所領域を中心とする半径Ｒの円で示されている。まずこの周辺領域の輝度値を算出する。周辺領域の輝度値が算出されると、この周辺領域の輝度値を基に式（６）に従って補正量が算出され、局所領域を補正するためのガンマ値が得られる。図１５Ｂの右下の局所領域のように、周辺領域の輝度値が低い場合、局所領域を補正するためのガンマ値は式（６）のｂ値（例えば０．５）に近くなる。この結果、局所領域の階調値はガンマ補正により明るく補正される。一方、図１５Ｂの左上の局所領域のように、周辺領域の輝度値が高い場合、特に式（６）のＳ_Ｈ値を超えた場合、ガンマ値は１．０（＝ｃ）となる。したがって、局所領域の階調値はガンマ補正の影響を受けず、原画像のままとなる。このような処理を全局所領域に施すことにより、画像中の暗部は明るく補正され、明部は原画像のまま保存されることになる。この結果、図１５Ｃに示されるように画像中の暗部の視認性が改善される。最後に、処理の結果をディスプレイに出力することで処理を終了する。

このように、パーソナル・コンピュータは、画像補正処理のプログラムを実行することにより、周辺領域の画質に応じて補正量を決定し、局所領域の画質を補正する。上記のガンマ補正と式（６）とを適用する場合、局所領域の階調補正関数は、図７に示されるように、画像の局所領域の明るさに応じて階調補正関数が変化する。したがって、暗い領域は明るく、明るい領域は元画像の階調をそのまま保持するというような処理が実現される。その結果、画像中の明部の画質を保持しつつ暗部の画質を改善することができる。また、逆に上記のガンマ補正と式（８）を適用することで、画像中の暗部の画質を保持しつつ明部の画質を改善することができる。

本実施例では、画像からの局所領域の階調補正量の取得と階調補正を局所領域ごとに逐次処理するように構成されている。そのため、補正量および補正量を求めるために必要な諸データのうち、メモリ部３４、外部記憶部３５に保持されるデータ量を入力される原画像のデータサイズよりも少なくすることができる。

また、局所領域の画質に応じて階調補正を施すことができるため、局所領域の画質を適切に補正することが可能である。

さらに、特徴経路の加重平均輝度値を用いた場合、他の周辺領域を算出する方法と比べて演算参照する点数が少なく、高速に動作することが可能である。したがって、計算コストを削減することができる。

次に、本発明の第２実施例による画像処理システムについて詳細に説明する。図８は、本発明の第２実施例による画像処理システムの構成を示すブロック図である。図８参照して、本発明の第２実施例による画像処理システムは、第１実施例の構成とは、部分領域輝度値格納部５１を有する記憶装置５と部分領域輝度算出部２５が追加されている点で異なる。また、第２実施例では、第１実施例の補正量算出部２２が補正量算出部２６に置換されている。補正量算出部２６では、周辺領域輝度算出部２２１に代えて部分領域参照型周辺領域輝度算出部２６１が設けられている。従って、異なる点を以下に説明する。

部分領域輝度算出部２５は、入力画像の領域を横ｍ領域、縦ｎ領域に分割し、それぞれの領域の代表輝度値を算出し、部分領域輝度値格納部５１に代表輝度値を格納する。

補正量算出部２６は、部分領域輝度値格納部５１に格納されている代表輝度値を用いて局所領域補正量を算出する。詳細には、部分領域参照型周辺領域輝度算出部２６１が局所領域の近傍に位置する部分領域の代表輝度値を用いて周辺輝度値を算出し、局所補正量変換部２２２は算出された周辺輝度値を用いて局所補正量を決定する。

次に、図９のフローチャートを参照して第２実施例の画像処理システムの動作について詳細に説明する。図９のステップＳ２１、Ｓ２３およびＳ２４で示されるプロセスは、図４に示される第１実施例におけるステップＳ２１、Ｓ２３およびＳ２４と同一であるので、説明は省略する。

第２実施例では、画像が入力されると、部分領域輝度算出部２５は、入力画像の領域を横ｍ領域、縦ｎ領域（ｍ，ｎ＞０）に分割し（図１０Ａ）、それぞれの領域の代表輝度値を求め（図１０Ｂ）、部分領域輝度値格納部５１に代表輝度値を格納する（ステップＳ２５）。局所領域選択部２１は、第１実施例と同様にして、補正対象の局所領域を選択する（ステップＳ２１）。補正量算出部２６の部分領域参照型周辺領域輝度算出部２６１は、ステップＳ２５で算出された代表輝度値を用いて局所領域の周辺輝度値を算出し、局所補正量変換部２２２は選択された局所領域の補正量を算出する（ステップＳ２６）。

なお、部分領域の代表輝度値としては、部分領域の平均値や中央値などを用いることができる。また、部分領域参照型周辺領域輝度算出部２６１は、例えば、部分領域の代表輝度値を用いて４近傍加重平均値ＩＳを周辺領域の輝度値として算出する。４近傍加重平均値ＩＳは、注目領域の最近傍領域の代表輝度値Ｓ_Ｌを用いて線形補間することで得られる。図１０Ｃの点Ｅを注目画素とし、点Ｅのｘ座標は線分ＡＢをＸＬ：ＸＲに内分する位置に、ｙ座標は線分ＡＣをＹＵ：ＵＤに内分する位置にあるとする。この場合、注目画素Ｅが図１０Ｃの部分領域の中心点を結ぶ破線で囲まれる領域（１）、（２）、（３）のどの領域にあるかに依存して、注目画素の平均輝度値は以下の式（１１），（１２），（１３）を用いて決定される。
領域（１）：４近傍領域から算出
領域（２）：２近傍領域から算出
領域（３）：単一領域から算出
なお、ＸＬ＋ＸＲ＝１、ＹＵ＋ＵＤ＝１である。

以上の式に基づいて周辺輝度値が計算された場合、図１０Ｄのように加重平均輝度値ＡＳにより得られる周辺輝度値に近い周辺輝度値を得ることが可能である。
第２実施例では、４近傍加重平均値を用いた場合、部分領域の代表輝度値を格納するための数バイト程度の記憶容量を必要とするが、特徴経路の加重平均輝度値のように特徴経路を算出するための演算参照は必要なく、また、その他の周辺領域の輝度値を算出する方法と比べて演算参照する点数が少なく、高速に動作することが可能である。

次に、本発明の第３実施例による画像処理システムについて説明する。第３実施例は、階調補正が局所階調補正と大域階調補正の２段階で施される。画像処理システムの構成は、図２に示される第１実施例と同様の部分を有し、画像処理装置２の構成が図１１に示されるようになる。

第３実施例に係る画像処理装置は、図１１に示されるように、局所領域選択部２１、補正量算出部２２、局所階調補正部２３、大域階調補正量算出部２７、大域階調補正部２８とを具備する。局所領域選択部２１、補正量算出部２２、局所階調補正部２３は、第１実施例におけるそれらと同様である。大域階調補正量算出部２７、大域階調補正部２８は、大域階調補正処理を施す。局所階調補正処理は第１実施例における処理と同様であるので、ここでは説明を省略する。

大域階調補正処理では、局所階調補正部２３から局所階調補正された画像が大域階調補正量算出部２７と大域階調補正部２８に出力される。大域階調補正量算出部２７は、局所階調補正部２３により局所的に補正された画像から、大域的な画質を改善するための大域階調補正量を算出する。大域階調補正部２８は、大域階調補正量算出部２７で算出される大域階調補正量に基づいて画像全体の階調を補正する。局所階調補正と大域階調補正が施された画像データは大域階調補正部２８から画像出力部３に出力される。

大域階調補正量算出部２７は、局所階調補正部２３により局所的に画質が最適化された画像に対して、大域的に最適な画質を得るために補正処理のための補正量を決定する。大域補正としては、コントラスト補正やガンマ補正などの画像全体の画質を整える階調補正手法を用いることができる。大域階調補正量算出部２７では、これらの大域画質補正の手法の補正量を算出する。例えば、コントラスト補正を用いる場合は、コントラスト補正の変換式の係数である補正量ａ、ｂを以下の式（１４）、（１５）により算出する。
ここで、ＨＬｏｐｔとＳＨｏｐｔは、画像のハイライト領域とシャドー領域の最適な階調値を示す。また、ＨＬとＳＨは、原画像中のハイライト領域とシャドー領域の輝度値である。ハイライト領域の輝度値ＨＬは、以下の式（１６）に示されるように、入力される原画像から作成した輝度画像Ｉ（ｘ，ｙ）に対して、ローパスフィルタＬＰＦ（ｘ，ｙ）を施した時の画像中の最大階調値である。シャドー領域の輝度値ＳＨは、以下の式（１７）に示されるように、入力される原画像から作成された輝度画像Ｉ（ｘ，ｙ）に対して、ローパスフィルタＬＰＦ（ｘ，ｙ）を施した時の画像中の最小階調値である。
なお、演算子＊は、畳み込み演算を表す。また、関数ｍａｘ（ ）、関数ｍｉｎ（ ）はそれぞれ括弧内に示される要素の最大値、最小値を関数値とする関数である。

大域階調補正量が算出されると、次に、大域階調補正部２８において、局所階調補正された画像データに対して、大域階調補正量算出部２７によって算出される補正量に基づいて大域階調補正が施される。大域補正としては、コントラスト補正やガンマ補正などの画像全体の画質を整える階調補正手法を用いることができる。コントラスト補正を用いる場合は、大域階調補正量算出部２５により算出された補正量ａ，ｂを用いて以下の式（１８）により各画素の階調を補正する。
ここで、ｉは、３原色（ｉ＝Ｒ，Ｇ，Ｂ）を表わし、Ｉｉ（ｘ，ｙ）は入力画素値、Ｏｉ（ｘ，ｙ）は出力画素値である。

コントラスト補正の場合、図１３に示されるように、入力される原画像の階調値は最小階調値ＳＨから最大階調値ＨＬまで分布している。これをその画像にとって最適な階調値である、最小階調値ＳＨｏｐｔから最大階調値ＨＬｏｐｔまで分布するように、式（１８）により変換する補正処理が行われる。

また、式（１８）は、各原色Ｒ、Ｇ、Ｂを独立に処理する式になっているが、輝度成分のみの補正を行うことも可能である。輝度成分のみの補正を行う場合、ＲＧＢ空間の階調値を輝度成分と色度成分に分ける。そのうち輝度成分のみを式（１８）の入力値として補正する。補正後の輝度値と元の色度成分を再びＲＧＢ空間の階調値へと変換する。このようにすることで、輝度成分のみの補正を行うことができる。

次に、第３実施例による画像処理システムの動作について、図１２のフローチャートを参照して説明する。ステップＳ２１からステップＳ２４までは第１実施例における全体動作と同じである。

まず、画像入力部１から入力された原画像は、局所領域選択部２１に供給される。局所領域選択部２１では、入力される原画像から補正対象の局所領域を選択する（ステップＳ２１）。

次に、補正量算出部２２において、入力される原画像の局所領域の階調補正量を算出する（ステップＳ２２）。局所領域の階調補正量は、まず、周辺領域の輝度ヒストグラムの中央値や平均値、周辺領域の輝度の加重平均をとった加重平均輝度値、特徴経路上の参照点の加重平均輝度値などに基づいて、周辺領域の輝度値が算出される。算出される周辺領域の輝度値は、局所領域の階調補正量に変換される。この局所領域の階調補正量とは、入力される原画像の局所的な明るさやコントラストなどの画質要因により決定されるものであり、画像の局所領域の画質が最適となるように階調補正を行うための階調補正の強度を決める値である。

局所領域の階調補正量が算出されると、得られた局所階調補正量に基づいて該当する局所領域の階調を補正する（ステップＳ２３）。局所領域を補正するための補正量がガンマ値として算出される場合、局所階調補正部２２は、局所領域の階調値Ｉｉ（ｘ，ｙ）をＯｉ（ｘ，ｙ）に変換する（ｉ＝Ｒ，Ｇ，Ｂ）。

この局所階調補正は、１領域以上ある局所領域に対して逐次的に行われる。局所領域の階調補正が全ての補正されるべき局所領域について行われたか否かを判定する（ステップＳ２４）。未処理の局所領域が残っている場合（ステップＳ２４−ＮＯ）、その領域に対して補正量の取得および階調補正を行う。全ての局所領域に対して処理が終了している場合（ステップＳ２４−ＹＥＳ）、局所階調補正処理を終了し、大域階調補正処理に局所補正後の画像を供給する。大域階調補正処理への局所補正画像の出力は、各局所領域の補正処理が終了するごとに行ってもよい。

局所領域の階調補正処理が終了すると、大域階調補正が行われる。大域階調補正では、まず、画像の大域的な画質が判定される。コントラスト補正の場合、大域的な画質は、通常画像全体の輝度ヒストグラムを生成することにより求められる。即ち、図１３に示されるように、入力画像の輝度ヒストグラムにより、最小輝度ＳＨと最大輝度ＨＬが求められる。最小輝度ＳＨと最大輝度ＨＬが算出されると、ハイライト領域の最適な輝度値ＨＬｏｐｔとシャドー領域の最適な輝度値ＳＨｏｐｔとを用いて、式（１４）、（１５）にしたがって補正量ａ、ｂが算出される（ステップＳ２５）。

補正量ａ、ｂが算出されると、大域階調補正部２８において、大域階調補正が行われる。コントラスト補正の場合、大域階調補正は、式（１８）に基づいて行われる。大域階調補正が施された画像は、画像出力部３に供給されて、画像補正処理は終了する。

以上のように、局所領域および大域における階調補正処理は行われる。ここで以上の処理を適用した例を示す。適用したシステムは、第１実施例と同様に、画像入力部１としてＣＣＤカメラを、画像処理装置２としてパーソナル・コンピュータを、画像出力部３としてディスプレイを備えている。第１実施例のパーソナル・コンピュータのプログラムに大域階調補正用のプログラム即ち、大域階調補正量算出部２７及び大域階調補正部２８になるプログラムが追加搭載されている。
第３実施例として図１４のような構成を述べたが、この構成に記憶装置５と部分領域輝度値格納部５１を加え、画像入力部１と局所領域選択部２１の間に部分領域輝度算出部２５を加え、補正量算出部２２を補正量算出部２６に置き換えるてもよい。

ＣＣＤカメラから図１５Ａに示す画像が入力されたとする。このとき、第１実施例と同様にまず局所階調補正が入力される原画像に施される。この局所階調補正処理が施された結果、画像によっては図１６Ａのように、過度に局所的な階調補正が施され、画像全体としての画質が劣る結果となる場合がある。この場合では、局所階調補正により局所的な画質は改善しているが、画像のコントラストが低下する結果となった。ここでは、大域階調補正として式（１８）に示されるコントラスト補正を用いて局所階調補正後の画像を階調補正する。まず、画像全体の画素の階調値から式（１４）、（１５）に基づいて補正量ａ、ｂが算出される。次に、式（１８）のコントラスト補正式に基づいて、画像のコントラストが補正される。その結果、図１６Ｂに示されるように、大域的な画質が改善された画像が得られる。この補正された画像は、入力された原画像と比較しても、暗部の視認性が改善されている。即ち、局所的な画質も改善されていることが判る。以上のように処理された後の画像をディスプレイに表示し処理を終了する。

このように、局所階調補正を施した後、大域階調補正を施すことにより、局所的に画質が改善された画像の大域的な画質が改善され、画像全体の画質を損なうことなく局所領域の画質を改善することができる。

本発明によれば、逐次的に処理され、処理の中間結果を保存する必要がないため、少ない記憶容量で処理することができる画像処理装置、画像補正処理方法、および画像補正処理用プログラムを提供することができる。

また、本発明によれば、局所的に階調補正をした結果の画像に対して、大域的な階調補正を施すため、補正画像を局所的および大域的に適切な画質にする画像処理装置、画像補正処理方法、および画像補正処理用プログラムを提供することができる。

上記開示と関連して、以下の事項を開示する。
［項３３］
入力画像から少なくとも１つの補正対象の局所領域を選択するステップと、前記局所領域は少なくとも１画素を含み、
前記補正対象の局所領域に対する階調補正量を算出するステップと、
前記階調補正量に基づいて前記局所領域の階調値を補正する階調補正を行い局所階調補正画像を生成するステップと
を具備するソフトウェアプロダクトのためのコードを記録するコンピュータ読み取り可能なソフトウエアプロダクト。
［項３４］項３３に記載のソフトウェアプロダクトにおいて、
前記階調補正量を算出するステップは、
前記局所領域の周辺領域の階調値を算出するステップと、
前記周辺領域の算出された階調値を用いて前記階調補正量を算出するステップと
を具備するソフトウェアプロダクト。
［項３５］項３３に記載のソフトウェアプロダクトにおいて、
前記画像処理方法は、
前記入力画像の部分領域ごとの代表階調値を算出するステップを更に具備し、
前記前記階調補正量を算出するステップは、
前記補正対象の局所領域の近傍に位置する少なくとも１つの前記部分領域の前記代表階調値を用いて前記補正対象の局所領域の周辺領域の階調値を算出するステップと、
前記周辺領域の算出された階調値を用いて前記階調補正量を算出するステップと
を具備するソフトウェアプロダクト。
［項３６］項３３乃至３５のいずれかに記載のソフトウェアプロダクトにおいて、
前記画像処理方法は、
前記局所階調補正画像の大域補正量を算出するステップと、
前記大域補正量に基づいて前記局所階調補正画像に大域階調を補正する階調補正を行い大域階調補画像を生成するステップと
を更に具備するソフトウェアプロダクト。
［項３７］項３３乃至３５のいずれかに記載のソフトウェアプロダクトにおいて、
前記画像処理方法は、
前記入力画像を提供するステップと、
前記局所階調補正画像または前記大域階調補正画像を出力するステップと
を更に具備するソフトウェアプロダクト。
［項３８］項３３乃至３７のいずれかに記載のソフトウェアプロダクトにおいて、
前記階調値は、輝度値、またはスペクトル成分で表現された階調値である
ソフトウェアプロダクト。
［項３９］項３３乃至３８のいずれかに記載のソフトウェアプロダクトにおいて、
前記画像処理方法は、
前記階調補正を、前記補正対象の局所領域の広さを変えながら、あるいは前記補正対象の局所領域の広さを保ちながら、前記補正対象の局所領域に対して、複数回繰り返えすステップ
を更に具備するソフトウェアプロダクト。
［項４０］項３３乃至３８のいずれかに記載のソフトウェアプロダクトにおいて、
前記局所領域を選択するステップは、複数の局所領域を選択するステップを具備し、
前記画像処理方法は、
前記階調補正を、前記複数の選択された局所領域に対して行うステップを更に具備するソフトウェアプロダクト。
［項４１］項３４に記載のソフトウェアプロダクトにおいて、
前記階調補正量を算出するステップは、前記周辺領域の階調値とガウシアン重みの加重平均輝度値、または前記周辺領域の平均輝度値を前記周辺領域の前記階調値として算出するステップ
を具備するソフトウェアプロダクト。
［項４２］項３４に記載のソフトウェアプロダクトにおいて、
前記階調補正量を算出するステップは、
局所領域と特徴点を結ぶ特徴経路線を１個以上設定し、前記特徴経路線のそれぞれで１個以上の経路特徴点を求め、前記経路特徴点の階調値、又は前記経路特徴点の加重平均輝度値を前記周辺領域の前記階調値として算出するステップ
を具備するソフトウェアプロダクト。
［項４３］項３５記載のソフトウェアプロダクトにおいて、
前記周辺領域の階調値を算出するステップは、
前記補正対象となる局所領域とその近傍に位置する少なくとも１つの前記部分領域との距離の比と前記部分領域の代表階調の積を用いて周辺領域の階調を算出するステップ
を具備するソフトウェアプロダクト。
［項４４］項３５に記載のソフトウェアプロダクトにおいて、
前記代表階調値は、前記部分領域に含まれる全てまたは一部の画素の平均値、全てまたは一部の画素の中央値である
ソフトウェアプロダクト。
［項４５］項３３乃至４４のいずれか記載のソフトウェアプロダクトにおいて、
前記階調補正量を算出するステップは、
シャドー領域がハイライト領域より強い補正を施されるように階調補正量を算出するステップ
を具備するソフトウェアプロダクト。
［項４６］項３３乃至４４のいずれかに記載のソフトウェアプロダクトにおいて、
前記階調補正量を算出するステップは、
前記局所領域の周辺の領域輝度と画像のハイライト領域の輝度とを用いて局所領域の階調補正量を算出するステップ
を具備するソフトウェアプロダクト。
［項４７］項３３乃至４６のいずれかに記載のソフトウェアプロダクトにおいて、
前記階調補正量を算出するステップは、
非線形関数を用いて前記階調補正を行うステップ
を具備するソフトウェアプロダクト。
［項４８］項３６に記載のソフトウェアプロダクトにおいて、
前記大域階調補正は、コントラスト強調を含む
ソフトウェアプロダクト。

Claims (32)

1. 入力画像から少なくとも１つの補正対象の局所領域を選択する局所領域選択部と、前記局所領域は少なくとも１画素を含み、
   前記補正対象の局所領域に対する階調補正量を算出する補正量算出部と、
   前記階調補正量に基づいて前記局所領域の階調値を補正する階調補正を行い局所階調補正画像を生成する局所階調補正部と
   を具備する画像処理システム。
2. 請求項１に記載の画像処理システムにおいて、
   前記補正量算出部は、
   前記局所領域の周辺領域の階調値を算出する周辺領域階調値算出部と、
   前記周辺領域の算出された階調値を用いて前記階調補正量を算出する局所補正量変換部と
   を具備する画像処理システム。
3. 請求項１に記載の画像処理システムにおいて、
   前記入力画像の部分領域ごとの代表階調値を算出する部分領域輝度算出部を更に具備し、
   前記補正量算出部は、
   前記補正対象の局所領域の周辺領域の階調値を、前記補正対象の局所領域の近傍に位置する少なくとも１つの前記部分領域の前記代表階調値を用いて算出する部分領域参照型周辺領域輝度算出部と、
   前記周辺領域の算出された階調値を用いて前記階調補正量を算出する局所補正量変換部と
   を具備する画像処理システム。
4. 請求項１乃至３のいずれかに記載の画像処理システムにおいて、
   前記局所階調補正画像の大域補正量を算出する大域補正量算出部と、
   前記大域補正量に基づいて前記局所階調補正画像に大域階調を補正する階調補正を行い大域階調補画像を生成する大域補正部と
   を更に具備する画像処理システム。
5. 請求項１乃至４のいずれかに記載の画像処理システムにおいて、
   前記入力画像を提供する画像入力部と、
   前記局所階調補正画像または前記大域階調補正画像を出力する画像出力部と
   を更に具備する画像処理システム。
6. 請求項１乃至５のいずれかに記載の画像処理システムにおいて、
   前記階調値は、輝度値、またはスペクトル成分で表現された階調値である
   画像処理システム。
7. 請求項１乃至６のいずれかに記載の画像処理システムにおいて、
   前記階調補正が、前記補正対象の局所領域の広さを変えながら、あるいは前記補正対象の局所領域の広さを保ちながら、前記補正対象の局所領域に対して、複数回繰り返される
   画像処理システム。
8. 請求項１乃至６のいずれかに記載の画像処理システムにおいて、
   前記局所領域選択部は、複数の局所領域を選択し、
   前記階調補正が、前記複数の選択された局所領域に対して施される
   画像処理システム。
9. 請求項２に記載の画像処理システムにおいて、
   前記周辺領域階調値算出部は、前記周辺領域の階調値とガウシアン重みの加重平均輝度値、または前記周辺領域の平均輝度値を前記周辺領域の前記階調値として算出する
   画像処理システム。
10. 請求項２に記載の画像処理システムにおいて、
    前記周辺領域階調値算出部は、
    局所領域と特徴点を結ぶ特徴経路線を１個以上設定し、前記特徴経路線のそれぞれで１個以上の経路特徴点を求め、前記経路特徴点の階調値、又は前記経路特徴点の加重平均輝度値を前記周辺領域の前記階調値として算出する
    画像処理システム。
11. 請求項３に記載の画像処理システムにおいて、
    前記部分領域参照型周辺領域輝度算出部は、
    前記補正対象となる局所領域とその近傍に位置する少なくとも１つの前記部分領域との距離の比と前記部分領域の代表階調の積を用いて周辺領域の階調を算出する
    画像処理システム。
12. 請求項３に記載の画像処理システムにおいて、
    前記代表階調値は、前記部分領域に含まれる全てまたは一部の画素の平均値、全てまたは一部の画素の中央値である
    画像処理システム。
13. 請求項１乃至１２のいずれかに記載の画像処理システムにおいて、
    前記補正量算出部は、シャドー領域がハイライト領域より強い補正を施されるように階調補正量を算出する
    画像処理システム。
14. 請求項１乃至１２のいずれかに記載の画像処理システムにおいて、
    前記補正量算出部は、局所領域の周辺の領域輝度と画像のハイライト領域の輝度とを用いて局所領域の階調補正量を算出する
    画像処理システム。
15. 請求項１乃至１４のいずれかに記載の画像処理システムにおいて、
    前記局所階調補正部は、非線形関数を用いて前記階調補正を行う
    画像処理システム。
16. 請求項４に記載の画像処理システムにおいて、
    前記大域階調補正は、コントラスト強調を含む
    画像処理システム。
17. 入力画像から少なくとも１つの補正対象の局所領域を選択するステップと、前記局所領域は少なくとも１画素を含み、
    前記補正対象の局所領域に対する階調補正量を算出するステップと、
    前記階調補正量に基づいて前記局所領域の階調値を補正する階調補正を行い局所階調補正画像を生成するステップと
    を具備する画像処理方法。
18. 請求項１７に記載の画像処理方法において、
    前記階調補正量を算出するステップは、
    前記局所領域の周辺領域の階調値を算出するステップと、
    前記周辺領域の算出された階調値を用いて前記階調補正量を算出するステップと
    を具備する画像処理方法。
19. 請求項１７に記載の画像処理方法において、
    前記入力画像の部分領域ごとの代表階調値を算出するステップを更に具備し、
    前記前記階調補正量を算出するステップは、
    前記補正対象の局所領域の近傍に位置する少なくとも１つの前記部分領域の前記代表階調値を用いて前記補正対象の局所領域の周辺領域の階調値を算出するステップと、
    前記周辺領域の算出された階調値を用いて前記階調補正量を算出するステップと
    を具備する画像処理方法。
20. 請求項１７乃至１９のいずれかに記載の画像処理方法において、
    前記局所階調補正画像の大域補正量を算出するステップと、
    前記大域補正量に基づいて前記局所階調補正画像に大域階調を補正する階調補正を行い大域階調補画像を生成するステップと
    を更に具備する画像処理方法。
21. 請求項１７乃至１９のいずれかに記載の画像処理方法において、
    前記入力画像を提供するステップと、
    前記局所階調補正画像または前記大域階調補正画像を出力するステップと
    を更に具備する画像処理方法。
22. 請求項１７乃至２１のいずれかに記載の画像処理方法において、
    前記階調値は、輝度値、またはスペクトル成分で表現された階調値である
    画像処理方法。
23. 請求項１７乃至２２のいずれかに記載の画像処理方法において、
    前記階調補正を、前記補正対象の局所領域の広さを変えながら、あるいは前記補正対象の局所領域の広さを保ちながら、前記補正対象の局所領域に対して、複数回繰り返えすステップ
    を更に具備する画像処理方法。
24. 請求項１７乃至２２のいずれかに記載の画像処理方法において、
    前記局所領域を選択するステップは、複数の局所領域を選択するステップを具備し、
    前記階調補正を、前記複数の選択された局所領域に対して行うステップを更に具備する画像処理方法。
25. 請求項１８に記載の画像処理方法において、
    前記階調補正量を算出するステップは、前記周辺領域の階調値とガウシアン重みの加重平均輝度値、または前記周辺領域の平均輝度値を前記周辺領域の前記階調値として算出するステップ
    を具備する画像処理方法。
26. 請求項１８に記載の画像処理方法において、
    前記階調補正量を算出するステップは、
    局所領域と特徴点を結ぶ特徴経路線を１個以上設定し、前記特徴経路線のそれぞれで１個以上の経路特徴点を求め、前記経路特徴点の階調値、又は前記経路特徴点の加重平均輝度値を前記周辺領域の前記階調値として算出するステップ
    を具備する画像処理方法。
27. 請求項１９記載の画像処理方法において、
    前記周辺領域の階調値を算出するステップは、
    前記補正対象となる局所領域とその近傍に位置する少なくとも１つの前記部分領域との距離の比と前記部分領域の代表階調の積を用いて周辺領域の階調を算出するステップ
    を具備する画像処理方法。
28. 請求項１９に記載の画像処理方法において、
    前記代表階調値は、前記部分領域に含まれる全てまたは一部の画素の平均値、全てまたは一部の画素の中央値である
    画像処理方法。
29. 請求項１７乃至２８のいずれか記載の画像処理方法において、
    前記階調補正量を算出するステップは、
    シャドー領域がハイライト領域より強い補正を施されるように階調補正量を算出するステップ
    を具備する画像処理方法。
30. 請求項１７乃至２８のいずれかに記載の画像処理方法において、
    前記階調補正量を算出するステップは、
    前記局所領域の周辺の領域輝度と画像のハイライト領域の輝度とを用いて局所領域の階調補正量を算出するステップ
    を具備する画像処理方法。
31. 請求項１７乃至３０のいずれかに記載の画像処理方法において、
    前記階調補正量を算出するステップは、
    非線形関数を用いて前記階調補正を行うステップ
    を具備する画像処理方法。
32. 請求項２０に記載の画像処理方法において、
    前記大域階調補正は、コントラスト強調を含む
    画像処理方法。