JP3907312B2 - 画像処理方法、記憶媒体及び画像処理装置 - Google Patents
画像処理方法、記憶媒体及び画像処理装置 Download PDFInfo
- Publication number
- JP3907312B2 JP3907312B2 JP12368498A JP12368498A JP3907312B2 JP 3907312 B2 JP3907312 B2 JP 3907312B2 JP 12368498 A JP12368498 A JP 12368498A JP 12368498 A JP12368498 A JP 12368498A JP 3907312 B2 JP3907312 B2 JP 3907312B2
- Authority
- JP
- Japan
- Prior art keywords
- highlight
- image
- white balance
- value
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims 5
- 238000004364 calculation method Methods 0.000 claims description 32
- 238000004590 computer program Methods 0.000 claims 1
- 235000019557 luminance Nutrition 0.000 description 52
- 238000000034 method Methods 0.000 description 16
- 238000010586 diagram Methods 0.000 description 12
- 238000003702 image correction Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 9
- 230000003247 decreasing effect Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Landscapes
- Color Image Communication Systems (AREA)
- Studio Devices (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
- Processing Of Color Television Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は画像処理装置及びその方法に関し、特に、画像形成時にホワイトバランス調整を行なう画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
多値画像を形成する画像処理装置においては、画像中の最も明るいハイライト部分、又は最も暗いシャドウ部分の輝度値を調整することによって、コントラストのより鮮明な画像を得ることを目的とした、所謂ホワイトバランス調整が行われている。
【０００３】
従来の画像処理装置においてホワイトバランス調整を行なう際には、画像内の輝度が高いほうから数％である所定の高輝度領域において、輝度が所定の閾値以上である画素を除いた画素のＲ，Ｇ，Ｂ平均値を算出し、該平均値に基づいて各画素を補正していた。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の画像処理装置においては、対象画像の示すシーンにかかわらず、即ち画像特徴を考慮することなく、ホワイトバランス調整を行なっていた。
【０００５】
従って、例えば上記高輝度領域内にある画素の全てが、所定の閾値以上であった場合、平均値の算出対象となる画素がないため、ホワイトバランス調整を行なうことができなかった。例えば、室内における蛍光燈自体を含んだ写真画像は、蛍光燈以外の部分についてトーンが暗くなる、所謂青かぶり状態となる。そこでこのような写真画像に対してホワイトバランス調整を行なったとしても、蛍光燈の部分の画素についてはその全てが所定の閾値以上の輝度を有することにより、結局実質的な調整は行なえず、青かぶり状態を補正することはできなかった。
【０００６】
また、どのようなシーンでも一律にホワイトバランス調整を行なうことにより、シーンによってはかえって画質が低下してしまう場合があった。例えば「夕焼け」シーンや「花畑」シーンなどにおいては、、強いホワイトバランス調整を行なうと該シーンが白っぽくなり、夕焼けが夕焼けらしくなくなってしまう等の不具合が発生していた。
【０００７】
本発明は上述した問題を解決するためになされたものであり、どのような画像に対しても適切なホワイトバランス調整を可能とする画像処理装置及びその方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するための一手段として、本発明は以下の構成を備える。
【０００９】
本発明の画像処理方法は、画像のハイライト領域を算出するハイライト算出工程と、前記ハイライト領域において所定のハイライト値以下の輝度を有する画素についての各色の平均輝度値を、ホワイトバランス情報として算出するホワイトバランス算出工程と、前記各色の平均輝度値の強度順序及び割合に応じて前記画像の示すシーン種別を判定する判定工程と、前記シーン種別に応じて前記各色の平均輝度値を補正するホワイトバランス補正工程と、全画素数に占める前記ハイライト領域よりも大きい輝度値を有する画素の割合に応じて前記ハイライト値を補正するハイライト補正工程と、前記補正された各色の平均輝度値及び前記補正されたハイライト値に基づいて画像データを補正する画像データ補正工程と、を有することを特徴とする。
【００１０】
本発明の画像処理装置は、画像のハイライト領域を算出するハイライト算出手段と、前記ハイライト領域において所定のハイライト値以下の輝度を有する画素についての各色の平均輝度値を、ホワイトバランス情報として算出するホワイトバランス算出手段と、前記各色の平均輝度値の強度順序及び割合に応じて前記画像の示すシーン種別を判定する判定手段と、前記シーン種別に応じて前記各色の平均輝度値を補正するホワイトバランス補正手段と、全画素数に占める前記ハイライト領域よりも大きい輝度値を有する画素の割合に応じて前記ハイライト値を補正するハイライト補正手段と、前記補正された各色の平均輝度値及び前記補正されたハイライト値に基づいて画像データを補正する画像データ補正手段と、を有することを特徴とする。
【００１３】
【発明の実施の形態】
以下、本発明に係る一実施形態について、図面を参照して詳細に説明する。
【００１４】
＜第１実施形態＞
本実施形態の画像処理装置におけるホワイトバランス調整について詳細に説明する。
【００１５】
［構成］
まず、本実施形態の画像処理装置においてホワイトバランス調整を行なうための構成例を図２に示し、詳細に説明する。本実施形態の画像処理装置においてホワイトバランス調整を行なうための画像処理部の構成は、画像入力部２、画像出力部３、画像バッファ４、パラメータ保持部５、ハイライト／シャドウ算出部１２、ホワイトバランス算出部７、画像補正部１０を含む。
【００１６】
画像入力部２は、入力画像保持部１から画像データを読み込んで、画像バッファ４に書き込む。パラメータ保持部５は、後述する補正に必要なパラメータを保持している。ハイライト／シャドウ算出部１２は、ハイライト及びシャドウポイントを算出し、パラメータ保持部５に結果を格納する。ホワイトバランス算出部７は、ホワイト及びブラックバランスを算出し、パラメータ保持部５に結果を格納する。画像補正部１０は、パラメータ保持部５に格納されているデータに基づいて、画像バッファ４に格納されている画像データを補正する。
【００１７】
画像出力部３は、画像バッファ４に格納されている画像データを出力画像１１に書き込むことにより、出力する。
【００１８】
［ホワイトバランス調整方法］
図３に、本実施形態におけるホワイトバランス調整方法の概要フローチャートを示す。まずステップＳ１において、画像入力部２は入力画像保持部１から画像データを読み込み、画像バッファ４に格納する。そしてステップＳ２において、ハイライト／シャドウ算出部１２で、画像バッファ４に格納された画像データにおけるハイライトポイント及びシャドウポイントを算出する。この詳細を図４に示し、後述する。
【００１９】
次にステップＳ３において、ホワイトバランス算出部７で、画像バッファ４に格納された画像データのホワイトバランス及びブラックバランスを算出する。この詳細を図６に示し、後述する。そしてステップＳ４において、画像補正部１０で画像バッファ４から画像データを読み込んで、画素毎にホワイトバランス調整のための補正を施し、再度画像バッファ４に書き込む。この詳細を図７に示し、後述する。
【００２０】
そしてステップＳ５において、画像出力部３が画像バッファ４に保持された画像データを出力画像保持部１１に書き込むことによって出力する。
【００２１】
ここで、パラメータ保持部５に保持されるパラメータについて説明する。図４は、パラメータ保持部５で保持しているデータの項目を示す図である。同図によれば、ホワイトバランス調整を行なうために、画像データのハイライト／シャドウポイント（ＬＨ／ＬＳ）、赤のホワイト／ブラックバランス（ＲＨ／ＲＳ）、緑のホワイト／ブラックバランス（ＧＨ／ＧＳ）、青のホワイト／ブラックバランス（ＢＨ／ＢＳ）、補正後のハイライト／シャドウポイント（ＨＰ／ＳＰ）、ハイライト／シャドウ領域がパラメータとして保持されている。ホワイトバランス調整を行なう初期状態では、これら各パラメータを適当な値で初期化しておく。例えば、補正後のハイライトポイント（ＨＰ）として「２４５」を、補正後のシャドウポイント（ＳＰ）として「１０」を設定しておく。尚、ハイライト領域は９９〜１００％、シャドウ領域は０〜１％であるとする。
【００２２】
［ハイライト／シャドウ算出処理］
図５に、ハイライト／シャドウ算出部１２におけるハイライト／シャドウ算出処理のフローチャートを示す。これは即ち、図３のステップＳ２を詳細に示すものである。
【００２３】
まずステップＳ１１において、画像バッファ４から画像データの１画素ずつを読み込み、輝度のヒストグラムを作成する。この輝度ヒストグラムの例を図６に示す。
【００２４】
そしてステップＳ１２において、作成したヒストグラムに基づいて画像のハイライトポイント（ＬＨ）を算出する。ここでＬＨは、画像のハイライト領域における最低輝度である。従って図６に示すヒストグラム例においては、ハイライト領域９９〜１００％に相当する輝度範囲は２３０〜２５５となるため、ＬＨは「２３０」である。この結果をパラメータ保持部５に格納する。
【００２５】
そしてステップＳ１３において、作成したヒストグラムに基づいて画像のシャドウポイント（ＬＳ）を算出する。ここでＬＳは、画像のシャドウ領域における最高輝度である。従って図６に示すヒストグラム例においては、シャドウ領域０〜１％に相当する輝度範囲は０〜１４となるため、ＬＳは「１４」である。この結果をパラメータ保持部５に格納する。
【００２６】
［ホワイト／ブラックバランス算出処理］
図７に、ホワイトバランス算出部７におけるホワイト／ブラックバランス算出処理のフローチャートを示す。これは即ち、図３のステップＳ３を詳細に示すものである。
【００２７】
まずステップＳ２１において、ホワイトバランスを算出する。具体的には、画像バッファ４から画像データを１画素ずつ読み込み、輝度がＬＨ以上かつＨＰ以下である領域にある画素のＲ，Ｇ，Ｂごとの平均輝度を算出する。図６に示すヒストグラム例においては、輝度が「２３０」以上「２４５」以下である領域が対象となる。そして、得られた平均値のそれぞれを、パラメータ保持部５のＲＨ，ＧＨ，ＢＨとして格納する。
【００２８】
またステップＳ２２において、ブラックバランスを算出する。具体的には、画像バッファ４から画像データを１画素ずつ読み込み、輝度がＳＰ以上かつＬＳ以下である領域にある画素のＲ，Ｇ，Ｂごとの平均輝度を算出する。図６に示すヒストグラム例においては、輝度が「１０」以上「１４」以下である領域が対象となる。そして、得られた平均値のそれぞれを、パラメータ保持部５のＲＳ，ＧＳ，ＢＳとして格納する。
【００２９】
［画像補正（ホワイトバランス調整）処理］
図８に、画像補正部１０における画像補正処理、即ちホワイトバランス調整処理のフローチャートを示す。これは、図３のステップＳ４を詳細に示すものである。
【００３０】
まずステップＳ３１において、パラメータ保持部５に保持されているＲＨ，ＧＨ，ＢＨ，ＨＰ、及びＲＳ，ＧＳ，ＢＳ，ＳＰに基づいて、ルックアップテーブル（ＬＵＴ）を作成する。このＬＵＴの例を図９に示す。図９に示すＬＵＴにおいては、Ｇ、Ｂ、Ｒの順にハイライトのガンマを立たせている。このようにＲに対してＧ及びＢを強めることで、例えば青っぽく色かぶりしている画像の色かぶりを補正することができる。
【００３１】
そしてステップＳ３２において、画像バッファ４に格納されている画像データを、作成したＬＵＴに基づいて１画素ずつ補正する。
【００３２】
以上説明したように本実施形態によれば、所定値以上のハイライト領域及び所定値以下のシャドウ領域の値を考慮しないので、入力画像において色がとんでしまった部分をハイライトポイントに設定することを防ぐことができる。
【００３３】
従って、例えば蛍光灯下で撮影された画像の色ばみを良好に除去することができる。
【００３４】
＜第２実施形態＞
以下、上述した第１実施形態におけるホワイトバランス調整を踏まえて、第２実施形態の画像処理装置におけるホワイトバランス調整について詳細に説明する。
【００３５】
［構成］
まず、第２実施形態の画像処理装置においてホワイトバランス調整を行なうための構成を図１に示し、詳細に説明する。尚、同図において、上述した第１実施形態の図２と同様の構成については同一番号を付し、説明を省略する。
【００３６】
第２実施形態の画像処理装置においてホワイトバランス調整を行なうための画像処理部の構成は、画像入力部２、画像出力部３、画像バッファ４、パラメータ保持部５、ハイライト／シャドウ算出部６、ホワイトバランス算出部７、ホワイトバランス補正部８、ハイライトポイント補正部９、画像補正部１０を含む。ハイライト／シャドウ算出部６は、ハイライト及びシャドウポイントを算出し、パラメータ保持部５に結果を格納する。ホワイトバランス補正部８は、画像の示すシーンを判定し、それに応じてホワイトバランスを補正した後、パラメータ保持部５に結果を格納する。ハイライトポイント補正部９は、ハイライト領域における階調性を保証するためにハイライトポイントを補正し、該結果をパラメータ保持部５に格納する。
【００３７】
［ホワイトバランス調整方法］
図１０に、第２実施形態におけるホワイトバランス調整方法の概要フローチャートを示す。まずステップＳ４１において、画像入力部２は入力画像保持部１から画像データを読み込み、画像バッファ４に格納する。そしてステップＳ４２において、ハイライト／シャドウ算出部６で、画像バッファ４に格納された画像データにおけるハイライトポイント及びシャドウポイントを算出する。この詳細を図１１に示し、後述する。
【００３８】
次にステップＳ４３において、ホワイトバランス算出部７で、画像バッファ４に格納された画像データのホワイトバランス及びブラックバランスを算出する。この処理は上述した第１実施形態において図３に示したステップＳ３と同様であるため、詳細な説明を省略する。
【００３９】
次にステップＳ４４において、ホワイトバランス補正部８で、ステップＳ４３で算出したホワイトバランスを画像のシーンに応じて補正する。この詳細を図１３に示し、後述する。
【００４０】
次にステップＳ４５において、ハイライトポイント補正部９で、ハイライト領域における階調性を保証するために、補正後のハイライトポイント（ＨＰ）を設定する。この様子を図１７に示し、後述する。
【００４１】
そしてステップＳ４６において、画像補正部１０で画像バッファ４から画像データを読み込んで、画素毎にホワイトバランス調整のための補正を施し、再度画像バッファ４に書き込む。この処理は上述した第１実施形態において図３に示したステップＳ４と同様であるため、詳細な説明を省略する。そしてステップＳ４７において、画像出力部３が画像バッファ４に保持された画像データを出力画像保持部１１に書き込むことによって出力する。
【００４２】
尚、第２実施形態においてパラメータ保持部５に保持されるパラメータについては、第１実施形態で示した図４と同様であり、また同様に初期化される。
【００４３】
［ハイライト／シャドウ算出処理］
図１１に、ハイライト／シャドウ算出部６におけるハイライト／シャドウ算出処理のフローチャートを示す。これは即ち、図１０のステップＳ４２を詳細に示すものである。
【００４４】
まずステップＳ５１において、画像バッファ４から画像データの１画素ずつを読み込み、輝度のヒストグラムを作成する。この輝度ヒストグラムの例を図１２に示す。
【００４５】
そしてステップＳ５２において、作成したヒストグラムに基づいて画像のハイライト領域を求める。具体的には、初期化されたＨＰ（この例では「２４５」）よりも大きい輝度を有する画素が全体の何パーセントを占めるかを調べ、この値をハイライト領域の上限／下限値から減じる。例えば、ハイライト領域が９９〜１００％、ＨＰより大きい輝度値を有する画素が全体の３％であった場合には、ハイライト領域は９６〜９７％として求められる。この９６〜９７％のハイライト領域が、図１２のヒストグラムにおいて輝度値２４０〜２４５の範囲に相当する。
【００４６】
次にステップＳ５３において、作成したヒストグラムに基づいて画像のシャドウ領域を求める。具体的には、初期化されたＳＰよりも小さい輝度を有する画素が全体の何パーセントを占めるかを調べ、この値をシャドウ領域の上限／下限値に加算する。例えば、シャドウ領域が０〜１％、ＳＰより小さい輝度値を有する画素が全体の５％であった場合には、シャドウ領域は５〜６％となる。この５〜６％のシャドウ領域が、図１２のヒストグラムにおいて輝度値１０〜１６の範囲に相当する。
【００４７】
次にステップＳ５４において、作成したヒストグラムに基づいて画像のハイライトポイント（ＬＨ）を算出する。ここでＬＨは、画像のハイライト領域における最低輝度である。従って図１２に示すヒストグラム例においては、ハイライト領域９６〜９７％に相当する輝度範囲は２４０〜２４５であるため、ＬＨは「２４０」である。この結果をパラメータ保持部５に格納する。
【００４８】
また同様にステップＳ５５において、作成したヒストグラムに基づいて画像のシャドウポイント（ＬＳ）を算出する。ここでＬＳは、画像のシャドウ領域における最高輝度である。従って図１２に示すヒストグラム例においては、シャドウ領域５〜６％に相当する輝度範囲は１０〜１６であるため、ＬＳは「１６」である。この結果をパラメータ保持部５に格納する。
【００４９】
上述したようにして算出されたハイライト領域において、図１０のステップＳ４３で第１実施形態と同様の方法によりホワイトバランスが算出される。即ち、輝度がＬＨ以上かつＨＰ以下である領域にある画素のＲ，Ｇ，Ｂごとの平均輝度ＲＨ，ＧＨ，ＢＨを算出する。図１２に示すヒストグラム例においては、輝度が「２４０」以上「２４５」以下である領域が対象となる。従って、図１２において輝度が「２４５」を越えて「２５５」までの領域には、全体の３％に相当する画素が存在するが、この領域はホワイトバランス算出の際には無視されることになる。
【００５０】
［ホワイトバランス補正処理］
図１３に、ホワイトバランス補正部８におけるホワイトバランス補正処理のフローチャートを示す。これは即ち、図１０のステップＳ４４を詳細に示すものである。
【００５１】
まずステップＳ６１において、パラメータ保持部５に格納されているＲＨ，ＧＨ，ＢＨに基づいて画像の示すシーン、即ち画像特徴を判定する。尚、第２実施形態の図１２のヒストグラム例においては、ステップＳ４３のホワイトバランス算出処理により輝度がＬＨ以上かつＨＰ以下である領域、即ち輝度が「２４０」以上「２４５」以下である領域にある画素のＲ，Ｇ，Ｂごとの平均輝度値が、ＲＨ，ＧＨ，ＢＨとしてそれぞれパラメータ保持部５に格納されている。
【００５２】
ここで、第２実施形態におけるシーン判定方法は、基本的にＲ，Ｇ，Ｂの輝度の大きさの順番、及び最大輝度を有する色と他の色の割合に応じて、シーンを判定している。第２実施形態におけるシーン判定基準の例を図１４に示す。この例においては、画像のＲＨを「１００」としたときのＢＨ，ＧＨの値（０〜１００）、及びＧＨとＢＨの大小関係によって、シーンを判定する。例えば図１４に示す着色領域（ＢＨ1＜ＢＨ＜ＢＨ2，ＧＨ1＜ＧＨ＜ＧＨ2の領域）が、「夕焼け」シーンに対応する。また更に、ＢＨを「１００」としたときのＲＨ，ＧＨの値（０〜１００）や、ＧＨを「１００」としたときのＧＨ，ＢＨの値（０〜１００）も考慮することによって、更に多様なシーンを判定することができる。
【００５３】
次にステップＳ６２において、ステップＳ６１で判定されたシーンに基づいて、ホワイトバランス強度を算出する。第２実施形態におけるシーンとホワイトバランス強度との関係を図１５に示す。同図におけるホワイトバランス強度は、ホワイトバランスを完全にとる場合を１００％、全くとらない場合を０％と定義する。そして、図１５の（ａ）に示すように、シーンに応じてホワイトバランス強度（％）を適当に設定することによって、ホワイトバランスのとりかたを変更する。図１５（ｂ）の例においては、「通常」のシーンの場合はホワイトバランス強度を７０％とし、完全には真白にならないようにしている。それに対して「夕焼け」シーンの場合は、ホワイトバランスを３０％に設定する。つまり「通常」シーンよりも弱めにホワイトバランスをかけるように設定する。尚、第２実施形態におけるホワイトバランス強度としては、たとえシーン判定にミスが発生した場合でも、形成画像に大きな不具合が生じないような値を設定する。
【００５４】
そしてステップＳ６３において、算出したホワイトバランス強度に基づいてＲＨ，ＧＨ，ＢＨの各値を修正して、パラメータ保持部５に再格納する。ここで、ＲＨ，ＧＨ，ＢＨの変更の具体例を図１６に示し、説明する。第２実施形態においては、基本的にＲＨ，ＧＨ，ＢＨのそれぞれを、ＬＨとＲＨ，ＧＨ，ＢＨの間をホワイトバランス強度に応じて内分する点になるように変更する。図１６の例において、ＬＨ＝２４０、ＲＨ＝２４３、ＧＨ＝２４７、ＢＨ＝２２５、ホワイトバランス強度＝７０％であるとすると、（ａ）に示されるように、ＲＨは２４３と２４０を３：７に内分する点であるから、ＲＨ＝２４２（端数切り捨て）に変更される。同様に、ＧＨ＝２４５、ＢＨ＝２３０に変更される。
【００５５】
尚、第２実施形態において特に詳細は説明しないが、同様な思想により、シーンに応じたブラックバランス補正を行なうことも可能である。
【００５６】
［ハイライトポイント補正処理］
以下、図１７を参照して、ハイライトポイント補正部９におけるハイライトポイント補正処理について説明する。これは即ち、図１０のステップＳ４５を詳細に示すものである。
【００５７】
図１７は、ハイライト領域よりも大きい輝度値を有する画素数の割合（％:Saturated Area、以下、ＳＡ値）とＨＰとの関係の一例を示す図である。第２実施形態においては、ハイライト領域よりも大きい輝度値を有する画素数が多くなる、即ちＳＡ値が大きくなるに従ってＨＰを小さくしていく。図１７においては、ＳＡ値が０％である場合にＨＰは「２４５」であり、ＳＡ値が１０％になるまではＨＰを徐々に小さくしていく。そして、ＳＡ値が１０％以上である場合において、ＨＰは常に「２３５」となる。即ち、第２実施形態におけるＨＰは「２３５」以下にはならない。このように、ＨＰに下限値を設けることにより、ハイライト領域における階調性を保証することができる。図１２に示すヒストグラムを有する画像においては、ハイライト領域よりも大きい輝度範囲（ＳＡ）の領域に全体の３％の画素が存在しているため、図１７のグラフによりＨＰ＝２４１．６６・・、即ち端数を切り捨てることによりＨＰは「２４１」となる。
【００５８】
以上説明したようにして補正後のハイライトポイントＨＰを設定することにより、図１０のステップＳ４６において適切な補正ＬＵＴを生成し、各色毎の輝度をシーンに応じて適切に補正することにより、シーンに応じたホワイトバランス調整が可能となる。
【００５９】
以上説明したように第２実施形態によれば、所定値以上の輝度値を有する画素数に応じて、ハイライト領域及び補正後のハイライトポイント（ＨＰ）を可変とすることによって、高輝度領域にある画素の全てが所定値以上であった場合においても常にホワイトバランスをとることができ、更に、ハイライト領域における階調を保証することができる。
【００６０】
更に、シーンに応じてホワイトバランスの強度を調整することにより、シーンに応じた適切なホワイトバランス調整が可能となる。
【００６１】
尚、第２実施形態におけるホワイトバランス調整の例として、例えば「夕焼け」シーンについて説明を行なったが、第２実施形態によって適切なホワイトバランス調整が顕著に可能となる画像例が他にも多くある。例えば、フラッシュを点灯させて写真撮影を行なうことにより形成される「フラッシュ撮影」画像では、例えば人の肌の凸部等においてハイライトが飽和状態となって階調性が失われてしまう、所謂ハイライトが飛んだ状態となりがちである。このような画像については、画像補正時にハイライトの飛びを抑える方向に補正を行なう必要がある。このようなハイライトの飛びが生じた画像に対して第２実施形態におけるホワイトバランス調整を施すと、ハイライトが飛んでしまっている領域の割合に応じて補正後のハイライトポイントを可変とすることにより、ハイライトの飛びを抑えた効果的な補正が可能となる。このように、第２実施形態によってフラッシュ撮影時におけるハイライト領域の階調性の保存も可能となる。
【００６２】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００６３】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００６４】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６５】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００６６】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６７】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６８】
【発明の効果】
以上説明したように本発明によれば、どのような画像に対しても適切なホワイトバランス調整を行なうことが可能となる。
【００６９】
また、画像の特徴に応じたホワイトバランス調整を行なうことができる。
【００７０】
また、簡単な構成で入力画像においてハイライトポイントとして不適切である色がとんでしまった部分を考慮せずにハイライトポイントを設定することができる。
【００７１】
【図面の簡単な説明】
【図１】本発明に係る第二実施形態におけるホワイトバランス調整を行なうための構成を示すブロック図である。
【図２】本発明に係る第一実施形態におけるホワイトバランス調整を行なうための構成を示すブロック図である。
【図３】第一実施形態におけるホワイトバランス調整処理の概要を示すフローチャートである。
【図４】第一実施形態におけるパラメータ保持部で保持されるデータ項目例を示す図である。
【図５】第一実施形態におけるハイライト／シャドウ算出処理を示すフローチャートである。
【図６】第一実施形態における画像ヒストグラムの例を示す図である。
【図７】第一実施形態におけるホワイトバランス算出処理を示すフローチャートである。
【図８】第一実施形態における画像補正処理を示すフローチャートである。
【図９】第一実施形態における画像補正処理におけるＬＵＴ例を示す図である。
【図１０】第２実施形態におけるホワイトバランス調整処理の概要を示すフローチャートである。
【図１１】第２実施形態におけるハイライト／シャドウ算出処理を示すフローチャートである。
【図１２】第２実施形態における画像ヒストグラム例を示す図である。
【図１３】第２実施形態におけるホワイトバランス補正処理を示すフローチャートである。
【図１４】第２実施形態におけるシーン判定基準例を示す図である。
【図１５】第２実施形態におけるシーンとホワイトバランス強度の関係を示す図である。
【図１６】第２実施形態におけるＲＨ，ＧＨ，ＢＨの変更例を示す図である。
【図１７】第２実施形態におけるＳＡ値とＨＰの関係の例を示す図である。
【符号の説明】
１ 入力画像保持部
２ 画像入力部
３ 画像出力部
４ 画像バッファ
５ パラメータ保持部
６，１２ ハイライト／シャドウ算出部
７ ホワイトバランス算出部
８ ホワイトバランス補正部
９ ハイライトポイント補正部
１０ 画像補正部
１１ 出力画像保持部
【発明の属する技術分野】
本発明は画像処理装置及びその方法に関し、特に、画像形成時にホワイトバランス調整を行なう画像処理装置及びその方法に関する。
【０００２】
【従来の技術】
多値画像を形成する画像処理装置においては、画像中の最も明るいハイライト部分、又は最も暗いシャドウ部分の輝度値を調整することによって、コントラストのより鮮明な画像を得ることを目的とした、所謂ホワイトバランス調整が行われている。
【０００３】
従来の画像処理装置においてホワイトバランス調整を行なう際には、画像内の輝度が高いほうから数％である所定の高輝度領域において、輝度が所定の閾値以上である画素を除いた画素のＲ，Ｇ，Ｂ平均値を算出し、該平均値に基づいて各画素を補正していた。
【０００４】
【発明が解決しようとする課題】
しかしながら、上記従来の画像処理装置においては、対象画像の示すシーンにかかわらず、即ち画像特徴を考慮することなく、ホワイトバランス調整を行なっていた。
【０００５】
従って、例えば上記高輝度領域内にある画素の全てが、所定の閾値以上であった場合、平均値の算出対象となる画素がないため、ホワイトバランス調整を行なうことができなかった。例えば、室内における蛍光燈自体を含んだ写真画像は、蛍光燈以外の部分についてトーンが暗くなる、所謂青かぶり状態となる。そこでこのような写真画像に対してホワイトバランス調整を行なったとしても、蛍光燈の部分の画素についてはその全てが所定の閾値以上の輝度を有することにより、結局実質的な調整は行なえず、青かぶり状態を補正することはできなかった。
【０００６】
また、どのようなシーンでも一律にホワイトバランス調整を行なうことにより、シーンによってはかえって画質が低下してしまう場合があった。例えば「夕焼け」シーンや「花畑」シーンなどにおいては、、強いホワイトバランス調整を行なうと該シーンが白っぽくなり、夕焼けが夕焼けらしくなくなってしまう等の不具合が発生していた。
【０００７】
本発明は上述した問題を解決するためになされたものであり、どのような画像に対しても適切なホワイトバランス調整を可能とする画像処理装置及びその方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するための一手段として、本発明は以下の構成を備える。
【０００９】
本発明の画像処理方法は、画像のハイライト領域を算出するハイライト算出工程と、前記ハイライト領域において所定のハイライト値以下の輝度を有する画素についての各色の平均輝度値を、ホワイトバランス情報として算出するホワイトバランス算出工程と、前記各色の平均輝度値の強度順序及び割合に応じて前記画像の示すシーン種別を判定する判定工程と、前記シーン種別に応じて前記各色の平均輝度値を補正するホワイトバランス補正工程と、全画素数に占める前記ハイライト領域よりも大きい輝度値を有する画素の割合に応じて前記ハイライト値を補正するハイライト補正工程と、前記補正された各色の平均輝度値及び前記補正されたハイライト値に基づいて画像データを補正する画像データ補正工程と、を有することを特徴とする。
【００１０】
本発明の画像処理装置は、画像のハイライト領域を算出するハイライト算出手段と、前記ハイライト領域において所定のハイライト値以下の輝度を有する画素についての各色の平均輝度値を、ホワイトバランス情報として算出するホワイトバランス算出手段と、前記各色の平均輝度値の強度順序及び割合に応じて前記画像の示すシーン種別を判定する判定手段と、前記シーン種別に応じて前記各色の平均輝度値を補正するホワイトバランス補正手段と、全画素数に占める前記ハイライト領域よりも大きい輝度値を有する画素の割合に応じて前記ハイライト値を補正するハイライト補正手段と、前記補正された各色の平均輝度値及び前記補正されたハイライト値に基づいて画像データを補正する画像データ補正手段と、を有することを特徴とする。
【００１３】
【発明の実施の形態】
以下、本発明に係る一実施形態について、図面を参照して詳細に説明する。
【００１４】
＜第１実施形態＞
本実施形態の画像処理装置におけるホワイトバランス調整について詳細に説明する。
【００１５】
［構成］
まず、本実施形態の画像処理装置においてホワイトバランス調整を行なうための構成例を図２に示し、詳細に説明する。本実施形態の画像処理装置においてホワイトバランス調整を行なうための画像処理部の構成は、画像入力部２、画像出力部３、画像バッファ４、パラメータ保持部５、ハイライト／シャドウ算出部１２、ホワイトバランス算出部７、画像補正部１０を含む。
【００１６】
画像入力部２は、入力画像保持部１から画像データを読み込んで、画像バッファ４に書き込む。パラメータ保持部５は、後述する補正に必要なパラメータを保持している。ハイライト／シャドウ算出部１２は、ハイライト及びシャドウポイントを算出し、パラメータ保持部５に結果を格納する。ホワイトバランス算出部７は、ホワイト及びブラックバランスを算出し、パラメータ保持部５に結果を格納する。画像補正部１０は、パラメータ保持部５に格納されているデータに基づいて、画像バッファ４に格納されている画像データを補正する。
【００１７】
画像出力部３は、画像バッファ４に格納されている画像データを出力画像１１に書き込むことにより、出力する。
【００１８】
［ホワイトバランス調整方法］
図３に、本実施形態におけるホワイトバランス調整方法の概要フローチャートを示す。まずステップＳ１において、画像入力部２は入力画像保持部１から画像データを読み込み、画像バッファ４に格納する。そしてステップＳ２において、ハイライト／シャドウ算出部１２で、画像バッファ４に格納された画像データにおけるハイライトポイント及びシャドウポイントを算出する。この詳細を図４に示し、後述する。
【００１９】
次にステップＳ３において、ホワイトバランス算出部７で、画像バッファ４に格納された画像データのホワイトバランス及びブラックバランスを算出する。この詳細を図６に示し、後述する。そしてステップＳ４において、画像補正部１０で画像バッファ４から画像データを読み込んで、画素毎にホワイトバランス調整のための補正を施し、再度画像バッファ４に書き込む。この詳細を図７に示し、後述する。
【００２０】
そしてステップＳ５において、画像出力部３が画像バッファ４に保持された画像データを出力画像保持部１１に書き込むことによって出力する。
【００２１】
ここで、パラメータ保持部５に保持されるパラメータについて説明する。図４は、パラメータ保持部５で保持しているデータの項目を示す図である。同図によれば、ホワイトバランス調整を行なうために、画像データのハイライト／シャドウポイント（ＬＨ／ＬＳ）、赤のホワイト／ブラックバランス（ＲＨ／ＲＳ）、緑のホワイト／ブラックバランス（ＧＨ／ＧＳ）、青のホワイト／ブラックバランス（ＢＨ／ＢＳ）、補正後のハイライト／シャドウポイント（ＨＰ／ＳＰ）、ハイライト／シャドウ領域がパラメータとして保持されている。ホワイトバランス調整を行なう初期状態では、これら各パラメータを適当な値で初期化しておく。例えば、補正後のハイライトポイント（ＨＰ）として「２４５」を、補正後のシャドウポイント（ＳＰ）として「１０」を設定しておく。尚、ハイライト領域は９９〜１００％、シャドウ領域は０〜１％であるとする。
【００２２】
［ハイライト／シャドウ算出処理］
図５に、ハイライト／シャドウ算出部１２におけるハイライト／シャドウ算出処理のフローチャートを示す。これは即ち、図３のステップＳ２を詳細に示すものである。
【００２３】
まずステップＳ１１において、画像バッファ４から画像データの１画素ずつを読み込み、輝度のヒストグラムを作成する。この輝度ヒストグラムの例を図６に示す。
【００２４】
そしてステップＳ１２において、作成したヒストグラムに基づいて画像のハイライトポイント（ＬＨ）を算出する。ここでＬＨは、画像のハイライト領域における最低輝度である。従って図６に示すヒストグラム例においては、ハイライト領域９９〜１００％に相当する輝度範囲は２３０〜２５５となるため、ＬＨは「２３０」である。この結果をパラメータ保持部５に格納する。
【００２５】
そしてステップＳ１３において、作成したヒストグラムに基づいて画像のシャドウポイント（ＬＳ）を算出する。ここでＬＳは、画像のシャドウ領域における最高輝度である。従って図６に示すヒストグラム例においては、シャドウ領域０〜１％に相当する輝度範囲は０〜１４となるため、ＬＳは「１４」である。この結果をパラメータ保持部５に格納する。
【００２６】
［ホワイト／ブラックバランス算出処理］
図７に、ホワイトバランス算出部７におけるホワイト／ブラックバランス算出処理のフローチャートを示す。これは即ち、図３のステップＳ３を詳細に示すものである。
【００２７】
まずステップＳ２１において、ホワイトバランスを算出する。具体的には、画像バッファ４から画像データを１画素ずつ読み込み、輝度がＬＨ以上かつＨＰ以下である領域にある画素のＲ，Ｇ，Ｂごとの平均輝度を算出する。図６に示すヒストグラム例においては、輝度が「２３０」以上「２４５」以下である領域が対象となる。そして、得られた平均値のそれぞれを、パラメータ保持部５のＲＨ，ＧＨ，ＢＨとして格納する。
【００２８】
またステップＳ２２において、ブラックバランスを算出する。具体的には、画像バッファ４から画像データを１画素ずつ読み込み、輝度がＳＰ以上かつＬＳ以下である領域にある画素のＲ，Ｇ，Ｂごとの平均輝度を算出する。図６に示すヒストグラム例においては、輝度が「１０」以上「１４」以下である領域が対象となる。そして、得られた平均値のそれぞれを、パラメータ保持部５のＲＳ，ＧＳ，ＢＳとして格納する。
【００２９】
［画像補正（ホワイトバランス調整）処理］
図８に、画像補正部１０における画像補正処理、即ちホワイトバランス調整処理のフローチャートを示す。これは、図３のステップＳ４を詳細に示すものである。
【００３０】
まずステップＳ３１において、パラメータ保持部５に保持されているＲＨ，ＧＨ，ＢＨ，ＨＰ、及びＲＳ，ＧＳ，ＢＳ，ＳＰに基づいて、ルックアップテーブル（ＬＵＴ）を作成する。このＬＵＴの例を図９に示す。図９に示すＬＵＴにおいては、Ｇ、Ｂ、Ｒの順にハイライトのガンマを立たせている。このようにＲに対してＧ及びＢを強めることで、例えば青っぽく色かぶりしている画像の色かぶりを補正することができる。
【００３１】
そしてステップＳ３２において、画像バッファ４に格納されている画像データを、作成したＬＵＴに基づいて１画素ずつ補正する。
【００３２】
以上説明したように本実施形態によれば、所定値以上のハイライト領域及び所定値以下のシャドウ領域の値を考慮しないので、入力画像において色がとんでしまった部分をハイライトポイントに設定することを防ぐことができる。
【００３３】
従って、例えば蛍光灯下で撮影された画像の色ばみを良好に除去することができる。
【００３４】
＜第２実施形態＞
以下、上述した第１実施形態におけるホワイトバランス調整を踏まえて、第２実施形態の画像処理装置におけるホワイトバランス調整について詳細に説明する。
【００３５】
［構成］
まず、第２実施形態の画像処理装置においてホワイトバランス調整を行なうための構成を図１に示し、詳細に説明する。尚、同図において、上述した第１実施形態の図２と同様の構成については同一番号を付し、説明を省略する。
【００３６】
第２実施形態の画像処理装置においてホワイトバランス調整を行なうための画像処理部の構成は、画像入力部２、画像出力部３、画像バッファ４、パラメータ保持部５、ハイライト／シャドウ算出部６、ホワイトバランス算出部７、ホワイトバランス補正部８、ハイライトポイント補正部９、画像補正部１０を含む。ハイライト／シャドウ算出部６は、ハイライト及びシャドウポイントを算出し、パラメータ保持部５に結果を格納する。ホワイトバランス補正部８は、画像の示すシーンを判定し、それに応じてホワイトバランスを補正した後、パラメータ保持部５に結果を格納する。ハイライトポイント補正部９は、ハイライト領域における階調性を保証するためにハイライトポイントを補正し、該結果をパラメータ保持部５に格納する。
【００３７】
［ホワイトバランス調整方法］
図１０に、第２実施形態におけるホワイトバランス調整方法の概要フローチャートを示す。まずステップＳ４１において、画像入力部２は入力画像保持部１から画像データを読み込み、画像バッファ４に格納する。そしてステップＳ４２において、ハイライト／シャドウ算出部６で、画像バッファ４に格納された画像データにおけるハイライトポイント及びシャドウポイントを算出する。この詳細を図１１に示し、後述する。
【００３８】
次にステップＳ４３において、ホワイトバランス算出部７で、画像バッファ４に格納された画像データのホワイトバランス及びブラックバランスを算出する。この処理は上述した第１実施形態において図３に示したステップＳ３と同様であるため、詳細な説明を省略する。
【００３９】
次にステップＳ４４において、ホワイトバランス補正部８で、ステップＳ４３で算出したホワイトバランスを画像のシーンに応じて補正する。この詳細を図１３に示し、後述する。
【００４０】
次にステップＳ４５において、ハイライトポイント補正部９で、ハイライト領域における階調性を保証するために、補正後のハイライトポイント（ＨＰ）を設定する。この様子を図１７に示し、後述する。
【００４１】
そしてステップＳ４６において、画像補正部１０で画像バッファ４から画像データを読み込んで、画素毎にホワイトバランス調整のための補正を施し、再度画像バッファ４に書き込む。この処理は上述した第１実施形態において図３に示したステップＳ４と同様であるため、詳細な説明を省略する。そしてステップＳ４７において、画像出力部３が画像バッファ４に保持された画像データを出力画像保持部１１に書き込むことによって出力する。
【００４２】
尚、第２実施形態においてパラメータ保持部５に保持されるパラメータについては、第１実施形態で示した図４と同様であり、また同様に初期化される。
【００４３】
［ハイライト／シャドウ算出処理］
図１１に、ハイライト／シャドウ算出部６におけるハイライト／シャドウ算出処理のフローチャートを示す。これは即ち、図１０のステップＳ４２を詳細に示すものである。
【００４４】
まずステップＳ５１において、画像バッファ４から画像データの１画素ずつを読み込み、輝度のヒストグラムを作成する。この輝度ヒストグラムの例を図１２に示す。
【００４５】
そしてステップＳ５２において、作成したヒストグラムに基づいて画像のハイライト領域を求める。具体的には、初期化されたＨＰ（この例では「２４５」）よりも大きい輝度を有する画素が全体の何パーセントを占めるかを調べ、この値をハイライト領域の上限／下限値から減じる。例えば、ハイライト領域が９９〜１００％、ＨＰより大きい輝度値を有する画素が全体の３％であった場合には、ハイライト領域は９６〜９７％として求められる。この９６〜９７％のハイライト領域が、図１２のヒストグラムにおいて輝度値２４０〜２４５の範囲に相当する。
【００４６】
次にステップＳ５３において、作成したヒストグラムに基づいて画像のシャドウ領域を求める。具体的には、初期化されたＳＰよりも小さい輝度を有する画素が全体の何パーセントを占めるかを調べ、この値をシャドウ領域の上限／下限値に加算する。例えば、シャドウ領域が０〜１％、ＳＰより小さい輝度値を有する画素が全体の５％であった場合には、シャドウ領域は５〜６％となる。この５〜６％のシャドウ領域が、図１２のヒストグラムにおいて輝度値１０〜１６の範囲に相当する。
【００４７】
次にステップＳ５４において、作成したヒストグラムに基づいて画像のハイライトポイント（ＬＨ）を算出する。ここでＬＨは、画像のハイライト領域における最低輝度である。従って図１２に示すヒストグラム例においては、ハイライト領域９６〜９７％に相当する輝度範囲は２４０〜２４５であるため、ＬＨは「２４０」である。この結果をパラメータ保持部５に格納する。
【００４８】
また同様にステップＳ５５において、作成したヒストグラムに基づいて画像のシャドウポイント（ＬＳ）を算出する。ここでＬＳは、画像のシャドウ領域における最高輝度である。従って図１２に示すヒストグラム例においては、シャドウ領域５〜６％に相当する輝度範囲は１０〜１６であるため、ＬＳは「１６」である。この結果をパラメータ保持部５に格納する。
【００４９】
上述したようにして算出されたハイライト領域において、図１０のステップＳ４３で第１実施形態と同様の方法によりホワイトバランスが算出される。即ち、輝度がＬＨ以上かつＨＰ以下である領域にある画素のＲ，Ｇ，Ｂごとの平均輝度ＲＨ，ＧＨ，ＢＨを算出する。図１２に示すヒストグラム例においては、輝度が「２４０」以上「２４５」以下である領域が対象となる。従って、図１２において輝度が「２４５」を越えて「２５５」までの領域には、全体の３％に相当する画素が存在するが、この領域はホワイトバランス算出の際には無視されることになる。
【００５０】
［ホワイトバランス補正処理］
図１３に、ホワイトバランス補正部８におけるホワイトバランス補正処理のフローチャートを示す。これは即ち、図１０のステップＳ４４を詳細に示すものである。
【００５１】
まずステップＳ６１において、パラメータ保持部５に格納されているＲＨ，ＧＨ，ＢＨに基づいて画像の示すシーン、即ち画像特徴を判定する。尚、第２実施形態の図１２のヒストグラム例においては、ステップＳ４３のホワイトバランス算出処理により輝度がＬＨ以上かつＨＰ以下である領域、即ち輝度が「２４０」以上「２４５」以下である領域にある画素のＲ，Ｇ，Ｂごとの平均輝度値が、ＲＨ，ＧＨ，ＢＨとしてそれぞれパラメータ保持部５に格納されている。
【００５２】
ここで、第２実施形態におけるシーン判定方法は、基本的にＲ，Ｇ，Ｂの輝度の大きさの順番、及び最大輝度を有する色と他の色の割合に応じて、シーンを判定している。第２実施形態におけるシーン判定基準の例を図１４に示す。この例においては、画像のＲＨを「１００」としたときのＢＨ，ＧＨの値（０〜１００）、及びＧＨとＢＨの大小関係によって、シーンを判定する。例えば図１４に示す着色領域（ＢＨ1＜ＢＨ＜ＢＨ2，ＧＨ1＜ＧＨ＜ＧＨ2の領域）が、「夕焼け」シーンに対応する。また更に、ＢＨを「１００」としたときのＲＨ，ＧＨの値（０〜１００）や、ＧＨを「１００」としたときのＧＨ，ＢＨの値（０〜１００）も考慮することによって、更に多様なシーンを判定することができる。
【００５３】
次にステップＳ６２において、ステップＳ６１で判定されたシーンに基づいて、ホワイトバランス強度を算出する。第２実施形態におけるシーンとホワイトバランス強度との関係を図１５に示す。同図におけるホワイトバランス強度は、ホワイトバランスを完全にとる場合を１００％、全くとらない場合を０％と定義する。そして、図１５の（ａ）に示すように、シーンに応じてホワイトバランス強度（％）を適当に設定することによって、ホワイトバランスのとりかたを変更する。図１５（ｂ）の例においては、「通常」のシーンの場合はホワイトバランス強度を７０％とし、完全には真白にならないようにしている。それに対して「夕焼け」シーンの場合は、ホワイトバランスを３０％に設定する。つまり「通常」シーンよりも弱めにホワイトバランスをかけるように設定する。尚、第２実施形態におけるホワイトバランス強度としては、たとえシーン判定にミスが発生した場合でも、形成画像に大きな不具合が生じないような値を設定する。
【００５４】
そしてステップＳ６３において、算出したホワイトバランス強度に基づいてＲＨ，ＧＨ，ＢＨの各値を修正して、パラメータ保持部５に再格納する。ここで、ＲＨ，ＧＨ，ＢＨの変更の具体例を図１６に示し、説明する。第２実施形態においては、基本的にＲＨ，ＧＨ，ＢＨのそれぞれを、ＬＨとＲＨ，ＧＨ，ＢＨの間をホワイトバランス強度に応じて内分する点になるように変更する。図１６の例において、ＬＨ＝２４０、ＲＨ＝２４３、ＧＨ＝２４７、ＢＨ＝２２５、ホワイトバランス強度＝７０％であるとすると、（ａ）に示されるように、ＲＨは２４３と２４０を３：７に内分する点であるから、ＲＨ＝２４２（端数切り捨て）に変更される。同様に、ＧＨ＝２４５、ＢＨ＝２３０に変更される。
【００５５】
尚、第２実施形態において特に詳細は説明しないが、同様な思想により、シーンに応じたブラックバランス補正を行なうことも可能である。
【００５６】
［ハイライトポイント補正処理］
以下、図１７を参照して、ハイライトポイント補正部９におけるハイライトポイント補正処理について説明する。これは即ち、図１０のステップＳ４５を詳細に示すものである。
【００５７】
図１７は、ハイライト領域よりも大きい輝度値を有する画素数の割合（％:Saturated Area、以下、ＳＡ値）とＨＰとの関係の一例を示す図である。第２実施形態においては、ハイライト領域よりも大きい輝度値を有する画素数が多くなる、即ちＳＡ値が大きくなるに従ってＨＰを小さくしていく。図１７においては、ＳＡ値が０％である場合にＨＰは「２４５」であり、ＳＡ値が１０％になるまではＨＰを徐々に小さくしていく。そして、ＳＡ値が１０％以上である場合において、ＨＰは常に「２３５」となる。即ち、第２実施形態におけるＨＰは「２３５」以下にはならない。このように、ＨＰに下限値を設けることにより、ハイライト領域における階調性を保証することができる。図１２に示すヒストグラムを有する画像においては、ハイライト領域よりも大きい輝度範囲（ＳＡ）の領域に全体の３％の画素が存在しているため、図１７のグラフによりＨＰ＝２４１．６６・・、即ち端数を切り捨てることによりＨＰは「２４１」となる。
【００５８】
以上説明したようにして補正後のハイライトポイントＨＰを設定することにより、図１０のステップＳ４６において適切な補正ＬＵＴを生成し、各色毎の輝度をシーンに応じて適切に補正することにより、シーンに応じたホワイトバランス調整が可能となる。
【００５９】
以上説明したように第２実施形態によれば、所定値以上の輝度値を有する画素数に応じて、ハイライト領域及び補正後のハイライトポイント（ＨＰ）を可変とすることによって、高輝度領域にある画素の全てが所定値以上であった場合においても常にホワイトバランスをとることができ、更に、ハイライト領域における階調を保証することができる。
【００６０】
更に、シーンに応じてホワイトバランスの強度を調整することにより、シーンに応じた適切なホワイトバランス調整が可能となる。
【００６１】
尚、第２実施形態におけるホワイトバランス調整の例として、例えば「夕焼け」シーンについて説明を行なったが、第２実施形態によって適切なホワイトバランス調整が顕著に可能となる画像例が他にも多くある。例えば、フラッシュを点灯させて写真撮影を行なうことにより形成される「フラッシュ撮影」画像では、例えば人の肌の凸部等においてハイライトが飽和状態となって階調性が失われてしまう、所謂ハイライトが飛んだ状態となりがちである。このような画像については、画像補正時にハイライトの飛びを抑える方向に補正を行なう必要がある。このようなハイライトの飛びが生じた画像に対して第２実施形態におけるホワイトバランス調整を施すと、ハイライトが飛んでしまっている領域の割合に応じて補正後のハイライトポイントを可変とすることにより、ハイライトの飛びを抑えた効果的な補正が可能となる。このように、第２実施形態によってフラッシュ撮影時におけるハイライト領域の階調性の保存も可能となる。
【００６２】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００６３】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００６４】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００６５】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００６６】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６７】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００６８】
【発明の効果】
以上説明したように本発明によれば、どのような画像に対しても適切なホワイトバランス調整を行なうことが可能となる。
【００６９】
また、画像の特徴に応じたホワイトバランス調整を行なうことができる。
【００７０】
また、簡単な構成で入力画像においてハイライトポイントとして不適切である色がとんでしまった部分を考慮せずにハイライトポイントを設定することができる。
【００７１】
【図面の簡単な説明】
【図１】本発明に係る第二実施形態におけるホワイトバランス調整を行なうための構成を示すブロック図である。
【図２】本発明に係る第一実施形態におけるホワイトバランス調整を行なうための構成を示すブロック図である。
【図３】第一実施形態におけるホワイトバランス調整処理の概要を示すフローチャートである。
【図４】第一実施形態におけるパラメータ保持部で保持されるデータ項目例を示す図である。
【図５】第一実施形態におけるハイライト／シャドウ算出処理を示すフローチャートである。
【図６】第一実施形態における画像ヒストグラムの例を示す図である。
【図７】第一実施形態におけるホワイトバランス算出処理を示すフローチャートである。
【図８】第一実施形態における画像補正処理を示すフローチャートである。
【図９】第一実施形態における画像補正処理におけるＬＵＴ例を示す図である。
【図１０】第２実施形態におけるホワイトバランス調整処理の概要を示すフローチャートである。
【図１１】第２実施形態におけるハイライト／シャドウ算出処理を示すフローチャートである。
【図１２】第２実施形態における画像ヒストグラム例を示す図である。
【図１３】第２実施形態におけるホワイトバランス補正処理を示すフローチャートである。
【図１４】第２実施形態におけるシーン判定基準例を示す図である。
【図１５】第２実施形態におけるシーンとホワイトバランス強度の関係を示す図である。
【図１６】第２実施形態におけるＲＨ，ＧＨ，ＢＨの変更例を示す図である。
【図１７】第２実施形態におけるＳＡ値とＨＰの関係の例を示す図である。
【符号の説明】
１ 入力画像保持部
２ 画像入力部
３ 画像出力部
４ 画像バッファ
５ パラメータ保持部
６，１２ ハイライト／シャドウ算出部
７ ホワイトバランス算出部
８ ホワイトバランス補正部
９ ハイライトポイント補正部
１０ 画像補正部
１１ 出力画像保持部
Claims (5)
- 画像のハイライト領域を算出するハイライト算出工程と、
前記ハイライト領域において所定のハイライト値以下の輝度を有する画素についての各色の平均輝度値を、ホワイトバランス情報として算出するホワイトバランス算出工程と、
前記各色の平均輝度値の強度順序及び割合に応じて前記画像の示すシーン種別を判定する判定工程と、
前記シーン種別に応じて前記各色の平均輝度値を補正するホワイトバランス補正工程と、
全画素数に占める前記ハイライト領域よりも大きい輝度値を有する画素の割合に応じて前記ハイライト値を補正するハイライト補正工程と、
前記補正された各色の平均輝度値及び前記補正されたハイライト値に基づいて画像データを補正する画像データ補正工程と、
を有することを特徴とする画像処理方法。 - 前記画像データ補正工程では、前記補正された各色の平均輝度値が前記補正されたハイライト値と一致するような前記各色のガンマを求め、前記画像データの補正が行われることを特徴とする請求項１に記載の画像処理方法。
- 更に、画像のシャドウ領域を算出するシャドウ算出工程と、
前記シャドウ領域において所定のシャドウ値以上の輝度を有する画素についての各色の平均輝度値を、ブラックバランス情報として算出するブラックバランス算出工程と、を有し、
前記画像データ補正工程においては、前記ブラックバランス情報及び前記シャドウ値に基づいて画像データを補正することを特徴とする請求項１又は２に記載の画像処理方法。 - コンピュータに、請求項１乃至３のいずれか１項に記載の画像処理方法を実行させるためのコンピュータプログラムを記憶した、コンピュータで読み取り可能な記憶媒体。
- 画像のハイライト領域を算出するハイライト算出手段と、
前記ハイライト領域において所定のハイライト値以下の輝度を有する画素についての各色の平均輝度値を、ホワイトバランス情報として算出するホワイトバランス算出手段と、
前記各色の平均輝度値の強度順序及び割合に応じて前記画像の示すシーン種別を判定する判定手段と、
前記シーン種別に応じて前記各色の平均輝度値を補正するホワイトバランス補正手段と、
全画素数に占める前記ハイライト領域よりも大きい輝度値を有する画素の割合に応じて前記ハイライト値を補正するハイライト補正手段と、
前記補正された各色の平均輝度値及び前記補正されたハイライト値に基づいて画像データを補正する画像データ補正手段と、
を有することを特徴とする画像処理装置。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12368498A JP3907312B2 (ja) | 1998-05-06 | 1998-05-06 | 画像処理方法、記憶媒体及び画像処理装置 |
| US09/304,686 US6493468B1 (en) | 1998-05-06 | 1999-05-04 | Image processing apparatus and method |
| US10/246,397 US6952503B2 (en) | 1998-05-06 | 2002-09-19 | Image processing apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP12368498A JP3907312B2 (ja) | 1998-05-06 | 1998-05-06 | 画像処理方法、記憶媒体及び画像処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11317959A JPH11317959A (ja) | 1999-11-16 |
| JP3907312B2 true JP3907312B2 (ja) | 2007-04-18 |
Family
ID=14866769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP12368498A Expired - Fee Related JP3907312B2 (ja) | 1998-05-06 | 1998-05-06 | 画像処理方法、記憶媒体及び画像処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3907312B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003008936A (ja) * | 2001-06-27 | 2003-01-10 | Pioneer Electronic Corp | 画像信号処理装置 |
| JP2004236110A (ja) | 2003-01-31 | 2004-08-19 | Canon Inc | 画像処理装置、画像処理方法、記憶媒体及びプログラム |
| JP4499599B2 (ja) * | 2005-04-01 | 2010-07-07 | パナソニック株式会社 | 画像処理方法、画像処理装置、画像処理プログラム、およびその画像処理装置を含む集積回路 |
| JP4850689B2 (ja) | 2006-12-22 | 2012-01-11 | キヤノン株式会社 | 画像処理装置、画像処理方法、画像処理プログラム並びに記憶媒体 |
| JP2014048620A (ja) * | 2012-09-04 | 2014-03-17 | Canon Inc | 焦点調節装置、その制御方法、および制御プログラム |
-
1998
- 1998-05-06 JP JP12368498A patent/JP3907312B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH11317959A (ja) | 1999-11-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6493468B1 (en) | Image processing apparatus and method | |
| JP4687515B2 (ja) | 動画像表示装置および動画像表示方法 | |
| US8144985B2 (en) | Method of high dynamic range compression with detail preservation and noise constraints | |
| US7580566B2 (en) | Image processing device, image processing method, storage medium, and program | |
| US8340413B2 (en) | Display device and method of improving flicker of image | |
| US6608926B1 (en) | Image processing method, image processing apparatus and recording medium | |
| US6563602B1 (en) | Image processing apparatus and method, and recording medium | |
| US8050514B2 (en) | Image processing apparatus and image processing method | |
| US20100303351A1 (en) | Image processing apparatus, image processing method, and computer program | |
| JP3809298B2 (ja) | 画像処理方法、装置および記録媒体 | |
| JP5158136B2 (ja) | 動画像表示装置および動画像表示方法 | |
| JP3581270B2 (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体 | |
| JP3907312B2 (ja) | 画像処理方法、記憶媒体及び画像処理装置 | |
| JP2000236442A (ja) | 画像処理装置及びその方法、コンピュータ可読メモリ | |
| JP2004023737A (ja) | 画像処理装置及びその方法 | |
| JP2000137805A (ja) | 画像処理装置及びその方法 | |
| JP4355416B2 (ja) | 画像処理装置及びその方法 | |
| CN114999363A (zh) | 色偏校正方法、装置、设备、存储介质及程序产品 | |
| JP2001069352A (ja) | 画像処理装置およびその方法 | |
| JP3977170B2 (ja) | 信号処理装置及び信号処理方法およびプログラムおよび記憶媒体 | |
| JPH11317873A (ja) | 画像補正装置および記録媒体 | |
| JP3976898B2 (ja) | 画像処理方法、装置および記録媒体 | |
| JP2010148026A (ja) | 画像処理方法、画像処理装置、プログラムおよび記録媒体 | |
| US7949183B2 (en) | Methods and apparatus for enhancing color data | |
| JP3684120B2 (ja) | 画像処理装置及びその方法並びにメモリ媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040610 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040610 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20040610 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20040610 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060922 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061010 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070109 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070116 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110126 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120126 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130126 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140126 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |