JP4895839B2

JP4895839B2 - 画像補正装置および方法

Info

Publication number: JP4895839B2
Application number: JP2007018688A
Authority: JP
Inventors: 友和中村
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2006-02-01
Filing date: 2007-01-30
Publication date: 2012-03-14
Anticipated expiration: 2027-01-30
Also published as: JP2007234000A

Description

この発明は，画像補正装置および方法に関する。

被写体像のノイズを低減させるためにノイズ低減処理が行なわれることがある。たとえば，視覚上の平均輝度を変化させずにコントラストを改善する際のゲイン処理およびオフセット処理により増加するノイズを低減するものがある（特許文献１）。また，利得調整を利用して光学的黒レベルの段差補正を行なう際に増加するランダム・ノイズを目立たなくするものもある（特許文献２）。
特開2001-27890号公報特開2002-354384号公報

さらに，画像の一部である特定領域をプリントした場合に，その特定領域の階調を向上させるために，特定領域内に適応したガンマ変換が行なわれるものもある（特許文献３）。
特開昭60-139080号公報

近年，被写体像の中から顔画像を検出し，検出された顔画像を明るくするプリンタなどが販売されている。ところが顔画像の部分を明るくするために被写体像全体を単に明るくしたのでは背景が明るくなりすぎることがある。顔画像と背景とがアンバランスとなることがある。

この発明は，顔画像のような対象画像の明るさと背景画像の明るさをバランス良くすることを目的とする。

この発明による画像補正装置は，被写体像の中の一部分である対象画像の明るさが所定の目標値となるように，上記被写体像を表わす被写体像データを補正する明るさ補正手段，上記明るさ補正手段における補正の補正量にもとづいてノイズ低減パラメータを決定するノイズ低減パラメータ決定手段，および上記ノイズ低減パラメータ決定手段によって決定されたノイズ低減パラメータにもとづいて，上記明るさ補正手段によって補正された被写体像データに対してノイズ低減処理を行なうノイズ低減手段を備えていることを特徴とする。

この発明は上記画像補正装置に適した画像補正方法も提供している。すなわちこの方法は，被写体像の中の一部分である対象画像の明るさが所定の目標値となるように，上記被写体像を表わす被写体像データを補正し，上記補正の補正量にもとづいてノイズ低減パラメータを決定し，決定されたノイズ低減パラメータにもとづいて，上記補正された被写体像データに対してノイズ低減処理を行なうものである。

この発明によると，被写体像の中の一部分である対象画像（たとえば，顔，目などの画像）の明るさが所定値となるように，被写体像を表わす被写体像データが明るさ補正される。明るさ補正により対象画像が適切な明るさを持つようになる。そして，明るさ補正の補正量にもとづいてノイズ低減パラメータが決定される。決定されたノイズ低減パラメータにもとづいて，明るさ補正をされた被写体像データがノイズ低減処理される。対象画像の明るさ補正の補正量に応じて被写体像がノイズ低減処理されるので，明るさ補正によって被写体像にノイズが増加してもそのノイズが抑えられる。適切な明るさを持つ対象画像が得られ，かつノイズも少ない被写体像も得られる。

上記ノイズ低減パラメータ決定手段は，たとえば，上記被写体像データがもつノイズ量と上記明るさ補正手段における補正の補正量とにもとづいてノイズ低減パラメータを決定できる。明るさ補正前の被写体像データがもつノイズについても抑えることができる。

上記被写体像の中から上記対象画像を検出する対象画像検出手段をさらに備えてもよい。この場合，上記明るさ補正手段は，上記対象画像検出手段によって検出された対象画像の明るさが所定の目標値となるように，上記被写体像データを補正するものとなろう。

上記明るさ補正手段は，たとえば，対象画像の明るさが所定の目標値となるような修正ガンマ補正曲線にもとづいて，上記被写体像データをガンマ補正するガンマ補正回路である。

上記対象画像データを基本ガンマ補正曲線を用いてガンマ補正した場合に得られる画像データのヒストグラム（明るさの分布図）を算出する第１のヒストグラム算出手段，上記第１のヒストグラム算出手段によって算出されたヒストグラムにもとづいてしきい値を決定するしきい値決定手段，上記対象画像の明るさの理想値にもとづいて修正ガンマ補正曲線を算出する修正ガンマ補正曲線算出手段，上記対象画像データを，上記修正ガンマ補正曲線算出手段によって算出された修正ガンマ補正曲線を用いてガンマ補正をした場合に得られる画像データのヒストグラムを算出する第２のヒストグラム算出手段，ならびに上記第２のヒストグラム算出手段によって算出されるヒストグラムのピーク値が上記しきい値決定手段によって決定されたしきい値以下となるまで上記理想値のレベルを下げる処理を行ない，レベルが下げられた理想値にもとづく修正ガンマ補正曲線算出処理および修正ガンマ補正曲線を用いたガンマ補正処理を繰返すように上記ガンマ補正曲線算出手段および上記第２のヒストグラム算出手段を制御するループ制御手段を備えてもよい。この場合，上記第２のヒストグラム算出手段によって算出されたしきい値以下となったときの上記理想値を，上記対象画像の明るさの所定の目標値として，上記対象画像の明るさが所定の目標値となるような修正ガンマ補正曲線にもとづいて，上記被写体像データをガンマ補正するものとなろう。

対象画像と被写体像のいずれも比較的適正な明るさをもつようになる。

上記ノイズ低減パラメータ決定手段は，たとえば，上記修正ガンマ補正曲線を微分して微分データを算出する微分回路および上記微分回路により算出された微分データにガンマ補正直前の上記被写体像データがもつノイズ量データを乗算してノイズ低減パラメータを算出する乗算回路を備えるものである。

上記明るさ補正手段は，たとえば，対象画像の明るさが所定の目標値となるような修正ガンマ補正曲線にもとづいて，上記被写体像データをガンマ補正するガンマ補正回路であり，上記ノイズ低減パラメータ設定手段は，たとえば，あらかじめ定められた基準の明るさとこの基準の明るさに対するガンマ補正値の明るさから定まるガンマ補正曲線の傾斜角にもとづいて上記ノイズ低減パラメータを決定するものとなろう。

上記明るさ補正手段は，たとえば，対象画像の明るさが所定の目標値となるような修正ガンマ補正曲線にもとづいて，上記被写体データをガンマ補正するガンマ補正回路であり，上記ノイズ低減パラメータ決定手段は，あらかじめ定められた基準の明るさを基準ガンマ曲線を用いてガンマ補正した後のレベルと上記基準の明るさを上記修正ガンマ補正曲線を用いてガンマ補正した後のレベルとのレベル差にもとづいて上記ノイズ低減パラメータを決定するものである。

上記明るさ補正手段によって明るさ補正が行なわれた被写体像データから輪郭成分データを抽出する輪郭抽出手段をさらに備えてもよい。この場合，上記ノイズ低減手段は，上記輪郭抽出手段によって抽出された輪郭成分データをノイズ低減処理するものとなろう。そして，上記ノイズ低減処理手段によってノイズ低減された輪郭成分データと上記明るさ補正手段によって明るさ補正が行なわれた被写体像データとを加算する加算回路をさらに備える。

被写体像データが，三色のカラー被写体像データの場合には，上記明るさ補正手段は，たとえば，上記三色のカラー被写体像データに対応した３つのゲイン・アップ回路を含み，上記被写体像の明るさが所定の目標値となるように上記三色のカラー被写体像データのレベルを上げる白バランス調整回路である。

上記三色のカラー対象画像データを基準のゲイン量を用いて白バランス調整した場合に得られる画像データのヒストグラムを算出する第１のヒストグラム算出手段，上記第１のヒストグラム算出手段によって算出されたヒストグラムにもとづいてしきい値を決定するしきい値決定手段，上記対象画像の明るさの理想値にもとづいて修正されたゲイン量を算出する修正ゲイン量算出手段，上記対象画像データを，上記修正されたゲイン量によって白バランス調整された場合に得られる画像データのヒストグラムを算出する第２のヒストグラム算出手段，ならびに上記第２のヒストグラム算出手段によって算出されるヒストグラムのピーク値が上記しきい値決定手段によって決定されたしきい値以下となるまで上記理想値のレベルを下げる処理を行ない，レベルが下げられた理想値にもとづくゲイン量算出処理および修正されたゲイン量を用いた白バランス調整処理を繰返すように上記ゲイン量算出手段および上記第２のヒストグラム算出手段を制御するループ制御手段を備えてもよい。この場合，上記第２のヒストグラム算出手段によって算出されたしきい値以下となったときの上記理想値を，上記対象画像の明るさの所定の目標値として，上記対象画像の明るさが所定の目標値となるような修正されたゲイン量にもとづいて，上記被写体像データを白バランス調整するものとなろう。

図１は，この発明の実施例を示すものでディジタル・スチル・カメラなどの画像処理装置の電気的構成の一部を示すブロック図である。

この実施例による画像処理装置は，被写体像の中から顔画像(対象画像)を検出し，検出した顔画像の明るさと被写体像全体の明るさとの両方とも比較的適正にするものである。

被写体を撮像等することによって被写体像を表わすＣＣＤ−ＲＡＷデータ（Ｒ，Ｇ，Ｂからなる三原色のパラレルのＣＣＤ−ＲＡＷデータ）が得られる。ＣＣＤ−ＲＡＷデータは，白バランス調整回路１および前処理回路７に入力する。

白バランス調整回路１において，入力したＣＣＤ−ＲＡＷデータの白バランス調整が行なわれる。白バランス調整回路１において白バランス調整されたＣＣＤ−ＲＡＷデータはリニア・マトリクス回路２において所定の簡易な色補正が行なわれる。リニア・マトリクス回路２から出力されたＣＣＤ−ＲＡＷデータはガンマ変換回路３およびガンマ算出回路９に入力する。詳しくは後述するように，被写体像に顔画像が含まれている場合には，被写体像全体と顔画像との両方ともが比較的適正な明るさとなるようにガンマ変換回路３においてガンマ補正が行なわれる。このような適正な明るさとするためのガンマ補正曲線がガンマ算出回路９において算出される。算出されたガンマ補正曲線を示すデータはガンマ算出回路９からガンマ変換回路３に与えられる。

ガンマ変換回路３においてガンマ補正されたＣＣＤ−ＲＡＷデータはノイズ低減回路４に入力する。ノイズ低減回路４にはノイズ・パラメータ算出回路10において算出されたノイズ・パラメータも与えられる。ノイズ低減回路４において，ガンマ変換回路３におけるガンマ補正曲線（基本ガンマ補正曲線または修正ガンマ補正曲線）に応じたノイズ低減処理が行なわれる。

ノイズ低減回路４においてノイズ低減処理されたＣＣＤ−ＲＡＷデータは同時化回路５において同時化処理が行なわれてＹＣ変換回路６に入力する。ＹＣ変換回路６において，輝度データＹおよび色差データＣ（画像データ）が生成される。

ＣＣＤ−ＲＡＷデータが前処理回路７に入力すると，前処理回路７において被写体像の中から顔画像を検出するためのＧ信号抽出処理，ゲイン・アップ処理，基本ガンマ補正曲線によるガンマ補正処理等の所定の前処理が行なわれる。前処理回路７から出力された被写体像を表わす画像データ（Ｇ信号）は顔検出回路８に入力し，顔検出処理が行なわれる。顔検出回路８において被写体像の中から顔画像が検出される。検出された顔画像を表わすデータ，被写体像における顔画像の位置を表すデータはガンマ算出回路９に入力する。

ガンマ算出回路９において，上述のように，被写体像全体を表わすＣＣＤ−ＲＡＷデータ，顔画像を表す画像データ，顔画像の位置を表わすデータおよびガンマ変換回路３から出力されたデータを用いて修正ガンマ補正曲線が生成される。修正ガンマ補正曲線を表わすデータはノイズ・パラメータ算出回路10にも入力する。ノイズ・パラメータ算出回路10においてノイズ・パラメータが算出される。

図２は，画像処理装置の処理手順を示すフローチャートである。

まず，被写体像の中から顔画像が検出される（ステップ21）。顔画像が見つかると（ステップ22でYES），その顔画像の明るさが算出される（ステップ23）。算出された顔画像の明るさにもとづいて補正が必要かどうかが判断される（ステップ24）。算出された顔画像の明るさが所定レベル以上あれば補正は不要と判断され，所定レベル未満であれば補正が必要と判断される。

補正が必要と判断されると（ステップ24でYES），顔画像の明るさ等に応じた修正ガンマ補正曲線が生成（算出）される（ステップ25）。修正ガンマ補正曲線の生成方法について詳しくは後述する。生成された修正ガンマ補正曲線を用いて，被写体像全体を表わす画像データがガンマ補正される（ステップ26）。また，修正ガンマ補正曲線にもとづくガンマ補正が行なわれた場合に生じるノイズの増加を抑えるための修正ノイズ・パラメータが算出される（ステップ27）。この修正ノイズ・パラメータ算出処理について詳しくは後述する。

補正が不要と判断される（ステップ24でNO），あるいは顔画像が見つからないと（ステップ22でNO），顔画像の明るさを考慮したガンマ補正は不要と考えられるので，所定の基本ガンマ補正曲線を用いて被写体像全体を表わす画像データがガンマ補正される（ステップ28）。また，基本ガンマ補正曲線にもとづくガンマ補正が行なわれた場合に生じるノイズの増加を抑えるための基本ノイズ・パラメータが出力される（ステップ29）。

得られたノイズ・パラメータを用いて，ガンマ補正された画像データについてノイズ低減処理が行なわれる（ステップ30）。

図３は，修正ガンマ補正曲線算出処理手順（図２，ステップ25の処理）を示すフローチャートである。

まず顔画像がもつべき明るさの理想値が設定される（ステップ41）。つづいて被写体像全体を表わす画像データについて基本ガンマ補正曲線を用いてガンマ補正が行なわれる。基本ガンマ補正曲線を用いてガンマ補正された画像データについてヒストグラムが生成され，生成されたヒストグラムからしきい値が設定される（ステップ42）。

図４は，基本ガンマ補正曲線を用いてガンマ補正された画像データのヒストグラムの一例である。横軸が被写体像の明るさを示し，縦軸がその明るさの頻度である。

まず明るさの頻度のピーク値が見つけられる。見つけられたピーク値を与える明るさよりも所定のレベルΔＰだけ明るい明るさの値がしきい値として決定される。しきい値はピーク値を考慮して相対的に決定されるが，たとえば，頻度のピーク値を与える明るさから，頻度のピーク値から相対的に少ない頻度となる明るさがしきい値となる。

図３に戻って，現在の目標値を用いて修正ガンマ補正曲線が算出される（ステップ43）。目標値は，修正ガンマ補正曲線を用いたガンマ補正が行なわれた後の顔画像の明るさの値であり，最初はステップ41において設定された理想値である。

図５は，修正ガンマ補正曲線と基本ガンマ補正曲線の一例である。横軸が入力であり，縦軸が出力である。

基本ガンマ補正曲線γ０はあらかじめ定められている。また修正ガンマ補正曲線γ１を用いたガンマ補正後の顔画像の明るさが目標値となるように修正ガンマ補正曲線γ１が定められる。さらに，ガンマ補正の入出力の最小値および最大値は基本ガンマ補正曲線γ０も修正ガンマ補正曲線γ１もいずれも同じである。これらの，最小値，目標値および最大値からスプライン補間などを利用して，修正ガンマ補正曲線γ１が生成（算出）される。

再び図３に戻って，修正ガンマ補正曲線が生成されると，生成された修正ガンマ補正曲線を用いて被写体像全体を表わす画像データがガンマ補正される。ガンマ補正された画像データのヒストグラムが再び作成される（ステップ44）。再び作成されたヒストグラムの頻度のピーク値を与える明るさが，設定されたしきい値以下かどうかが確認される（ステップ45）。頻度のピーク値を与える明るさがしきい値を超えると（ステップ45でNO），修正ガンマ曲線を用いたガンマ補正が行なわれたことにより被写体像全体が明るくなりすぎたと考えられる。このために顔画像の目標値が所定レベルだけ下げられる（ステップ46）。所定レベルだけ下げられた目標値を用いて再び修正ガンマ補正曲線の生成（ステップ43），ヒストグラムの作成（ステップ44）およびピーク値としきい値との比較（ステップ45）が行なわれる。ピーク値がしきい値以下となるまでステップ43，44および45の処理が繰返される。

ヒストグラムの頻度のピーク値を与える明るさがしきい値以下となると（ステップ45でYES），現在設定されている目標値が最終目標値として設定される（ステップ47）。このようにして設定された目標値，ならびにガンマ補正の入出力の最大値および最小値を用いて修正ガンマ補正曲線が生成される（ステップ48）。

図６は，ノイズ・パラメータ算出回路10の電気的構成を示すブロック図である。

ノイズ・パラメータ算出回路10にはメモリが含まれており，このメモリに，図７に示すようにリニア・マトリクス回路２から出力された被写体像全体を表わす画像データに相当する画像データのレベル（画素値）とそのノイズ量との関係を示すノイズ・データが記憶されている。ノイズ・データは，画像データのレベルが大きくなるにつれ，ノイズ量が多くなっている。このノイズ・データは，所定の被写体を撮像することによりあらかじめ得られる。

図６に戻って，メモリに記憶されているノイズ・データは乗算回路51に与えられる。

また，ガンマ算出回路９において算出された修正ガンマ補正曲線を示すデータは，ノイズ・パラメータ算出回路10内の微分回路52に入力する。微分回路52において，修正ガンマ補正曲線（図５参照）を示すデータが微分されることにより，図８に示す微分データが得られる。

再び図６に戻って，微分データも乗算回路51に与えられる。

乗算回路51において，ノイズ・データ(図７参照)に微分データ(図８参照)が乗算されることにより，図９に示すノイズ量が得られる。得られたノイズ量にもとづいてノイズ・パラメータが算出される。算出されたノイズ・パラメータが上述のようにノイズ低減回路４に与えられる。

図９を参照して，図９は，被写体像を構成する画素のレベルとその画素レベルでのノイズ量の関係を示している。上述したように修正ガンマ補正曲線γ１を用いてガンマ補正した場合に生じるノイズ量の増加が考慮されている。したがって，ノイズ量を利用してノイズ低減処理が行なわれることにより，修正ガンマ補正曲線γ１を用いたガンマ補正が行なわれたことにより生じるノイズ量を抑えることができる。

図10はノイズ・パラメータ算出処理手順を示すフローチャートである。

上述のようにして得られた修正ガンマ補正曲線が微分されることにより微分データが得られる(ステップ61)。得られた微分データとあらかじめ記憶されているノイズ・データとが乗算されることにより(ステップ62),上述のようにノイズ量が得られる。得られたノイズ量からノイズ・パラメータが算出される（ステップ63）。

図11は，ノイズ量とノイズ低減回路４を構成するフィルタ回路のフィルタ係数(ノイズ・パラメータ)との関係を示している。

ノイズ低減回路４におけるノイズ低減処理は，ｎ×ｎ個のフィルタ回路を用いて行なわれる。ガンマ変換回路３から出力された被写体像データによって表わされる被写体像のうちノイズ低減処理対象となる注目画素を中心とした５画素×５画素のマスク領域が設定され，設定されたマスク領域の平均輝度（明るさ）が算出される。算出された平均輝度のノイズ量が図９に示すグラフから算出される。算出されたノイズ量に対応したフィルタ係数が得られ，得られたフィルタ係数がノイズ・パラメータとしてノイズ低減回路４のフィルタ回路に設定されることとなる。設定されたフィルタ係数によってフィルタリング処理が行なわれることによりノイズ低減処理が行なわれる。

一駒分の被写体像全体についてノイズ量の算出，フィルタ係数の設定，設定されたフィルタ係数によるフィルタリング処理が行なわれることとなる。

上述した例は，修正ガンマ補正曲線を用いてガンマ補正が行なわれた場合のものであるが，基本ガンマ補正曲線を用いてガンマ補正が行なわれた場合も同様にノイズ・パラメータが算出されるのは理解できよう。

図12は，基本ガンマ補正曲線と修正ガンマ補正曲線との値の一例を示している。図５に対応する。

図５に示すガンマ補正曲線では基本ガンマ補正曲線および修正ガンマ補正曲線のいずれも１つであったが，図12に示すガンマ補正曲線では１つのガンマ補正曲線と３つの修正ガンマ補正曲線が示されている。３つの修正ガンマ補正曲線はＲ（赤）成分用の修正ガンマ補正曲線γ１Ｒ，Ｇ（緑）成分用の修正ガンマ補正曲線γ１ＧおよびＢ（青）成分用の修正ガンマ補正曲線γ１Ｂである。

ガンマ変換回路３に入力するＲ成分の画像データ，Ｇ成分の画像データおよびＢ成分の画像データはそれぞれ，Ｒ成分用の修正ガンマ補正曲線γ１Ｒ，Ｇ成分用の修正ガンマ補正曲線γ１ＧおよびＢ成分用の修正ガンマ補正曲線γ１Ｂを用いてガンマ補正が行なわれる。色ごとに対応した修正ガンマ補正曲線を用いてガンマ補正が行なわれるので，顔画像，被写体像全体のいずれもよりきれいなものとなる。

図13は，ノイズ量を算出するグラフであり，図９に対応している。

これらのグラフにおいても，図12と同様にＲ成分用のノイズ量を算出するグラフＮＲ，Ｇ成分用のノイズ量を算出するグラフＮＧおよびＢ成分用のノイズ量を算出するグラフＮＢが規定されている。また，基本ガンマ補正曲線γ０を用いた場合におけるノイズ量を算出するグラフＮ０も図示されている。色ごとにノイズ量が決定され，決定されたノイズ量を利用した色ごとのノイズ低減処理が行なわれることとなる。色ごとのノイズ低減処理が行なわれる場合，ノイズ低減回路には色ごとに対応したフィルタ回路が設けられることになるのはいうまでもない。

図14から図18(Ａ)および(Ｂ)は他の実施例を示すものである。

図14は，画像処理装置の電気的構成の一部を示すブロック図である。この図において図１に示すものと同一物には同一符号を付して説明を省略する。

ノイズ・パラメータ算出回路10Ａには，ガンマ算出回路９において算出された修正ガンマ補正曲線を示すデータが入力する。ノイズ・パラメータ算出回路10Ａにおいて，後述するようにしてノイズ・パラメータが算出されて，ノイズ低減回路４Ａに与えられる。

ＹＣ変換回路６において生成された輝度データＹは直接にノイズ低減回路４Ａに入力し，色差データＣは色差マトリクス回路11において色補正されてノイズ低減回路４Ａに入力する。ノイズ低減回路４Ａにおいてノイズ低減処理が行なわれた色差データは直接に加算回路13に与えられ，輝度データＹは輪郭強調回路12において輪郭強調処理が行われて加算回路13に与えられる。加算回路13において輝度データと色差データとが加算されて出力される。

図15は，ガンマ算出回路９において生成された修正ガンマ補正曲線の一例である。

この実施例においては，生成された修正ガンマ補正曲線γ１の傾き角θが利用される。傾き角θは，所定の基準輝度値（最大輝度値の２割程度，顔画像の輝度値など）と原点とを結ぶ直線のなす角である。この傾き角θを用いてノイズ・パラメータが決定する。

図16（Ａ）は，傾き角θとフィルタ・サイズ（ノイズ・パラメータ）との関係を示し，図16（Ｂ）は傾き角θとフィルタ係数（ノイズ・パラメータ）との関係を示している。

図16（Ａ）を参照して，傾き角θが０度〜59度，60度〜65度，66度〜70度，71度〜80度および81度〜90度の場合には，ノイズ低減回路４Ａのフィルタ・サイズがそれぞれｎ₁，ｎ₂，ｎ₃，ｎ₄およびｎ₅（傾き角が大きいほどノイズ低減量が多くなるフィルタ・サイズ）となる。傾き角θに応じて決定されるフィルタ・サイズがノイズ・パラメータとしてノイズ低減回路４Ａに与えられる。ノイズ低減回路４Ａにおいて，与えられるフィルタ・サイズに応じたフィルタ回路によってノイズ低減処理が行なわれる。

図16（Ｂ）を参照して，傾き角θが０度〜59度，60度〜65度，66度〜70度，71度〜80度および81度〜90度の場合には，ノイズ低減回路４Ａのフィルタ係数がそれぞれｎ₁₁₁〜ｎ_nn1，ｎ₁₁₂〜ｎ_nn2，ｎ₁₁₃〜ｎ_nn3，ｎ₁₁₄〜ｎ_nn4およびｎ₁₁₅〜ｎ_nn5（傾き角が大きいほどノイズ低減量が多くなるフィルタ係数）となる。傾き角θに応じて決定されるフィルタ係数がノイズ・パラメータとしてノイズ低減回路４Ａに与えられる。

図17ならびに18（Ａ）および（Ｂ）は変形例を示している。

図17は，基本ガンマ補正曲線γ０と修正ガンマ補正曲線γ１とを示している。そして，基準輝度値が，基本ガンマ補正曲線γ０を用いてガンマ補正された値と，修正ガンマ補正曲線γ１を用いてガンマ補正された値との差分量ΔＬが算出される。算出された差分量ΔＬを用いてノイズ・パラメータが決定する。

図18（Ａ）は，差分量ΔＬとフィルタ・サイズとの関係を示し，図18（Ｂ）は差分量ΔＬとフィルタ係数との関係を示している。

図18（Ａ）を参照して，差分量ΔＬが０〜５，６〜15，16〜30，31〜45および46以上の場合には，ノイズ低減回路4Ａのフィルタ・サイズがそれぞれｎ₁，ｎ₂，ｎ₃，ｎ₄およびｎ₅となる。差分量ΔＬに応じて決定されるフィルタ・サイズがノイズ・パラメータとしてノイズ低減回路４Ａに与えられる。

図18（Ｂ）を参照して，差分量ΔＬが０〜５，６〜15，16〜30，31〜45および46以上の場合には，ノイズ低減回路４Ａのフィルタ係数がそれぞれｎ₁₁₁〜ｎ_nn1，ｎ₁₁₂〜ｎ_nn2，ｎ₁₁₃〜ｎ_nn3，ｎ₁₁₄〜ｎ_nn4およびｎ₁₁₅〜ｎ_nn5となる。差分量ΔＬ応じて決定されるフィルタ係数がノイズ・パラメータとしてノイズ低減回路４Ａに与えられる。

図19から図21は，他の実施例を示すものである。この実施例は輝度データから輪郭成分を抽出し，抽出した輪郭成分のうち所定の閾値以下の成分をカットすることによりノイズを低減するものである。

図19は，画像処理装置の電源的構成の一部を示すブロック図である。この図において，図１または図14に示す回路と同一物には同一符号を付して説明を省略する。

図14に示した画像処理装置におけるノイズ・パラメータ算出回路10Ｂと同様に，図19に示したノイズ・パラメータ算出回路10Ｂにおいては傾き角θおよび差分量ΔＬに応じて，閾値が決定される。決定された閾値を表わすデータがノイズ・パラメータとしてノイズ低減回路４Ｂに与えられる。

ＹＣ変換回路６から出力された輝度データＹは輪郭抽出回路14および加算回路16に与えられる。輪郭抽出回路14において，輝度データによって表わされる被写体像の輪郭成分を表わす輪郭データが抽出される。抽出された輪郭データはノイズ低減回路４Ｂに与えられる。

ノイズ低減回路４Ｂにおいて，ノイズ・パラメータ算出回路10Ｂから与えられたノイズ・パラメータによって表わされる閾値以下の輪郭データがカットされる。閾値以下の輪郭データがカットされることによりノイズ成分が除去されることとなる。ノイズ低減回路４Ｂにおいてノイズ成分がカットされた輪郭データが加算回路16に与えられ，輝度データＹに加算される。加算回路16から出力された輝度データが加算回路15に与えられることにより，輝度データＹと色差データＣとが加算された画像データが得られる。

図20は，傾き角θと閾値との関係を示している。

傾き角θが０度〜59度，60度〜65度，66度〜70度，71度〜80度および81度〜90度の場合には，閾値はそれぞれｔｈ１，ｔｈ２，ｔｈ３，ｔｈ４およびｔｈ５とされる（但し，ｔｈ１＜ｔｈ２＜ｔｈ３＜ｔｈ４＜ｔｈ５）。算出された傾き角θに応じて閾値が決定される。決定された閾値を表わすデータが上述のようにノイズ低減回路4Ｂに与えられる。

図21は，差分量ΔＬと閾値との関係を示している。

差分量ΔＬが０〜５，６〜15，16〜30，31〜45および46以上の場合には，閾値はそれぞれｔｈ１，ｔｈ２，ｔｈ３，ｔｈ４およびｔｈ５とされる（但し，ｔｈ１＜ｔｈ２＜ｔｈ３＜ｔｈ４＜ｔｈ５）。差分量ΔＬに応じて閾値が決定され，決定された閾値を表わすデータが上述のようにノイズ低減回路4Ｂに与えられる。

図22から図25はさらに他の実施例を表わすものである。上述の実施例においてはガンマ補正により顔画像の明るさが明るくなるようにしていたが，次に述べる実施例においては白バランス調整回路におけるゲイン・アップにより顔画像の明るさが明るくなるようにするものである。

図22は，画像処理装置の電気的構成の一部を示すブロック図である。この図においても図１に示すものと同一物には同一符号を付して説明を省略する。

ＣＣＤ−ＲＡＷデータは，白バランス調整回路１Ａ，修正ゲイン算出回路18，自動白バランス係数算出回路17および前処理回路７Ａに入力する。

自動白バランス係数算出回路17において，通常の白バランス調整におけるゲイン係数Ｇ０Ｒ，Ｇ０ＧおよびＧ０Ｂが算出される。算出されたこれらのゲイン係数Ｇ０Ｒ，Ｇ０ＧおよびＧ０Ｂは，前処理回路７Ａおよび修正ゲイン算出回路18にそれぞれ与えられる。前処理回路７Ａにおいて，与えられるゲイン係数Ｇ０Ｒ，Ｇ０ＧおよびＧ０Ｂにもとづいて通常の白バランス調整が行なわれる。白バランス調整が行なわれた画像データが顔検出回路８に入力し，顔検出処理が行なわれる。顔検出回路８において被写体像の中から顔画像を検出する処理が行われ，顔画像を表わす画像データおよび顔画像の位置を表わすデータが修正ゲイン算出回路18に入力する。修正ゲイン算出回路18において修正ゲイン係数Ｇ２Ｒ，Ｇ２ＧおよびＧ２Ｂが算出される。算出された修正ゲイン係数Ｇ２Ｒ，Ｇ２ＧおよびＧ２Ｂが白バランス調整回路１Ｂおよびノイズ・パラメータ算出回路10Ｃに与えられる。修正ゲイン係数Ｇ２Ｒ，Ｇ２ＧおよびＧ２Ｂの算出方法について詳しくは後述する。

白バランス調整回路１Ａにおいて，顔画像も被写体像全体も比較的適正な明るさとなるように白バランス調整（ゲイン・アップ調整）が行なわれる。白バランス調整回路１Ａから出力された画像データはノイズ低減回路４Ｃにおいて，ノイズ・パラメータ10Ｃから与えられるノイズ・パラメータにしたがってノイズ低減処理が行なわれる。

図23は，図22に示す画像処理装置の処理手順を示すフローチャートである。この図において図２に示す処理と同一の処理については同一符号を付して説明を省略する。

自動白バランス係数が算出され，算出された白バランス係数を用いて自動白バランス調整処理が行なわれる（ステップ71）。その後，顔画像が見つかり，見つかった顔画像について補正が必要と判断されると（ステップ24でYES），修正ゲインが算出される（ステップ72）。また，修正ノイズ・パラメータが算出される（ステップ73）。補正が不要と判断されると（ステップ22または24でNO），基本ゲインが出力される（ステップ74）。また基本ノイズ・パラメータが出力される（ステップ75）。

得られた修正ゲインまたは基本ゲインを用いて白バランス調整が行なわれ，かつ，得られたノイズ・パラメータを用いてノイズ低減処理が行なわれる（ステップ76）。

図24は修正ゲイン算出処理（図23，ステップ72の処理）手順を示すフローチャートである。この図は，図３に対応している。

まず，検出された顔画像の明るさの理想値が設定される（ステップ81）。自動白バランス係数算出回路17において算出されたゲイン係数を用いて基本の白バランス調整が行なわれる。基本の白バランス調整が行なわれたＣＣＤ−ＲＡＷデータのヒストグラムが作成され，その作成されたヒストグラムにもとづいて上述したのと同様にしきい値が設定される（ステップ82）。

現在の目標値を用いて修正ゲイン係数が算出される（ステップ83）。当初は，設定された理想値を用いて修正ゲイン係数が算出されるのはいうまでもない。

算出された修正ゲイン係数を用いて白バランス調整が行なわれ，白バランス調整された被写体像のヒストグラムが作成される（ステップ84）。

ヒストグラムのピーク値がしきい値以下となるまで，目標値が下げられ（ステップ86），下げられた目標値を用いて修正ゲイン係数の算出（ステップ83）およびヒストグラムの作成が続けられる（ステップ84）。

ヒストグラムのピーク値がしきい値以下となると（ステップ85でYES），現在の修正ゲイン係数が最終修正ゲイン係数として決定する（ステップ87）。

図25は，ノイズ量の一例である。

図25においては，自動白バランス（ＡＷＢ）における基本ゲイン係数を適用した場合の白バランス調整が行なわれた画像データのノイズ量と修正ゲイン係数を適用した場合の白バランス調整が行われた画像データのノイズ量とが示されている。基本ゲイン係数または修正ゲイン係数が適用された場合に応じて，ノイズを低減させるノイズ・パラメータがノイズ・パラメータ回路から出力されることは理解できよう。

図26は，Ｒ，Ｇ，Ｂの色ごとにノイズ量が変わる例を示している。Ｒ，Ｇ，Ｂごとに対応したノイズ量が用いられるので，色ごとに固有のノイズを低減できる。

図27および図28はさらに他の実施例を示すもので，画像処理装置の電気的構成の一部を示すブロック図である。

図27は，図14に示す画像処理装置と図22に示す画像処理装置とを組合わせたものである。図27において図14または図22に示すものと同一物については同一符号を付して説明を省略する。

図27に示す画像処理装置では，白バランス調整回路１Ａにおいて，顔画像および被写体像全体の明るさを適正にでき，かつ輝度データのノイズも低減できる。

図28は，図19に示す画像処理装置と図22に示す画像処理装置とを組合わせたものである。図28において図19または図22に示すものと同一物については同一符号を付して説明を省略する。

図28に示す画像処理装置では，白バランス調整回路１Ａにおいて顔画像および被写体像全体の明るさを適正にでき，かつ輪郭成分のノイズも抑えることができる。

画像処理装置の電気的構成の一部を示すブロック図である。画像処理装置の処理手順を示すフローチャートである。修正ガンマ補正曲線算出処理手順を示しフローチャートである。基本ガンマ補正後の被写体像の明るさのヒストグラムである。基本ガンマ補正曲線と修正ガンマ補正曲線とを示している。ノイズ・パラメータ算出回路の電気的構成を示すブロック図である。被写体像を表わす画像データのノイズ量を示している。ノイズ・データを示している。修正ガンマ補正曲線によるガンマ補正が行なわれた画像データのノイズ量を示している。ノイズ・パラメータ算出処理を示すフローチャートである。ノイズ量とフィルタ係数との関係を示している。基本ガンマ補正曲線と修正ガンマ補正曲線とを示している。修正ガンマ補正曲線によるガンマ補正曲線が行なわれた画像のノイズ量を示している。画像処理装置の電気的構成の一部を示すブロック図である。修正ガンマ補正曲線の一例である。（Ａ）は，傾き角とフィルタ・サイズとの関係を示し，（Ｂ）は傾き角とフィルタ係数との関係を示している。基本ガンマ補正曲線と修正ガンマ補正曲線との関係を示している。（Ａ）は，傾き角とフィルタ・サイズとの関係を示し，（Ｂ）は傾き角とフィルタ係数との関係を示している。画像処理装置の電気的構成の一部を示すブロック図である。傾き角と閾値との関係を示している。差分量と閾値との関係を示している。画像処理装置の電気的構成の一部を示すブロック図である。画像処理装置の処理手順を示すフローチャートである。修正ゲイン算出処理手順を示すフローチャートである。修正ゲインおよび基本ゲインによって補正された画像データのノイズ量を示している。修正ゲインによって補正された画像データのノイズ量を示している。画像処理装置の電気的構成の一部を示すブロック図である。画像処理装置の電気的構成の一部を示すブロック図である。

符号の説明

１，１Ａ白バランス調整回路
３，３Ａガンマ変換回路
４，４Ａ，４Ｂ，４Ｃノイズ低減回路
８顔検出回路
９ガンマ算出回路
10，10Ａ，10Ｂ，10Ｃノイズ・パラメータ算出回路
18 ゲイン算出回路

Claims

被写体像の中の一部分である対象画像の明るさが所定の目標値となるように，上記被写体像を表わす被写体像データを補正する明るさ補正手段，
上記明るさ補正手段における補正の補正量にもとづいてノイズ低減パラメータを決定するノイズ低減パラメータ決定手段，および
上記ノイズ低減パラメータ決定手段によって決定されたノイズ低減パラメータにもとづいて，上記明るさ補正手段によって補正された被写体像データに対してノイズ低減処理を行なうノイズ低減手段を備え，
上記明るさ補正手段が，
対象画像の明るさを所定の目標値にする修正ガンマ補正曲線にもとづいて上記被写体像データをガンマ補正するガンマ補正手段と，上記修正ガンマ補正曲線を生成するガンマ算出手段を含み，
上記ガンマ算出手段が，
上記被写体像データをあらかじめ定められる基本ガンマ補正曲線を用いてガンマ補正した場合に得られる画像データの第１のヒストグラムを算出する第１のヒストグラム算出手段，
上記第１のヒストグラムのピーク値よりも所定レベルだけ明るい値をしきい値に決定するしきい値決定手段，
上記基本ガンマ補正曲線による入出力の最小値および最大値と同一の最小値および最大値を持ち，かつ対象画像の明るさを所定の目標値に補正する修正ガンマ補正曲線を，上記最小値，目標値および最大値を用いて算出する修正ガンマ補正曲線算出手段，
上記被写体像データを上記修正ガンマ補正曲線を用いてガンマ補正をした場合に得られる画像データの第２のヒストグラムを算出する第２のヒストグラム算出手段，ならびに
上記第２のヒストグラムのピーク値が上記しきい値以下となるまで目標値のレベルを下げる処理を行ない，レベルが下げられた目標値にもとづく修正ガンマ補正曲線算出処理および修正ガンマ補正曲線を用いたガンマ補正処理を繰返すように上記修正ガンマ補正曲線算出手段および上記第２のヒストグラム算出手段を制御するループ制御手段を備え，
上記ガンマ補正手段は，上記第２のヒストグラムのピーク値がしきい値以下となったときの目標値を上記対象画像の明るさの最終目標値として，上記被写体像データをガンマ補正する，
画像補正装置。
上記ノイズ低減パラメータ決定手段は，上記被写体像データが持つノイズ量と上記明るさ補正手段における補正の補正量とにもとづいてノイズ低減パラメータを決定するものである，
請求項１に記載の画像補正装置。
上記被写体像の中から上記対象画像を検出する対象画像検出手段をさらに備え，
上記明るさ補正手段は，
上記対象画像検出手段によって検出された対象画像の明るさが所定の目標値となるように，上記被写体像データを補正するものである，
請求項１に記載の画像補正装置。
上記ノイズ低減パラメータ決定手段が，
上記修正ガンマ補正曲線を微分して微分データを算出する微分回路，および
上記微分回路により算出された微分データにガンマ補正直前の上記被写体像データがもつノイズ量データを乗算してノイズ低減パラメータを算出する乗算回路，
を備えた請求項１に記載の画像補正装置。
上記ノイズ低減パラメータ決定手段が，
あらかじめ定められた基準の明るさとこの基準の明るさに対するガンマ補正値の明るさから定まるガンマ補正曲線の傾斜角にもとづいて上記ノイズ低減パラメータを決定するものである，
請求項１に記載の画像補正装置。
上記ノイズ低減パラメータ決定手段が，
あらかじめ定められた基準の明るさを基準ガンマ曲線を用いてガンマ補正した後のレベルと上記基準の明るさを上記修正ガンマ補正曲線を用いてガンマ補正した後のレベルとのレベル差にもとづいて上記ノイズ低減パラメータを決定するものである，
請求項１に記載の画像補正装置。
上記明るさ補正手段によって明るさ補正が行なわれた被写体像データから輪郭成分データを抽出する輪郭抽出手段をさらに備え，
上記ノイズ低減手段は，
上記輪郭抽出手段によって抽出された輪郭成分データをノイズ低減処理するものであり，
上記ノイズ低減処理手段によってノイズ低減された輪郭成分データと上記明るさ補正手段によって明るさ補正が行なわれた被写体像データとを加算する加算回路，
をさらに備えた請求項１に記載の画像補正装置。
被写体像の中の一部分である対象画像の明るさが所定の目標値となるように，上記被写体像を表わす三色のカラー被写体像データを補正する明るさ補正手段，
上記明るさ補正手段における補正の補正量にもとづいてノイズ低減パラメータを決定するノイズ低減パラメータ決定手段，および
上記ノイズ低減パラメータ決定手段によって決定されたノイズ低減パラメータにもとづいて，上記明るさ補正手段によって補正された被写体像データに対してノイズ低減処理を行なうノイズ低減手段を備え，
上記明るさ補正手段が，
上記三色のカラー被写体像データに対応した３つのゲイン・アップ手段を含む，上記対象画像の明るさを所定の目標値にするように上記三色のカラー被写体像データのレベルを上げる白バランス調整手段と，上記白バランス調整手段に与えられるゲイン量を算出するゲイン算出手段を含み，
上記ゲイン算出手段が，
上記三色のカラー被写体像データを基準のゲイン量を用いて白バランス調整した場合に得られる画像データの第１のヒストグラムを算出する第１のヒストグラム算出手段，
上記第１のヒストグラムのピーク値よりも所定レベルだけ明るい値をしきい値に決定するしきい値決定手段，
あらかじめ設定される上記対象画像の明るさの目標値にもとづいて修正されたゲイン量を算出する修正ゲイン量算出手段，
上記被写体像データを上記修正されたゲイン量によって白バランス調整した場合に得られる画像データの第２のヒストグラムを算出する第２のヒストグラム算出手段，ならびに
上記第２のヒストグラムのピーク値が上記しきい値以下となるまで目標値のレベルを下げる処理を行ない，レベルが下げられた目標値にもとづく修正ゲイン量算出処理および修正されたゲイン量を用いた白バランス調整処理を繰返すように上記修正ゲイン量算出手段および上記第２のヒストグラム算出手段を制御するループ制御手段を備え，
上記白バランス調整手段は，上記第２のヒストグラムのピーク値がしきい値以下となったときの目標値を上記対象画像の明るさの最終目標値として，上記被写体像データを白バランス調整する，
画像補正装置。
明るさ補正手段が，被写体像の中の一部分である対象画像の明るさが所定の目標値となるように，上記被写体像を表わす被写体像データを補正し，
ノイズ低減パラメータ決定手段が，上記明るさ補正手段における補正の補正量にもとづいてノイズ低減パラメータを決定し，
ノイズ低減手段が，上記ノイズ低減パラメータ決定手段によって決定されたノイズ低減パラメータにもとづいて，上記明るさ補正手段によって補正された被写体像データに対してノイズ低減処理を行なう画像補正方法であって，
上記明るさ補正手段が，
対象画像の明るさを所定の目標値にする修正ガンマ補正曲線にもとづいて上記被写体像データをガンマ補正するガンマ補正手段と，上記修正ガンマ補正曲線を生成するガンマ算出手段を含み，
上記ガンマ算出手段が，
上記被写体像データをあらかじめ定められる基本ガンマ補正曲線を用いてガンマ補正した場合に得られる画像データの第１のヒストグラムを算出し，
上記第１のヒストグラムのピーク値よりも所定レベルだけ明るい値をしきい値に決定し，
上記基本ガンマ補正曲線による入出力の最小値および最大値と同一の最小値および最大値を持ち，かつ対象画像の明るさをあらかじめ設定される上記対象画像の明るさの所定の目標値に補正する修正ガンマ補正曲線を，上記最小値，目標値および最大値を用いて算出し，
上記被写体像データを上記修正ガンマ補正曲線を用いてガンマ補正をした場合に得られる画像データの第２のヒストグラムを算出し，
上記第２のヒストグラムのピーク値が上記しきい値以下となるまで目標値のレベルを下げる処理を行ない，レベルが下げられた目標値にもとづく修正ガンマ補正曲線算出処理および修正ガンマ補正曲線を用いたガンマ補正処理を繰返し，
上記ガンマ補正手段が，上記第２のヒストグラムのピーク値がしきい値以下となったときの上記目標値を上記対象画像の明るさの最終目標値として，上記被写体像データをガンマ補正する，
画像補正方法。
明るさ補正手段が，被写体像の中の一部分である対象画像の明るさが所定の目標値となるように，上記被写体像を表わす三色のカラー被写体像データを補正し，
ノイズ低減パラメータ決定手段が，上記明るさ補正手段における補正の補正量にもとづいてノイズ低減パラメータを決定し，
ノイズ低減手段が，上記ノイズ低減パラメータ決定手段によって決定されたノイズ低減パラメータにもとづいて，上記明るさ補正手段によって補正された被写体像データに対してノイズ低減処理を行なう画像補正方法であって，
上記明るさ補正手段が，
上記三色のカラー被写体像データに対応した３つのゲイン・アップ手段を含む，上記対象画像の明るさを所定の目標値にするように上記三色のカラー被写体像データのレベルを上げる白バランス調整手段と，上記白バランス調整手段に与えられるゲイン量を算出するゲイン算出手段を含み，
上記ゲイン算出手段が，
上記三色のカラー被写体像データを基準のゲイン量を用いて白バランス調整した場合に得られる画像データの第１のヒストグラムを算出し，
算出した第１のヒストグラムのピーク値よりも所定レベルだけ明るい値をしきい値に決定し，
あらかじめ設定される上記対象画像の明るさの目標値にもとづいて修正されたゲイン量を算出し，
上記被写体像データを上記修正されたゲイン量によって白バランス調整した場合に得られる画像データの第２のヒストグラムを算出し，
上記第２のヒストグラムのピーク値が上記しきい値以下となるまで目標値のレベルを下げる処理を行ない，レベルが下げられた目標値にもとづく修正ゲイン量算出処理および修正されたゲイン量を用いた白バランス調整処理を繰返し，
上記白バランス調整手段が，上記第２のヒストグラムのピーク値がしきい値以下となったときの目標値を上記対象画像の明るさの最終目標値として，上記被写体像データを白バランス調整する，
画像補正方法。