JP3889867B2

JP3889867B2 - Imaging device

Info

Publication number: JP3889867B2
Application number: JP27158197A
Authority: JP
Inventors: 大川瀬; 厚志小橋
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 1997-10-03
Filing date: 1997-10-03
Publication date: 2007-03-07
Anticipated expiration: 2017-10-03
Also published as: JPH11113018A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮像装置、より詳しくは、被写体光を光電変換して３種類以上の色信号を出力する撮像装置に関する。
【０００２】
【従来の技術】
撮像装置が使用される環境には、太陽を始めとして、蛍光灯や白熱灯などの様々な光源が用いられている。
【０００３】
こうした光源の色温度（分光分布特性）は、各光源に応じて様々となっているために、それぞれの光源の下で同一の白色被写体を撮像装置を用いて撮影しても、そのままでは同一の白色画像は得られない。
【０００４】
これに対して、人間の眼は光源に応じた色順応を行うために、特殊な場合（ナトリウムランプなど）を除いては、白色被写体は白い色として認識される。
【０００５】
このような人間の眼の特性に合わせて白色被写体を白色として撮影することができるようにするために、撮像装置においては各色同士の信号レベルのバランスを調整するホワイトバランス調整が行われている。
【０００６】
このホワイトバランス調整において、撮像手段から得られる撮像信号のホワイトバランスを検出するには、色信号と輝度信号の差をとって、（Ｒ−Ｙ，Ｂ−Ｙ）軸空間（ここに、Ｒは赤、Ｂは青、Ｙは輝度信号である）内にプロットするのが一般的である。
【０００７】
【発明が解決しようとする課題】
しかしながら、上述したような色信号の差に基づく軸空間を用いた場合には、各色同士の信号レベルの比が同一であっても、被写体の明るさが変化するなどにより信号レベルの絶対値が変化すると、空間上のプロット位置が変化してしまうために、ホワイトバランスを検出する空間として必ずしも最適であるとはいえなかった。
【０００８】
また、従来の撮像装置では、ホワイトバランスの検出を画素単位で行うことがあったが、この場合には、演算手段の負担が増えて計算に要する時間も増大していた。
【０００９】
一方で、ホワイトバランスの検出を画面全体で行う従来例もあるが、この場合には、画面全体で同一輝度の白色被写体を検出する場合を除いて、正確にホワイトバランスをとるのが困難であった。
【００１０】
本発明は上記事情に鑑みてなされたものであり、簡単な構成により、適切なホワイトバランス検出を行うことができる撮像装置を提供することを目的としている。
【００１１】
【課題を解決するための手段】
上記の目的を達成するために、第１の発明による撮像装置は、被写体光を受光して光電変換を行い３種類以上の各色に係る色信号を出力する撮像手段と、撮像画面を分割して設定された複数の微小領域の色信号レベルを各色の色評価値として得る色評価値検出手段と、上記各微小領域の輝度レベルを検出する輝度レベル検出手段と、上記各微小領域が該微小領域の輝度レベルが第１の閾値と第２の閾値との間に含まれる適正輝度微小領域となる場合に上記色評価値検出手段から得られる各色に係る色評価値に基づき色相情報を求める色相情報検出手段と、上記色相情報検出手段から得られる色相情報が色相判定パラメータで規定される第１の色相範囲に含まれる有効な微小領域の数を計る有効微小領域計数手段と、有効微小領域の計数値が第３の閾値よりも大きい場合に画面全体について有効微小領域の色相情報の輝度レベルに基づく加重平均値を算出する第１の算出手段と、有効微小領域の計数値が第３の閾値以下である場合に画面全体について適正輝度微小領域の色相情報の平均値を算出する第２の算出手段と、上記第１の算出手段による加重平均値または上記第２の算出手段による平均値に基づいて複数の色信号レベルの補正値を求める補正値算出手段とを備えたものである。
【００１２】
また、第２の発明による撮像装置は、上記第１の発明による撮像装置において、上記色評価値検出手段が微小領域毎の色信号別平均値信号を各色の色評価値として出力するものである。
【００１３】
さらに、第３の発明による撮像装置は、上記第１の発明による撮像装置において、上記色評価値検出手段が微小領域毎の複数の色信号別中央値信号を各色の色評価値として出力するものである。
【００１４】
第４の発明による撮像装置は、上記第１の発明による撮像装置において、上記輝度レベル検出手段が、微小領域毎の所定の色に係る色評価値を輝度レベルとして出力するものである。
【００１５】
第５の発明による撮像装置は、上記第１の発明による撮像装置において、上記輝度レベル検出手段が微小領域毎の各色評価値の加重平均値を輝度レベルとして出力するものである。
【００１６】
第６の発明による撮像装置は、上記第１の発明による撮像装置において、上記色相情報検出手段が微小領域毎の複数の色評価値の比に基づき色相情報を求めて出力するものである。
【００１７】
第７の発明による撮像装置は、上記第１の発明による撮像装置において、上記第２の算出手段が、画面全体についての適正輝度微小領域の色相情報の平均値が第２の色相範囲に含まれる場合に、該平均値を所定の色相をつないで構成される所定の色相曲線に近似して、その近似した値を出力するものである。
【００１８】
第８の発明による撮像装置は、上記第７の発明による撮像装置において、上記第２の算出手段が、上記近似した値が上記第１の色相範囲の外である場合に、該第１の色相範囲により区切られる上記所定の色相曲線の両端値の内の近い方の値にさらに近似するものである。
【００１９】
第９の発明による撮像装置は、上記第７の発明による撮像装置において、上記所定の色相曲線が所定の直線である。
【００２０】
第１０の発明による撮像装置は、上記第７の発明による撮像装置において、上記第２の色相範囲が複数の領域に分割されており、上記所定の色相曲線がこれら複数の領域に各対応して複数設定されているものである。
【００２１】
第１１の発明による撮像装置は、上記第７の発明による撮像装置において、上記所定の色相曲線は予め複数用意されており、上記第２の算出手段は、明るさ情報に基づいてこれらの内の一の色相曲線を選択するものである。
【００２２】
第１２の発明による撮像装置は、上記第１の発明による撮像装置において、上記第２の算出手段が、画面全体についての適正輝度微小領域の色相情報の平均値が第２の色相範囲に含まれない場合に、上記第１の色相範囲内に設定されている所定の色相値を出力するものである。
【００２３】
第１３の発明による撮像装置は、上記第１２の発明による撮像装置において、上記所定の色相値は予め複数用意されており、上記第２の算出手段は、明るさ情報に基づいてこれらの内の一の色相値を選択するものである。
【００２４】
第１４の発明による撮像装置は、上記第１２の発明による撮像装置において、上記所定の色相値は予め複数用意されており、上記第２の算出手段は、明るさ情報および色相情報平均値に基づいてこれらの内の一の色相値を選択するものである。
【００２５】
第１５の発明による撮像装置は、上記第１２の発明による撮像装置において、上記所定の色相値は予め複数用意されており、上記第２の算出手段は、明るさ情報およびストロボ発光量に基づいてこれらの内の一の色相値を選択するものである。
【００２６】
第１６の発明による撮像装置は、上記第１５の発明による撮像装置において、上記ストロボ発光量が、ストロボによる発光量の総量であるストロボ絶対発光量および被写体距離に基づいて設定されるものである。
【００２７】
第１７の発明による撮像装置は、上記第１の発明による撮像装置において、上記第１の色相範囲が、明るさ情報に基づき上記色相判定パラメータを可変制御することにより変化されるものである。
【００２８】
第１８の発明による撮像装置は、上記第１の発明による撮像装置において、上記第１の色相範囲が、明るさ情報およびストロボ発光量に基づき上記色相判定パラメータを可変制御することにより変化されるものである。
【００２９】
第１９の発明による撮像装置は、上記第１８の発明による撮像装置において、上記ストロボ発光量が、ストロボによる発光量の総量であるストロボ絶対発光量および被写体距離に基づいて設定されるものである。
【００３０】
第２０の発明による撮像装置は、上記第１の発明による撮像装置において、特定の被写体を撮像した場合の各色に係る色信号レベルの比が、所定の基準値に一致するように補正するための撮像手段ばらつき補正係数を記録する不揮発性の記録手段を備えたものである。
【００３１】
第２１の発明による撮像装置は、上記第２０の発明による撮像装置において、上記撮像手段ばらつき補正係数を用いてゲイン補正を行うことにより、特定の被写体を撮像した場合の各色に係る色信号レベルの比を所定の基準値に一致させるゲイン補正手段を備えたものである。
【００３２】
第２２の発明による撮像装置は、上記第２０の発明による撮像装置において、上記撮像手段ばらつき補正係数を用いて上記色相情報検出を行う際の座標軸を変換することにより、特定の被写体を撮像した場合の各色に係る色信号レベルの比の、所定の基準値との違いを補正するものである。
【００３３】
第２３の発明による撮像装置は、上記第２０の発明による撮像装置において、上記撮像手段ばらつき補正係数を用いて上記色相パラメータを変換することにより、特定の被写体を撮像した場合の各色に係る色信号レベルの比の、所定の基準値との違いを補正するものである。
【００３４】
第２４の発明による撮像装置は、被写体光を受光して光電変換を行い３種類以上の各色に係る色信号を出力する撮像手段と、上記撮像手段により撮像された画像データを圧縮して記録する記録処理手段と、上記圧縮して記録された画像データを伸長する再生処理手段と、撮像画面を分割して設定された複数の微小領域の色信号レベルを各色の色評価値として得る色評価値検出手段と、上記各微小領域の輝度レベルを検出する輝度レベル検出手段と、上記各微小領域が該微小領域の輝度レベルが第１の閾値と第２の閾値との間に含まれる適正輝度微小領域となる場合に上記色評価値検出手段から得られる各色に係る色評価値に基づき色相情報を求める色相情報検出手段と、上記色相情報検出手段から得られる色相情報が色相判定パラメータで規定される第１の色相範囲に含まれる有効な微小領域の数を計る有効微小領域計数手段と、有効微小領域の計数値が第３の閾値よりも大きい場合に画面全体について有効微小領域の色相情報の輝度レベルに基づく加重平均値を算出する第１の算出手段と、有効微小領域の計数値が第３の閾値以下である場合に画面全体について適正輝度微小領域の色相情報の平均値を算出する第２の算出手段と、上記第１の算出手段による加重平均値または上記第２の算出手段による平均値に基づいて複数の色信号レベルの補正値を求める補正値算出手段とを備えたものである。
【００３５】
第２５の発明による撮像装置は、上記第２４の発明による撮像装置において、上記画像データは所定のブロックを単位として記録されており、上記微小領域を構成するデータサイズは、上記ブロックを構成するデータサイズのｎ（ｎは１以上の整数）倍である。
【００３６】
従って、第１の発明による撮像装置は、撮像手段が被写体光を受光して光電変換を行い３種類以上の各色に係る色信号を出力し、色評価値検出手段が撮像画面を分割して設定された複数の微小領域の色信号レベルを各色の色評価値として得、輝度レベル検出手段が上記各微小領域の輝度レベルを検出し、色相情報検出手段が、上記各微小領域が該微小領域の輝度レベルが第１の閾値と第２の閾値との間に含まれる適正輝度微小領域となる場合に上記色評価値検出手段から得られる各色に係る色評価値に基づき色相情報を求め、有効微小領域計数手段が上記色相情報検出手段から得られる色相情報が色相判定パラメータで規定される第１の色相範囲に含まれる有効な微小領域の数を計り、第１の算出手段が有効微小領域の計数値が第３の閾値よりも大きい場合に画面全体について有効微小領域の色相情報の輝度レベルに基づく加重平均値を算出し、第２の算出手段が有効微小領域の計数値が第３の閾値以下である場合に画面全体について適正輝度微小領域の色相情報の平均値を算出し、補正値算出手段が上記第１の算出手段による加重平均値または上記第２の算出手段による平均値に基づいて複数の色信号レベルの補正値を求める。
【００３７】
また、第２の発明による撮像装置は、上記色評価値検出手段が微小領域毎の色信号別平均値信号を各色の色評価値として出力する。
【００３８】
さらに、第３の発明による撮像装置は、上記色評価値検出手段が微小領域毎の複数の色信号別中央値信号を各色の色評価値として出力する。
【００３９】
第４の発明による撮像装置は、上記輝度レベル検出手段が微小領域毎の所定の色に係る色評価値を輝度レベルとして出力する。
【００４０】
第５の発明による撮像装置は、上記輝度レベル検出手段が微小領域毎の各色評価値の加重平均値を輝度レベルとして出力する。
【００４１】
第６の発明による撮像装置は、上記色相情報検出手段が微小領域毎の複数の色評価値の比に基づき色相情報を求めて出力する。
【００４２】
第７の発明による撮像装置は、上記第２の算出手段が、画面全体についての適正輝度微小領域の色相情報の平均値が第２の色相範囲に含まれる場合に、該平均値を所定の色相をつないで構成される所定の色相曲線に近似して、その近似した値を出力する。
【００４３】
第８の発明による撮像装置は、上記第２の算出手段が、上記近似した値が上記第１の色相範囲の外である場合に、該第１の色相範囲により区切られる上記所定の色相曲線の両端値の内の近い方の値にさらに近似する。
【００４４】
第９の発明による撮像装置は、上記所定の色相曲線を所定の直線とする。
【００４５】
第１０の発明による撮像装置は、上記第２の色相範囲を複数の領域に分割し、上記所定の色相曲線をこれら複数の領域に各対応して複数設定している。
【００４６】
第１１の発明による撮像装置は、上記所定の色相曲線が予め複数用意されており、上記第２の算出手段が明るさ情報に基づいてこれらの内の一の色相曲線を選択する。
【００４７】
第１２の発明による撮像装置は、上記第２の算出手段が、画面全体についての適正輝度微小領域の色相情報の平均値が第２の色相範囲に含まれない場合に、上記第１の色相範囲内に設定されている所定の色相値を出力する。
【００４８】
第１３の発明による撮像装置は、上記所定の色相値は予め複数用意されており、上記第２の算出手段が、明るさ情報に基づいてこれらの内の一の色相値を選択する。
【００４９】
第１４の発明による撮像装置は、上記所定の色相値は予め複数用意されており、上記第２の算出手段が、明るさ情報および色相情報平均値に基づいてこれらの内の一の色相値を選択する。
【００５０】
第１５の発明による撮像装置は、上記所定の色相値は予め複数用意されており、上記第２の算出手段が、明るさ情報およびストロボ発光量に基づいてこれらの内の一の色相値を選択するものである。
【００５１】
第１６の発明による撮像装置は、上記ストロボ発光量を、ストロボによる発光量の総量であるストロボ絶対発光量および被写体距離に基づいて設定する。
【００５２】
第１７の発明による撮像装置は、上記第１の色相範囲が、明るさ情報に基づき上記色相判定パラメータを可変制御することにより変化される。
【００５３】
第１８の発明による撮像装置は、上記第１の色相範囲が、明るさ情報およびストロボ発光量に基づき上記色相判定パラメータを可変制御することにより変化される。
【００５４】
第１９の発明による撮像装置は、上記ストロボ発光量を、ストロボによる発光量の総量であるストロボ絶対発光量および被写体距離に基づいて設定する。
【００５５】
第２０の発明による撮像装置は、不揮発性の記録手段が、特定の被写体を撮像した場合の各色に係る色信号レベルの比が所定の基準値に一致するように補正するための撮像手段ばらつき補正係数を記録する。
【００５６】
第２１の発明による撮像装置は、ゲイン補正手段が、上記撮像手段ばらつき補正係数を用いてゲイン補正を行うことにより、特定の被写体を撮像した場合の各色に係る色信号レベルの比を所定の基準値に一致させる。
【００５７】
第２２の発明による撮像装置は、上記撮像手段ばらつき補正係数を用いて上記色相情報検出を行う際の座標軸を変換することにより、特定の被写体を撮像した場合の各色に係る色信号レベルの比の所定の基準値との違いを補正する。
【００５８】
第２３の発明による撮像装置は、上記撮像手段ばらつき補正係数を用いて上記色相パラメータを変換することにより、特定の被写体を撮像した場合の各色に係る色信号レベルの比の所定の基準値との違いを補正する。
【００５９】
第２４の発明による撮像装置は、撮像手段が被写体光を受光して光電変換を行い３種類以上の各色に係る色信号を出力し、記録処理手段が上記撮像手段により撮像された画像データを圧縮して記録し、再生処理手段が上記圧縮して記録された画像データを伸長し、色評価値検出手段が撮像画面を分割して設定された複数の微小領域の色信号レベルを各色の色評価値として得、輝度レベル検出手段が上記各微小領域の輝度レベルを検出し、色相情報検出手段が、上記各微小領域が該微小領域の輝度レベルが第１の閾値と第２の閾値との間に含まれる適正輝度微小領域となる場合に上記色評価値検出手段から得られる各色に係る色評価値に基づき色相情報を求め、有効微小領域計数手段が上記色相情報検出手段から得られる色相情報が色相判定パラメータで規定される第１の色相範囲に含まれる有効な微小領域の数を計り、第１の算出手段が有効微小領域の計数値が第３の閾値よりも大きい場合に画面全体について有効微小領域の色相情報の輝度レベルに基づく加重平均値を算出し、第２の算出手段が有効微小領域の計数値が第３の閾値以下である場合に画面全体について適正輝度微小領域の色相情報の平均値を算出し、補正値算出手段が上記第１の算出手段による加重平均値または上記第２の算出手段による平均値に基づいて複数の色信号レベルの補正値を求める。
【００６０】
第２５の発明による撮像装置は、上記画像データは所定のブロックを単位として記録されており、上記微小領域を構成するデータサイズを、上記ブロックを構成するデータサイズのｎ（ｎは１以上の整数）倍とする。
【００６１】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１から図１９は本発明の第１の実施形態を示したものであり、図１は撮像装置の構成を示すブロック図である。
【００６２】
この撮像装置の構成を、図１における信号の流れに沿って説明する。
【００６３】
撮像レンズ１は、被写体像を後述するＣＣＤ７の撮像面に結像するためのものであり、この撮像レンズ１を通過した被写体光は、絞りおよびシャッタ２によって通過光量の調節や通過／遮断の制御が行われるようになっている。
【００６４】
上記絞りおよびシャッタ２を通過した被写体光は、プリズム３によりその一部が取り出されて、ファインダ光学系側に反射されるようになっている。
【００６５】
このファインダ光学系は、上記プリズム３により反射された被写体光を撮影光軸とほぼ並行となるように後方側に反射するミラー４と、このミラー４により反射された被写体光をユーザの眼底に結像させるためのファインダレンズ５とを有して構成されている。
【００６６】
上記プリズム３により反射されなかった被写体光は、その大部分が透過されて、ローパスフィルタ６により上記ＣＣＤ７のサンプリングピッチでは正しく再現することのできない空間周波数の高い信号成分を除去された後に、撮像素子たるＣＣＤ７に入射し、その撮像面において電気信号に変換されるようになっている。
【００６７】
このＣＣＤ７の出力は、相関２重サンプリング（ＣＤＳ）８により低周波ノイズおよびリセットノイズを除去され、ゲインコントロールアンプ（ＧＣＡ）９に入力されて感度調節が行われた後に、アナログデジタルコンバータ（ＡＤＣ）１０に入力されてデジタル信号に変換され出力される。
【００６８】
上述したような撮像レンズ１、絞りおよびシャッタ２、プリズム３、ＬＰＦ６、ＣＣＤ７、ＣＤＳ８、ＧＣＡ９、ＡＤＣ１０を含んで撮像手段が構成されている。
【００６９】
この撮像手段の出力は、ゲイン補正回路１１に入力されてＣＣＤ７の各色信号レベルを粗調されホワイトバランスを補正された後に、階調変換回路１２により階調方向へのデータ圧縮が、例えば１０ビットデータを８ビットデータに変換する等により行われる。
【００７０】
階調変換後のデータは、撮影前にユーザが構図等を決定する際には、表示用バッファメモリを有するディスプレイ用処理回路１４に入力されて、撮像手段７の画素数からディスプレイ用の画素数に変換される。
【００７１】
そして、ディスプレイインターフェース（ディスプレイＩ／Ｆ）１５により信号レベルを変換されて、ディスプレイ駆動信号として出力され、この撮像装置に備えられた例えばカラーＬＣＤ等で構成される図示しないディスプレイに、スルー画像が表示されるようになっている。
【００７２】
一方、上記階調変換回路１２の出力は、後述する操作スイッチ２９を介してユーザによる撮影指示入力があった場合には、例えばＤＲＡＭ等で構成されるメモリ１３に読み込まれて、一旦、バッファリングされる。
【００７３】
上記メモリ１３にバッファされたデータは、その後に読み出されて、ホワイトバランス（ＷＢ）検出回路１６と記録処理手段１７に入力される。このホワイトバランス検出回路１６は、後で詳しく説明するように、撮像した画像データから白い被写体を推定し、その情報に基づいてホワイトバランスを調整するためのデータを出力するものである。
【００７４】
このホワイトバランスデータは上記記録処理手段１７に入力されて、Ｒ，Ｇ，Ｂで入力される画像データにホワイトバランス補正を施し、Ｙ，Ｃb ，Ｃr 信号に変換して離散コサイン変換（ＤＣＴ）した後に、符号化によるデータ圧縮を行って、例えば１画像について１ファイル等の標準的な信号形態に変換して出力する。
【００７５】
この出力は、メディアインタフェース（メディアＩ／Ｆ）１８を介して、この撮像装置に内蔵または着脱自在の例えばフラッシュメモリ等で構成される記録メディア２０に記録されるようになっている。
【００７６】
この記録メディア２０から読み出されたデータは、上記メディアＩ／Ｆ１８を介して再生処理手段１９に入力され、上記記録処理手段１７とは逆の順序で復号化および逆ＤＣＴが行われ、さらにＹ，Ｃb ，Ｃr 信号からＲ，Ｇ，Ｂ信号に変換されて、上記メモリ１３に記憶され、あるいはディスプレイに表示されるようになっている。
【００７７】
上記ＡＤＣ１０の出力はＡＥ／ＡＦ検出回路２５に入力されて、ＣＣＤ７の出力から露出制御用のＡＥ情報および合焦制御用のＡＦ情報が検出され、システムコントローラ２６に入力されるようになっている。
【００７８】
システムコントローラ２６は、これらＡＥ情報およびＡＦ情報に基づいて、撮像光学系ドライバ２１を介して上記撮像レンズ１を駆動して焦点位置を合わせ、あるいは絞りおよびシャッタ２を駆動して絞り値やシャッタ速度を制御するようになっている。
【００７９】
さらに、これらＡＥ情報およびＡＦ情報は、上記ＧＣＡ９のゲインを制御する際にも用いられる。
【００８０】
また、上記ＣＣＤ７はＣＣＤドライバ２２により駆動されるようになっており、このＣＣＤドライバ２２と上記ＣＤＳ８、ＡＤＣ１０は、タイミングジェネレータ（ＴＧ）２３の出力信号により同期がとられるようになっている。
【００８１】
シグナルジェネレータ（ＳＧ）２４は、システムクロックを発生する上記ＴＧ２３の出力に基づき同期信号を生成するものである。
【００８２】
上記システムコントローラ２６は、上述した各回路を含むこの撮像装置全体を統括的に制御するものであり、撮影を指示入力するためのレリーズスイッチ等を含む操作スイッチ２９が接続されている。
【００８３】
また、このシステムコントローラ２６を制御するプログラムやデータ等は、不揮発性の記録手段２８に記録されていて、必要に応じて読み出されるようになっている。
【００８４】
さらに、上記システムコントローラ２６にはストロボ２７が接続されていて、上記ＡＥ情報やＡＦ情報等に基づいて必要に応じて発光し、被写体を照明するようになっている。
【００８５】
次に、上記ＣＣＤ７の構成について、図２および図３を参照して説明する。図２はＣＣＤの撮像面に設けられたカラーフィルタの構成を示す図、図３はＣＣＤの撮像画面を複数の微小領域に分割する状態を示す図である。
【００８６】
このＣＣＤ７は、その撮像面に赤（Ｒ）フィルタ、青（Ｂ）フィルタ、緑（Ｇ）フィルタをいわゆるベイヤー配列に配設して構成されており、２×２画素中の左上画素をＲフィルタ、右下画素をＢフィルタとしたときに、右上画素および左下画素がＧフィルタとなる配置である。それゆえに、Ｇフィルタは、他のＲ，Ｂフィルタの２倍の数だけ設けられていることになる。
【００８７】
このような構成のＣＣＤ７の撮像画面７ａは、８×８画素を単位とする複数の微小領域３１に分割されていて、後述するように、この微小領域３１毎にホワイトバランスの検出が行われるようになっている。
【００８８】
上記カラーフィルタを介して得られる色信号のレベル（ＣＣＤ７の分光感度）は、図４に示すように、緑を光電変換する画素が他の色の画素の２倍あることから、緑を中心とする出力レベルが他の色の出力レベルよりも高くなっている。
【００８９】
また、ＣＣＤ７の光量に応じた出力は、図５および図６に示すようになっている。
【００９０】
まず、図５は色温度が高い場合の光量に対するＣＣＤ出力を示す線図である。色温度が高い場合には、青色成分が強くなるために、Ｒ出力よりもＢ出力の方が大きくなっている。また、ＣＣＤ７による光電変換特性の直線性を確保することができる光量には上限があり、図示のＧ0Hを超えるとＧ出力の直線性が崩れてしまう。それ故に、このＧ0Hよりも光量が多くなると、カラーバランスが崩れて、正確なホワイトバランスをとることができなくなる。なお、ＢやＲについても直線性を確保することができる上限があるのは同様であるが、通常はＧ出力が最も大きいために、主としてＧの上限について考慮することになる。
【００９１】
一方、図６は色温度が低い場合の光量に対するＣＣＤ出力を示す線図である。色温度が低い場合には、赤色成分が強くなるために、Ｂ出力よりもＲ出力の方が大きくなっている。この図では、Ｇ0Lが直線性を確保することができる上限となっている。
【００９２】
このように、光量が所定値よりも大きい場合には、ホワイトバランスを取るためのデータとして用いるには不適切であるために、ホワイトバランス検出用の出力の輝度レベルには上限（第２の閾値）を設けるようになっている。
【００９３】
また、輝度レベルが低すぎる場合もノイズ等の影響が大きくなって、適切なカラーバランスを得ることができないために、同様にして、下限の輝度レベル（第１の閾値）も設けている。
【００９４】
こうして輝度レベルとしては、第１の閾値と第２の閾値との間に含まれるもののみが、色相情報を検出するためのデータとして用いられることになる。
【００９５】
次に図７は、撮像装置の撮影時の処理の流れを示すタイムチャートである。図中、ＶＤは垂直同期信号を示している。
【００９６】
図示しない電源スイッチが入っていてこの撮像装置が撮影モードとなっているときには、ＣＣＤ７から出力される画像データは、スルー画像としてディスプレイに表示されるようになっている。
【００９７】
そして、このときには、ＡＥ／ＡＦ検出回路２５によりＡＥ検出が行われて、その結果に基づき撮像光学系ドライバ２１を介して絞りおよびシャッタ２等を制御することにより、適切な露光状態が得られるように調節されている。
【００９８】
上記ディスプレイの表示を確認しながら構図等が良好となったところで、ユーザが画像の記録を行うべく２段スイッチでなる上記操作スイッチ２９を操作すると、１段目のスイッチに応答して第１トリガが発せられる。
【００９９】
この第１トリガを受けたシステムコントローラ２６は、上記ＡＥ／ＡＦ検出回路２５によりＡＦ検出を行わせ、さらにその検出結果を受けて撮像光学系ドライバ２１により撮像レンズ１のフォーカシングレンズを調節して合焦位置とさせる。
【０１００】
その後、上記操作スイッチ２９の２段目のスイッチに応答して第２トリガが発せられると、ＣＣＤ７に電荷が蓄積される露光が行われる。被写体に補助光を照射する必要があると判断される場合には、この露光期間内に上記ストロボ２７による発光が行われる。
【０１０１】
露光期間が終了すると、上記ＣＣＤドライバ２２の駆動により各画素の電荷の読み出しが行われ、その後のＣＤＳ８から階調変換回路１２までの各回路を介して一旦メモリ１３に蓄積された後に、ホワイトバランス検出回路１６においてホワイトバランスの検出が行われる。
【０１０２】
そして、この検出結果を受けて適切にホワイトバランス補正された信号に、記録を行うための圧縮処理等が上述したように施され、上記記録メディア２０に順次記録されて行く。
【０１０３】
次に、図８はホワイトバランス処理を示すフローチャートである。
【０１０４】
上述したような撮像手段により被写体光を受光して光電変換を行いＲＧＢの各色に係る色信号が出力されると（ステップＳ１）、これらのデータはメモリ１３に一旦蓄積される。
【０１０５】
その後、上記システムコントローラ２６の制御により、該メモリ１３のデータが順次読み出されて、ホワイトバランス検出回路１６に入力される。
【０１０６】
このホワイトバランス検出回路１６では、まず、撮像画面７ａを分割して設定された複数の微小領域３１において、色信号レベルを、各色の色評価値として検出する（ステップＳ２）。
【０１０７】
より具体的には、上記微小領域３１を構成する８×８画素の内、１６個のＲ画素出力の信号レベルの平均値をＲの色評価値とし、３２個のＧ画素出力の信号レベルの平均値をＧの色評価値とし、１６個のＢ画素出力の色信号レベルの平均値をＢの色評価値とする。これにより、ノイズの影響をほとんど受けることのない色評価値を、簡単な演算で得ることができる。
【０１０８】
あるいは各画素出力を信号レベル順に並べて、１６個のＲ画素出力の信号レベルの中央値をＲの色評価値とし、３２個のＧ画素出力の信号レベルの中央値をＧの色評価値とし、１６個のＢ画素出力の色信号レベルの中央値をＢの色評価値としてもよい。この場合には、ノイズの影響を全く受けることがないという利点がある。
【０１０９】
次に、上記微小領域３１の輝度レベルを検出する（ステップＳ３）。この輝度レベルとしては、次に示す数式１により各色信号の加重平均値として得られる輝度信号Ｙのレベルを用いるのが一般的である。
【０１１０】
【数１】
Ｙ＝０．３Ｒ＋０．５９Ｇ＋０．１１Ｂ
しかしながら本実施形態では、これに代えて所定の色信号のレベル、ここでは最も輝度信号Ｙに対する寄与の大きい信号であるＧ信号のレベルを用いるようにしている。これにより、計算が不要になるという利点が得られるためである。なお、Ｇ信号に限らず、Ｒ信号やＢ信号を用いることも可能である。
【０１１１】
そして、この検出した輝度レベルが、上述したような下限の輝度レベルである第１の閾値と上限の輝度レベルである第２の閾値の間に含まれるか否かを判定し（ステップＳ４）、含まれない場合にはその微小領域３１のデータを無効データとする（ステップＳ５）。これにより、輝度レベルが高すぎる微小領域３１のデータや輝度レベルが低すぎる微小領域３１のデータは、後述する色相情報検出には用いられないことになる。
【０１１２】
また、上記ステップＳ４において、検出した輝度レベルが第１の閾値と第２の閾値の間に含まれる場合には、上記ステップＳ２の色評価値検出により得られた微小領域３１のＲＧＢの色評価値の比、つまり、Ｒ／ＧとＢ／Ｇを計算して、その微小領域３１に関する色相情報とする（ステップＳ６）。
【０１１３】
そして、この色相情報が、図１０に示すような色相判定パラメータで規定される第１の色相範囲Ａ１内に含まれるか否かを判定する（ステップＳ７）。
【０１１４】
ここで、この図１０について説明する。図１０は、後述するステップＳ１０における、有効微小領域に係る色相情報の加重平均値の算出を説明するための図である。
【０１１５】
図において、符号Ａ０は色相情報検出空間を示しており、Ｒ／ＧとＢ／Ｇの２軸により張られる空間である。また、符号Ａ１は色相判定パラメータにより規定される第１の色相範囲を示しており、各種の光源の下で白色被写体が位置すると考えられる範囲である。この第１の色相範囲は、図示の例では多角形をなしており、経験的に求められたものである。さらに、符号Ａ２は第２の色相範囲を示しており、白色に準ずる範囲、つまりあまり色彩が強くない範囲である。
【０１１６】
このような色相空間において、空間内の座標で与えられる上記算出した色相情報が、上記第１の色相範囲Ａ１内に含まれるか否かの判断を行うが、より具体的には、第１の色相範囲Ａ１の境界となる多角形の各辺を構成する直線と対象となる色相情報とを比較し、この比較を全ての辺について行って決定する。
【０１１７】
このステップＳ７において、第１の色相範囲Ａ１内に含まれていないと判断された場合には上記ステップＳ５へ行って無効データとし、一方、第１の色相範囲Ａ１内に含まれている場合には、有効微小領域の数を計数するカウンタをインクリメントする（ステップＳ８）。
【０１１８】
そして、このステップＳ８または上記ステップＳ５が終了したら、上述した処理が撮像画面７ａを分割して設定された複数の微小領域３１の全てについて終了したか否かを判断し（ステップＳ９）、まだ終了していない場合には、上記ステップＳ２へ戻って、次の微小領域３１についての処理を行う。
【０１１９】
上記ステップＳ９において、全ての微小領域３１について処理が終了したと判断された場合には、上記ステップＳ８において順次加算して得られた計数値が第３の閾値よりも大きいか否かを判断する（ステップＳ１０）。これは、上記第１の色相範囲Ａ１内に含まれるデータの数、つまり、白を推定するために用いるデータの数が所定数に達しているかを判断するためである。
【０１２０】
このステップＳ１０において、計数値が第３の閾値を超えている場合には、撮像画面７ａ全体について有効であると判断された微小領域３１の色相情報の、輝度レベルに基づく重みを加えた平均値を算出する（ステップＳ１１）。
【０１２１】
例えば２つの有効微小領域があって、上記図１０の符号４１，４２に示すようにプロットされているとすると、これらの輝度レベルが等しい場合に、加重平均値として符号４３に示すような中点が算出される。
【０１２２】
なお、上記第３の閾値は全微小領域の数の例えば１割程度に設定されるために、実際にはこのステップＳ１１において演算の対象となる有効微小領域の数はもっと多くなる。そして、各有効微小領域の輝度レベルもそれぞれ異なるために、一般的には中点とならないことは勿論である。
【０１２３】
そして、この加重平均値（Ｒ／Ｇ，Ｂ／Ｇ）の逆数を、複数の色信号レベルの補正値であるホワイトバランスゲインＧr ，Ｇb として求める（ステップＳ１３）。つまり、ホワイトバランスゲインＧr ，Ｇb は、ｉ番目の有効微小領域の色評価値をＲi ，Ｇi ，Ｂi とすると、輝度レベルＧi に２乗の重みを付けて加重平均をとると、以下の数式２により求められることになる。
【０１２４】
【数２】
Ｇr ＝（Σ（Ｇi^2））／（ΣＲi×Ｇi）
Ｇb ＝（Σ（Ｇi^2））／（ΣＢi×Ｇi）
ここに、各総和（Σ）は変数ｉについてとるものとし、記号「^」はべき乗を表す。
【０１２５】
一方、上記ステップＳ１０において、計数値が第３の閾値以下である場合には、有効微小領域のみに基づいてホワイトバランス用のゲインを求めるにはデータ数が不足するために、撮像画面７ａ全体について色相情報平均値を算出して用いるようにする（ステップＳ１２）。
【０１２６】
このステップＳ１２の詳細について、図９を参照して説明する。図９は画面全体色相情報平均値算出処理の詳細を示すフローチャートである。
【０１２７】
この処理が始まると、まず、撮像画面７ａ全体について、適正輝度（つまり、第１の閾値よりも大きく第２の閾値よりも小さい輝度レベル）となる微小領域３１についての色相情報平均値を算出する（ステップＳ２１）。
【０１２８】
具体的には、各色相情報平均値（Ｒ／Ｇ）average，（Ｂ／Ｇ）averageは、撮像画面７ａ全体におけるｉ番目の適正輝度微小領域の色評価値をＲi ，Ｇi ，Ｂi とすると、以下の数式３により求められる。
【０１２９】
【数３】
（Ｒ／Ｇ）average ＝（Σ（Ｒi／Ｇi））／（Σ１）
（Ｂ／Ｇ）average ＝（Σ（Ｂi／Ｇi））／（Σ１）
なお、右辺の分母におけるΣ１は、適正輝度微小領域３１の数を計算する部分である。
【０１３０】
そして、この画面全体色相情報平均値が上述した第２の色相範囲Ａ２に含まれているか否かを判断する（ステップＳ２２）。含まれている場合には、その画面全体色相情報平均値を、所定の色相をつないで構成される所定の色相曲線に近似させる（ステップＳ２４）。
【０１３１】
このときの様子を図１１を参照して説明する。図１１は画面全体色相情報平均値を所定の色相曲線に近似させる様子を示す図である。
【０１３２】
上記所定の色相曲線は、例えば、異なる各色温度の黒体幅射の下での白色被写体による色相情報の集合として与えられる。
【０１３３】
このとき図示の色相曲線Ｌ０は、計算を簡単にするために、上記所定の色相曲線を１次近似して得られた直線として設定されている。
【０１３４】
なお、上述した説明で既に明らかになっているように、この「直線」とは、システムが使用している色評価空間（上述では色相空間）における直線を意味している。すなわち、上述の場合には、色信号の比Ｒ／ＧとＢ／Ｇを軸とする２次元空間における直線である。また、これに限らず、システムが色評価値として色差信号Ｒ−Ｙ，Ｂ−Ｙを用いている場合には、これらＲ−ＹとＢ−Ｙを軸とする２次元空間における直線であれば良く、システムがさらにその他の色評価値を採用している場合も同様である。
【０１３５】
ここで、画面全体色相情報平均値が符号４４に示すように与えられたとすると、この点４４から色相曲線Ｌ０に下した垂線の足４４ａが上記ステップＳ２４において近似させた値となる。画面全体色相情報平均値が符号４５または符号４６に示すように与えられる場合も同様にして垂線を下ろして近似させる。
【０１３６】
そして、近似後の色相値が色相曲線Ｌ０上の所定範囲内に入っているか否かを判定する（ステップＳ２５）。この所定範囲とは、第１の色相範囲Ａ１に含まれる色相曲線Ｌ０の範囲として定義されている。すなわち、下ろした垂線の足が第１の色相範囲Ａ１で区切られる色相曲線Ｌ０による線分上にあるか否かを判定する。
【０１３７】
近似後の色相値が色相曲線Ｌ０上の所定範囲内に入っている場合には、つまり符号４４に示すような場合には、近似後の色相値４４ａを画面全体色相情報平均値として設定して（ステップＳ２６）リターンする。
【０１３８】
また、近似後の色相値が色相曲線Ｌ０上の所定範囲内に入っていない場合には、所定範囲の両端値の内の近似後の色相値に近い方を画面全体色相情報平均値として設定する（ステップＳ２７）。上記符号４５に示すような場合には、垂線の足は所定範囲外となるために、さらに両端値の内の近い方の点４５ａに近似を行って、これを画面全体色相情報平均値とする。また、上記符号４６に示すような場合にも同様に、両端値の内の近い方の点４６ａに近似を行う。こうして、白色としてあり得ないデータにリミットをかけるようにしている。そして、その後リターンして図８のルーチンに復帰する。
【０１３９】
一方、上記ステップＳ２２において、画面全体色相情報平均値が第２の色相範囲Ａ２に含まれていない場合、つまり、図１４の符号５４に示すような点となる場合には、第１の色相範囲Ａ１内に予め設定されている所定の色相値Ｐ０を画面全体の色相情報平均値として設定する（ステップＳ２３）。そして、その後リターンして図８のルーチンに復帰する。
【０１４０】
こうして得られた画面全体色相情報平均値に基づいて、上記ステップＳ１３において該平均値の逆数をとったものをホワイトバランスのゲインとする。
【０１４１】
そして、該ゲインに基づいてホワイトバランスを調節して記録メディア２０に記録するようになっている。
【０１４２】
次に、上記図１１に示したような近似の他の例について説明する。
図１２は画面全体色相情報平均値を所定の色相曲線に近似させる他の例を示す図である。
【０１４３】
上記第２の色相範囲Ａ２は、複数の領域、ここでは２つの領域Ａ２ａ，Ａ２ｂに分割されており、これら分割された複数の領域Ａ２ａ，Ａ２ｂに各対応して画面全体の色相情報平均値が近似される色相曲線Ｌ１，Ｌ２が複数設定されている。
【０１４４】
すなわち、画面全体の色相情報平均値が領域Ａ２ａに含まれる場合には、色相曲線Ｌ１に近似され、領域Ａ２ｂに含まれる場合には、色相曲線Ｌ２に近似されるようになっている。
【０１４５】
そして、近似後の色相値が所定範囲、つまり第１の色相範囲Ａ１で区切られる色相曲線Ｌ１，Ｌ２による線分上にあるようにさらに近似することは上述と同様である。
【０１４６】
これにより、画面全体色相情報平均値が符号４７に示すように与えられたとすると、領域Ａ２ａに含まれるために近似される色相曲線はＬ１となり、この点４７から色相曲線Ｌ１に下した垂線の足４７ａは、所定範囲内にあるからそのまま近似させた値となる。
【０１４７】
また、画面全体色相情報平均値が符号４８に示すように与えられたとすると、領域Ａ２ｂに含まれるために近似される色相曲線はＬ２となり、この点４８から色相曲線Ｌ２に下した垂線の足４８ａは、所定範囲内にあるから同様に近似させた値となる。
【０１４８】
一方、画面全体色相情報平均値が符号４９に示すように与えられたとすると、領域Ａ２ａに含まれるために近似される色相曲線はＬ１である。この点４９から色相曲線Ｌ１に下した垂線の足は、所定範囲外であるために、さらに所定範囲の両端値の内の近い方の点４９ａに近似を行う。
【０１４９】
これにより、より複雑な光源等に応じたきめの細かい対応が可能になる。例えば、一般的な光源、つまり白熱灯や太陽光などの熱放射性光源（黒体幅射に準ずる光源）と、それ以外の特殊な光源（蛍光灯など）との複数の光源に、より適切に対応することができる。
【０１５０】
図１３は画面全体色相情報平均値を所定の色相曲線に近似させるさらに他の例を示す図である。
【０１５１】
この例においても、画面全体の色相情報が近似される色相曲線Ｌ３，Ｌ４が複数設定されていることは上述と同様である。
【０１５２】
これらの内の色相曲線Ｌ３は、太陽光の下での白に対応する色相点Ｔ１を通るように設定されており、また色相曲線Ｌ４は、蛍光灯の下での白に対応する色相点Ｔ２を通るように設定されている。
【０１５３】
そして、被写体の明るさ情報に基づいて、色相曲線Ｌ３とＬ４の何れかを選択するようになっている。ここでは、被写体が明るい場合には色相曲線Ｌ３を選択し、暗い場合には色相曲線Ｌ４を選択する。
【０１５４】
図示の例では色相点５１，５３は明るい被写体に対応する点であり、それぞれ色相曲線Ｌ３上の点５１ａ，５３ａに上述と同様にして近似される。
【０１５５】
また、色相点５２は暗い撮像画面に対応する点であり、色相曲線Ｌ４上の点５２ａに近似される。
【０１５６】
こうして、被写体の明るさに応じたよりきめの細かい対応が可能になる。例えば、太陽光などの比較的明るい光源と、蛍光灯などの比較的暗い光源とに、より適切に対応することができる。
【０１５７】
次に、上記図１４に示したような場合の他の例について説明する。
図１５は画面全体色相情報平均値が第２の色相範囲Ａ２に含まれていない場合の近似の第２の例を示す図である。
【０１５８】
上記図１４に示した例においては、近似する点が１つであったが、この図１５に示す例は複数設けたものである。
【０１５９】
すなわち、第１の色相範囲Ａ１内に、複数の所定の色相値Ｐ１，Ｐ２が予め設定されている。
【０１６０】
これらの内の色相値Ｐ１は、太陽光の下での白に対応する色相点となるように設定されており、また色相値Ｐ２は、蛍光灯の下での白に対応する色相点となるように設定されている。
【０１６１】
そして、被写体の明るさ情報に基づいて、色相値Ｐ１とＰ２の何れかを選択するようになっている。ここでは、被写体が明るい場合には色相値Ｐ１を選択し、暗い場合には色相値Ｐ２を選択する。
【０１６２】
図示の例では色相点５５は明るい被写体に対応する点であり、所定の色相値Ｐ１が選択される。
【０１６３】
また、色相点５６は暗い被写体に対応する点であり、所定の色相値Ｐ２が選択される。
【０１６４】
こうして、画面全体色相情報平均値が第２の色相範囲Ａ２に含まれていない場合でも、被写体の明るさに応じたよりきめの細かい対応が可能になる。
【０１６５】
図１６は画面全体色相情報平均値が第２の色相範囲Ａ２に含まれていない場合の近似の第３の例を示す図である。
【０１６６】
この例においては、第１の色相範囲Ａ１内に、複数の所定の色相値Ｐ１，Ｐ２が予め設定されていることについては上記図１５に示した例と同様である。
【０１６７】
そして、上記図１５の例では明るさ情報に基づいて複数の所定の色相値Ｐ１，Ｐ２を選択したが、この図１６の例は、明るさ情報および色相情報平均値に基づいて選択するようにしたものである。
【０１６８】
図中、点線Ｄ０は、色相情報平均値について、赤（Ｒ）の彩度が強いか、青（Ｂ）の彩度が強いかを分別する線である。
【０１６９】
図に示した各点の内、色相点５７は明るく赤高彩度、色相点５８は暗く赤高彩度、色相点５９は明るく青高彩度、色相点６０は暗く青高彩度の点である。
【０１７０】
これらの各点の内、明るい点、つまり色相点５７，５９は、その彩度に関わらず、何れも色相値Ｐ１が選択されるようになっている。
【０１７１】
また、暗い点については、その彩度によって分けるようになっており、色相点５８は赤高彩度であるために色相値Ｐ２が選択され、色相点６０は青高彩度であるために色相値Ｐ１が選択される。
【０１７２】
こうして、画面全体色相情報平均値が第２の色相範囲Ａ２に含まれていない場合でも、被写体の明るさおよび色相情報平均値に応じたよりきめの細かい対応が可能になる。
【０１７３】
図１７は画面全体色相情報平均値が第２の色相範囲Ａ２に含まれていない場合の近似の第４の例を示す図である。
【０１７４】
この図１７の例は、明るさ情報および色相情報平均値に加えて、さらにストロボ発光量に基づいて所定の色相値を選択するようにしたものである。
【０１７５】
この例においては、第１の色相範囲Ａ１内に、上記所定の色相値Ｐ１，Ｐ２に加えて、ストロボ発光に対応する所定の色相値Ｐ３が予め設定されている。
【０１７６】
そして、ストロボが発光していないとき、またはストロボの発光量が所定値よりも小さいときには、上記図１６の例と同様に制御し、一方、ストロボの発光量が所定値よりも大きいときには、被写体の明るさや色相情報平均値の彩度によらず、上記色相値Ｐ３が選択されるようにしたものである。
【０１７７】
すなわち、色相点６１，６２は何れもストロボ発光量が所定値よりも大きい場合に対応しており、このときには、その被写体の明るさや彩度が異なっていても、上記色相値Ｐ３が選択されるようになっている。
【０１７８】
なお、このストロボ発光量は、上記ストロボ２７による発光量の総量（ストロボ絶対発光量）と、上記ＡＥ／ＡＦ検出回路２５から得られる被写体距離の情報とに基づいて算出されるようになっていて、被写体が実際に受光するストロボ光量が反映されるように計算される。
【０１７９】
こうして、画面全体色相情報平均値が第２の色相範囲Ａ２に含まれていない場合でも、被写体の明るさおよび色相情報平均値に加えて、ストロボ発光量にも応じたよりきめの細かい対応が可能になる。
【０１８０】
このような第１の実施形態によれば、撮像画面を分割して設定された微小領域毎に色評価値を検出して処理しているために、ノイズ成分を除去できるとともに、処理データ量を減らすことができる。
【０１８１】
また、Ｒ／ＧとＢ／Ｇを軸とする色相空間を用いているために、ＲＧＢの比が同一となる同じ色であれば同一の点にプロットされて、明るさの影響を受けることなく白色を特定し易いという利点がある。
【０１８２】
さらに、輝度レベルが第１の閾値以下となる色評価値を無効データとすることにより、演算誤差が大きくなるノイズ成分をキャンセルしてより正確な白色レベルを検出することができる。
【０１８３】
そして、輝度レベルが第２の閾値以上となる色評価値を無効データとすることにより、画像中の輝度的に直線性を確保することができない成分をキャンセルしているために、正確な白レベルを検出することができる。
【０１８４】
また、有効微小領域の計数値が第３の閾値よりも大きい場合には、画面全体について有効微小領域の色相情報の輝度レベルに基づく加重平均値を算出しているために、より白の度合いが強いと考えられるデータの比重を大きくして、適切な白レベルの検出を行うことができる。
【０１８５】
一方、有効微小領域の計数値が第３の閾値以下となる場合であっても、画面全体について適正輝度となる微小領域の色相情報の平均値を算出して用いているために、画像中に白がほとんどなくてもある程度の精度で白レベルを特定することができる。
【０１８６】
こうして簡単な構成により、適切なホワイトバランス検出を行うことができる撮像装置となる。
【０１８７】
図１８から図２０は本発明の第２の実施形態を示したものであり、図１８は明るさ情報に応じて色相判定パラメータで規定される第１の色相範囲がシフトされる様子を示す図である。この第２の実施形態において、上述の第１の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１８８】
第１の色相範囲Ａ１は、太陽光の下での白に対応する色相点Ｔ１と蛍光灯の下での白に対応する色相点Ｔ２とを含むように設定されていて、被写体の明るさが所定値以下である場合にはこの色相範囲Ａ１が用いられるようになっている。
【０１８９】
一方、第１の色相範囲Ａ１’は、上記第１の色相範囲Ａ１を上記色相空間内で左上にシフトさせることにより可変制御して、太陽光の下での白に対応する色相点Ｔ１のみを含み、蛍光灯の下での白に対応する色相点Ｔ２を含まないようにしたものである。そして、被写体の明るさが所定値以上である場合には、この色相範囲Ａ１’を用いるようになっている。
【０１９０】
また、図１９は明るさ情報に応じて第１の色相範囲を可変制御する第２の例の様子を示す図である。
【０１９１】
図中、符号６３は太陽光の下での植物の緑に対応する色相点を示している。図示のように、この色相点６３は、蛍光灯の下での白に対応する色相点Ｔ２に近く、判別するのが困難である。
【０１９２】
そこで、第１の色相範囲Ａ１の境界の一部を図示の符号６４に示すように変化させて、上記色相点６３およびＴ２を含まないようにしたものである。この例においては、第１の色相範囲Ａ１の境界が５角形となっているために、変形後の境界も同様に５角形であって、かつ色相点６３およびＴ２を排除するために必要最小限だけ変形させるようにしている。
【０１９３】
続いて、図２０は明るさ情報に応じて第１の色相範囲を可変制御する第３の例の様子を示す図である。
【０１９４】
この例においても、太陽光の下での植物の緑に対応する色相点６３および蛍光灯の下での白に対応する色相点Ｔ２の双方を含まないように第１の色相範囲を可変制御するのは同様であるが、これらの点がＲ／ＧとＢ／Ｇで張られる２次元の色相空間たる色相平面上において、上記第１の色相範囲Ａ１内の下側部分に位置することに着目して、該第１の色相範囲Ａ１を構成する５角形の内の下側の辺のみを符号６５に示すようにシフトアップさせるようにしたものである。
【０１９５】
なお、上述においては、被写体の明るさに応じて第１の色相範囲を可変制御するようにしているが、明るさやストロボ発光量に応じて可変制御するようにしてもよいことは勿論である。なお、このストロボ発光量がストロボ絶対発光量と被写体距離とに基づいて設定されるのは上述と同様である。
【０１９６】
このような第２の実施形態によれば、上述した第１の実施形態とほぼ同様の効果を奏するとともに、被写体の明るさやストロボ発光量に応じて、色相判定パラメータで規定される第１の色相範囲をシフトさせることにより、よりきめの細かい制御が可能になる。
【０１９７】
図２１は本発明の第３の実施形態を示したものであり、再生時ホワイトバランス処理を示すフローチャートである。この第３の実施形態において、上述の第１，第２の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０１９８】
上述の第１，第２の実施形態は、撮影する際にホワイトバランスの検出を行うものであったが、この第３の実施形態はこれに対して、再生時にホワイトバランスの検出を行うようにしたものである。
【０１９９】
上述したように、撮像手段によって撮像された被写体像は、記録処理手段１７により画像圧縮の処理をされた後に記録メディア２０に記録されている。
【０２００】
そして、この再生時ホワイトバランス処理が始まると、記録メディア２０に記録されている情報を読み出して、メディアＩ／Ｆ１８を介して再生処理手段１９により伸長処理を行い（ステップＳ１４）、上記メモリ１３に一旦バッファリングさせる。
【０２０１】
そして、このメモリ１３から情報を読み出してホワイトバランス検出回路１６によるホワイトバランス検出をステップＳ２以下で行うが、このときの処理は上述した第１の実施形態と同様である。
【０２０２】
なお、この第３の実施形態の再生時ホワイトバランス処理においても、上述した第１，第２の実施形態において述べたような種々の変形例を適用可能であることはいうまでもない。
【０２０３】
このような第３の実施形態によれば、再生時において、上述した第１，第２の実施形態とほぼ同様の効果を奏することができる。また、再生時にホワイトバランス検出を行うことにより、記録時に必要な処理の量を減らすことができ、撮影に要する時間を短縮することも可能となる。
【０２０４】
図２２から図２４は本発明の第４の実施形態を示したものであり、図２２は撮像手段のばらつき補正係数を算出する処理を示すフローチャートである。この第４の実施形態において、上述の第１から第３の実施形態と同様である部分については同一の符号を付して説明を省略し、主として異なる点についてのみ説明する。
【０２０５】
撮像手段には、製造工程上で発生する様々な要因により、個体差があることが知られている。この個体差により、撮像手段によってホワイトバランスが異なることになる。
【０２０６】
そこで、製造時にこの個体差を検出して、該個体差を補正するための撮像手段ばらつき補正係数を算出しておき、算出した係数を撮像装置に予め記憶させるようにしたものである。
【０２０７】
まず、図２２を参照して製造時の撮像手段ばらつき補正係数算出の処理について説明する。
【０２０８】
まず、基準となる撮像装置を１台定めておき、特定の光源（例えば蛍光灯）の下で特定の被写体（例えば白い紙）を撮影して、得られた画像の色相値（Ｒ／Ｇ，Ｂ／Ｇ）を基準データとする（ステップＳ３１）。
【０２０９】
次に、製造される全ての撮像装置において同様に、上記特定の光源の下で特定の被写体を撮影して、各撮像装置個別の色相値（（Ｒ／Ｇ）i ，（Ｂ／Ｇ）i ）（ここに「ｉ」は、各撮像装置の個体を識別する指標である。）を求める（ステップＳ３２）。
【０２１０】
そして、全ての撮像装置において、１台ずつ個別に数式４に示すような色相値と基準色相値との比をとり、これを撮像手段ばらつき補正係数Ｋr ，Ｋb とする（ステップＳ３３）。
【０２１１】
【数４】
Ｋr ＝（（Ｒ／Ｇ）i ／（Ｒ／Ｇ））
Ｋb ＝（（Ｂ／Ｇ）i ／（Ｂ／Ｇ））
【０２１２】
こうして求めた撮像手段ばらつき補正係数Ｋr ，Ｋb を、各撮像装置に備えられている不揮発性の記録手段２８に記録して（ステップＳ３４）、終了する。
【０２１３】
次に、このように記録された撮像手段ばらつき補正係数Ｋr ，Ｋb を用いて行うばらつき補正の処理について説明する。
【０２１４】
図２３はばらつき補正処理を含むホワイトバランス処理の一例を示すフローチャートである。
【０２１５】
上記第１の実施形態において説明したように、ステップＳ１において撮像されたデータは、ＡＤＣ１０においてデジタル信号に変換される。そのデータがゲイン補正回路１１に入力されると、ここで上記撮像手段ばらつき補正係数Ｋr ，Ｋb に基づき、Ｒ信号とＢ信号を各補正することにより、Ｒ，Ｇ，Ｂについてばらつき補正してバランスのとれた信号が出力される。
【０２１６】
その後、階調変換回路１２を介してメモり１３にバッファリングされたデータが、再び読み出されてＷＢ検出回路１６に入力され、上記ステップＳ２以下の処理が上述と同様に行われる。
【０２１７】
また、図２４はばらつき補正処理を含むホワイトバランス処理の他の例を示すフローチャートである。
【０２１８】
上述では撮像手段の個体差に基づくホワイトバランスのばらつきを、撮像手段からの出力信号を補正することにより補ったが、ここでは、ホワイトバランスの検出を行う色相空間を補正することにより、補うようにしたものである。
【０２１９】
すなわち、上記ステップＳ４において、第１の閾値と第２の閾値との間に輝度レベルがあることが確認されたデータについて、該データをプロットすべき色相空間を上記撮像手段ばらつき補正係数Ｋr ，Ｋb に基づき補正するようにしたものである（ステップＳ１６）。なお、この色相空間の補正に伴って、第１の色相範囲や第２の色相範囲も補正され、また、ステップＳ１２で行われる近似処理に用いられる所定の色相曲線や所定の色相値なども補正されることはいうまでもない。
【０２２０】
その後の処理は、上述の第１の実施形態とほぼ同様である。
【０２２１】
このような第４の実施形態によれば、上述の第１，第２の実施形態とほぼ同様の効果を奏するとともに、撮像手段の個体差に基づくホワイトバランスのばらつきを良好に補正することができる。
【０２２２】
なお、本発明は上述した各実施形態に限定されるものではなく、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。
【０２２３】
【発明の効果】
以上説明したように請求項１による本発明の撮像装置によれば、撮像画面を分割して設定された微小領域毎に色評価値を検出して処理しているために、ノイズ成分を除去できるとともに、処理データ量を減らすことができる。
【０２２４】
また、第１の閾値と第２の閾値の間に輝度レベルが含まれない色評価値は、色相情報を求めるのに用いないために、演算誤差が大きくなるノイズ成分や画像中の輝度的に直線性を確保することができない成分をキャンセルして、より正確な白レベルを検出することができる。
【０２２５】
さらに、有効微小領域の計数値が第３の閾値よりも大きい場合には、画面全体について有効微小領域の色相情報の輝度レベルに基づく加重平均値を算出しているために、より白の度合いが強いと考えられるデータの比重を大きくして、適切な白レベルの検出を行うことができる。
【０２２６】
一方、有効微小領域の計数値が第３の閾値以下となる場合であっても、画面全体について適正輝度となる微小領域の色相情報の平均値を算出して用いているために、画像中に白がほとんどなくてもある程度の精度で白レベルを特定することができる。
【０２２７】
こうして、簡単な構成により、適切なホワイトバランス検出を行うことができる撮像装置となる。
【０２２８】
また、請求項２による本発明の撮像装置によれば、請求項１に記載の発明と同様の効果を奏するとともに、色評価値に含まれるノイズの影響を低減することができ、かつ計算が簡単になるという利点がある。
【０２２９】
さらに、請求項３による本発明の撮像装置によれば、請求項１に記載の発明と同様の効果を奏するとともに、色評価値に含まれるノイズを取り除くことができ、かつ計算が簡単になるという利点がある。
【０２３０】
請求項４による本発明の撮像装置によれば、請求項１に記載の発明と同様の効果を奏するとともに、輝度レベルを計算して求める必要がないという利点がある。
【０２３１】
請求項５による本発明の撮像装置によれば、請求項１に記載の発明と同様の効果を奏するとともに、より適切な輝度レベルを用いることができる。
【０２３２】
請求項６による本発明の撮像装置によれば、請求項１に記載の発明と同様の効果を奏するとともに、複数の色信号の比が同一である場合には、同一の色相情報が得られるために、明るさの影響を受けることがない。
【０２３３】
請求項７による本発明の撮像装置によれば、請求項１に記載の発明と同様の効果を奏するとともに、有効微小領域の数が第３の閾値よりも少ない場合でも、ある程度の精度で白色を特定することができる。
【０２３４】
請求項８による本発明の撮像装置によれば、請求項７に記載の発明と同様の効果を奏するとともに、白色としてあり得ないデータが色信号レベルの補正値を求めるのに用いられるのを制限することができる。
【０２３５】
請求項９による本発明の撮像装置によれば、請求項７に記載の発明と同様の効果を奏するとともに、演算が簡単となって、負担を軽減し処理時間を短縮することができる。
【０２３６】
請求項１０による本発明の撮像装置によれば、請求項７に記載の発明と同様の効果を奏するとともに、詳細な色相情報の分類に基づいて、より適切な色相情報の平均値を得ることができる。
【０２３７】
請求項１１による本発明の撮像装置によれば、請求項７に記載の発明と同様の効果を奏するとともに、明るさ情報に基づいて色相曲線を選択することにより、より適切な色相情報の平均値を得ることができる。
【０２３８】
請求項１２による本発明の撮像装置によれば、請求項１に記載の発明と同様の効果を奏するとともに、撮像画面中に白い被写体がほとんどなく、画面全体の色相情報の平均値が白とは離れている場合でも、ホワイトバランス検出を行うことが可能となる。
【０２３９】
請求項１３による本発明の撮像装置によれば、請求項１２に記載の発明と同様の効果を奏するとともに、明るさに応じた適切な所定の色相値を選択することができる。
【０２４０】
請求項１４による本発明の撮像装置によれば、請求項１２に記載の発明と同様の効果を奏するとともに、明るさおよび色相情報平均値に応じた適切な所定の色相値を選択することができる。
【０２４１】
請求項１５による本発明の撮像装置によれば、請求項１２に記載の発明と同様の効果を奏するとともに、明るさおよびストロボ発光量に応じた適切な所定の色相値を選択することができる。
【０２４２】
請求項１６による本発明の撮像装置によれば、請求項１５に記載の発明と同様の効果を奏するとともに、ストロボ絶対発光量および被写体距離に応じた、より適切な所定の色相値を選択することができる。
【０２４３】
請求項１７による本発明の撮像装置によれば、請求項１に記載の発明と同様の効果を奏するとともに、明るさに応じた適切な第１の色相範囲を用いることができる。
【０２４４】
請求項１８による本発明の撮像装置によれば、請求項１に記載の発明と同様の効果を奏するとともに、明るさおよびストロボ発光量に応じた適切な第１の色相範囲を用いることができる。
【０２４５】
請求項１９による本発明の撮像装置によれば、請求項１８に記載の発明と同様の効果を奏するとともに、ストロボ絶対発光量および被写体距離に応じた、より適切な第１の色相範囲を用いることができる。
【０２４６】
請求項２０による本発明の撮像装置によれば、請求項１に記載の発明と同様の効果を奏するとともに、撮像手段のばらつきを補正することが可能となる。
【０２４７】
請求項２１による本発明の撮像装置によれば、請求項２０に記載の発明と同様の効果を奏するとともに、撮像手段のばらつきを、ゲインを調節することにより補正することができる。
【０２４８】
請求項２２による本発明の撮像装置によれば、請求項２０に記載の発明と同様の効果を奏するとともに、撮像手段のばらつきを、色相情報検出を行う際の座標軸を変換することにより補正することができる。
【０２４９】
請求項２３による本発明の撮像装置によれば、請求項２０に記載の発明と同様の効果を奏するとともに、撮像手段のばらつきを、色相パラメータを変換することにより補正することができる。
【０２５０】
請求項２４による本発明の撮像装置によれば、上述した請求項１に記載の発明による効果と同様の効果を、再生時に奏することができる。
【０２５１】
請求項２５による本発明の撮像装置によれば、請求項２４に記載の発明と同様の効果を奏するとともに、撮像画面を改めて複数の微小領域に分割する必要がなくなり、演算の負担を軽減して処理時間を短縮することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態の撮像装置の構成を示すブロック図。
【図２】上記第１の実施形態のＣＣＤの撮像面に設けられたカラーフィルタの構成を示す図。
【図３】上記第１の実施形態のＣＣＤの撮像画面を複数の微小領域に分割する状態を示す図。
【図４】上記第１の実施形態のＣＣＤの分光感度の概要を示す線図。
【図５】上記第１の実施形態において、色温度が高い場合の光量に対するＣＣＤ出力を示す線図。
【図６】上記第１の実施形態において、色温度が低い場合の光量に対するＣＣＤ出力を示す線図
【図７】上記第１の実施形態の撮像装置における撮影時の処理の流れを示すタイムチャート。
【図８】上記第１の実施形態の撮像装置におけるホワイトバランス処理を示すフローチャート。
【図９】上記第１の実施形態の撮像装置において、画面全体色相情報平均値を算出する処理を示すフローチャート。
【図１０】上記第１の実施形態の撮像装置において、有効微小領域に係る色相情報の加重平均値の算出を説明するための図。
【図１１】上記第１の実施形態の撮像装置において、画面全体色相情報平均値を所定の色相曲線に近似させる様子を示す図。
【図１２】上記第１の実施形態において、画面全体色相情報平均値を所定の色相曲線に近似させる他の例を示す図。
【図１３】上記第１の実施形態において、画面全体色相情報平均値を所定の色相曲線に近似させるさらに他の例を示す図。
【図１４】上記第１の実施形態において、画面全体色相情報平均値が第２の色相範囲に含まれていない場合の近似の一例を示す図。
【図１５】上記第１の実施形態において、画面全体色相情報平均値が第２の色相範囲に含まれていない場合の近似の第２の例を示す図。
【図１６】上記第１の実施形態において、画面全体色相情報平均値が第２の色相範囲に含まれていない場合の近似の第３の例を示す図。
【図１７】上記第１の実施形態において、画面全体色相情報平均値が第２の色相範囲に含まれていない場合の近似の第４の例を示す図。
【図１８】本発明の第２の実施形態の撮像装置において、明るさ情報に応じて色相判定パラメータで規定される第１の色相範囲がシフトされる様子を示す図。
【図１９】上記第２の実施形態において、明るさ情報に応じて第１の色相範囲を可変制御する第２の例の様子を示す図。
【図２０】上記第２の実施形態において、明るさ情報に応じて第１の色相範囲を可変制御する第３の例の様子を示す図。
【図２１】本発明の第３の実施形態の撮像装置において、再生時ホワイトバランス処理を示すフローチャート。
【図２２】本発明の第４の実施形態において、撮像手段のばらつき補正係数を算出する処理を示すフローチャート。
【図２３】上記第４の実施形態において、ばらつき補正処理を含むホワイトバランス処理の一例を示すフローチャート。
【図２４】上記第４の実施形態において、ばらつき補正処理を含むホワイトバランス処理の他の例を示すフローチャート。
【符号の説明】
１…撮像レンズ（撮像手段の一部）
２…絞りおよびシャッタ（撮像手段の一部）
３…プリズム（撮像手段の一部）
６…ローパスフィルタ（ＬＰＦ）（撮像手段の一部）
７…ＣＣＤ（撮像素子，撮像手段の一部）
８…相関２重サンプリング（ＣＤＳ）（撮像手段の一部）
９…ゲインコントロールアンプ（ＧＣＡ）（撮像手段の一部）
１０…アナログデジタルコンバータ（ＡＤＣ）（撮像手段の一部）
１１…ゲイン補正回路（ゲイン補正手段）
１６…ホワイトバランス検出回路（ＷＢ検出回路）（色評価値検出手段，輝度レベル検出手段，色相情報検出手段，有効微小領域係数手段，第１の算出手段，第２の算出手段，補正値算出手段）
１７…記録処理手段
１９…再生処理手段
２０…記録メディア
２８…不揮発性の記録手段[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an imaging device, and more particularly to an imaging device that photoelectrically converts subject light and outputs three or more types of color signals.
[0002]
[Prior art]
Various light sources such as a fluorescent lamp and an incandescent lamp are used in an environment where an imaging apparatus is used, including the sun.
[0003]
Since the color temperature (spectral distribution characteristics) of such light sources varies depending on each light source, even if the same white object is photographed using an imaging device under each light source, the same color as it is A white image cannot be obtained.
[0004]
On the other hand, since the human eye performs color adaptation according to the light source, a white subject is recognized as a white color except in special cases (such as a sodium lamp).
[0005]
In order to be able to photograph a white subject as white in accordance with the characteristics of the human eye, white balance adjustment for adjusting the signal level balance of each color is performed in the imaging apparatus.
[0006]
In this white balance adjustment, in order to detect the white balance of the image pickup signal obtained from the image pickup means, the difference between the color signal and the luminance signal is taken and the (RY, BY) axis space (where R is It is common to plot within (red, B is blue, and Y is the luminance signal).
[0007]
[Problems to be solved by the invention]
However, when the axial space based on the color signal difference as described above is used, even if the signal level ratio of each color is the same, the absolute value of the signal level is changed due to the brightness of the subject changing. If it changes, the plot position in the space changes, so that it is not necessarily optimal as a space for detecting white balance.
[0008]
In the conventional imaging apparatus, white balance detection is sometimes performed in units of pixels. In this case, however, the load on the calculation means increases and the time required for calculation also increases.
[0009]
On the other hand, there is a conventional example in which white balance detection is performed on the entire screen. In this case, however, it is difficult to accurately achieve white balance except when detecting a white subject having the same luminance on the entire screen. It was.
[0010]
The present invention has been made in view of the above circumstances, and an object thereof is to provide an imaging apparatus capable of performing appropriate white balance detection with a simple configuration.
[0011]
[Means for Solving the Problems]
In order to achieve the above object, an image pickup apparatus according to a first invention divides an image pickup screen and an image pickup means for receiving subject light and performing photoelectric conversion to output color signals relating to three or more colors. Color evaluation value detection means for obtaining the set color signal levels of a plurality of micro areas as color evaluation values for each color, luminance level detection means for detecting the luminance level of each micro area, and each micro area being the micro area Hue information for obtaining hue information based on the color evaluation value relating to each color obtained from the color evaluation value detecting means when the luminance level of the image becomes an appropriate luminance minute region included between the first threshold value and the second threshold value Detection means; effective micro area counting means for measuring the number of effective micro areas included in the first hue range in which the hue information obtained from the hue information detection means is defined by the hue determination parameter; Number is first A first calculating means for calculating a weighted average value based on the luminance level of the hue information of the effective minute area for the entire screen when the threshold value is larger than the threshold value, and when the count value of the effective minute area is equal to or smaller than the third threshold value. A plurality of color signals based on a second calculation means for calculating an average value of hue information of an appropriate luminance minute region for the entire screen, and a weighted average value by the first calculation means or an average value by the second calculation means; And a correction value calculating means for obtaining a level correction value.
[0012]
An image pickup apparatus according to a second invention is the image pickup apparatus according to the first invention, wherein the color evaluation value detection means outputs an average value signal for each color signal for each micro area as a color evaluation value for each color. .
[0013]
Furthermore, an image pickup apparatus according to a third invention is the image pickup apparatus according to the first invention, wherein the color evaluation value detection means outputs a plurality of color signal-specific median signals for each minute region as color evaluation values for each color. It is.
[0014]
An image pickup apparatus according to a fourth invention is the image pickup apparatus according to the first invention, wherein the luminance level detection means outputs a color evaluation value relating to a predetermined color for each minute region as a luminance level.
[0015]
An image pickup apparatus according to a fifth invention is the image pickup apparatus according to the first invention, wherein the luminance level detecting means outputs a weighted average value of each color evaluation value for each minute region as a luminance level.
[0016]
An image pickup apparatus according to a sixth invention is the image pickup apparatus according to the first invention, wherein the hue information detection means obtains and outputs hue information based on a ratio of a plurality of color evaluation values for each micro area.
[0017]
An image pickup apparatus according to a seventh invention is the image pickup apparatus according to the first invention, wherein the second calculation means includes an average value of hue information of an appropriate luminance minute region for the entire screen in the second hue range. In this case, the average value is approximated to a predetermined hue curve formed by connecting a predetermined hue, and the approximate value is output.
[0018]
An image pickup apparatus according to an eighth invention is the image pickup apparatus according to the seventh invention, wherein the second calculation means has the first hue when the approximate value is outside the first hue range. This is a further approximation to the closest value among the two end values of the predetermined hue curve divided by the range.
[0019]
An image pickup apparatus according to a ninth aspect is the image pickup apparatus according to the seventh aspect, wherein the predetermined hue curve is a predetermined straight line.
[0020]
An image pickup apparatus according to a tenth invention is the image pickup apparatus according to the seventh invention, wherein the second hue range is divided into a plurality of regions, and the predetermined hue curve corresponds to each of the plurality of regions. Multiple settings are made.
[0021]
An image pickup apparatus according to an eleventh aspect is the image pickup apparatus according to the seventh aspect, wherein a plurality of the predetermined hue curves are prepared in advance, and the second calculation means is based on brightness information. One hue curve is selected.
[0022]
An image pickup apparatus according to a twelfth aspect is the image pickup apparatus according to the first aspect, wherein the second calculation means includes an average value of hue information of the appropriate luminance minute region for the entire screen in the second hue range. If not, a predetermined hue value set within the first hue range is output.
[0023]
An image pickup apparatus according to a thirteenth aspect is the image pickup apparatus according to the twelfth aspect, wherein a plurality of the predetermined hue values are prepared in advance, and the second calculation means includes the second calculation means based on brightness information. One hue value is selected.
[0024]
An image pickup apparatus according to a fourteenth aspect is the image pickup apparatus according to the twelfth aspect, wherein a plurality of the predetermined hue values are prepared in advance, and the second calculation means is based on brightness information and hue information average value. One of these hue values is selected.
[0025]
An image pickup apparatus according to a fifteenth aspect is the image pickup apparatus according to the twelfth aspect, wherein a plurality of the predetermined hue values are prepared in advance, and the second calculation means is based on brightness information and a strobe emission amount. One of these hue values is selected.
[0026]
An image pickup apparatus according to a sixteenth aspect is the image pickup apparatus according to the fifteenth aspect, wherein the strobe light emission amount is set based on a strobe absolute light emission amount which is a total amount of light emission by the strobe and a subject distance.
[0027]
An image pickup apparatus according to a seventeenth aspect is the image pickup apparatus according to the first aspect, wherein the first hue range is changed by variably controlling the hue determination parameter based on brightness information.
[0028]
An image pickup apparatus according to an eighteenth aspect of the invention is the image pickup apparatus according to the first aspect of the invention, wherein the first hue range is changed by variably controlling the hue determination parameter based on brightness information and a strobe emission amount. It is.
[0029]
An image pickup apparatus according to a nineteenth aspect is the image pickup apparatus according to the eighteenth aspect, wherein the strobe light emission amount is set based on a strobe absolute light emission amount which is a total amount of light emission by the strobe and a subject distance.
[0030]
An image pickup device according to a twentieth invention is the image pickup device according to the first invention, wherein the ratio of the color signal levels for each color when a specific subject is imaged is corrected so as to match a predetermined reference value. Non-volatile recording means for recording the imaging means variation correction coefficient is provided.
[0031]
An image pickup apparatus according to a twenty-first aspect is the image pickup apparatus according to the twentieth aspect, wherein the color signal level associated with each color when a specific subject is imaged is obtained by performing gain correction using the image pickup means variation correction coefficient. Gain correction means for matching the ratio to a predetermined reference value is provided.
[0032]
An image pickup device according to a twenty-second invention is the image pickup device according to the twentieth invention, wherein a specific subject is picked up by converting the coordinate axis used when detecting the hue information using the image pickup means variation correction coefficient. The difference of the ratio of the color signal level relating to each color from a predetermined reference value is corrected.
[0033]
An image pickup apparatus according to a twenty-third aspect of the present invention is the image pickup apparatus according to the twentieth aspect, wherein the hue signal is converted using the image pickup means variation correction coefficient, whereby a color signal related to each color when a specific subject is picked up. The difference between the level ratio and the predetermined reference value is corrected.
[0034]
An image pickup apparatus according to a twenty-fourth aspect of the invention is an image pickup means for receiving subject light, performing photoelectric conversion and outputting color signals relating to three or more colors, and compressing and recording image data picked up by the image pickup means. A recording processing means, a reproduction processing means for expanding the compressed and recorded image data, and a color evaluation value for obtaining color signal levels of a plurality of minute areas set by dividing the imaging screen as color evaluation values for each color A brightness level detecting means for detecting a brightness level of each of the micro areas; and a brightness level of the micro area including a brightness level of the micro area between the first threshold value and the second threshold value. The hue information detection means for obtaining the hue information based on the color evaluation value for each color obtained from the color evaluation value detection means in the case of the region, and the hue information obtained from the hue information detection means are defined by the hue determination parameter. Effective micro area counting means for measuring the number of effective micro areas included in the first hue range to be performed, and hue information of the effective micro area for the entire screen when the count value of the effective micro area is larger than the third threshold value A first calculating means for calculating a weighted average value based on the luminance level of the image and an average value of the hue information of the appropriate luminance minute region for the entire screen when the count value of the effective minute region is equal to or smaller than the third threshold value. A second calculation unit; and a correction value calculation unit that obtains correction values of a plurality of color signal levels based on a weighted average value by the first calculation unit or an average value by the second calculation unit. is there.
[0035]
An image pickup apparatus according to a twenty-fifth aspect of the invention is the image pickup apparatus according to the twenty-fourth aspect of the invention, wherein the image data is recorded in units of a predetermined block, and the data size constituting the minute area is the data constituting the block. The size is n (n is an integer of 1 or more) times.
[0036]
Accordingly, in the image pickup apparatus according to the first invention, the image pickup means receives subject light and performs photoelectric conversion to output color signals relating to three or more colors, and the color evaluation value detection means divides and sets the image pickup screen. The obtained color signal levels of the plurality of micro areas are obtained as color evaluation values for the respective colors, the luminance level detecting means detects the luminance level of each of the micro areas, and the hue information detecting means is configured to detect each micro area of the micro area. When the luminance level is an appropriate luminance minute region included between the first threshold value and the second threshold value, the hue information is obtained based on the color evaluation value relating to each color obtained from the color evaluation value detecting means, and the effective minute value is obtained. The area counting means counts the number of effective minute areas included in the first hue range in which the hue information obtained from the hue information detecting means is defined by the hue determination parameter, and the first calculating means calculates the effective minute area. The number is the third threshold Is also larger, the weighted average value based on the luminance level of the hue information of the effective minute area is calculated for the entire screen, and when the second calculating means has the count value of the effective minute area equal to or smaller than the third threshold, An average value of the hue information of the appropriate luminance minute region is calculated, and the correction value calculation means corrects the plurality of color signal levels based on the weighted average value by the first calculation means or the average value by the second calculation means. Ask for.
[0037]
In the image pickup apparatus according to the second invention, the color evaluation value detecting means outputs an average value signal for each color signal for each micro area as a color evaluation value for each color.
[0038]
Furthermore, in the image pickup apparatus according to the third invention, the color evaluation value detection means outputs a plurality of color signal-specific median signals for each minute region as color evaluation values for each color.
[0039]
In the image pickup apparatus according to the fourth invention, the luminance level detecting means outputs a color evaluation value relating to a predetermined color for each minute region as a luminance level.
[0040]
In the image pickup apparatus according to the fifth invention, the luminance level detecting means outputs a weighted average value of each color evaluation value for each minute area as a luminance level.
[0041]
In the image pickup apparatus according to the sixth invention, the hue information detecting means obtains and outputs the hue information based on a ratio of a plurality of color evaluation values for each minute region.
[0042]
In the imaging device according to a seventh aspect of the present invention, when the second calculation means includes an average value of hue information of the appropriate luminance minute region for the entire screen in the second hue range, the average value is set to a predetermined hue. Is approximated to a predetermined hue curve constituted by connecting and the approximated value is output.
[0043]
According to an eighth aspect of the present invention, there is provided the imaging apparatus according to the second aspect, wherein the second calculation means is configured to calculate the predetermined hue curve divided by the first hue range when the approximate value is outside the first hue range. Approximate the closest value of the extreme values.
[0044]
An image pickup apparatus according to a ninth aspect uses the predetermined hue curve as a predetermined straight line.
[0045]
An image pickup apparatus according to a tenth aspect of the invention divides the second hue range into a plurality of regions, and sets a plurality of the predetermined hue curves corresponding to the plurality of regions.
[0046]
In the image pickup apparatus according to an eleventh aspect, a plurality of the predetermined hue curves are prepared in advance, and the second calculation means selects one of these hue curves based on the brightness information.
[0047]
The imaging device according to a twelfth aspect of the invention is the imaging device according to the twelfth aspect, wherein the second calculation means includes the first hue range when the average value of the hue information of the appropriate luminance minute region for the entire screen is not included in the second hue range. The predetermined hue value set in is output.
[0048]
In the imaging device according to a thirteenth aspect, a plurality of the predetermined hue values are prepared in advance, and the second calculation means selects one of these hue values based on the brightness information.
[0049]
In the imaging device according to a fourteenth aspect, a plurality of the predetermined hue values are prepared in advance, and the second calculating means calculates one of the hue values based on the brightness information and the hue information average value. select.
[0050]
In the imaging device according to a fifteenth aspect, a plurality of the predetermined hue values are prepared in advance, and the second calculation means selects one of these hue values based on the brightness information and the strobe emission amount. To do.
[0051]
In the image pickup apparatus according to the sixteenth aspect of the invention, the strobe light emission amount is set based on the strobe absolute light emission amount, which is the total amount of light emission by the strobe light, and the subject distance.
[0052]
In the imaging device according to a seventeenth aspect, the first hue range is changed by variably controlling the hue determination parameter based on brightness information.
[0053]
In the image pickup apparatus according to an eighteenth aspect of the invention, the first hue range is changed by variably controlling the hue determination parameter based on brightness information and a strobe emission amount.
[0054]
In an image pickup apparatus according to a nineteenth aspect of the invention, the strobe light emission amount is set based on a strobe absolute light emission amount that is a total amount of light emission by the strobe light and a subject distance.
[0055]
An image pickup apparatus according to a twentieth aspect of the invention is an image pickup means variation correction for correcting so that a ratio of color signal levels relating to each color when a non-volatile recording means picks up a specific subject matches a predetermined reference value. Record the coefficient.
[0056]
In the image pickup apparatus according to the twenty-first invention, the gain correction means performs gain correction using the image pickup means variation correction coefficient, whereby the ratio of the color signal levels related to each color when a specific subject is picked up is set to a predetermined reference. Match the value.
[0057]
An image pickup apparatus according to a twenty-second aspect of the present invention converts the ratio of the color signal level for each color when a specific subject is imaged by converting the coordinate axis used when detecting the hue information using the image pickup means variation correction coefficient. The difference from the predetermined reference value is corrected.
[0058]
An image pickup apparatus according to a twenty-third aspect of the present invention converts the hue parameter using the image pickup means variation correction coefficient to obtain a predetermined reference value of the ratio of the color signal level relating to each color when a specific subject is imaged. Correct the difference.
[0059]
In an image pickup apparatus according to a twenty-fourth invention, the image pickup means receives subject light, performs photoelectric conversion, outputs color signals relating to three or more colors, and the recording processing means compresses image data picked up by the image pickup means. And the reproduction processing means decompresses the compressed and recorded image data, and the color evaluation value detection means divides the imaging screen and sets the color signal levels of a plurality of minute areas to evaluate the color of each color. The brightness level detection means detects the brightness level of each of the minute areas, and the hue information detection means determines that each of the minute areas has a brightness level between the first threshold value and the second threshold value. Hue information is obtained based on the color evaluation value relating to each color obtained from the color evaluation value detecting means when the appropriate luminance minute area included in the color information, and the effective minute area counting means obtains the hue information obtained from the hue information detecting means. Hue judgment The number of effective minute areas included in the first hue range defined by the meter is counted, and the effective minute area for the entire screen when the first calculation means has a count value of the effective minute area larger than the third threshold value. The weighted average value based on the luminance level of the hue information of the image is calculated, and the second calculation means calculates the average value of the hue information of the appropriate luminance minute area for the entire screen when the count value of the effective minute area is equal to or smaller than the third threshold value. The correction value calculation means obtains correction values for a plurality of color signal levels based on the weighted average value by the first calculation means or the average value by the second calculation means.
[0060]
In an image pickup apparatus according to a twenty-fifth aspect of the invention, the image data is recorded in units of a predetermined block, and the data size constituting the minute area is set to n (n is an integer of 1 or more) of the data size constituting the block. ) Double.
[0061]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
1 to 19 show a first embodiment of the present invention, and FIG. 1 is a block diagram showing a configuration of an imaging apparatus.
[0062]
The configuration of this imaging apparatus will be described along the signal flow in FIG.
[0063]
The imaging lens 1 is used to form a subject image on an imaging surface of a CCD 7 to be described later, and subject light that has passed through the imaging lens 1 is adjusted by a diaphragm and a shutter 2 to adjust the amount of passing light and to control passage / blocking. Is to be done.
[0064]
Part of the subject light that has passed through the diaphragm and shutter 2 is extracted by the prism 3 and reflected to the viewfinder optical system side.
[0065]
The finder optical system includes a mirror 4 that reflects the subject light reflected by the prism 3 to the rear side so as to be substantially parallel to the photographing optical axis, and the subject light reflected by the mirror 4 is connected to the fundus of the user. And a finder lens 5 for imaging.
[0066]
Most of the subject light that has not been reflected by the prism 3 is transmitted, and after the signal component having a high spatial frequency that cannot be correctly reproduced at the sampling pitch of the CCD 7 is removed by the low-pass filter 6, It is incident on the CCD 7 and is converted into an electric signal on its imaging surface.
[0067]
The output of the CCD 7 is subjected to correlation double sampling (CDS) 8 to remove low frequency noise and reset noise, and is input to a gain control amplifier (GCA) 9 for sensitivity adjustment, and then an analog / digital converter (ADC). 10 is converted into a digital signal and output.
[0068]
The imaging means is configured to include the imaging lens 1, the diaphragm and shutter 2, the prism 3, the LPF 6, the CCD 7, the CDS 8, the GCA 9, and the ADC 10 as described above.
[0069]
The output of this image pickup means is input to the gain correction circuit 11, after each color signal level of the CCD 7 is coarsely adjusted and the white balance is corrected, the gradation conversion circuit 12 performs data compression in the gradation direction, for example, 10 bits. For example, the data is converted into 8-bit data.
[0070]
The data after gradation conversion is input to the display processing circuit 14 having a display buffer memory when the user determines the composition before photographing, and the number of pixels for display is calculated from the number of pixels of the imaging means 7. Is converted to
[0071]
Then, the signal level is converted by the display interface (display I / F) 15 and output as a display drive signal, and a through image is displayed on a display (not shown) constituted by, for example, a color LCD provided in the imaging device. It has come to be.
[0072]
On the other hand, the output of the gradation conversion circuit 12 is read into a memory 13 constituted by, for example, a DRAM or the like and temporarily buffered when a photographing instruction is input by a user via an operation switch 29 described later. Is done.
[0073]
The data buffered in the memory 13 is then read out and input to the white balance (WB) detection circuit 16 and the recording processing means 17. As will be described in detail later, the white balance detection circuit 16 estimates a white subject from captured image data and outputs data for adjusting the white balance based on the information.
[0074]
This white balance data is input to the recording processing means 17, and image data input in R, G, B is subjected to white balance correction, converted into Y, Cb, and Cr signals and subjected to discrete cosine transform (DCT). After that, data compression by encoding is performed, and for example, one image is converted into a standard signal form such as one file and output.
[0075]
This output is recorded via a media interface (media I / F) 18 on a recording medium 20 that is built in or detachable from the imaging apparatus, for example, a flash memory.
[0076]
The data read from the recording medium 20 is input to the reproduction processing means 19 via the media I / F 18 and is decoded and inverse DCT in the reverse order to the recording processing means 17. , Cb, Cr signals are converted into R, G, B signals and stored in the memory 13 or displayed on the display.
[0077]
The output of the ADC 10 is input to the AE / AF detection circuit 25, and the AE information for exposure control and the AF information for focus control are detected from the output of the CCD 7, and input to the system controller 26. .
[0078]
Based on the AE information and AF information, the system controller 26 drives the imaging lens 1 via the imaging optical system driver 21 to adjust the focal position, or drives the diaphragm and shutter 2 to drive the aperture value and shutter speed. Is to control.
[0079]
Further, these AE information and AF information are also used when controlling the gain of the GCA 9.
[0080]
The CCD 7 is driven by a CCD driver 22, and the CCD driver 22 and the CDS 8 and ADC 10 are synchronized by an output signal of a timing generator (TG) 23.
[0081]
The signal generator (SG) 24 generates a synchronization signal based on the output of the TG 23 that generates a system clock.
[0082]
The system controller 26 comprehensively controls the entire imaging apparatus including the above-described circuits, and is connected to an operation switch 29 including a release switch for inputting an instruction for photographing.
[0083]
A program, data, and the like for controlling the system controller 26 are recorded in a non-volatile recording means 28 and are read out as necessary.
[0084]
Further, a strobe 27 is connected to the system controller 26 so that it emits light as necessary based on the AE information, AF information, etc., and illuminates the subject.
[0085]
Next, the configuration of the CCD 7 will be described with reference to FIGS. FIG. 2 is a diagram illustrating a configuration of a color filter provided on the imaging surface of the CCD, and FIG. 3 is a diagram illustrating a state in which the imaging screen of the CCD is divided into a plurality of minute regions.
[0086]
The CCD 7 is configured by arranging a red (R) filter, a blue (B) filter, and a green (G) filter in a so-called Bayer arrangement on the imaging surface, and an upper left pixel in 2 × 2 pixels is an R filter. When the lower right pixel is a B filter, the upper right pixel and the lower left pixel are G filters. Therefore, the number of G filters is twice as many as the other R and B filters.
[0087]
The imaging screen 7a of the CCD 7 having such a configuration is divided into a plurality of minute regions 31 in units of 8 × 8 pixels, and white balance is detected for each minute region 31 as described later. It has become.
[0088]
As shown in FIG. 4, the level of the color signal obtained through the above color filter (spectral sensitivity of the CCD 7) has twice as many pixels for photoelectric conversion of green as the pixels of other colors. The output level is higher than the output levels of other colors.
[0089]
The output corresponding to the light quantity of the CCD 7 is as shown in FIGS.
[0090]
First, FIG. 5 is a diagram showing the CCD output with respect to the amount of light when the color temperature is high. When the color temperature is high, the blue component becomes stronger, so the B output is larger than the R output. In addition, there is an upper limit to the amount of light that can ensure the linearity of the photoelectric conversion characteristics by the CCD 7, and the linearity of the G output is lost if it exceeds G0H in the figure. Therefore, when the amount of light is larger than G0H, the color balance is lost and accurate white balance cannot be obtained. The upper limit for ensuring linearity is the same for B and R as well. However, since the G output is usually the largest, the upper limit of G is mainly considered.
[0091]
On the other hand, FIG. 6 is a diagram showing the CCD output with respect to the amount of light when the color temperature is low. When the color temperature is low, the red component becomes stronger, so the R output is larger than the B output. In this figure, G0L is the upper limit for ensuring linearity.
[0092]
Thus, when the amount of light is larger than a predetermined value, it is inappropriate to use as data for obtaining white balance, and therefore the upper limit (second threshold value) is set for the luminance level of the output for white balance detection. ).
[0093]
In addition, when the luminance level is too low, the influence of noise or the like is increased, and an appropriate color balance cannot be obtained. Similarly, a lower limit luminance level (first threshold value) is also provided.
[0094]
Thus, only the brightness level included between the first threshold value and the second threshold value is used as data for detecting hue information.
[0095]
Next, FIG. 7 is a time chart showing the flow of processing at the time of shooting by the imaging apparatus. In the figure, VD indicates a vertical synchronizing signal.
[0096]
When a power switch (not shown) is turned on and the image pickup apparatus is in the photographing mode, the image data output from the CCD 7 is displayed on the display as a through image.
[0097]
At this time, AE detection is performed by the AE / AF detection circuit 25, and an appropriate exposure state is obtained by controlling the diaphragm, the shutter 2, and the like via the imaging optical system driver 21 based on the result. It is adjusted to.
[0098]
When the composition or the like becomes good while confirming the display on the display, when the user operates the operation switch 29 including a two-stage switch to record an image, the first trigger is responded to the first-stage switch. Is emitted.
[0099]
Upon receiving this first trigger, the system controller 26 causes the AE / AF detection circuit 25 to perform AF detection, receives the detection result, and adjusts the focusing lens of the image pickup lens 1 by the image pickup optical system driver 21. Let it be the focal position.
[0100]
Thereafter, when a second trigger is issued in response to the second-stage switch of the operation switch 29, exposure is performed in which charges are accumulated in the CCD 7. When it is determined that it is necessary to irradiate the subject with auxiliary light, the strobe 27 emits light within this exposure period.
[0101]
When the exposure period ends, the charge of each pixel is read out by driving the CCD driver 22 and is once stored in the memory 13 via each circuit from the CDS 8 to the gradation conversion circuit 12, and then the white balance. The detection circuit 16 detects white balance.
[0102]
Then, the signal subjected to the white balance correction in response to the detection result is subjected to the compression processing for recording as described above and sequentially recorded on the recording medium 20.
[0103]
Next, FIG. 8 is a flowchart showing white balance processing.
[0104]
When subject light is received by the image pickup means as described above and subjected to photoelectric conversion and color signals relating to RGB colors are output (step S1), these data are temporarily stored in the memory 13.
[0105]
Thereafter, the data in the memory 13 is sequentially read out and input to the white balance detection circuit 16 under the control of the system controller 26.
[0106]
The white balance detection circuit 16 first detects the color signal level as a color evaluation value of each color in a plurality of minute regions 31 set by dividing the imaging screen 7a (step S2).
[0107]
More specifically, among the 8 × 8 pixels constituting the minute area 31, the average value of the signal level of 16 R pixel outputs is used as an R color evaluation value, and the signal level of 32 G pixel outputs is The average value is the G color evaluation value, and the average value of the color signal levels of the 16 B pixel outputs is the B color evaluation value. Thereby, a color evaluation value hardly affected by noise can be obtained by a simple calculation.
[0108]
Alternatively, the pixel outputs are arranged in order of signal level, the median value of the signal levels of the 16 R pixel outputs is set as the R color evaluation value, and the median value of the signal levels of the 32 G pixel outputs is set as the G color evaluation value. The median value of the color signal levels of 16 B pixel outputs may be used as the B color evaluation value. In this case, there is an advantage that there is no influence of noise.
[0109]
Next, the brightness level of the minute area 31 is detected (step S3). As the luminance level, it is common to use the level of the luminance signal Y obtained as a weighted average value of each color signal according to the following formula 1.
[0110]
[Expression 1]
Y = 0.3R + 0.59G + 0.11B
However, in this embodiment, instead of this, the level of a predetermined color signal, here, the level of the G signal, which is the signal having the largest contribution to the luminance signal Y, is used. This is because an advantage that calculation is unnecessary is obtained. In addition, not only G signal but R signal and B signal can also be used.
[0111]
Then, it is determined whether or not the detected luminance level is included between the first threshold that is the lower limit luminance level and the second threshold that is the upper limit luminance level as described above (step S4). If not included, the data of the minute area 31 is set as invalid data (step S5). Thereby, the data of the micro area 31 whose luminance level is too high and the data of the micro area 31 whose luminance level is too low are not used for hue information detection described later.
[0112]
If the detected luminance level is included between the first threshold value and the second threshold value in step S4, the RGB color evaluation of the micro area 31 obtained by the color evaluation value detection in step S2 is performed. A ratio of values, that is, R / G and B / G is calculated and used as hue information related to the minute region 31 (step S6).
[0113]
Then, it is determined whether or not this hue information is included in the first hue range A1 defined by the hue determination parameter as shown in FIG. 10 (step S7).
[0114]
Here, FIG. 10 will be described. FIG. 10 is a diagram for explaining the calculation of the weighted average value of the hue information related to the effective minute area in step S10 described later.
[0115]
In the figure, symbol A0 indicates a hue information detection space, which is a space stretched by two axes of R / G and B / G. Reference numeral A1 denotes a first hue range defined by the hue determination parameter, and is a range in which a white subject is considered to be located under various light sources. The first hue range has a polygonal shape in the illustrated example, and is obtained empirically. Further, the symbol A2 indicates a second hue range, which is a range similar to white, that is, a range in which the color is not so strong.
[0116]
In such a hue space, it is determined whether or not the calculated hue information given by the coordinates in the space is included in the first hue range A1, more specifically, The straight line that forms each side of the polygon that is the boundary of the hue range A1 is compared with the target hue information, and this comparison is performed for all the sides.
[0117]
If it is determined in step S7 that it is not included in the first hue range A1, the process goes to step S5 to make it invalid data, while it is included in the first hue range A1. Increments a counter that counts the number of effective minute regions (step S8).
[0118]
When step S8 or step S5 is completed, it is determined whether or not the above-described processing has been completed for all of the plurality of minute regions 31 set by dividing the imaging screen 7a (step S9). If not, the process returns to step S2 and the process for the next minute region 31 is performed.
[0119]
If it is determined in step S9 that the processing has been completed for all the minute regions 31, it is determined whether or not the count value obtained by sequentially adding in step S8 is greater than a third threshold value. (Step S10). This is to determine whether the number of data included in the first hue range A1, that is, the number of data used for estimating white reaches a predetermined number.
[0120]
In this step S10, if the count value exceeds the third threshold value, the average value of the hue information of the minute area 31 determined to be valid for the entire imaging screen 7a, to which a weight based on the luminance level is added. Is calculated (step S11).
[0121]
For example, if there are two effective minute regions and plotted as indicated by reference numerals 41 and 42 in FIG. 10, the midpoint as indicated by reference numeral 43 as a weighted average value when these luminance levels are equal. Is calculated.
[0122]
Since the third threshold value is set to, for example, about 10% of the total number of minute areas, the number of effective minute areas to be calculated in step S11 actually increases. Of course, since the brightness levels of the effective minute regions are also different from each other, it is not a middle point in general.
[0123]
Then, the reciprocal of this weighted average value (R / G, B / G) is obtained as white balance gains Gr and Gb which are correction values of a plurality of color signal levels (step S13). In other words, the white balance gains Gr and Gb are expressed by the following equation 2 when the color evaluation value of the i-th effective minute region is Ri, Gi, Bi and the luminance level Gi is weighted with a square weight. Will be required.
[0124]
[Expression 2]
Gr = (Σ (Gi ^ 2)) / (ΣRi × Gi)
Gb = (Σ (Gi ^ 2)) / (ΣBi × Gi)
Here, each summation (Σ) is taken for the variable i, and the symbol “^” represents a power.
[0125]
On the other hand, if the count value is equal to or smaller than the third threshold value in step S10, the number of data is insufficient to obtain the white balance gain based only on the effective minute area, and thus the entire imaging screen 7a is The hue information average value is calculated and used (step S12).
[0126]
Details of step S12 will be described with reference to FIG. FIG. 9 is a flowchart showing details of the entire screen hue information average value calculation processing.
[0127]
When this processing is started, first, the hue information average value is calculated for the micro area 31 having appropriate luminance (that is, a luminance level larger than the first threshold and smaller than the second threshold) for the entire imaging screen 7a. (Step S21).
[0128]
Specifically, each hue information average value (R / G) average, (B / G) average is defined as Ri, Gi, Bi when the color evaluation values of the i-th appropriate luminance minute region in the entire imaging screen 7a are expressed as follows: It calculates | requires by the following Numerical formula 3.
[0129]
[Equation 3]
(R / G) average = (Σ (Ri / Gi)) / (Σ1)
(B / G) average = (Σ (Bi / Gi)) / (Σ1)
Note that Σ1 in the denominator on the right side is a part for calculating the number of appropriate luminance minute regions 31.
[0130]
And it is judged whether this screen whole hue information average value is included in 2nd hue range A2 mentioned above (step S22). If it is included, the average value of hue information for the entire screen is approximated to a predetermined hue curve formed by connecting predetermined hues (step S24).
[0131]
The situation at this time will be described with reference to FIG. FIG. 11 is a diagram showing how the average value of hue information on the entire screen is approximated to a predetermined hue curve.
[0132]
The predetermined hue curve is given as, for example, a set of hue information by a white subject under a black body width variation at different color temperatures.
[0133]
At this time, the illustrated hue curve L0 is set as a straight line obtained by linearly approximating the predetermined hue curve in order to simplify the calculation.
[0134]
Note that, as has already been clarified in the above description, this “straight line” means a straight line in the color evaluation space (in the above-described hue space) used by the system. That is, in the case described above, it is a straight line in a two-dimensional space with the color signal ratios R / G and B / G as axes. In addition, the present invention is not limited to this, and when the system uses the color difference signals RY and BY as color evaluation values, the line is a straight line in a two-dimensional space with RY and BY as axes. The same is true when the system employs other color evaluation values.
[0135]
Here, assuming that the average value of hue information of the entire screen is given as indicated by reference numeral 44, the perpendicular foot 44a drawn from this point 44 to the hue curve L0 is the value approximated in step S24. Similarly, when the average value of the hue information of the entire screen is given as indicated by reference numeral 45 or 46, the vertical line is dropped and approximated.
[0136]
Then, it is determined whether or not the approximated hue value is within a predetermined range on the hue curve L0 (step S25). This predetermined range is defined as the range of the hue curve L0 included in the first hue range A1. That is, it is determined whether or not the leg of the dropped perpendicular line is on the line segment by the hue curve L0 divided by the first hue range A1.
[0137]
When the approximated hue value is within a predetermined range on the hue curve L0, that is, as indicated by reference numeral 44, the approximated hue value 44a is set as the average value of the hue information for the entire screen. (Step S26) Return.
[0138]
If the approximated hue value does not fall within the predetermined range on the hue curve L0, the value closer to the approximated hue value among the two end values of the predetermined range is set as the average value of the entire screen hue information. (Step S27). In the case indicated by reference numeral 45 above, since the perpendicular foot is outside the predetermined range, an approximation is made to the closest point 45a of the both end values, and this is used as the average value of the hue information of the entire screen. . Similarly, in the case indicated by the reference numeral 46, an approximation is performed on the closest point 46a of the two end values. In this way, data that cannot be white is limited. Then, the process returns to return to the routine of FIG.
[0139]
On the other hand, in the above step S22, when the average value of the entire screen hue information is not included in the second hue range A2, that is, when the point is as shown by reference numeral 54 in FIG. 14, the first hue range. A predetermined hue value P0 set in advance in A1 is set as the hue information average value of the entire screen (step S23). Then, the process returns to return to the routine of FIG.
[0140]
Based on the average value of hue information of the entire screen obtained in this way, a value obtained by taking the reciprocal of the average value in step S13 is set as a white balance gain.
[0141]
Based on the gain, the white balance is adjusted and recorded on the recording medium 20.
[0142]
Next, another example of approximation as shown in FIG. 11 will be described.
FIG. 12 is a diagram showing another example of approximating the entire screen hue information average value to a predetermined hue curve.
[0143]
The second hue range A2 is divided into a plurality of areas, here two areas A2a and A2b, and the hue information average value of the entire screen corresponding to each of the divided areas A2a and A2b. A plurality of approximated hue curves L1 and L2 are set.
[0144]
That is, when the hue information average value of the entire screen is included in the area A2a, it is approximated to the hue curve L1, and when it is included in the area A2b, it is approximated to the hue curve L2.
[0145]
Further, it is the same as described above that the approximated hue value is on a line segment defined by the hue curves L1 and L2 delimited by the predetermined range, that is, the first hue range A1.
[0146]
As a result, if the average value of the hue information of the entire screen is given as indicated by reference numeral 47, the hue curve approximated to be included in the area A2a is L1, and the vertical line drawn from this point 47 to the hue curve L1. 47a is a value approximated as it is because it is within the predetermined range.
[0147]
If the average value of the hue information of the entire screen is given as indicated by reference numeral 48, the hue curve approximated to be included in the area A2b is L2, and the perpendicular foot 48a extending from this point 48 to the hue curve L2 is obtained. Is in the same range because it is within the predetermined range.
[0148]
On the other hand, if the average value of hue information for the entire screen is given as indicated by reference numeral 49, the hue curve approximated to be included in the area A2a is L1. Since the leg of the perpendicular line drawn from this point 49 to the hue curve L1 is outside the predetermined range, approximation is further made to the closest point 49a of the two end values of the predetermined range.
[0149]
As a result, it is possible to handle finely according to a more complicated light source or the like. For example, it is more appropriate for general light sources, that is, multiple light sources such as incandescent lamps and sunlight, heat-radiating light sources (light sources that conform to black body radiation), and other special light sources (fluorescent lamps, etc.) Can respond.
[0150]
FIG. 13 is a diagram showing still another example of approximating the entire screen hue information average value to a predetermined hue curve.
[0151]
In this example as well, a plurality of hue curves L3 and L4 that approximate the hue information of the entire screen are set.
[0152]
Among these, the hue curve L3 is set to pass through a hue point T1 corresponding to white under sunlight, and the hue curve L4 is a hue point T2 corresponding to white under fluorescent light. It is set to pass through.
[0153]
Then, one of the hue curves L3 and L4 is selected based on the brightness information of the subject. Here, the hue curve L3 is selected when the subject is bright, and the hue curve L4 is selected when the subject is dark.
[0154]
In the illustrated example, the hue points 51 and 53 are points corresponding to bright subjects, and are approximated to the points 51a and 53a on the hue curve L3 in the same manner as described above.
[0155]
The hue point 52 is a point corresponding to a dark imaging screen and is approximated to a point 52a on the hue curve L4.
[0156]
In this way, a finer response according to the brightness of the subject becomes possible. For example, a relatively bright light source such as sunlight and a relatively dark light source such as a fluorescent lamp can be appropriately handled.
[0157]
Next, another example of the case as shown in FIG. 14 will be described.
FIG. 15 is a diagram illustrating a second example of approximation when the average value of hue information of the entire screen is not included in the second hue range A2.
[0158]
In the example shown in FIG. 14, there is only one approximate point. However, a plurality of examples shown in FIG. 15 are provided.
[0159]
That is, a plurality of predetermined hue values P1 and P2 are set in advance in the first hue range A1.
[0160]
Of these, the hue value P1 is set to be a hue point corresponding to white under sunlight, and the hue value P2 is a hue point corresponding to white under fluorescent light. Is set to
[0161]
Then, one of the hue values P1 and P2 is selected based on the brightness information of the subject. Here, the hue value P1 is selected when the subject is bright, and the hue value P2 is selected when the subject is dark.
[0162]
In the illustrated example, the hue point 55 is a point corresponding to a bright subject, and a predetermined hue value P1 is selected.
[0163]
The hue point 56 is a point corresponding to a dark subject, and a predetermined hue value P2 is selected.
[0164]
In this way, even when the entire screen hue information average value is not included in the second hue range A2, a finer response according to the brightness of the subject is possible.
[0165]
FIG. 16 is a diagram illustrating a third example of approximation when the average value of hue information of the entire screen is not included in the second hue range A2.
[0166]
In this example, a plurality of predetermined hue values P1 and P2 are set in advance in the first hue range A1, as in the example shown in FIG.
[0167]
In the example of FIG. 15, a plurality of predetermined hue values P1 and P2 are selected based on the brightness information. In the example of FIG. 16, the selection is made based on the brightness information and the hue information average value. It is a thing.
[0168]
In the drawing, a dotted line D0 is a line for discriminating whether the saturation of red (R) or the saturation of blue (B) is strong with respect to the hue information average value.
[0169]
Among the points shown in the figure, the hue point 57 is a bright red high saturation, the hue point 58 is a dark red high saturation, the hue point 59 is a bright blue high saturation, and the hue point 60 is a dark blue high saturation point.
[0170]
Among these points, the hue value P1 is selected for each of the bright points, that is, the hue points 57 and 59 regardless of the saturation.
[0171]
Further, the dark point is divided according to the saturation thereof, and the hue point P2 is selected because the hue point 58 has high red saturation, and the hue value P1 is selected because the hue point 60 has high blue saturation. Is done.
[0172]
In this way, even when the entire screen hue information average value is not included in the second hue range A2, a finer response can be made according to the brightness of the subject and the hue information average value.
[0173]
FIG. 17 is a diagram illustrating a fourth example of approximation when the average value of hue information of the entire screen is not included in the second hue range A2.
[0174]
In the example of FIG. 17, in addition to the brightness information and the hue information average value, a predetermined hue value is further selected based on the strobe light emission amount.
[0175]
In this example, a predetermined hue value P3 corresponding to strobe light emission is set in advance in the first hue range A1 in addition to the predetermined hue values P1 and P2.
[0176]
When the strobe is not emitting light or when the strobe light emission amount is smaller than the predetermined value, the control is performed in the same manner as in the example of FIG. 16, while when the strobe light emission amount is larger than the predetermined value, The hue value P3 is selected regardless of the brightness and the saturation of the hue information average value.
[0177]
That is, both of the hue points 61 and 62 correspond to a case where the flash emission amount is larger than a predetermined value. At this time, even if the brightness and saturation of the subject are different, the hue value P3 is selected. It is like that.
[0178]
The strobe light emission amount is calculated based on the total light emission amount (strobe absolute light emission amount) of the strobe 27 and the subject distance information obtained from the AE / AF detection circuit 25. The amount of strobe light actually received by the subject is calculated.
[0179]
In this way, even when the average value of hue information of the entire screen is not included in the second hue range A2, in addition to the brightness of the subject and the average value of hue information, it is possible to respond more finely according to the flash emission amount. Become.
[0180]
According to the first embodiment, since the color evaluation value is detected and processed for each minute region set by dividing the imaging screen, the noise component can be removed and the processing data amount can be reduced. Can be reduced.
[0181]
In addition, since a hue space with R / G and B / G as axes is used, the same color with the same RGB ratio is plotted at the same point without being affected by brightness. There is an advantage that white color can be easily specified.
[0182]
Furthermore, by using a color evaluation value with a luminance level equal to or lower than the first threshold value as invalid data, a noise component with a large calculation error can be canceled and a more accurate white level can be detected.
[0183]
Since the color evaluation value with the luminance level equal to or higher than the second threshold is set as invalid data, a component that cannot ensure luminance linearity in the image is canceled, so that an accurate white level is obtained. Can be detected.
[0184]
Further, when the count value of the effective minute area is larger than the third threshold value, the weighted average value based on the luminance level of the hue information of the effective minute area is calculated for the entire screen. An appropriate white level can be detected by increasing the specific gravity of data considered to be strong.
[0185]
On the other hand, even when the count value of the effective minute area is equal to or smaller than the third threshold value, the average value of the hue information of the minute area having the appropriate luminance is calculated and used for the entire screen. Even if there is almost no white, the white level can be specified with a certain degree of accuracy.
[0186]
With this simple configuration, the imaging apparatus can perform appropriate white balance detection.
[0187]
FIGS. 18 to 20 show a second embodiment of the present invention, and FIG. 18 is a diagram showing how the first hue range defined by the hue determination parameter is shifted according to the brightness information. It is. In the second embodiment, the same parts as those in the first embodiment described above are denoted by the same reference numerals, description thereof is omitted, and only different points will be mainly described.
[0188]
The first hue range A1 is set so as to include a hue point T1 corresponding to white under sunlight and a hue point T2 corresponding to white under a fluorescent lamp. The hue range A1 is used when it is equal to or less than the predetermined value.
[0189]
On the other hand, the first hue range A1 ′ is variably controlled by shifting the first hue range A1 to the upper left in the hue space, so that only the hue point T1 corresponding to white under sunlight is obtained. The hue point T2 corresponding to white under the fluorescent lamp is not included. When the brightness of the subject is equal to or higher than a predetermined value, the hue range A1 ′ is used.
[0190]
FIG. 19 is a diagram showing a state of the second example in which the first hue range is variably controlled according to the brightness information.
[0191]
In the figure, the code | symbol 63 has shown the hue point corresponding to the green of the plant under sunlight. As shown in the figure, this hue point 63 is close to the hue point T2 corresponding to white under the fluorescent lamp and is difficult to discriminate.
[0192]
Therefore, a part of the boundary of the first hue range A1 is changed as indicated by reference numeral 64 in the figure so that the hue points 63 and T2 are not included. In this example, since the boundary of the first hue range A1 is a pentagon, the boundary after the deformation is also a pentagon and is the minimum necessary to eliminate the hue points 63 and T2. Only to be deformed.
[0193]
Next, FIG. 20 is a diagram illustrating a state of a third example in which the first hue range is variably controlled according to the brightness information.
[0194]
Also in this example, the first hue range is variably controlled so as not to include both the hue point 63 corresponding to the green of the plant under sunlight and the hue point T2 corresponding to white under the fluorescent lamp. Note that these points are located in the lower part of the first hue range A1 on the hue plane which is a two-dimensional hue space spanned by R / G and B / G. Thus, only the lower side of the pentagon that forms the first hue range A1 is shifted up as indicated by reference numeral 65.
[0195]
In the above description, the first hue range is variably controlled according to the brightness of the subject. However, it is needless to say that the first hue range may be variably controlled according to the brightness and the amount of flash emission. The strobe light emission amount is set based on the strobe absolute light emission amount and the subject distance, as described above.
[0196]
According to such a second embodiment, substantially the same effect as that of the first embodiment described above can be obtained, and the first hue defined by the hue determination parameter according to the brightness of the subject and the flash emission amount. By shifting the range, finer control is possible.
[0197]
FIG. 21 shows a third embodiment of the present invention and is a flowchart showing white balance processing during reproduction. In the third embodiment, portions that are the same as those in the first and second embodiments described above are denoted by the same reference numerals, description thereof is omitted, and only differences are mainly described.
[0198]
In the first and second embodiments described above, white balance is detected when shooting, but in the third embodiment, white balance is detected during reproduction. It is a thing.
[0199]
As described above, the subject image picked up by the image pickup means is recorded on the recording medium 20 after being subjected to image compression processing by the recording processing means 17.
[0200]
When the reproduction white balance processing starts, information recorded in the recording medium 20 is read out, and decompression processing is performed by the reproduction processing means 19 via the media I / F 18 (step S14). Once buffered.
[0201]
Then, information is read from the memory 13 and white balance detection by the white balance detection circuit 16 is performed in step S2 and subsequent steps. The processing at this time is the same as in the first embodiment described above.
[0202]
Needless to say, various modifications as described in the first and second embodiments described above can also be applied to the white balance processing during reproduction according to the third embodiment.
[0203]
According to the third embodiment, the same effects as those of the first and second embodiments described above can be achieved during reproduction. Further, by performing white balance detection at the time of reproduction, it is possible to reduce the amount of processing required at the time of recording, and it is possible to reduce the time required for shooting.
[0204]
22 to 24 show a fourth embodiment of the present invention, and FIG. 22 is a flowchart showing a process for calculating a variation correction coefficient of the imaging means. In the fourth embodiment, portions similar to those in the first to third embodiments described above are denoted by the same reference numerals, description thereof is omitted, and only different points will be mainly described.
[0205]
It is known that there are individual differences in imaging means due to various factors that occur in the manufacturing process. Due to this individual difference, the white balance differs depending on the imaging means.
[0206]
Therefore, this individual difference is detected at the time of manufacturing, and an imaging means variation correction coefficient for correcting the individual difference is calculated, and the calculated coefficient is stored in advance in the imaging apparatus.
[0207]
First, with reference to FIG. 22, the process of calculating the imaging means variation correction coefficient at the time of manufacture will be described.
[0208]
First, one reference imaging device is determined, a specific subject (for example, white paper) is photographed under a specific light source (for example, a fluorescent lamp), and the hue value (R / G, B / G) is set as reference data (step S31).
[0209]
Next, in the same way for all image pickup apparatuses to be manufactured, a specific subject is imaged under the specific light source, and hue values ((R / G) i and (B / G) i for each image pickup apparatus are individually obtained. ) (Here, “i” is an index for identifying the individual imaging device) (step S32).
[0210]
Then, in all the imaging devices, the ratio between the hue value and the reference hue value as shown in Formula 4 is individually taken for each unit, and these are set as imaging means variation correction coefficients Kr and Kb (step S33).
[0211]
[Expression 4]
Kr = ((R / G) i / (R / G))
Kb = ((B / G) i / (B / G))
[0212]
The imaging means variation correction coefficients Kr and Kb thus obtained are recorded in the non-volatile recording means 28 provided in each imaging apparatus (step S34), and the process ends.
[0213]
Next, a variation correction process performed using the image pickup unit variation correction coefficients Kr and Kb recorded in this manner will be described.
[0214]
FIG. 23 is a flowchart illustrating an example of white balance processing including variation correction processing.
[0215]
As described in the first embodiment, the data captured in step S1 is converted into a digital signal by the ADC 10. When the data is input to the gain correction circuit 11, the R signal and the B signal are corrected based on the imaging means variation correction coefficients Kr and Kb, thereby correcting the variations of R, G, and B and balancing them. A clear signal is output.
[0216]
Thereafter, the data buffered in the memory 13 via the gradation conversion circuit 12 is read again and input to the WB detection circuit 16, and the processing from step S2 onward is performed in the same manner as described above.
[0217]
FIG. 24 is a flowchart showing another example of white balance processing including variation correction processing.
[0218]
In the above description, the white balance variation based on the individual difference of the image pickup means is compensated by correcting the output signal from the image pickup means, but here, it is compensated by correcting the hue space for detecting the white balance. It is a thing.
[0219]
That is, in the step S4, for the data for which it is confirmed that there is a luminance level between the first threshold value and the second threshold value, the hue space in which the data is to be plotted is set as the imaging means variation correction coefficient Kr, Kb. (Step S16). With the correction of the hue space, the first hue range and the second hue range are also corrected, and the predetermined hue curve and the predetermined hue value used for the approximation process performed in step S12 are also corrected. It goes without saying that it is done.
[0220]
Subsequent processing is almost the same as in the first embodiment.
[0221]
According to the fourth embodiment as described above, substantially the same effects as those of the first and second embodiments described above can be obtained, and the white balance variation based on the individual difference of the imaging unit can be corrected favorably. .
[0222]
Note that the present invention is not limited to the above-described embodiments, and various modifications and applications can be made without departing from the spirit of the invention.
[0223]
【The invention's effect】
As described above, according to the imaging apparatus of the present invention according to claim 1, since the color evaluation value is detected and processed for each minute region set by dividing the imaging screen, the noise component can be removed. At the same time, the amount of processing data can be reduced.
[0224]
In addition, since a color evaluation value that does not include a luminance level between the first threshold value and the second threshold value is not used for obtaining hue information, a noise component that increases a calculation error or a luminance value in an image. It is possible to cancel a component that cannot ensure linearity and detect a more accurate white level.
[0225]
Furthermore, when the count value of the effective minute area is larger than the third threshold value, the weighted average value based on the luminance level of the hue information of the effective minute area is calculated for the entire screen, so the degree of whiteness is higher. An appropriate white level can be detected by increasing the specific gravity of data considered to be strong.
[0226]
On the other hand, even when the count value of the effective minute area is equal to or smaller than the third threshold value, the average value of the hue information of the minute area having the appropriate luminance is calculated and used for the entire screen. Even if there is almost no white, the white level can be specified with a certain degree of accuracy.
[0227]
In this way, an imaging apparatus capable of performing appropriate white balance detection with a simple configuration.
[0228]
Further, according to the imaging device of the present invention according to claim 2, the same effect as that of the invention according to claim 1 can be obtained, the influence of noise included in the color evaluation value can be reduced, and calculation is simple. There is an advantage of becoming.
[0229]
Furthermore, according to the imaging device of the present invention according to claim 3, the same effects as the invention according to claim 1 can be obtained, noise included in the color evaluation value can be removed, and calculation can be simplified. There are advantages.
[0230]
According to the image pickup apparatus of the present invention according to claim 4, there is an advantage that the same effect as that of the invention according to claim 1 can be obtained and it is not necessary to calculate and obtain the luminance level.
[0231]
According to the imaging device of the present invention according to claim 5, the same effect as that of the invention according to claim 1 can be obtained, and a more appropriate luminance level can be used.
[0232]
According to the image pickup apparatus of the present invention according to claim 6, the same hue information can be obtained when the same effect as that of the invention according to claim 1 is obtained and the ratios of a plurality of color signals are the same. It is not affected by brightness.
[0233]
According to the imaging device of the present invention of claim 7, the same effect as that of the invention of claim 1 can be obtained, and white can be obtained with a certain degree of accuracy even when the number of effective minute regions is smaller than the third threshold value. Can be identified.
[0234]
According to the image pickup apparatus of the present invention according to claim 8, the same effect as that of the invention according to claim 7 can be obtained, and the use of data that cannot be white as a correction value for the color signal level is limited. can do.
[0235]
According to the image pickup apparatus of the present invention according to claim 9, while having the same effect as that of the invention according to claim 7, the calculation is simplified, the burden can be reduced, and the processing time can be shortened.
[0236]
According to the imaging device of the present invention according to claim 10, the same effect as that of the invention according to claim 7 can be obtained, and a more appropriate average value of hue information can be obtained based on detailed classification of hue information. it can.
[0237]
According to the imaging device of the present invention according to claim 11, the same effect as that of the invention according to claim 7 can be obtained, and a more appropriate average value of hue information can be obtained by selecting a hue curve based on brightness information. Can be obtained.
[0238]
According to the imaging device of the present invention according to claim 12, the same effect as that of the invention according to claim 1 is obtained, and there is almost no white subject in the imaging screen, and the average value of the hue information of the entire screen is white. Even when the user is away, white balance detection can be performed.
[0239]
According to the imaging device of the present invention according to claim 13, the same effect as that of the invention according to claim 12 can be obtained, and an appropriate predetermined hue value corresponding to the brightness can be selected.
[0240]
According to the imaging device of the present invention according to claim 14, the same effect as that of the invention according to claim 12 can be obtained, and an appropriate predetermined hue value corresponding to the brightness and hue information average value can be selected. .
[0241]
According to the fifteenth aspect of the present invention, the same effect as that of the twelfth aspect of the present invention can be obtained, and an appropriate predetermined hue value can be selected according to the brightness and the amount of flash emission.
[0242]
According to the imaging device of the present invention according to claim 16, the same effect as that of the invention according to claim 15 is achieved, and a more appropriate predetermined hue value is selected in accordance with the strobe absolute light emission amount and the subject distance. Can do.
[0243]
According to the image pickup apparatus of the present invention according to claim 17, the same effect as that of the invention according to claim 1 can be obtained, and an appropriate first hue range according to brightness can be used.
[0244]
According to the imaging device of the present invention according to claim 18, the same effect as that of the invention described in claim 1 can be obtained, and an appropriate first hue range according to the brightness and the amount of flash emission can be used.
[0245]
According to the image pickup apparatus of the present invention according to claim 19, the same effect as that of the invention according to claim 18 can be obtained, and a more appropriate first hue range according to the strobe absolute light emission amount and the subject distance can be used. Can do.
[0246]
According to the image pickup apparatus of the present invention according to claim 20, the same effects as those of the invention according to claim 1 can be obtained, and variations in image pickup means can be corrected.
[0247]
According to the image pickup apparatus of the present invention according to claim 21, the same effect as that of the invention according to claim 20 can be obtained, and variations in image pickup means can be corrected by adjusting the gain.
[0248]
According to the imaging device of the present invention of claim 22, the same effect as that of the invention of claim 20 is achieved, and the variation of the imaging means is corrected by converting the coordinate axis used when detecting hue information. Can do.
[0249]
According to the image pickup apparatus of the present invention according to claim 23, the same effect as that of the invention described in claim 20 can be obtained, and variations in image pickup means can be corrected by converting the hue parameter.
[0250]
According to the image pickup apparatus of the present invention according to claim 24, the same effect as the effect of the invention of claim 1 described above can be achieved during reproduction.
[0251]
According to the imaging device of the present invention of claim 25, the same effect as that of the invention of claim 24 is achieved, and it is not necessary to divide the imaging screen into a plurality of minute regions, thereby reducing the burden of calculation. Processing time can be shortened.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of an imaging apparatus according to a first embodiment of the present invention.
FIG. 2 is a diagram showing a configuration of a color filter provided on the imaging surface of the CCD according to the first embodiment.
FIG. 3 is a diagram showing a state in which the CCD imaging screen of the first embodiment is divided into a plurality of minute regions.
FIG. 4 is a diagram showing an outline of spectral sensitivity of the CCD according to the first embodiment.
FIG. 5 is a diagram showing CCD output with respect to the amount of light when the color temperature is high in the first embodiment.
FIG. 6 is a diagram showing CCD output with respect to light quantity when the color temperature is low in the first embodiment.
FIG. 7 is a time chart showing a flow of processing at the time of shooting in the imaging apparatus of the first embodiment.
FIG. 8 is a flowchart showing white balance processing in the imaging apparatus of the first embodiment.
FIG. 9 is a flowchart showing processing for calculating an average value of hue information for the entire screen in the imaging apparatus according to the first embodiment.
FIG. 10 is a diagram for explaining calculation of a weighted average value of hue information related to an effective minute area in the imaging apparatus according to the first embodiment.
FIG. 11 is a diagram illustrating a state in which an average value of hue information on the entire screen is approximated to a predetermined hue curve in the imaging device according to the first embodiment.
FIG. 12 is a diagram showing another example of approximating the entire screen hue information average value to a predetermined hue curve in the first embodiment.
FIG. 13 is a diagram showing still another example of approximating the entire screen hue information average value to a predetermined hue curve in the first embodiment.
FIG. 14 is a diagram showing an example of approximation when the entire screen hue information average value is not included in the second hue range in the first embodiment.
FIG. 15 is a diagram showing a second example of approximation when the entire screen hue information average value is not included in the second hue range in the first embodiment.
FIG. 16 is a diagram showing a third example of approximation in the case where the average value of the entire screen hue information is not included in the second hue range in the first embodiment.
FIG. 17 is a diagram showing a fourth example of approximation when the entire screen hue information average value is not included in the second hue range in the first embodiment.
FIG. 18 is a diagram illustrating a state in which a first hue range defined by a hue determination parameter is shifted according to brightness information in the imaging apparatus according to the second embodiment of the present invention.
FIG. 19 is a diagram showing a state of a second example in which the first hue range is variably controlled according to brightness information in the second embodiment.
FIG. 20 is a diagram illustrating a state of a third example in which the first hue range is variably controlled according to brightness information in the second embodiment.
FIG. 21 is a flowchart showing white balance processing during reproduction in the imaging apparatus according to the third embodiment of the present invention.
FIG. 22 is a flowchart showing processing for calculating a variation correction coefficient of an imaging unit in the fourth embodiment of the present invention.
FIG. 23 is a flowchart showing an example of white balance processing including variation correction processing in the fourth embodiment.
FIG. 24 is a flowchart showing another example of white balance processing including variation correction processing in the fourth embodiment.
[Explanation of symbols]
1 ... Imaging lens (part of imaging means)
2. Diaphragm and shutter (part of imaging means)
3. Prism (part of imaging means)
6 ... Low-pass filter (LPF) (part of imaging means)
7 ... CCD (image sensor, part of image sensor)
8: Correlated double sampling (CDS) (part of imaging means)
9: Gain control amplifier (GCA) (part of imaging means)
10. Analog-to-digital converter (ADC) (part of imaging means)
11 ... Gain correction circuit (gain correction means)
16. White balance detection circuit (WB detection circuit) (color evaluation value detection means, luminance level detection means, hue information detection means, effective minute area coefficient means, first calculation means, second calculation means, correction value calculation means )
17 Recording processing means
19: Reproduction processing means
20 ... Recording media
28: Non-volatile recording means

Claims

被写体光を受光して光電変換を行い３種類以上の各色に係る色信号を出力する撮像手段と、
撮像画面を分割して設定された複数の微小領域の色信号レベルを、各色の色評価値として得る色評価値検出手段と、
上記各微小領域の輝度レベルを検出する輝度レベル検出手段と、
上記各微小領域が、該微小領域の輝度レベルが第１の閾値と第２の閾値との間に含まれる適正輝度微小領域となる場合に、上記色評価値検出手段から得られる各色に係る色評価値に基づき色相情報を求める色相情報検出手段と、
上記色相情報検出手段から得られる色相情報が色相判定パラメータで規定される第１の色相範囲に含まれる、有効な微小領域の数を計る有効微小領域計数手段と、
有効微小領域の計数値が第３の閾値よりも大きい場合に、画面全体について、有効微小領域の色相情報の輝度レベルに基づく加重平均値を算出する第１の算出手段と、
有効微小領域の計数値が第３の閾値以下である場合に、画面全体について適正輝度微小領域の色相情報の平均値を算出する第２の算出手段と、
上記第１の算出手段による加重平均値または上記第２の算出手段による平均値に基づいて、複数の色信号レベルの補正値を求める補正値算出手段と、
を具備したことを特徴とする撮像装置。Imaging means for receiving subject light, performing photoelectric conversion, and outputting color signals relating to three or more colors;
Color evaluation value detection means for obtaining the color signal levels of a plurality of minute areas set by dividing the imaging screen as color evaluation values for each color;
Brightness level detection means for detecting the brightness level of each of the micro regions,
When each minute area is an appropriate brightness minute area whose brightness level is included between the first threshold value and the second threshold value, the color relating to each color obtained from the color evaluation value detecting means Hue information detecting means for obtaining hue information based on the evaluation value;
Effective micro area counting means for measuring the number of effective micro areas in which the hue information obtained from the hue information detecting means is included in the first hue range defined by the hue determination parameter;
A first calculating means for calculating a weighted average value based on a luminance level of hue information of the effective minute area for the entire screen when the count value of the effective minute area is larger than a third threshold;
A second calculating means for calculating an average value of hue information of the appropriate luminance minute area for the entire screen when the count value of the effective minute area is equal to or smaller than a third threshold;
Correction value calculation means for obtaining correction values of a plurality of color signal levels based on the weighted average value by the first calculation means or the average value by the second calculation means;
An imaging apparatus comprising:

上記色評価値検出手段は、微小領域毎の色信号別平均値信号を各色の色評価値として出力するものであることを特徴とする請求項１に記載の撮像装置。2. The imaging apparatus according to claim 1, wherein the color evaluation value detection means outputs an average value signal for each color signal for each minute region as a color evaluation value for each color.

上記色評価値検出手段は、微小領域毎の複数の色信号別中央値信号を各色の色評価値として出力するものであることを特徴とする請求項１に記載の撮像装置。2. The image pickup apparatus according to claim 1, wherein the color evaluation value detection means outputs a plurality of color signal-specific median signals for each minute area as color evaluation values for each color.

上記輝度レベル検出手段は、微小領域毎の所定の色に係る色評価値を輝度レベルとして出力するものであることを特徴とする請求項１に記載の撮像装置。The imaging apparatus according to claim 1, wherein the luminance level detection unit outputs a color evaluation value relating to a predetermined color for each minute region as a luminance level.

上記輝度レベル検出手段は、微小領域毎の各色評価値の加重平均値を輝度レベルとして出力するものであることを特徴とする請求項１に記載の撮像装置。2. The imaging apparatus according to claim 1, wherein the luminance level detecting means outputs a weighted average value of each color evaluation value for each minute region as a luminance level.

上記色相情報検出手段は、微小領域毎の複数の色評価値の比に基づき色相情報を求めて出力するものであることを特徴とする請求項１に記載の撮像装置。2. The image pickup apparatus according to claim 1, wherein the hue information detection means obtains and outputs hue information based on a ratio of a plurality of color evaluation values for each minute region.

上記第２の算出手段は、画面全体についての適正輝度微小領域の色相情報の平均値が第２の色相範囲に含まれる場合に、該平均値を所定の色相をつないで構成される所定の色相曲線に近似して、その近似した値を出力するものであることを特徴とする請求項１に記載の撮像装置。When the average value of the hue information of the appropriate luminance minute region for the entire screen is included in the second hue range, the second calculation unit is configured to connect the average value to a predetermined hue. The imaging apparatus according to claim 1, which approximates a curve and outputs the approximated value.

上記第２の算出手段は、上記近似した値が上記第１の色相範囲の外である場合に、該第１の色相範囲により区切られる上記所定の色相曲線の両端値の内の近い方の値にさらに近似するものであることを特徴とする請求項７に記載の撮像装置。When the approximate value is outside the first hue range, the second calculating means is a value closer to the two end values of the predetermined hue curve divided by the first hue range. The imaging apparatus according to claim 7, further approximating to

上記所定の色相曲線は、所定の直線であることを特徴とする請求項７に記載の撮像装置。The imaging apparatus according to claim 7, wherein the predetermined hue curve is a predetermined straight line.

上記第２の色相範囲は複数の領域に分割されており、上記所定の色相曲線がこれら複数の領域に各対応して複数設定されていることを特徴とする請求項７に記載の撮像装置。8. The imaging apparatus according to claim 7, wherein the second hue range is divided into a plurality of areas, and a plurality of the predetermined hue curves are set corresponding to the plurality of areas.

上記所定の色相曲線は予め複数用意されており、上記第２の算出手段は、明るさ情報に基づいてこれらの内の一の色相曲線を選択するものであることを特徴とする請求項７に記載の撮像装置。A plurality of the predetermined hue curves are prepared in advance, and the second calculation means selects one of these hue curves based on brightness information. The imaging device described.

上記第２の算出手段は、画面全体についての適正輝度微小領域の色相情報の平均値が第２の色相範囲に含まれない場合に、上記第１の色相範囲内に設定されている所定の色相値を出力するものであることを特徴とする請求項１に記載の撮像装置。The second calculation means is configured to determine a predetermined hue set in the first hue range when the average value of the hue information of the appropriate luminance minute region for the entire screen is not included in the second hue range. The imaging apparatus according to claim 1, wherein the imaging apparatus outputs a value.

上記所定の色相値は予め複数用意されており、上記第２の算出手段は、明るさ情報に基づいてこれらの内の一の色相値を選択するものであることを特徴とする請求項１２に記載の撮像装置。The plurality of predetermined hue values are prepared in advance, and the second calculation means selects one of these hue values based on brightness information. The imaging device described.

上記所定の色相値は予め複数用意されており、上記第２の算出手段は、明るさ情報および色相情報平均値に基づいてこれらの内の一の色相値を選択するものであることを特徴とする請求項１２に記載の撮像装置。A plurality of the predetermined hue values are prepared in advance, and the second calculation means selects one of these hue values based on brightness information and hue information average value. The imaging apparatus according to claim 12.

上記所定の色相値は予め複数用意されており、上記第２の算出手段は、明るさ情報およびストロボ発光量に基づいてこれらの内の一の色相値を選択するものであることを特徴とする請求項１２に記載の撮像装置。A plurality of the predetermined hue values are prepared in advance, and the second calculation means selects one of the hue values based on the brightness information and the strobe light emission amount. The imaging device according to claim 12.

上記ストロボ発光量は、ストロボによる発光量の総量であるストロボ絶対発光量および被写体距離に基づいて設定されるものであることを特徴とする請求項１５に記載の撮像装置。16. The image pickup apparatus according to claim 15, wherein the strobe light emission amount is set based on a strobe absolute light emission amount that is a total amount of light emission by the strobe light and a subject distance.

上記第１の色相範囲は、明るさ情報に基づき上記色相判定パラメータを可変制御することにより変化されるものであることを特徴とする請求項１に記載の撮像装置。The imaging apparatus according to claim 1, wherein the first hue range is changed by variably controlling the hue determination parameter based on brightness information.

上記第１の色相範囲は、明るさ情報およびストロボ発光量に基づき上記色相判定パラメータを可変制御することにより変化されるものであることを特徴とする請求項１に記載の撮像装置。The imaging apparatus according to claim 1, wherein the first hue range is changed by variably controlling the hue determination parameter based on brightness information and a strobe light emission amount.

上記ストロボ発光量は、ストロボによる発光量の総量であるストロボ絶対発光量および被写体距離に基づいて設定されるものであることを特徴とする請求項１８に記載の撮像装置。19. The image pickup apparatus according to claim 18, wherein the strobe light emission amount is set based on a strobe absolute light emission amount that is a total amount of light emission by the strobe light and a subject distance.

特定の被写体を撮像した場合の各色に係る色信号レベルの比が、所定の基準値に一致するように補正するための撮像手段ばらつき補正係数を記録する不揮発性の記録手段を具備したことを特徴とする請求項１に記載の撮像装置。A non-volatile recording unit that records an imaging unit variation correction coefficient for correcting the ratio of the color signal level of each color when a specific subject is imaged to match a predetermined reference value is provided. The imaging apparatus according to claim 1.

上記撮像手段ばらつき補正係数を用いてゲイン補正を行うことにより、特定の被写体を撮像した場合の各色に係る色信号レベルの比を所定の基準値に一致させるゲイン補正手段を具備したことを特徴とする請求項２０に記載の撮像装置。It is characterized by comprising gain correction means for performing a gain correction using the imaging means variation correction coefficient to match the ratio of the color signal levels for each color when a specific subject is imaged with a predetermined reference value. The imaging device according to claim 20.

上記撮像手段ばらつき補正係数を用いて上記色相情報検出を行う際の座標軸を変換することにより、特定の被写体を撮像した場合の各色に係る色信号レベルの比の、所定の基準値との違いを補正するものであることを特徴とする請求項２０に記載の撮像装置。By converting the coordinate axes when performing the hue information detection using the imaging means variation correction coefficient, the difference in color signal level ratio for each color when a specific subject is imaged is different from a predetermined reference value. 21. The imaging apparatus according to claim 20, wherein correction is performed.

上記撮像手段ばらつき補正係数を用いて上記色相パラメータを変換することにより、特定の被写体を撮像した場合の各色に係る色信号レベルの比の、所定の基準値との違いを補正するものであることを特徴とする請求項２０に記載の撮像装置。By converting the hue parameter using the imaging means variation correction coefficient, the difference in color signal level ratio for each color when a specific subject is imaged is corrected from a predetermined reference value. The imaging device according to claim 20.

被写体光を受光して光電変換を行い３種類以上の各色に係る色信号を出力する撮像手段と、
上記撮像手段により撮像された画像データを圧縮して記録する記録処理手段と、
上記圧縮して記録された画像データを伸長する再生処理手段と、
撮像画面を分割して設定された複数の微小領域の色信号レベルを、各色の色評価値として得る色評価値検出手段と、
上記各微小領域の輝度レベルを検出する輝度レベル検出手段と、
上記各微小領域が、該微小領域の輝度レベルが第１の閾値と第２の閾値との間に含まれる適正輝度微小領域となる場合に、上記色評価値検出手段から得られる各色に係る色評価値に基づき色相情報を求める色相情報検出手段と、
上記色相情報検出手段から得られる色相情報が色相判定パラメータで規定される第１の色相範囲に含まれる、有効な微小領域の数を計る有効微小領域計数手段と、
有効微小領域の計数値が第３の閾値よりも大きい場合に、画面全体について、有効微小領域の色相情報の輝度レベルに基づく加重平均値を算出する第１の算出手段と、
有効微小領域の計数値が第３の閾値以下である場合に、画面全体について適正輝度微小領域の色相情報の平均値を算出する第２の算出手段と、
上記第１の算出手段による加重平均値または上記第２の算出手段による平均値に基づいて、複数の色信号レベルの補正値を求める補正値算出手段と、
を具備したことを特徴とする撮像装置。Imaging means for receiving subject light, performing photoelectric conversion, and outputting color signals relating to three or more colors;
Recording processing means for compressing and recording image data captured by the imaging means;
Reproduction processing means for decompressing the compressed and recorded image data;
Color evaluation value detection means for obtaining the color signal levels of a plurality of minute areas set by dividing the imaging screen as color evaluation values for each color;
Brightness level detection means for detecting the brightness level of each of the micro regions,
When each minute area is an appropriate brightness minute area whose brightness level is included between the first threshold value and the second threshold value, the color relating to each color obtained from the color evaluation value detecting means Hue information detecting means for obtaining hue information based on the evaluation value;
Effective micro area counting means for measuring the number of effective micro areas in which the hue information obtained from the hue information detecting means is included in the first hue range defined by the hue determination parameter;
A first calculating means for calculating a weighted average value based on a luminance level of hue information of the effective minute area for the entire screen when the count value of the effective minute area is larger than a third threshold;
A second calculating means for calculating an average value of hue information of the appropriate luminance minute area for the entire screen when the count value of the effective minute area is equal to or smaller than a third threshold;
Correction value calculation means for obtaining correction values of a plurality of color signal levels based on the weighted average value by the first calculation means or the average value by the second calculation means;
An imaging apparatus comprising:

上記画像データは所定のブロックを単位として記録されており、上記微小領域を構成するデータサイズは、上記ブロックを構成するデータサイズのｎ（ｎは１以上の整数）倍であることを特徴とする請求項２４に記載の撮像装置。The image data is recorded in units of a predetermined block, and the data size constituting the minute area is n (n is an integer of 1 or more) times the data size constituting the block. The imaging device according to claim 24.