JP4352730B2 - オートホワイトバランス処理装置及び方法並びに画像信号処理装置 - Google Patents
オートホワイトバランス処理装置及び方法並びに画像信号処理装置 Download PDFInfo
- Publication number
- JP4352730B2 JP4352730B2 JP2003066740A JP2003066740A JP4352730B2 JP 4352730 B2 JP4352730 B2 JP 4352730B2 JP 2003066740 A JP2003066740 A JP 2003066740A JP 2003066740 A JP2003066740 A JP 2003066740A JP 4352730 B2 JP4352730 B2 JP 4352730B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- luminance
- white balance
- pixels
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
Description
【発明の属する技術分野】
本発明は、イメージセンサを用いた撮像装置のホワイトバランス調整に好適なオートホワイトバランス処理装置及び方法並びに画像信号処理装置に関する。
【0002】
【従来の技術】
近年、被写体像をイメージセンサ等の光電変換素子によって電気信号に変換して画像信号を得る電子カメラが普及している。このような電子カメラにおいては、光学系を通過した被写体の光学像は、撮像素子であるイメージセンサによって電気信号に変換される。イメージセンサからの電気信号は画像信号として所定の画像信号処理が施される。画像信号処理としては、画像信号に対するガンマ補正処理、色分離処理及びホワイトバランス処理等の処理があり、これらの処理を経て所定のフォーマットの画像信号が得られる。
【0003】
なお、ガンマ補正処理は、表示系における画像信号のレベルと透過率(輝度)との関係の非線形性を補正するための処理である。また、ホワイトバランス処理は、白色を正しく再現するための処理である。
【0004】
電子カメラにおいては、イメージセンサにカラーフィルタを配置することでカラー画像が得られる。カラーフィルタによって例えばR(赤),G(緑),B(青)光をイメージセンサに入射させることで、R,G,B画像信号が得られる。ところが、同一被写体(同一物色)を撮像した場合でも、イメージセンサから得られたR,G,B信号のレベルは、光源(環境色)の色温度に応じて個々に変動してしまう。そこで、白色を正しく再現すると共に色のバランスを適切に再現するために、ホワイトバランス処理が行われている。
【0005】
ホワイトバランス処理はR,G,B画像信号に対して、夫々所定の係数(色係数)を乗算することで行われる。これにより、R,G,B信号のレベルを個々に調整して、色のバランスを適正なものにするのである。
【0006】
【発明が解決しようとする課題】
ところで、ホワイトバランス調整は、上述したように、白を正確に再現するためのものである。即ち、白の被写体を撮像した場合の出力画像信号を画面上に映出させた場合に、正しく白い被写体を再現させるためのものである。なお、ホワイトバランス調整では、白の再現性だけでなく、色バランスの調整も同時に行っている。放送用テレビカメラ等においては、ホワイトバランス調整のために、環境色を基準色(灰色)に設定するような照明を施すようになっている。そして、この状態で撮像して得た画像信号に対してホワイトバランス処理を行うことにより、確実な色バランス調整を可能にしている。
【0007】
ところが、カムコーダやデジタルカメラを個人的に使用する場合等においては、環境(照明)色を基準色に設定することは実質的に困難である。そこで、パーソナルな電子カメラにおいては、撮像した画像からホワイトバランス調整用の色係数を算出することで、自動的なホワイトバランスの調整を可能にしている。
【0008】
しかしながら、当然ながら、基準色ではない通常の撮像画像から求めた色係数を用いたオートホワイトバランスでは、色バランスの再現性が十分であるとは言えないという問題があった。しかも、色係数の算出のための演算量は極めて大きく、デジタルスチルカメラ等のCPUを搭載したシステムでなければある程度の色再現性を得ることも困難である。
【0009】
本発明はかかる問題点に鑑みてなされたものであって、ワイヤードロジックによる色調整を可能にすると共に、色再現性を著しく向上させることができるオートホワイトバランス処理装置及び方法並びに画像信号処理装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
本発明に係るホワイトバランス処理装置は、カラーフィルタが配設された撮像素子の出力に基づく各色成分から輝度−色差色空間への変換によって得られた輝度信号及び色差信号が与えられ、所定の色範囲及び所定の輝度範囲の画素を抽出画素として判定する抽出画素判定手段と、前記抽出画素判定手段によって抽出画素と判定された画素の前記各色成分を用いてホワイトバランス処理のための色係数を算出する色係数算出手段と、前記各色成分に対する前記色係数を用いた線形処理によってホワイトバランスを調整するホワイトバランス調整手段とを具備したことを特徴とする。
【0011】
このような構成によれば、撮像素子の出力に基づく各色成分は輝度−色差色空間の輝度信号及び色差信号に変換された後抽出画素判定手段に与えられる。抽出画素判定手段は、所定の色範囲及び所定の輝度範囲の画素を抽出画素として判定する。これにより、例えば、無彩色の画素を確実に抽出画素として判定することができる。色係数算出手段は、抽出画素判定手段によって抽出画素と判定された画素の各色成分を用いてホワイトバランス処理のための色係数を算出する。これにより、色係数は極めて高精度のものとなる。この色係数を用いて、ホワイトバランス調整手段は各色成分に対する線形処理を行ってホワイトバランスを調整する。こうして、色再現性に極めて優れたホワイトバランス調整が可能となる。
【0012】
また、前記抽出画素判定手段は、前記所定の色範囲内の画素について前記所定の輝度範囲内の画素であるか否かを判定して前記抽出画素を決定することを特徴とする。
【0013】
このような構成によれば、所定の色範囲内の画素であるか否かの判定が所定の輝度範囲内の画素であるか否かの判定の前に行われる。先に輝度範囲に基づいて画素を選択すると、色範囲に基づく画素の選択時に、高輝度の無彩色画素の多くが選択から除外されてしまう。このため、色係数の算出時の母数が小さくなって色係数の信頼性が低くなる。これに対し、先の色範囲に基づいて画素を選択した後、選択した画素について輝度範囲内の画素であるか否かを判定すれば、色係数の算出時の母数として十分な数を確保することができ、色係数の信頼性を向上させることができる。
【0014】
また、前記抽出画素判定手段は、前記所定の輝度範囲内の画素であるか否かの判定に代えて、輝度値順の所定番目から所定数の画素を前記抽出画素として決定することを特徴とする。
【0015】
このような構成によれば、輝度値の所定番目から所定数の画素を抽出画素として決定しているので、色係数の算出時の母数が小さくなることを防止することができ、色係数の信頼性を向上させることができる。
【0016】
また、前記抽出画素判定手段は、前記所定の色範囲内の画素について輝度の分布を求める輝度分布検出手段と、前記輝度分布中の所定の輝度値番目から所定数の画素を前記抽出画素として決定する輝度範囲判定手段とを具備したことを特徴とする。
【0017】
このような構成によれば、輝度分布検出手段は所定の色範囲内の画素について輝度の分布を求める。これにより、所定の輝度値番目から所定数の画素の選択が容易となる。
【0018】
また、前記輝度分布検出手段は、所定の輝度上限値及び下限値の範囲内において輝度の分布を求めることを特徴とする。
【0019】
このような構成によれば、抽出画素として選択される可能性が極めて少ない画素を、輝度の分布を作成する時点において除外していることから、抽出画素として選択すべき画素の精度を向上させることができる。
【0020】
また、前記輝度分布検出手段は、所定輝度範囲毎に分割して輝度の分布を求め、前記輝度範囲判定手段は、前記所定輝度範囲単位で前記抽出画素を決定することを特徴とする。
【0021】
このような構成によれば、所定輝度範囲毎の分割単位で輝度の分布を求めればよく、輝度分布を求めるための回路規模を縮小することができる。
【0022】
また、前記抽出画素判定手段は、輝度値として採り得る値の最大値よりも所定輝度だけ小さい値以下の輝度値の画素を前記抽出画素として決定することを特徴とする。
【0023】
このような構成によれば、各色成分のうちの所定の色成分が飽和状態にある場合にこの飽和状態の色成分が色係数の算出に使用されることを阻止することができ、色係数の精度を向上させることができる。
【0024】
また、前記色係数算出手段は、前記ホワイトバランス調整手段によるホワイトバランスの調整前の各色成分を色係数の算出に用いることを特徴とする。
【0025】
このような構成によれば、色係数の算出をフィードフォワード構成によって得ることができる。
【0026】
また、前記色係数算出手段は、前記ホワイトバランス調整手段によるホワイトバランスの調整後の各色成分を色係数の算出に用いることを特徴とする。
【0027】
このような構成によれば、色係数の算出をフィードバック構成によって得ることができる。
【0028】
また、前記色係数算出手段は、前記抽出画素と判定された画素の前記各色成分を用いた前記色係数を所定期間で目標値に収束させることを特徴とする。
【0029】
このような構成によれば、色係数は所定の期間で目標値に収束する。従って、色係数を用いたホワイトバランス処理によって画像が急変することを防止することができ、画質を向上させることができる。
【0030】
また、本発明に係るホワイトバランス処理方法は、カラーフィルタが配設された撮像素子の出力に基づく各色成分から輝度−色差色空間への変換によって得られた輝度信号及び色差信号が与えられ、所定の色範囲及び所定の輝度範囲の画素を抽出画素として判定する抽出画素判定手順と、前記抽出画素判定手順において抽出画素と判定された画素の前記各色成分を用いてホワイトバランス処理のための色係数を算出する色係数算出手順と、前記各色成分に対する前記色係数を用いた線形処理によってホワイトバランスを調整するホワイトバランス調整手順とを具備したことを特徴とする。
【0031】
このような構成によれば、撮像素子の出力に基づく各色成分は輝度−色差色空間の輝度信号及び色差信号に変換され、抽出画素判定手順において、所定の色範囲及び所定の輝度範囲の画素が抽出画素として判定される。これにより、例えば、無彩色の画素が抽出画素として確実に判定される。色係数の算出には、抽出画素判定手順において抽出画素と判定された画素の各色成分が用いられる。これにより、色係数は極めて高精度のものとなる。ホワイトバランス調整手順では、各色成分に対する色係数を用いた線形処理を行ってホワイトバランスが調整される。こうして、色再現性に極めて優れたホワイトバランス調整が可能となる。
【0032】
また、前記抽出画素判定手順は、前記所定の色範囲内の画素について前記所定の輝度範囲内の画素であるか否かを判定して前記抽出画素を決定することを特徴とする。
【0033】
このような構成によれば、所定の色範囲内の画素であるか否かの判定が所定の輝度範囲内の画素であるか否かの判定の前に行われることから、高輝度の無彩色画素の多くが選択から除外されてしまうことを防止することができる。これにより、色係数の算出時の母数を十分に確保して色係数の信頼性を維持する。
【0034】
また、本発明に係る画像信号処理装置は、カラーフィルタが配設された撮像素子の出力に基づく各色成分から輝度−色差色空間への変換を行って輝度信号及び色差信号を得るマトリクス手段を具備し、前記マトリクス手段から前記輝度信号及び色差信号を用いて前記ホワイトバランス処理装置又は前記ホワイトバランス処理方法によってホワイトバランスを調整することを特徴とする。
【0035】
このような構成によれば、ホワイトバランス処理装置及びホワイトバランス処理方法によるホワイトバランスの調整によって色再現性に極めて優れた画像信号処理が可能となる。
【0036】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。図1は本発明の第1の実施の形態に係る画像信号処理装置を示すブロック図である。
【0037】
本実施の形態においては、撮像して得た画像信号から所定の色範囲の画素を抽出し、更に抽出した画素のうち所定の輝度範囲の画素のみを取り出して、オートホワイトバランス処理の色係数の算出に用いることにより、色の再現性を向上させるようになっている。
【0038】
被写体からの光学像は、カラーフィルタを含む図示しない光学系を介して図示しないイメージセンサに入射される。イメージセンサは入射光を光電変換して、被写体の光学像に基づく画像信号を発生する。この画像信号は図1のAFE(アナログフロントエンド)回路1に供給されるようになっている。AFE回路1は図示しない増幅器及びアナログ/デジタル変換器等によって構成されており、入力された画像信号をデジタル信号に変換してOBクランプ回路2に出力する。
【0039】
OBクランプ回路2は、入力された画像信号を適切な黒色の基準レベルに調整するための回路である。イメージセンサには予め決められた数個の画素が遮光板等によって遮光されてOB(オプティカルブラック)領域に設定されている。OBクランプ回路2はこのOB領域の画素の画素信号レベルに基づいて、画像信号の黒色レベルを調整するようになっている。OBクランプ回路2の出力はデータレンジ補正回路3に与えられる。データレンジ補正回路3は、入力されたデジタル画像データのレンジを補正してCFA色補間回路4に出力する。
【0040】
イメージセンサに設けられたカラーフィルタは、例えば、R,G,Bフィルタが適宜の配列規則に従って、循環的に配列されたものである。これにより、イメージセンサの各画素は、個々にR画素、G画素又はB画素を構成する。CFA色補間回路4は、複数ライン(例えば3ライン)分の画像信号を保持するラインバッファ(図示せず)を有しており、隣接した位置のR,G,B画素を用いた演算処理によって、各画素位置でR,G,B信号を得るための補間処理を行う。CFA色補間回路4からのR,G,B信号はマトリクス演算器5に供給される。
【0041】
マトリクス演算器5は入力されたR,G,B信号をYUV′信号に変換するためのものである。マトリクス演算器5は例えば3×3のマトリクス演算によって、R,G,B信号をYUV′信号に変換し、(輝度)信号Yをハイパスフィルタ(HPF)6に与え、色差信号U,V′をローパスフィルタ(LPF)7に与えるようになっている。HPF6は輝度信号Yの高域成分を通過させて高域強調による輪郭補償等の画質補正を行ってマトリクス演算器9に出力する。また、LPF7は入力された色差信号U,V′を低域のみに制限して色抑制回路8に出力する。
【0042】
本実施の形態においては、色抑制回路8は色差信号UV′の色成分を抑制してマトリクス演算器9に出力するようになっている。画素信号に対する利得が比較的大きい場合には、量子化ノイズ等の影響によって画素信号の欠陥が目立ってしまう。そこで、暗い部分については色に対する人間の目の感度が比較的低いことを利用して、比較的輝度が低い画素(暗い部分)の色成分を抑制し、又はモノクロモードにすることによって、画素の欠陥を目立たなくなるようにしている。
【0043】
本実施の形態においては、YUV′信号に変換した画像信号を再びR,G,B信号に戻すようになっている。マトリクス演算器9は入力されたYUV′信号をマトリクス処理してR1 ,G1 ,B1 信号に変換した後マトリクス演算器10に出力する。マトリクス演算器10は入力されたR1 ,G1 ,B1 信号に対してマトリクス処理を施して色調整し、色調整後のR2 ,G2 ,B2 信号をオートホワイトバランス回路11に出力するようになっている。オートホワイトバランス回路11は、後述するように、AWB用係数算出回路4からオートホワイトバランス調整用の色係数が与えられ、入力されたR2 ,G2 ,B2 信号に対して、色係数を乗算するマトリクス処理によって各色レベルを調整を行い、ホワイトバランスを適正なものにするようになっている。オートホワイトバランス回路11によってオートホワイトバランス調整されたR3 ,G3 ,B3 信号はユーザ色調整回路15に出力される。
【0044】
ユーザ色調整回路15は、ユーザ操作に基づく外部信号が入力され、この外部信号に基づいて入力されたR3 ,G3 ,B3 信号のレベルを調整することで、色バランスをユーザの好みに調整するようになっている。ユーザ色調整回路15からの色調整後のR4 ,G4 ,B4 信号はユーザデジタルゲイン設定回路16に供給される。ユーザデジタルゲイン設定回路16は、ユーザ操作に基づく外部信号が入力され、この外部信号に基づいて入力されたR4 ,G4 ,B4 信号に対するゲインを調整することで、輝度をユーザの好みに調整するようになっている。ユーザデジタルゲイン設定回路16からの輝度調整後のR5 ,G5 ,B5 信号はガンマ補正回路17に供給される。
【0045】
ガンマ補正回路17は入力されたR5 ,G5 ,B5 信号に所定の非線形処理を施してガンマ補正した後、マトリクス演算器18に出力する。マトリクス演算器18は、入力されたR,G,B信号をYUV信号に変換するためのものである。マトリクス演算器18は例えば3×3のマトリクス演算によって、R,G,B信号をYUV信号に変換して出力するようになっている。
【0046】
次に、図2及び図3を参照してオートホワイトバランス処理について説明する。
【0047】
一般的なホワイトバランス処理では、画像全体の平均の色は無彩色であるという仮説をもとに色係数が生成されている。この手法は画像にまんべんなく色がついているようなシーンには有効であるが、ある色に偏ったシーンでは期待した結果は得られず、偏った色を無彩色に引き込むような処理になってしまう。画像の平均的な色を特定の色に偏らせるのに影響を与えやすい画素(以下、偏り影響色という)としては、例えば、肌色、草木の緑色、青空の色等が考えられる。そこで、本実施の形態においては、画像中からこれらの偏り影響色の画素を除外して残った画素を平均化した場合には画像の平均的な色は無彩色になるものと考え、画像中の偏り影響色を除く画素を色係数の生成に用いるようにしている。
【0048】
ところで、環境色(照明光)が変化すると、イメージセンサによって撮像されて得られた画像の色も変化する。このように環境色が変化する場合でも、偏り影響色を除く色、即ち、無彩色(灰色)は色空間上の所定の範囲内に存在する。図2は偏り影響色を除く無彩色のYUV色空間上の分布範囲を斜線部によって示している。ところが、画像の輝度によっては、偏り影響色であっても図2の斜線部分の範囲内に存在することがある。
【0049】
一方、光源(照明光)の照度の変化によって各色の輝度を調べると、無彩色のうち白を含む明るい灰色は比較的輝度が高いことが判明した。そこで、本実施の形態においては、抽出する画素の色範囲として図2の斜線部分を設定すると共に、この色範囲内の画素のうち輝度が所定の輝度範囲の画素であるか否かによって、色係数の演算に用いる画素(以下、抽出画素という)を決定するようになっている。図3は抽出画素を抽出する輝度範囲を斜線にて示している。
【0050】
本実施の形態においては、色係数の算出に用いる抽出画素は、(オートホワイトバランス)用抽出画素判定回路12によって判定するようになっている。図4は図1中のAWB用抽出画素判定回路12の具体的な構成を示すブロック図である。
【0051】
図2では斜線部分の範囲(以下、抽出色範囲という)は、UV色空間上の直線U=umax、V′=vmax、V′=−mU+uvmax、V′=−nU+uvmin(−m,−nは夫々V′軸上の点uvmax,uvminを通過する直線の傾き)によって囲まれる範囲である。即ち、図2の例では、抽出色範囲は、下記(1)式を満足するように設定されている。なお、図2ではm,nは1である。
【0052】
U≦umax
V′≦vmax
uvmin≦{(m×U)+(n×V′)}≦uvmax …(1)
また、図3において、斜線にて示す抽出画素の抽出範囲(以下、抽出輝度範囲という)は、下記(2)式を満足するように設定される。
【0053】
Ymin≦Y≦max …(2)
図4において、範囲設定回路21及び色範囲比較回路22には、マトリクス演算器5からの色差信号U,V′が入力される。また、位置情報出力回路25には、範囲設定回路21及び色範囲比較回路22に入力されている色差信号U,V′に対応した画素の画面上の画素位置を示す位置情報が入力される。範囲設計回路21は上記(1)式の(m×U)+(n×V′)を算出して色範囲比較回路22に出力する。
【0054】
色範囲比較回路22は、抽出色範囲を特定する情報であるumax、vmax、uvmin及びuvmaxの値が与えられており、入力された色差信号U,V′が上記(1)式を満足するか否かを判定する。色範囲比較回路22からの判定結果は輝度信号抽出回路23に与えられる。輝度信号抽出回路23には、範囲設定回路21及び色範囲比較回路22に入力されている色差信号U,V′に対応した輝度信号Yがマトリクス演算器5から与えられている。輝度信号抽出回路23は、色範囲比較回路22から上記(1)式を満足した色差信号U,V′が入力されたことを示す判定結果が得られた場合にのみ、この色差信号U,V′に対応する輝度信号Yを輝度範囲比較回路24に出力するようになっている。
【0055】
輝度範囲比較回路24は、抽出輝度範囲を特定する情報であるYmin,Ymaxの値が与えられており、入力された輝度信号Yが上記(2)式を満足するか否かを判定する。輝度範囲比較回路24からの判定結果は位置情報出力回路25に与えられる。
【0056】
位置情報出力回路25は、輝度範囲比較回路24から上記(2)式を満足した輝度信号Yが入力されたことを示す判定結果が得られた場合にのみ、この輝度信号Yの画面上の画素位置を示す位置情報を出力するようになっている。
【0057】
このように、AWB用抽出画素判定回路12は、マトリクス演算器5の出力のうち抽出色範囲内の画素、即ち、無彩色と考えられる画素であって、抽出輝度範囲内の画素、即ち、輝度レベルが比較的高い画素について、色係数の算出に用いる抽出画素と判定して、その画素位置を示す位置情報をAWB用画素データ蓄積回路13に出力するようになっている。
【0058】
AWB用画素データ蓄積回路13は、マトリクス演算器10の出力R2 ,G2 ,B2 信号が与えられて、位置情報で与えられる画素位置のR2 ,G2 ,B2 信号を例えば少なくとも1画面分以上記憶保持してAWB用係数算出回路14に出力する。
【0059】
AWB用係数算出回路14は、AWB用画素データ蓄積回路13に蓄積されているR2 ,G2 ,B2 信号を読み出して、各色信号毎に例えば1画面分積分する。即ち、AWB用係数算出回路14は、ΣR,ΣG,ΣBを求める。次に、AWB用係数算出回路14は、ホワイトバランス処理用の色係数Rc,Gc,Bcを下記(3)式に基づいて算出する。
【0060】
Rc=ΣG/ΣR
Gc=ΣG/ΣG=1.0 (3)
Bc=ΣG/ΣB
なお、色係数Gcは常に1であるので、算出する必要はない。
AWB用係数算出回路14は上記(3)式に基づいて算出した色係数をオートホワイトバランス回路11に出力する。オートホワイトバランス回路11は、マトリクス演算器10からのR2 ,G2 ,B2 信号に対して下記(4)式のマトリクス演算によって、ホワイトバランスを調整したR3 ,G3 ,B3 信号を得るようになっている。
【0061】
次に、このように構成された実施の形態の動作について説明する。
【0062】
所定の物色の被写体は所定の環境色の照明光によって照明されているものとする。被写体の光学像はカラーフィルタを含む光学系を介してイメージセンサに入射され、光電変換されてR,G,B信号が得られる。AFE回路1に入力されるR,G,B信号は、被写体の物色、被写体の照明光(環境色)及びフィルタの分光特性に基づく色光に対応したものとなっている。AFE回路1は入力されたR,G,B信号をデジタル信号に変換してOBクランプ回路1に出力する。OBクランプ回路1は、入力された画素信号の黒レベルを黒色の適切なレベルに設定してデータレンジ補正回路3に出力する。データレンジ補正回路3によって、R,G,B信号は適正なレンジに補正されて画像の明るさが調整される。更に、R,G,B信号はCFA色補間回路4において色補間が行われて、各画素位置におけるR,G,B画像信号が得られる。
【0063】
本実施の形態においては、YUV′色空間においてオートホワイトバランス用の色係数を算出すると共に画質補正を行うために、色補間されたR,G,B信号は、先ずマトリクス演算器5によって、YUV′信号に変換される。輝度信号YはHPF6によって高域強調されてマトリクス演算器9に供給され、色差信号UV′はLPF7によって低域に帯域制限されて色抑制回路8に供給される。色抑制回路8は量子化ノイズ等のノイズの影響を低減するために、画像の暗い部分について色を抑制してマトリクス演算器9に出力する。
【0064】
AWB用抽出画素判定回路12は、マトリクス演算器5から各画素の色差信号U,V′及び輝度信号Yが順次与えられ、上記(1)式の演算によって、先ず、入力された色差信号U,V′が図2の抽出色範囲内の色を与えるものであるか否かを判定し、そうである場合には、更にその画素について輝度信号Yが上記(2)式及び図3に示す抽出輝度範囲の輝度であるか否かを判定する。AWB用抽出画素判定回路12は、図2の抽出色範囲内の色であって、図3に示す抽出輝度範囲内の画素については、画面内の画素位置を示す位置情報をAWB用画素データ蓄積回路13に出力する。AWB用画素データ蓄積回路13は、少なくとも1画面分以上の画素について、入力された位置情報を記憶保持して出力する。
【0065】
一方、マトリクス演算器5からのYUV′信号は、色バランスの調整のために、マトリクス演算器9によって一旦R,G,B信号に戻す。マトリクス演算器9は、入力されたYUV′信号に対するマトリクス処理によって、R1 ,G1 ,B1 信号を得て、色調整用のマトリクス演算器10に出力する。マトリクス演算器10は、入力されたR1 ,G1 ,B1 信号に対するマトリクス処理によって、カラーフィルタの分光特性を補正して、R,G,Bフィルタの特性が急峻な場合と同様な特性のR2 ,G2 ,B2 信号を得る。このR2 ,G2 ,B2 信号はオートホワイトバランス回路11に与えられる。
【0066】
また、AWB用画素データ蓄積回路13は、抽出色範囲及び抽出輝度範囲内の条件を備えた画素の位置情報を例えば1画面分記憶保持して、マトリクス演算器10の出力R2 ,G2 ,B2 信号のうち位置情報で与えられる画素位置のR2 ,G2 ,B2 信号をAWB用係数算出回路14に出力する。AWB用係数算出回路14は、AWB用画素データ蓄積回路13に蓄積されているR2 ,G2 ,B2 信号を読み出して、各色信号毎に例えば1画面分積分する。即ち、AWB用係数算出回路14は、ΣR,ΣG,ΣBを求め、次いで、ホワイトバランス処理用の色係数Rc,Gc,Bcを上記(3)式に基づいて算出する。
【0067】
オートホワイトバランス回路11は、AWB用係数算出回路14において算出された色係数を用いて、例えば3×3の線形マトリクス処理によって、ホワイトバランスの調整を行う。これにより、入力R,G,B信号に含まれていた環境色の影響が除去される。オートホワイトバランス回路11によってオートホワイトバランス調整されたR3 ,G3 ,B3 信号はユーザ色調整回路15に出力される。
【0068】
ユーザ色調整回路15は、ユーザ操作に基づいて、色バランスをユーザの好みに調整する。更に、ユーザデジタルゲイン設定回路16は、ユーザ操作に基づいて、輝度をユーザの好みに調整する。ユーザ操作に基づいて、色調整及び輝度調整が施された画像信号はガンマ補正回路17に与えられて、ガンマ補正される。ガンマ補正された画像信号はマトリクス演算器18に与えられ、入力されたR,G,B信号をYUV信号に変換する。
【0069】
このように本実施の形態においては、オートホワイトバランスに用いる色係数は、無彩色と考えられる抽出色範囲内の画素であって、しかも、輝度が比較的高い抽出輝度範囲内の画素を用いて生成している。従って、色係数の生成に用いる画素は無彩色の画素である可能性が極めて高く、オートホワイトバランスに用いる色係数を極めて高精度に算出することができる。これにより、色再現性を向上させることが可能である。
【0070】
なお、上記実施の形態においては、抽出色範囲内の画素について抽出輝度範囲内の画素であるか否かを判定して、色係数の算出に用いる抽出画素を決定したが、逆に、抽出輝度範囲内の画素について抽出色範囲内の画素であるか否かの判定によって色係数の算出に用いる抽出画素を決定してもよい。
【0071】
ところで、本実施の形態においては、色係数の算出に用いる抽出画素として、無彩色の色である画素を選別するようにしている。上述したように、無彩色の色であっても色温度によっては、得られる色差信号UV′の色空間上の位置は変化する。そこで、抽出画素の選別には、色温度によって無彩色が変化する抽出色範囲を指定するようになっている。しかし、上述したように、無彩色以外の色であっても、輝度、彩度が高い色は抽出色範囲に入ることが考えられる。例えば、人間の肌色,青空,新緑の緑等である。この理由から輝度レベルを判定して、抽出色範囲内の色であっても輝度が高い色を除外することで、これらの無彩色以外の色を抽出画素として選別しないようにしている。
【0072】
ところで、上述したように、先に抽出輝度範囲の画素を判定して、この判定結果を用いて抽出色範囲内の画素を選別する方法も考えられる。しかしながら、人間の肌色,青空,新緑の緑は高輝度であり、このような画素は低輝度側から約85%〜約95%の範囲内に存在する可能性が高い。従って、先に抽出輝度範囲内の画素を判定し、この判定結果を利用して抽出色範囲以外の画素を除外すると、残った抽出画素の数が極めて少なくなってしまう。そうすると、上記(3)式の母数が小さくなってしまい、色係数の信頼性が低下する。
【0073】
この理由から、本実施の形態においては、先に抽出色範囲の判定を行い、この判定結果に基づいて抽出輝度範囲内の画素であるか否かを判定して抽出画素を決定している。これにより、抽出画素の画素数として十分な画素数を確保することができ、上記(3)式の母数を増やして色係数の信頼性を向上させることができる。
【0074】
なお、抽出色範囲の設定は,オートホワイトバランス処理の引き込み範囲に大きな影響を及ぼす。この理由から、抽出色範囲を予め回路に組み込むのではなく、レジスタを用いて範囲の変更を可能にし、回路使用者が撮影する環境や撮影する被写体に応じて設定する抽出色範囲を調整可能にした方がよい。
【0075】
また、上記実施の形態においては、抽出輝度範囲の上限値Ymaxは輝度値として採り得る上限値に設定していない。撮像によって得られる画像は撮影環境光によって著しく変化する。例えば,ハロゲンランプのような光源の下では、その色温度が約3000K程度と低いことから、撮像画像は赤っぽい色になりやすい。即ち、G,B信号については高輝度域の画素の数が極めて少ないのに対し、R信号については高輝度域の画素が多数存在してしまい、イメージセンサからのR,G,B信号のうちR信号のみが飽和してしまうことがある。飽和状態では、実際の赤色の輝度レベルとR信号の数値との線形性は崩れている。従って、輝度レベルが飽和している画素を色係数の算出に用いると、色再現性の精度が低下してしまう。そこで、輝度レベルが飽和してしまう可能性が高い輝度範囲の画素を色係数の算出から除外するために、抽出輝度範囲の上限値Ymaxを輝度値として採り得る上限値よりも低い値に設定している。
【0076】
なお、上記実施の形態においては、画像によっては色係数として極端に大きいか又は小さい値が出力される可能性がある。この場合には、予め設定された初期値を色係数として用いるようにすることも考えられる。
【0077】
図5は本発明の第2の実施の形態の画像信号処理装置において採用されるAWB用抽出画素判定回路の構成を示すブロック図である。図5において図4と同一の構成要素には同一符号を付して説明を省略する。本実施の形態における他の構成は図1と同様である。
【0078】
図5のAWB用抽出画素判定回路31は輝度範囲比較回路24に代えて輝度範囲比較回路32を採用した点が図4のAWB用抽出画素判定回路24と異なる。
【0079】
ホワイトバランス調整用の色係数の算出に用いる画素(抽出画素)の数が少ない場合には、上述したように、(3)式の母数が小さくなり、色係数の信頼性が低下する。そこで、本実施の形態においては、抽出輝度範囲を輝度の絶対値で指定するのではなく、輝度の分布を検出し、輝度が所定の分布範囲内に存在する一定数の画素を抽出画素として選択するようになっている。
【0080】
図6は図5中の輝度範囲比較回路32の具体的な構成を示すブロック図である。輝度範囲比較回路32は、ヒストグラム作成回路35及び輝度範囲判定回路36によって構成されている。ヒストグラム作成回路35には、マトリクス演算器5(図1参照)から輝度信号Yが供給されると共に、色範囲比較回路22から入力された輝度信号Yが抽出色範囲内の画素に基づくものであるか否かの判定結果が与えられる。ヒストグラム作成回路35は、入力された輝度信号Yのうち抽出色範囲内の画素に基づく信号についてその輝度値の分布を求める。図7は横軸に輝度値Yをとり縦軸に画素数をとって、ヒストグラム作成回路35が作成するヒストグラムの例を示している。
【0081】
ヒストグラム作成回路35が作成した輝度値と画素数との関係を示す度数分布の情報は輝度範囲判定回路36に与えられる。輝度範囲判定回路36は、与えられた輝度分布のうち最低輝度の画素から数えて画素数がYst%〜Yed%の範囲内の画素を抽出輝度範囲の画素として判定するようになっている。
【0082】
図8は輝度範囲判定回路36の動作を説明するための説明図である。なお、図8の例ではYst,Yedは夫々85%,95%に設定されている。
【0083】
図8の斜線部は、ヒストグラム上の最低輝度の画素から数えて85%目の画素から95%目の画素が存在する範囲(抽出輝度範囲)を示している。即ち、図8の例では、抽出色範囲内の画素のうちの10%の画素で、比較的輝度値が高い画素が抽出輝度範囲の画素として選択される。
【0084】
輝度範囲判定回路36は、抽出色範囲内の画素のうち輝度値が低い画素から数えてYst%目の画素(下限輝度画素)を検出すると共に、輝度値が低い画素から数えてYed%目の画素(上限輝度画素)を検出する。
【0085】
例えば、輝度値が8ビットで表現されるものとすると、ヒストグラム作成回路35は、最低輝度0から最高輝度255に夫々対応した256個のレジスタを有し、抽出色範囲内の各画素の輝度値に応じて各レジスタにその画素の情報を蓄積する。そして、輝度範囲判定回路36は、最低輝度に対応したレジスタから順に画素数を計数し、これにより、Yst%目の画素からYed%目の画素までを判定するようになっている。
【0086】
このように本実施の形態においては、抽出輝度範囲として抽出色範囲内の画素から一定%の画素を選択して抽出画素としており、上記(3)式の母数を確保して、色係数の信頼性を向上させている。
【0087】
他の構成及び作用効果は第1の実施の形態と同様である。
【0088】
また、本実施の形態においても、抽出色範囲内の画素であるか否かの判定結果を用いて抽出輝度範囲内の画素を判定する点、上限輝度Yedとして輝度値として採り得る最大値を設定しない点等は第1の実施の形態と同様である。
【0089】
図9は本発明の第3の実施の形態に採用される輝度範囲比較回路を示すブロック図である。本実施の形態は輝度範囲比較回路の判定方法が図5の第2の実施の形態と異なるのみである。本実施の形態においては、輝度範囲比較回路はヒストグラム作成回路42及び輝度範囲判定回路43によって構成されている。
【0090】
上記第2の実施の形態においては、ヒストグラム作成回路35(図6参照)は、輝度値が8ビット(0〜255)で表現されている場合には、256個のカウンタ(レジスタ)を用意し、0〜255の輝度の値毎に画素の数をカウントしてヒストグラムを作成する。従って、必要なカウンタ数が極めて多く回路規模が膨大となる。そこで、本実施の形態においては、輝度値の1精度毎にヒストグラムを作成するのではなく、所定の分割範囲毎にヒストグラムを作成することによって、回路規模を縮小させるようになっている。
【0091】
例えば、採り得る輝度値(0〜255)を16分割すると、0〜15,16〜31,・・・・・,240〜255と16階単位の範囲にすることができる。同様に、採り得る輝度値を8分割にすると、32段階単位に分割することができる。分割数を小さくすると回路規模を縮小することができる反面ヒストグラムの精度が低下してしまう。例えば、8分割を行った場合には、ヒストグラム精度が悪化し、正しく85%(Yst)〜95%(Yed)の抽出画素を算出することがきない可能性がある。
【0092】
ところで、輝度範囲比較回路は、抽出色範囲内の画素のうち輝度が低い方向から約85%〜約95%の画素を選別することを目的としている。ところが、例えばヒストグラムを16分割する例では,最終的には低輝度側のうち例えば0〜15,16〜31の範囲はヒストグラムをとってもさして重要な範囲ではない。また、同様に、抽出色範囲内の全画素のうちの上述した85%(Yst)〜95%(Yed)の10%の画素が、輝度値240〜255(略真っ白)の範囲に集中することも考えにくい。もし有ったとすれば,それは適正な露出制御ができないことが考えられる。
【0093】
これらの点を考慮して、本実施の形態におけるヒストグラム作成回路42は、重要でない範囲はヒストグラムを作成しないことによって回路規模を縮小するようになっている。
【0094】
ヒストグラム作成回路42は、輝度値0〜255のうち、精度良く輝度ヒストグラムを作成する範囲としてヒストグラム上限の輝度値とヒストグラム下限の輝度値をレジスタに指定する。そして、抽出色範囲内の画素であってもヒストグラム下限よりも小さい輝度値の画素及びヒストグラム上限よりも大きい輝度値の画素について、レジスタに登録しない。なお、ヒストグラム上限及びヒストグラム下限の指定は、輝度値の採り得る範囲0〜255の1ステップ単位で指定可能である。
【0095】
例えば、ヒストグラム作成回路42は、ヒストグラム上限として220〜240の範囲内の例えば230の値を指定し,ヒストグラム下限として50〜100の範囲内の例えば71の値を指定する。そして、ヒストグラム作成回路42は、ヒストグラム下限とヒストグラム上限との間の範囲を8〜16分割例えば10分割する。この場合には、ヒストグラム作成回路42は、71〜230の範囲を等分に16ステップずつ10分割してもよく、また、明るい方を広く、暗い方を狭く分割してもよい。
【0096】
ヒストグラム作成回路42は、こうして指定された分割輝度毎に、抽出色範囲内の画素についてのヒストグラム作成を行う。ヒストグラム作成回路42が作成したヒストグラムの情報は輝度範囲判定回路43に与えられる。輝度範囲判定回路43は、抽出率の情報が与えられており、ヒストグラム中の輝度の最高値から抽出率で示される個数の画素を選択して、選択した画素が抽出輝度範囲の画素であることを示す判定結果を出力するようになっている。
【0097】
次に、このように構成された実施の形態における抽出輝度範囲の画素の選択方法について説明する。
【0098】
いま、ヒストグラム作成回路42が、輝度値として採り得る0〜255のうち輝度値71〜230の範囲を等分に16ステップずつ10分割した状態で、抽出色範囲内の画素の輝度ヒストグラムを作成するものとする。また、輝度範囲判定回路43には抽出率として20%が指定されているものとする。
【0099】
輝度範囲判定回路43は、先ず、ヒストグラムに登録されている画素のうち輝度が上位のものから総画素数の20%の個数の画素が10分割されたヒストグラムのいずれの分割領域に属するかを検索する。いま、例えば、10分割されたヒストグラムが下記表1によって示されるものとする。また、ヒストグラムに登録された総画素数が1000個であるものとする。
【0100】
輝度範囲判定回路43はヒストグラムに登録されている総画素数(1000個)のうち抽出率で示される上位20%の画素を抽出画素と判定する。この場合には、1000×20%=200個の画素が選択されることになる。
【0101】
輝度範囲判定回路43は、先ず、ヒストグラムに登録されている全画素数を求める。輝度範囲判定回路43は、ヒストグラム作成回路42によるヒストグラムの作成時に、抽出色範囲の画素数をカウントすることでヒストグラムの完成と同時に総画素数を取得することができる。そして、輝度範囲判定回路43は総画素数×抽出率で抽出する画素数を求める。次に、輝度範囲判定回路43は、ヒストグラムの分割された各分割領域毎に輝度値が高い領域から順に画素数を評価して200個に到達する領域を求める。
【0102】
上記表1の例においては、最上位ブロックは60個であり200個に満たない。次ブロックの画素数を加算すると60個+120個=180個である。更に、次ブロックの画素数を加算すると180個+150個=330個となり、200個を越える。即ち、輝度の上位からの画素数が抽出率に到達した領域は輝度値が201〜210の範囲の分割領域である。そこで、輝度範囲判定回路43は、輝度値201を抽出画素の下限の輝度に設定する。一方、上限はヒストグラム上限の230とする。そして、輝度範囲判定回路43は、輝度下限と輝度上限、即ち、輝度値が201〜230の範囲の画素を抽出輝度範囲の画素とする判定結果を出力する。
【0103】
このように本実施の形態においては、抽出色範囲内の画素のうちヒストグラム上限とヒストグラム下限との間の輝度値の画素のみによってヒストグラムを作成すると共に、ヒストグラムを複数の領域に分割し、輝度値が上位の画素から抽出率で定めされた画素数の画素を分割領域毎単位で選択して、抽出画素に決定するようにしている。これにより、上記(3)式の母数として十分な数を確保すると共に、分割ステップ精度を細かくしつつ、ヒストグラムを作成する回路及び抽出画素を決定する回路の回路規模を著しく低減することが可能である。
【0104】
これにより、CPUを搭載していないシステムであっても、十分な色再現性を得ることを可能にしている。
【0105】
他の構成及び作用効果は第2の実施の形態と同様である。
【0106】
なお、上記第2の実施の形態においては、抽出輝度範囲は輝度値が低い方から数えて85%目〜95%目の画素に設定したが、第3の実施の形態においては、ヒストグラムに登録された画素のうち輝度が高い順に80%以下〜100%の画素に設定されている。上限を100%に設定していても、ヒストグラム上限として輝度95%までの範囲に制限していることから、上述した飽和の問題は回避することができる。また、逆に、ヒストグラム下限についても予め制限していることから、第2の実施の形態における画素の範囲の下限85%を本実施の形態においては80%にしている。
【0107】
なお、80%という値は抽出率20%を指定することが得られており、輝度範囲判定回路43に与える抽出率を変更するだけで抽出する画素の範囲を変化させることができ、自由度が高い。また、よりステップ精度を細かくしたければ、ヒストグラムの下限を上げればよいことは明らかである。なお、第2の実施の形態における抽出輝度範囲を画素数が85%目〜95%目の範囲に設定している点を考慮すると、ヒストグラムの下限を相当上げても問題ないことは明らかである。
【0108】
図10は本発明の第4の実施の形態に採用される画像信号処理装置のホワイトバランス処理を示す説明図である。本実施の形態は図1の画像信号処理装置と同様の構成によって実現可能である。本実施の形態は動画時のホワイトバランス処理に適用したものである。
【0109】
図10における輝度ヒストグラム作成処理51、抽出輝度範囲算出処理52及び抽出画素位置取得処理53は図1中のAWB用抽出画素判定処理12に実現可能であり、抽出画素積算処理54はAWB用画素データ蓄積処理13によって実現可能であり、色係数算出処理55はAWB用係数算出回路14によって実現可能である。
【0110】
ところで、上記各実施の形態においては、画像中の情報から無彩色を検出し、無彩色の画素を利用して色係数を算出することで、ホワイトバランスによる色再現性を向上させる手法を説明した。しかし、動画時においては、上記各実施の形態におけるAWB用係数算出回路14によって算出した色係数を用いて直ちにホワイトバランス処理を実行すると、画像が急激に変化して画質が劣化したように見えてしまう。そこで、本実施の形態においては、動画時には、ホワイトバランス処理に用いる色係数を、上記各実施の形態におけるAWB用係数算出回路14によって得られる色係数の値に徐々に近づけていく収束処理を行うようになっている。
【0111】
1フレーム目においては、図10の処理51において、抽出色範囲の画素に対して輝度のヒストグラムを作成する。次に、処理52において、作成されたヒストグラムから上限輝度Yed及び下限輝度Ystを算出する。
【0112】
次に、2フレーム目においては、処理53において、抽出色範囲の画素について、Yst<Y<Yed(第2の実施の形態に適用させた場合)を満足する画素、抽出輝度範囲内の画素(抽出画素)を決定して、処理54において、抽出画素についてΣR,ΣG,ΣBを算出する。
【0113】
次いで、3フレーム目において、処理55において、上記(3)式から色係数Rc,Bcを算出する。そして、ホワイトバランス回路11(図1参照)に色係数を与えて、マトリクス処理を実行させる。なお、色係数算出時の割算器の速度によっては、マトリクス処理は4フレーム目に実施されることも考えられる。
【0114】
この場合において、収束動作をさせるためには画像より算出した色係数とは別にもう1つ別の色係数を用意する。そして、画像から算出した係数を目標に収東するような係数を算出して実際に各画素に適用する色係数とする。
【0115】
いま、処理55によって得られる最終的な色係数を目標色係数Rctarget,Bctargetとし、実際にホワイトバランス処理に適用する色係数を適用色係数とする。現フレームの適用色係数をRccurrent,Bccurrentとし、次フレームの適用色係数をRcnext,Bcnextとすると、次フレームの適用色係数は下記(4)式によって算出される。
【0116】
Rcnext=(Rctarget×h+Rccurrent)/(h+1)
Bcnext=(Bctarget×h+Bccurrent)/(h+1) (h=2i−1,i=0,1,2,…) …(4)
上記(4)式においては、次フレームの適用色係数Rcnext,Bcnextは、係数h(i)の値を適宜設定することによって所望の早さで目標色係数Rctarget,Bctargetに収束する。これにより、画像のホワイトバランスはフレーム毎に次第に変化し、最終的には最適な色再現性が得られるように変化させることができる。また、収束する時間を自由に設定することができる。こうして、画像が急激に変化することを防止して、画質の劣化を防止することができる。
【0117】
ところで、上記各実施の形態においては、色係数の算出に用いるR,G,B信号としては、ホワイトバランス処理前の信号を用いた。これに対し、ホワイトバランス処理後のR,G,B信号を色係数の算出に用いることも考えられる。
【0118】
図11はこの場合におけるホワイトバランス処理を図10に対応させて示す説明図である。図11において図10と同一の処理には同一符号を付して説明を省略する。
【0119】
図11中の抽出画素積算処理54′は図1のAWB用画素データ蓄積回路13にオートホワイトバランス回路11からのR3 ,G3 ,B3 信号を与えることによって実現可能であり、図11中の色係数算出回路55′は、AWB用係数算出回路14によって実現可能である。
【0120】
抽出画素位置取得処理によって得た抽出画素の画面上の位置を示す位置情報は、抽出画素積算処理54′によって色係数の算出に用いるR,G,B信号の取得に用いられる。抽出画素積算処理54′においては、オートホワイトバランス処理後のR,G,B信号が用いられる。色係数算出処理55′は、抽出画素積算処理54′によって取得された色係数を用いて、色係数を算出する。
【0121】
図11中の他の処理は図10と同様である。
【0122】
この場合において、色係数を収束動作をさせるためには、最終的な色係数を目標色係数Rctarget,Bctargetとし、実際にホワイトバランス処理に適用する現フレームの適用色係数をRccurrent,Bccurrentとし、次フレームの適用色係数をRcnext,Bcnextとすると、下記(5)式の演算によって処理55′は色係数を算出する。
【0123】
Rcnext=(Rctarget×h+Rctarget×Rccurrent)/(h+1)
Bcnext=(Bctarget×h+Bctarget×Bccurrent)/(h+1) (h=2i−1,i=0,1,2,…) …(5)
この(5)式においても、次フレームの適用色係数Rcnext,Bcnextは、係数h(i)の値を適宜設定することによって所望の早さで目標色係数Rctarget,Bctargetに収束する。これにより、画像のホワイトバランスをフレーム毎に次第に変化させ、最終的には最適な色再現性が得られるように変化させることができる。こうして、図11の例においても、画像が急激に変化することを防止して、画質の劣化を防止することができる。
【図面の簡単な説明】
【図1】 本発明の第1の実施の形態に係る画像信号処理装置を示すブロック図。
【図2】 第1の実施の形態にオートホワイトバランス処理を説明するための説明図。
【図3】 第1の実施の形態にオートホワイトバランス処理を説明するための説明図。
【図4】 図1中のAWB用抽出画素判定回路12の具体的な構成を示すブロック図。
【図5】 本発明の第2の実施の形態の画像信号処理装置において採用されるAWB用抽出画素判定回路の構成を示すブロック図。
【図6】 図5中の輝度範囲比較回路32の具体的な構成を示すブロック図。
【図7】 横軸に輝度値Yをとり縦軸に画素数をとって、ヒストグラム作成回路35が作成するヒストグラムの例を示すグラフ。
【図8】 輝度範囲判定回路36の動作を説明するための説明図。
【図9】 本発明の第3の実施の形態に採用される輝度範囲比較回路を示すブロック図。
【図10】 本発明の第4の実施の形態に採用される画像信号処理装置のホワイトバランス処理を示す説明図。
【図11】 変形例におけるホワイトバランス処理を図10に対応させて示す説明図である。
【符号の説明】
5,9,10…マトリクス演算器、11…オートホワイトバランス回路、12…AWB用抽出画素判定回路、13…AWB用画素データ蓄積回路、14…AWB用係数算出回路。
Claims (6)
- 輝度信号及び色差信号によって表される画像を取得し、YUV空間におけるUV成分が所定の色範囲内の画素であるかどうかを判定する色範囲判定手段と、
前記色範囲判定手段によって判定された所定の色範囲内の画素からYUV空間におけるY成分の分布を求める輝度分布検出手段と、
前記Y成分の分布中の所定の輝度値番目から所定数の画素を前記抽出画素として決定する輝度範囲判定手段とを備える抽出画素判定手段と、
前記抽出画素判定手段によって抽出画素と判定された画素の前記各色成分を用いてホワイトバランス処理のための色係数を算出する色係数算出手段と、
前記各色成分に対する前記色係数を用いてホワイトバランスを調整するホワイトバランス調整手段とを具備したことを特徴とするホワイトバランス処理装置。 - 前記輝度分布検出手段は、所定の輝度上限値及び下限値の範囲内において輝度の分布を求めることを特徴とする請求項1に記載のオートホワイトバランス処理装置。
- 前記色係数算出手段は、前記ホワイトバランス調整手段によるホワイトバランスの調整前の各色成分を色係数の算出に用いることを特徴とする請求項1又は2に記載のホワイトバランス処理装置。
- 前記色係数算出手段は、前記抽出画素と判定された画素の前記各色成分を用いた前記色係数を所定期間で目標値に収束させることを特徴とする請求項1乃至3のいずれか1つに記載のホワイトバランス処理装置。
- 輝度信号及び色差信号によって表される画像を取得し、YUV空間におけるUV成分が所定の色範囲内の画素であるかどうかを判定する色範囲判定手順と、
前記色範囲判定手順によって判定された所定の色範囲内の画素からYUV空間におけるY成分の分布を求める輝度分布検出手順と、
前記Y成分の分布中の所定の輝度値番目から所定数の画素を前記抽出画素として決定する輝度範囲判定手順とを備える抽出画素判定手順と、
前記抽出画素判定手順において抽出画素と判定された画素の前記各色成分を用いてホワイトバランス処理のための色係数を算出する色係数算出手順と、
前記各色成分に対する前記色係数を用いてホワイトバランスを調整するホワイトバランス調整手順とを具備したことを特徴とするホワイトバランス処理方法。 - カラーフィルタが配設された撮像素子の出力に基づく各色成分から輝度−色差色空間への変換を行って輝度信号及び色差信号を得るマトリクス手段を具備し、
前記マトリクス手段から前記輝度信号及び色差信号を用いて請求項1乃至4のいずれか1つに記載のホワイトバランス処理装置によってホワイトバランスを調整することを特徴とする画像信号処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003066740A JP4352730B2 (ja) | 2003-03-12 | 2003-03-12 | オートホワイトバランス処理装置及び方法並びに画像信号処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003066740A JP4352730B2 (ja) | 2003-03-12 | 2003-03-12 | オートホワイトバランス処理装置及び方法並びに画像信号処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2004282133A JP2004282133A (ja) | 2004-10-07 |
JP4352730B2 true JP4352730B2 (ja) | 2009-10-28 |
Family
ID=33284553
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003066740A Expired - Fee Related JP4352730B2 (ja) | 2003-03-12 | 2003-03-12 | オートホワイトバランス処理装置及び方法並びに画像信号処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4352730B2 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006080892A (ja) * | 2004-09-09 | 2006-03-23 | Olympus Corp | 画像記録再生装置 |
JP4935049B2 (ja) | 2005-10-27 | 2012-05-23 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
CN101448639A (zh) | 2006-04-25 | 2009-06-03 | 日本合成化学工业株式会社 | 多层膜 |
KR100809344B1 (ko) | 2006-05-26 | 2008-03-05 | 삼성전자주식회사 | 자동 백색 밸런싱 방법 및 장치 |
JP2008072575A (ja) * | 2006-09-15 | 2008-03-27 | Canon Inc | 画像処理装置、方法、及びコンピュータプログラム |
JP4254841B2 (ja) * | 2006-10-20 | 2009-04-15 | ソニー株式会社 | 撮像装置、撮像方法、画像処理装置、画像処理方法および画像処理プログラム |
KR100925629B1 (ko) | 2007-12-07 | 2009-11-06 | 삼성전기주식회사 | YCbCr 색공간에서의 오토 화이트 밸런스 방법 |
KR100949188B1 (ko) * | 2008-01-31 | 2010-03-23 | (주)세미솔루션 | Ccd의 영상신호 처리 방법 |
JP2011040856A (ja) * | 2009-08-07 | 2011-02-24 | Sharp Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
US8605167B2 (en) * | 2010-09-01 | 2013-12-10 | Apple Inc. | Flexible color space selection for auto-white balance processing |
JP5699499B2 (ja) * | 2010-09-13 | 2015-04-08 | 株式会社リコー | ホワイトバランス調整装置及び撮像装置 |
JP6573392B2 (ja) * | 2015-10-30 | 2019-09-11 | キヤノン株式会社 | 映像信号処理装置、映像信号処理方法、及びプログラム |
CN106993175B (zh) * | 2016-01-20 | 2019-08-20 | 瑞昱半导体股份有限公司 | 产生供自动白平衡校正运算使用的像素筛选范围的方法 |
CN106454305B (zh) * | 2016-11-14 | 2018-09-18 | 浙江宇视科技有限公司 | 白平衡校正方法及装置 |
-
2003
- 2003-03-12 JP JP2003066740A patent/JP4352730B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2004282133A (ja) | 2004-10-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3892648B2 (ja) | 画像入力装置、ホワイトバランス調整方法、およびその方法を実行するためのプログラムを格納したコンピュータが読取可能な記録媒体 | |
JP6083897B2 (ja) | 撮像装置及び画像信号処理装置 | |
US7030913B2 (en) | White balance control apparatus and method, and image pickup apparatus | |
JP4352730B2 (ja) | オートホワイトバランス処理装置及び方法並びに画像信号処理装置 | |
RU2496250C1 (ru) | Устройство и способ обработки изображения | |
US20020106206A1 (en) | Image-capturing device | |
KR101685887B1 (ko) | 화상 처리 장치, 화상 처리 방법 및 화상 처리 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체 | |
JP2008153768A (ja) | 撮像装置、およびホワイトバランス処理装置 | |
JP2009017229A (ja) | 撮像装置及び撮像制御方法 | |
US20150222829A1 (en) | Imaging apparatus | |
KR100967091B1 (ko) | 디지털 영상장치의 화이트 밸런스 조정방법 | |
KR101754425B1 (ko) | 이미지 촬영 장치의 밝기를 자동으로 조절하는 장치 및 방법 | |
JP4637812B2 (ja) | 画像信号処理装置、画像信号処理プログラム、画像信号処理方法 | |
JP3889867B2 (ja) | 撮像装置 | |
JP3652902B2 (ja) | ホワイトバランス調整装置 | |
KR20100104498A (ko) | 하이 다이나믹 레인지 상황에 대응하는 자동 노출 제어 및 자동 화이트밸런스 방법 | |
JP2008219230A (ja) | 撮像装置及び画像処理方法 | |
JP2007336172A (ja) | 画像信号処理装置及び画像信号処理方法 | |
JP4067775B2 (ja) | ホワイトバランス調整装置 | |
KR100581526B1 (ko) | 광원변화에 따라 백색 보정을 하는 디지털 카메라 | |
JP2009260542A (ja) | 色補正装置及び色補正方法 | |
JP4258237B2 (ja) | 画像信号処理装置 | |
JP5754929B2 (ja) | 画像処理装置及び画像処理方法 | |
KR20100019222A (ko) | 광센서를 이용한 자동 화이트 밸런스 조절 방법 및 장치, 및 이를 이용한 디지털 촬영 장치 | |
JP5158239B2 (ja) | 画像信号処理装置及びその方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060309 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20070403 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080725 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080805 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080911 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081014 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081208 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090325 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090406 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090707 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090720 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4352730 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120807 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130807 Year of fee payment: 4 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |