JP4239219B2 - オートホワイトバランス調整方法及び装置 - Google Patents

Description

本発明はオートホワイトバランス調整方法及び装置に係り、特に撮影状況下の光源による色味の雰囲気を残しつつ、適正なホワイトバランス調整を行うオートホワイトバランス調整技術に関する。

従来のこの種のオートホワイトバランス調整方法として、特許文献１に記載の方法がある。

このオートホワイトバランス調整方法は、被写体の輝度レベルと、１画面を複数のエリアに分割した各分割エリアごとの色情報（分割エリア内のＲ，Ｇ，Ｂ信号を色別に積算した積算値の比Ｒ／Ｇ及びＢ／Ｇ）とを求める。

一方、Ｒ／Ｇ、Ｂ／Ｇの色空間上に、日陰、青空、蛍光灯、タングステン電球等の光源種に対応する色分布の範囲を示す検出枠を設定し、前記求めた各分割エリアごとの色情報に基づいて各検出枠に色情報が入る分割エリアの個数を求める。そして、前記検出した被写体の輝度レベル及び検出枠に入る分割エリアの個数に基づいて光源種を判別し、その判別した光源種に適したホワイトバランス補正値に基づいてホワイトバランス調整を行うようにしている。

また、特許文献２には、撮影時の照明光の色度と、画像における照明光とする光（参照光）の色度とから色順応に基づく変換を原画像の各画素に対して行い、色合いを補正する技術が開示されている。
特開２０００−２２４６０８号公報 特開２００１−１６６０７号公報

本来カメラで撮影された色そのものは、人の色覚特性（色順応度）に沿って色補正されることが望ましい。人の視覚特性は、照明光の変化に影響されないないように、見えている画像に照射されている光の色を視覚系が推定し、元の色になるように補正して知覚していると考えられている（色覚恒常）。

例えば、Ａ光源と白熱電球の下で照明されたグレーと同じグレーを太陽光或いは蛍光灯の下で照明されたグレーとを同時に見くらべた場合は、明らかに全ての人がその違い（色みの違い）を認識することができる。物理的に考えて同じ物体（この場合、グレーの紙）に分光分布の違う照明が照射されているので、照射された後に物体から反射して人間の目に入る物理的な色は違っている。しかし、数分後には見た瞬間は少し黄みがかって見えたり、あるいは青みがかって見えたりするグレーの紙が同じようなグレーの色として感じられる。これが人の視覚機能の働きによる色順応というものである。これは、人間の網膜の３種類の光受容器（錐体）のそれぞれが、照明光に対して逆比例の反応をしてバランスを一定に近い状態に保っていると考えられている。

一般に体験しているように人間の視覚機能は単純なものではなく、条件によって色々な見え方をする。“色”の見え方は大変個人的に差があるものである。照明光への色順応は照明光の変化をキャンセルするように作用することが知られているが、実際には「色順応」は照明光の変化を１００％キャンセルするメカニズムではないことは明らかである。この不完全順応は、照明光に十分に順応しても必ずしも全ての物が昼白色の照明で照らされた時と同じに見えないことを意味する。つまり、一般に感じているように色順応だけでは、わずかながら色の見えに違いが残るということを意味している。

このように人の視覚機能による色順応の度合いに応じたホワイトバランス調整を行なえば、見た目と同じ色の写真をとることができる。

従来のカメラは、照明光の色にかかわらず、グレーの物はグレーに補正する完全順応であったり、色みを残した補正量に設定する場合でもＣＣＤ等の撮像素子の色の感度比に影響を受けた色みを残すことが多く、本来の視覚特性に合わせた順応度を表現するものはなかった。

特許文献１に記載のオートホワイトバランス調整方法は、予め光源種別に経験的に設定された補正量を使用するもので、本来の視覚特性に合わせた色順応度での補正ではない。また、特許文献２に記載の色の補正では、色順応を予測して補正を行なうようにしているが、画像における照明光とする光（参照光）は、ユーザが設定するもので、撮影状況下の光源種に対応したものではない。更に、特許文献１、２には、順応度合いを自由に設定できる記載がない。

本発明はこのような事情に鑑みてなされたもので、本来の光源種別の色の見えや色順応後の色の見えに合わせた人の視覚特性に合わせたホワイトバランス調整を行なうことができ、また、撮像素子、レンズの違いによらず常に同じ色みを残すようにホワイトバランス調整を行なうことができるオートホワイトバランス調整方法及び装置を提供することを目的とする。

前記目的を達成するために請求項１に係る発明は、撮像素子を介して取得されるＲ，Ｇ，Ｂ信号のホワイトバランス調整を行なうオートホワイトバランス調整方法において、前記Ｒ，Ｇ，Ｂ信号に基づいて撮影状況下の光源種に関わる色情報を求めるとともに、該色情報に対応する色温度を求めるステップと、前記求めた色温度に対応する黒体軌跡上の色情報と完全順応後の色情報との間の色順応度に応じた色情報を目標値として設定するステップと、前記求めた色情報と前記設定された目標値とに基づいてＲ，Ｇ，Ｂ信号に対するホワイトバランス補正値を決定するステップと、前記決定されたホワイトバランス補正値に基づいて前記Ｒ，Ｇ，Ｂ信号のホワイトバランス調整を行うステップと、を含み、前記色温度を求めるステップは、１画面を複数のエリアに分割してなる複数の分割エリアの色情報を各分割エリア内のＲ，Ｇ，Ｂ信号に基づいて求めるステップと、前記複数の分割エリアの色情報のうちの色空間上で相互に近似している色情報の集合の色空間における重心位置の色情報を算出するステップと、前記算出した重心位置の色情報と最も近似する色情報を有する光源種から前記光源種に関わる色情報を求めるステップとからなることを特徴としている。

即ち、撮像素子を介して取得されるＲ，Ｇ，Ｂ信号に基づいて実際の撮影状況下の光源種に関わる色情報を求め、この色情報から対応する色温度を求める。そして、前記求めた色温度に対応する黒体軌跡上の色情報と完全順応後の色情報との間の色順応度に応じた色情報を目標値として設定する。尚、この色順応度としては、人の視覚特性に合わせた色順応度にすることが好ましい。前記求めた色情報と前記設定された目標値とに基づいてＲ，Ｇ，Ｂ信号に対するホワイトバランス補正値を決定し、この決定されたホワイトバランス補正値に基づいて前記Ｒ，Ｇ，Ｂ信号のホワイトバランス調整を行うようにしている。

このように実際の撮影状況下の光源種に関わる色温度を求め、この色温度に対応する黒体軌跡上の色情報（本来の光源の色の見え）から完全順応時の色情報（完全グレーの色情報）までの間の適宜の色順応度に応じた色情報を目標値として設定するようにしたため、人の視覚特性に合わせたホワイトバランス調整を行なうことができ、また、色みを残す設定においても目標値が前記求められた色温度に応じて固定されるため、撮像素子、レンズの違いによらず常に同じ色みを残すようにホワイトバランス調整を行なうことができる。

請求項２に示すように請求項１に記載のオートホワイトバランス調整方法において、前記黒体軌跡上の各色温度別の色情報を目標値として設定する場合を色順応度０％とし、完全グレーを目標値として設定する場合を色順応度１００％とし、０〜１００％の任意の色順応度を手動で設定するステップを含み、前記目標値を設定するステップは、前記手動で設定された色順応度に応じて前記目標値を変更することを特徴としている。

色順応度を任意に設定できるようにしたため、色順応度に個人差があったり、画像に光源の色みを強く残したい場合等に応じたホワイトバランス調整を行なうことができる。

請求項３に係る発明は、撮像素子を介して取得されるＲ，Ｇ，Ｂ信号のホワイトバランス調整を行なうオートホワイトバランス調整装置において、前記Ｒ，Ｇ，Ｂ信号に基づいて撮影状況下の光源種に関わる色情報を取得する色情報取得手段と、前記取得した色情報に対応する色温度を求める手段と、前記取得した色温度に対応する黒体軌跡上の色情報と完全順応後の色情報との間の色順応度に応じた色情報を目標値として設定する目標値設定手段と、前記取得した色情報と前記設定された目標値とに基づいてＲ，Ｇ，Ｂ信号に対するホワイトバランス補正値を決定する手段と、前記決定されたホワイトバランス補正値に基づいて前記Ｒ，Ｇ，Ｂ信号のホワイトバランス調整を行う手段と、を備え、前記色温度取得手段は、１画面を複数のエリアに分割してなる複数の分割エリアの色情報を各分割エリア内のＲ，Ｇ，Ｂ信号に基づいて求める手段と、前記複数の分割エリアの色情報のうちの色空間上で相互に近似している色情報の集合の色空間における重心位置の色情報を算出する手段と、前記算出した重心位置の色情報と最も近似する色情報を有する光源種から前記光源種に関わる色情報を求める手段とからなることを特徴としている。

請求項４に示すように請求項３に記載のオートホワイトバランス調整装置において、前記黒体軌跡上の各色温度別の色情報を記憶する記憶手段と、色順応度を手動で設定する色順応度設定手段とを備え、前記目標値設定手段は、前記取得した色温度に基づいて前記記憶手段から対応する黒体軌跡上の色情報を読み出し、この読み出した色情報と完全順応後の色情報との間を前記設定した色順応度に応じて補間して得た色情報を目標値として設定することを特徴としている。

請求項５に示すように請求項３に記載のオートホワイトバランス調整装置において、前記黒体軌跡上の各色温度別の色情報に対応する色順応予測式で予測した色順応後の色情報を各色温度別に記憶する記憶手段を備え、前記目標値設定手段は、前記取得した色温度に基づいて前記記憶手段から対応する色順応後の色情報を読み出し、この読み出した色情報を目標値として設定することを特徴としている。

本発明によれば、実際の撮影状況下の光源種に関わる色温度に対応する黒体軌跡上の色情報（本来の光源の色の見え）から完全順応時の色情報（完全グレーの色情報）までの間の適宜の色順応度に応じた色情報を目標値として設定し、前記実際の撮影状況下の光源種に関わる色情報と前記設定した目標値とに基づいてホワイトバランス調整を行なうようにしたため、人の視覚特性（色順応度）に合わせたホワイトバランス調整を行なうことができ、また、実際の撮影状況下の光源種に関わる色温度ごとに一つの目標値が設定されるため、撮像素子、レンズの違いによらず常に同じ色みを残すようにホワイトバランス調整を行なうことができる。

以下添付図面に従って本発明に係るオートホワイトバランス調整方法及び装置の好ましい実施の形態について詳説する。

図１は本発明が適用されたデジタルカメラの実施の形態を示すブロック図である。

このカメラ１０は、静止画や動画の記録及び再生機能を備えたデジタルカメラであり、カメラ１０全体の動作は中央処理装置（ＣＰＵ）１２によって統括制御される。 ＣＰＵ１２は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、ホワイトバランス（ＷＢ）調整演算など、各種演算を実施する演算手段として機能する。

バス１４を介してＣＰＵ１２と接続されたＲＯＭ１６には、ＣＰＵ１２が実行するプログラム及び制御に必要な各種データ等が格納され、ＥＥＰＲＯＭ１７には、ＣＣＤ画素欠陥情報、カメラ動作に関する各種定数／情報等が格納されている。

また、メモリ（ＳＤＲＡＭ）１８は、プログラムの展開領域及びＣＰＵ１２の演算作業用領域として利用されるとともに、画像データや音声データの一時記憶領域として利用される。ＶＲＡＭ２０は画像データ専用の一時記憶メモリであり、Ａ領域２０ＡとＢ領域２０Ｂが含まれている。メモリ１８とＶＲＡＭ２０は共用することが可能である。

カメラ１０にはモード選択スイッチ２２、撮影ボタン２４、その他、メニュー／ＯＫキー、十字キー、キャンセルキーなどの操作手段２６が設けられている。これら各種の操作部（２２〜２６）からの信号はＣＰＵ１２に入力され、ＣＰＵ１２は入力信号に基づいてカメラ１０の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、画像表示装置２８の表示制御などを行う。

モード選択スイッチ２２は、撮影モードと再生モードとを切り換えるための操作手段である。モード選択スイッチ２２を操作して可動接片２２Ａを接点ａに接続させると、その信号がＣＰＵ１２に入力され、カメラ１０は撮影モードに設定され、可動接片２２Ａを接点ｂに接続させると、カメラ１０は記録済みの画像を再生する再生モードに設定される。

撮影ボタン２４は、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する二段ストローク式のスイッチで構成されている。

メニュー／ＯＫキーは、画像表示装置２８の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上／下キーは撮影時のズームスイッチあるいは再生時の再生ズームスイッチとして機能し、左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。キャンセルキーは、選択項目など所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

画像表示装置２８は、カラー表示可能な液晶ディスプレイで構成されている。画像表示装置２８は、撮影時に画角確認用の電子ファインダとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、画像表示装置２８は、ユーザインターフェース用表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容などの情報が表示される。液晶ディスプレイに代えて、有機ＥＬなど他の方式の表示装置（表示手段）を用いることも可能である。

カメラ１０は、メディアソケット（メディア装着部）３０を有し、メディアソケット３０には記録メディア３２を装着することができる。記録メディアの形態は特に限定されず、xD-PictureCard（商標）、スマートメディア（商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスクなど、種々の媒体を用いることができる。

メディアコントローラ３４は、メディアソケット３０に装着される記録メディア３２に適した入出力信号の受渡しを行うために所要の信号変換を行う。

また、カメラ１０はパソコンその他の外部機器と接続するための通信手段としてＵＳＢインターフェース部３６を備えている。図示せぬＵＳＢケーブルを用いてカメラ１０と外部機器を接続することにより、外部機器との間でデータの受渡しが可能となる。もちろん、通信方式はＵＳＢに限らず、IEEE1394やBluetooth その他の通信方式を適用してもよい。

次に、カメラ１０の撮影機能について説明する。

モード選択スイッチ２２によって撮影モードが選択されると、カラーＣＣＤ固体撮像素子（以下ＣＣＤと記載）３８を含む撮像部に電源が供給され、撮影可能な状態になる。

レンズユニット４０は、フォーカスレンズを含む撮影レンズ４２と絞り兼用メカシャッター４４とを含む光学ユニットである。レンズユニット４０は、ＣＰＵ１２によって制御されるレンズ駆動部４６、絞り駆動部４８によって電動駆動され、ズーム制御、フォーカス制御及びアイリス制御が行われる。

レンズユニット４０を通過した光は、ＣＣＤ３８の受光面に結像される。ＣＣＤ３８の受光面には多数のフォトダイオード（受光素子）が二次元的に配列されており、各フォトダイオードに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造（ベイヤー、Ｇストライプなど）で配置されている。また、ＣＣＤ３８は、各フォトダイオードの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。ＣＰＵ１２は、タイミングジェネレータ５０を介してＣＣＤ３８での電荷蓄積時間を制御する。尚、ＣＣＤ３８に代えてＭＯＳ型など他の方式の撮像素子を用いてもよい。

ＣＣＤ３８の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１２の指令に従いタイミングジェネレータ５０から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。

ＣＣＤ３８から出力された信号はアナログ処理部（ＣＤＳ／ＡＭＰ）５２に送られ、ここで画素ごとのＲ，Ｇ，Ｂ信号がサンプリングホールド（相関二重サンプリング処理）され、増幅された後、Ａ／Ｄ変換器５４に加えられる。Ａ／Ｄ変換器５４によってデジタル信号に変換された点順次のＲ，Ｇ，Ｂ信号は、画像入力コントローラ５６を介してメモリ１８に記憶される。

画像信号処理回路５８は、メモリ１８に記憶されたＲ，Ｇ，Ｂ信号をＣＰＵ１２の指令に従って処理する。即ち、画像信号処理回路５８は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス補正回路、ガンマ補正回路、輪郭補正回路、輝度・色差信号生成回路等を含む画像処理手段として機能し、ＣＰＵ１２からのコマンドに従ってメモリ１８を活用しながら所定の信号処理を行う。

画像信号処理回路５８に入力されたＲＧＢの画像データは、画像信号処理回路５８において輝度信号（Ｙ信号）及び色差信号（Ｃr,Ｃb 信号）に変換されるとともに、ガンマ補正等の所定の処理が施される。画像信号処理回路５８で処理された画像データはＶＲＡＭ２０に格納される。

撮影画像を画像表示装置２８にモニタ出力する場合、ＶＲＡＭ２０から画像データが読み出され、バス１４を介してビデオエンコーダ６０に送られる。ビデオエンコーダ６０は、入力された画像データを表示用の所定方式の信号（例えば、ＮＴＳＣ方式のカラー複合映像信号）に変換して画像表示装置２８に出力する。

ＣＣＤ３８から出力される画像信号によって、１コマ分の画像を表す画像データがＡ領域２０ＡとＢ領域２０Ｂとで交互に書き換えられる。ＶＲＡＭ２０のＡ領域２０Ａ及びＢ領域２０Ｂのうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。このようにしてＶＲＡＭ２０内の画像データが定期的に書き換えられ、その画像データから生成される映像信号が画像表示装置２８に供給されることにより、撮像中の映像がリアルタイムに画像表示装置２８に表示される。撮影者は、画像表示装置２８に表示される映像（スルームービー画）によって撮影画角を確認できる。

撮影ボタン２４が半押しされ、Ｓ１がオンすると、カメラ１０はＡＥ及びＡＦ処理を開始する。即ち、ＣＣＤ３８から出力された画像信号はＡ／Ｄ変換後に画像入力コントローラ５６を介してＡＦ検出回路６２並びにＡＥ／ＡＷＢ検出回路６４に入力される。

ＡＥ／ＡＷＢ検出回路６４は、１画面を複数のエリア（例えば、１６×１６）に分割し、分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ１２に提供する。ＣＰＵ１２は、ＡＥ／ＡＷＢ検出回路６４から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。求めた露出値と所定のプログラム線図に従い、絞り値とシャッタースピードが決定され、これに従いＣＰＵ１２はＣＣＤ３８の電子シャッター及びアイリスを制御して適正な露光量を得る。

また、ＡＥ／ＡＷＢ検出回路６４は、自動ホワイトバランス調整時には、分割エリアごとにＲＧＢ信号の色別の平均積算値を算出し、その算出結果をＣＰＵ１２に提供する。ＣＰＵ１２は、Ｒの積算値、Ｂの積算値、Ｇの積算値を得て、各分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、これらＲ／Ｇ、Ｂ／Ｇの値のＲ／Ｇ、Ｂ／Ｇ軸座標の色空間における分布等に基づいて光源種判別を行い、判別された光源種に応じてホワイトバランス調整回路のＲ，Ｇ，Ｂ信号に対するゲイン値（ホワイトバランス補正値）を制御し、各色チャンネルの信号に補正をかける。尚、ホワイトバランス調整の詳細は後述する。

本カメラ１０におけるＡＦ制御は、例えば映像信号のＧ信号の高周波成分が極大になるようにフォーカシングレンズ（撮影レンズ４２を構成するレンズ光学系のうちフォーカス調整に寄与する移動レンズ）を移動させるコントラストＡＦが適用される。即ち、ＡＦ検出回路６２は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば、画面中央部）に予め設定されているフォーカス対象エリア内の信号を切り出すＡＦエリア抽出部、及びＡＦエリア内の絶対値データを積算する積算部から構成される。

ＡＦ検出回路６２で求めた積算値のデータはＣＰＵ１２に通知される。ＣＰＵ１２は、レンズ駆動部４６を制御してフォーカシングレンズを移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、求めた合焦位置にフォーカシングレンズを移動させるようにレンズ駆動部４６を制御する。尚、ＡＦ評価値の演算はＧ信号を利用する態様に限らず、輝度信号（Ｙ信号）を利用してもよい。

撮影ボタン２４が半押しされ、Ｓ１オンによってＡＥ／ＡＦ処理が行われ、撮影ボタン２４が全押しされ、Ｓ２オンによって記録用の撮影動作がスタートする。Ｓ２オンに応動して取得された画像データは画像信号処理回路５８において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、メモリ１８に格納される。

メモリ１８に格納されたＹ／Ｃ信号は、圧縮伸張回路６６によって所定のフォーマットに従って圧縮された後、メディアコントローラ３４を介して記録メディア３２に記録される。例えば、静止画についてはJPEG（Joint Photographic Experts Group）形式で記録される。

モード選択スイッチ２２により再生モードが選択されると、記録メディア３２に記録されている最終の画像ファイル（最後に記録されたファイル）の圧縮データが読み出される。最後の記録に係るファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸張回路６６を介して非圧縮のＹＣ信号に伸張され、画像信号処理回路５８及びビデオエンコーダ６０を介して表示用の信号に変換された後、画像表示装置２８に出力される。これにより、当該ファイルの画像内容が画像表示装置２８の画面上に表示される。

静止画の一コマ再生中（動画の先頭フレーム再生中も含む）に、十字キーの右キー又は左キーを操作することによって、再生対象のファイルを切り換えること（順コマ送り／逆コマ送り）ができる。コマ送りされた位置の画像ファイルが記録メディア３２から読み出され、上記と同様にして静止画像や動画が画像表示装置２８に再生表示される。

次に、本発明に係るオートホワイトバランス調整方法について説明する。

図２は本発明に係るホワイトバランス調整方法を説明するために用いたフローチャートである。

まず、撮影ボタン２４が押されると、被写体の撮影が行われる。この撮影時にＣＣＤ３８から得られたＲ，Ｇ，Ｂ信号は一旦メモリ１８に格納される。メモリ１８に格納されているＲ，Ｇ，Ｂ信号を用いて、１画面が１６×１６に分割された２５６個の分割エリアごとにＲＧＢ信号の色別の平均積算値を算出し、各分割エリアごとにＲ，Ｇ，Ｂの平均積算値の比（即ち、Ｒ／Ｇ及びＢ／Ｇの比）を算出する。

このようにして算出された２５６個の分割エリアごとの色情報は、前記Ｒ／Ｇ、Ｂ／Ｇの値に基づいて図３に示すＲ／Ｇ、Ｂ／Ｇ軸座標の色空間上で分布する２５６個の点として表すことができる。

そして、Ｒ／Ｇ、Ｂ／Ｇ軸座標の色空間上で分布する２５６個の色情報のうちの相互に近似している色情報の集合（以下、「カタマリ」という）の重心位置を算出する（ステップＳ１０）。

前記カタマリの重心位置が示す色情報の色温度を検出する（ステップＳ１２）。尚、上記色情報のカタマリが生じる理由は、被写体が或る色温度の光源によって照明されているからである。従って、カタマリの重心位置の色情報と最も近似する色情報を有する光源種（例えば、図５に示す青空、日陰１〜４、昼光色１〜４、晴れ、昼白色１、２、白色１、２、温白色１〜４、タングステン１〜４、低タングステン等）を求めることで撮影時の光源種を自動判別することもできる。

次に、カメラ１０において設定されたホワイトバランス（ＷＢ）モードが、オートＷＢモードかマニュアルＷＢモードかを判別する（ステップＳ１４）。マニュアルＷＢモードが設定されている場合には、ステップＳ１２で検出した色温度に対応する黒体軌跡上の色情報を取得する（ステップＳ１６）。

ここで、黒体軌跡上の色情報について説明する。

色温度の変化によって“人間の本来の色の見え”が変わってくる。“人間の本来の色の見え”は原理上からはどのような光源下であっても色覚恒常が成立し、例えば、グレーの物体はグレーに順応する。しかし、実際にはどのように目が順応しようとも光源の色みが残って見えてしまう。その光源の色みの残り方も色温度によって変化する。本発明はこの“人間の本来の色の見え”を考慮してホワイトバランス調整を行なう。

図４は黒体放射の分光分布を色温度別にグラフで表したものであり、同図に示す黒体放射の分光を基準光源とする。

黒体放射分光にグレー板（Ｎグレー）をあてたときの光源本来の色は、等色関数ｘ（λ）、ｙ（λ）、ｚ（λ）を用いて、次式で表すことができる。
［数１］
Ｘ＝ｋ∫Ｒ（λ）Ｐ（λ）ｘ（λ）ｄλ
Ｙ＝ｋ∫Ｇ（λ）Ｐ（λ）ｙ（λ）ｄλ
Ｚ＝ｋ∫Ｂ（λ）Ｐ（λ）ｚ（λ）ｄλ
ｋ＝１００／∫Ｐ（λ）ｙ（λ）ｄλ
上記［数１］に示したＣＩＥ（国際照明委員会）のＸＹＺ表色系の三刺激値ＸＹＺをＲＧＢ系に変換した値を“もともとの光源の見え”とする。つまり、光源そのものの色みのことである。

図５は色温度による黒体の色変化の軌跡（黒体軌跡）をＲ／Ｇ，Ｂ／Ｇ軸座標上に表したグラフである。

図２に戻って、ステップＳ１６では、図５に示した黒体軌跡上の色情報であって、ステップＳ１２で検出した色温度に対応する色情報（図５のＲ／Ｇ，Ｂ／Ｇの色空間上の座標値）を取得する。尚、図５に示した色温度に対応する黒体軌跡は、予めＥＥＰＲＯＭ１７に記憶されている。

続いて、前記取得した色情報と、ステップＳ２０でユーザにより入力される色順応度（０〜１００％）とに基づいてホワイトバランス調整を行なうための目標値を算出する（ステップＳ１８）。即ち、黒体軌跡上の各色温度別の色情報を目標値として設定する場合を色順応度０％とし、完全グレーを目標値（Ｒ／Ｇ，Ｂ／Ｇの色空間上の座標（１，１））として設定する場合を色順応度１００％とし、黒体軌跡上の各色温度別の色情報（本来の光源の見え）と完全グレーとの間をユーザにより入力される色順応度に応じて補間した値を目標値とする。従って、ステップＳ１８で算出される目標値は、入力される色順応度（０〜１００％）に応じて黒体軌跡上の色温度の色情報と完全グレーとの間の直線上を動くことになる。

一方、ステップＳ１４において、オートＷＢモードが設定されていると判別されると、ステップＳ１２で検出した色温度に対応する黒体軌跡上の色情報の所定の色順応後の色情報を目標値として設定する（ステップＳ２２）。即ち、検出した色温度に対応する黒体軌跡上の色情報そのものではなく、色順応による“人間の本来の見え”とするために、色順応後の色情報を目標値として設定する。このときの色順応後の色情報は、例えばＣＩＥの色順応予測式によって予測される値とすることができる。尚、図６に示した色順応後の位置は、予めＥＥＰＲＯＭ１７に色温度別に記憶されている。

図５に示した黒体軌跡上の各色温度に対応する色情報は、色順応予測式を適応させることにより、色順応後は、図６に示す位置となる。この色順応後の各色情報の座標は、“光源そのものの見え”と完全順応との間にある。

図２に戻って、ステップＳ１８又はステップＳ２２により目標値が設定されると、その後、ステップＳ１０で算出した色情報のカタマリ重心位置と前記設定された目標値とに基づいてＲ，Ｇ，Ｂ信号に対するホワイトバランス補正値を算出する（ステップＳ２４）。

即ち、図７に示すようにＲ／Ｇ，Ｂ／Ｇ座標系のカタマリ重心位置の座標を（Ｘｉ，Ｙｉ）とし、目標値の座標を（Ｘｊ，Ｙｊ）とすると、座標（Ｘｉ，Ｙｉ）が座標（Ｘｊ，Ｙｊ）にくるようにホワイトバランスゲイン（ＷＢゲイン）を求める。いま、求めるＷＢゲインをｇ_ri 、ｇ_bi とすると、ｇ_ri 、ｇ_bi は、次式、
［数２］
ｇ_ri ＝Ｘｊ／Ｘｉ
ｇ_bi ＝Ｙｊ／Ｙｉ
で表すことができる。

以上のようにして求めたＷＢゲインｇ_ri 、ｇ_bi から、図１のメモリ１８に保存したＲ，Ｇ，Ｂ信号に対するＲ，Ｇ，Ｂゲイン値（ＷＢ補正値）を求める。尚、Ｇ信号に付与する所要のゲイン値を、前記ＷＢゲインｇ_ri 、ｇ_bi に乗算することによりＲ、Ｂ信号に付与するＲ、Ｂゲイン値を求めることができる。また、Ｇ信号に付与する所要のゲイン値を１とした場合には、前記ＷＢゲインｇ_ri 、ｇ_bi がそのままＲ、Ｂ信号に付与するＲ、Ｂゲイン値となる。

そして、上記Ｒ，Ｇ，Ｂゲイン値（ＷＢ補正値）によりメモリ１８に保存したＲ，Ｇ，Ｂ信号を補正する。これによりホワイトバランス調整が行われる（ステップＳ２６）。

このように“光源の見え”から完全順応までの間の色を目標値に設定してホワイトバランス調整を行なうことにより、例えばタングステン光源では少し赤みを抜くようなホワイトバランス調整が行なわれ、すっきりとした自然な色合いとなる。

尚、この実施の形態では、複数の分割エリアの色情報が分布する色空間上のカタマリの重心位置により光源種に関わる色情報を求めるようにしたが、これに限らず、特許文献１と同様にしてＲ／Ｇ、Ｂ／Ｇの色空間上に、図５に示したような青空、日陰１〜４、昼光色１〜４、晴れ、昼白色１、２、白色１、２、温白色１〜４、タングステン１〜４、低タングステン等の光源種に対応する色分布の範囲を示す検出枠を設定し、各分割エリアごとの色情報に基づいて各検出枠に色情報が入る分割エリアの個数を求め、被写体の輝度レベル及び検出枠に入る分割エリアの個数に基づいて光源種を判別し、その光源種に対応する検出枠の中心座標を撮影状況下の光源種に関わる色情報として求めるようにしてもよい。

図１は本発明が適用されたデジタルカメラの実施の形態を示すブロック図である。 図２は本発明に係るオートホワイトバランス調整方法を説明するために用いたフローチャートである。 図５は複数の分割エリアの色情報のＲ／Ｇ、Ｂ／Ｇの色空間上での分布の一例を示すグラフである。 図４は黒体放射の分光分布を色温度別に表したグラフである。 図５は色温度による黒体の色変化の軌跡（黒体軌跡）をＲ／Ｇ，Ｂ／Ｇ軸座標上に表したグラフである。 図６は黒体軌跡上の各色温度の色順応後の位置を示すグラフである。 図７はホワイトバランスゲインの求め方を説明するために用いた図である。

符号の説明

１０…カメラ、１２…ＣＰＵ、１６…ＲＯＭ、１７…ＥＥＰＲＯＭ、１８…メモリ、２６…操作手段、３２…記録メディア、３８…カラーＣＣＤ固体撮像素子（ＣＣＤ）、４０…レンズユニット、４２…撮影レンズ、５８…画像信号処理回路

Claims (5)

1. 撮像素子を介して取得されるＲ，Ｇ，Ｂ信号のホワイトバランス調整を行なうオートホワイトバランス調整方法において、
   前記Ｒ，Ｇ，Ｂ信号に基づいて撮影状況下の光源種に関わる色情報を求めるとともに、該色情報に対応する色温度を求めるステップと、
   前記求めた色温度に対応する黒体軌跡上の色情報と完全順応後の色情報との間の色順応度に応じた色情報を目標値として設定するステップと、
   前記求めた色情報と前記設定された目標値とに基づいてＲ，Ｇ，Ｂ信号に対するホワイトバランス補正値を決定するステップと、
   前記決定されたホワイトバランス補正値に基づいて前記Ｒ，Ｇ，Ｂ信号のホワイトバランス調整を行うステップと、を含み、
   前記色温度を求めるステップは、１画面を複数のエリアに分割してなる複数の分割エリアの色情報を各分割エリア内のＲ，Ｇ，Ｂ信号に基づいて求めるステップと、前記複数の分割エリアの色情報のうちの色空間上で相互に近似している色情報の集合の色空間における重心位置の色情報を算出するステップと、前記算出した重心位置の色情報と最も近似する色情報を有する光源種から前記光源種に関わる色情報を求めるステップとからなることを特徴とするオートホワイトバランス調整方法。
2. 前記黒体軌跡上の各色温度別の色情報を目標値として設定する場合を色順応度０％とし、完全グレーを目標値として設定する場合を色順応度１００％とし、０〜１００％の任意の色順応度を手動で設定するステップを含み、前記目標値を設定するステップは、前記手動で設定された色順応度に応じて前記目標値を変更することを特徴とする請求項１に記載のオートホワイトバランス調整方法。
3. 撮像素子を介して取得されるＲ，Ｇ，Ｂ信号のホワイトバランス調整を行なうオートホワイトバランス調整装置において、
   前記Ｒ，Ｇ，Ｂ信号に基づいて撮影状況下の光源種に関わる色情報を取得する色情報取得手段と、
   前記取得した色情報に対応する色温度を求める手段と、
   前記取得した色温度に対応する黒体軌跡上の色情報と完全順応後の色情報との間の色順応度に応じた色情報を目標値として設定する目標値設定手段と、
   前記取得した色情報と前記設定された目標値とに基づいてＲ，Ｇ，Ｂ信号に対するホワイトバランス補正値を決定する手段と、
   前記決定されたホワイトバランス補正値に基づいて前記Ｒ，Ｇ，Ｂ信号のホワイトバランス調整を行う手段と、を備え、
   前記色温度取得手段は、１画面を複数のエリアに分割してなる複数の分割エリアの色情報を各分割エリア内のＲ，Ｇ，Ｂ信号に基づいて求める手段と、前記複数の分割エリアの色情報のうちの色空間上で相互に近似している色情報の集合の色空間における重心位置の色情報を算出する手段と、前記算出した重心位置の色情報と最も近似する色情報を有する光源種から前記光源種に関わる色情報を求める手段とからなることを特徴とするオートホワイトバランス調整装置。
4. 前記黒体軌跡上の各色温度別の色情報を記憶する記憶手段と、色順応度を手動で設定する色順応度設定手段とを備え、前記目標値設定手段は、前記取得した色温度に基づいて前記記憶手段から対応する黒体軌跡上の色情報を読み出し、この読み出した色情報と完全順応後の色情報との間を前記設定した色順応度に応じて補間して得た色情報を目標値として設定することを特徴とする請求項３に記載のオートホワイトバランス調整装置。
5. 前記黒体軌跡上の各色温度別の色情報に対応する色順応予測式で予測した色順応後の色情報を各色温度別に記憶する記憶手段を備え、前記目標値設定手段は、前記取得した色温度に基づいて前記記憶手段から対応する色順応後の色情報を読み出し、この読み出した色情報を目標値として設定することを特徴とする請求項３に記載のオートホワイトバランス調整装置。

Images