JP2005347811A - ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置 - Google Patents

Abstract

【課題】撮像した画像等の全域に亙って色ずれが生じない良好なホワイトバランス補正を施すことを可能とする。
【解決手段】画像１０１を複数の係数ブロック１１１に分割し、係数ブロック１１１毎に各画素のＲ，Ｇ，Ｂ値を個別に積分し、その結果に基づき各係数ブロック１１１の中心画素１２１に対する補正係数を演算する。複数の中心画素１２１を除く非中心画素１２２に対する補正係数を、各々の非中心画素１２２の周囲に存在する複数の中心画素１２１の補正係数から、各中心画素１２１との距離（ｘ，１−ｘ，ｙ，１−ｙ）に基づく線形補間よって個別に算出する。中心画素１２１と非中心画素１２２とからなる全画素に画素毎に取得した補正係数をかけて各画素のホワイトバランスを調整する。画像内に異なる種類の光源の照射エリアが存在する場合においても、色ずれを生じさせずに画像の全域に適したホワイトバランスが確保できる。
【選択図】 図３

Description

本発明は、例えばデジタルカメラに用いて好適なホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置に関するものである。

従来、デジタルカメラ等における撮像した画像に対するホワイトバランス補正においては、画面全体に同一のホワイトバランス補正量を設定する方法が一般的である。しかし、画面内の被写体に複数の光源照射があり、その照射エリアがある程度分離されているような場合、例えば蛍光灯下の被写体に局所的に電球光源照射があったり、蛍光灯下でストロボ撮影時に、主たる被写体にはストロボ光が十分照射されているが、距離が離れていてストロボ光の届かない領域や、ストロボ光量が少なくなる周辺部分が存在するとき等のように、画面内に２種類、あるいはそれ以上の光源に支配される分離領域がある場合には、画面全域に適した補正をかけることが難しい。

これを解消するものとして、例えば下記特許文献１には、入力した画像を複数のブロック領域に分割し、ブロック毎に異なるホワイトバランス補正量を設定して、ホワイトバランス補正を施す方法が記載されている。
特開２００２−２７１６３８号公報

しかしながら、上記のようにブロック毎に異なる補正量によるホワイトバランスを施す方法においては、互いに隣接するブロック同士の境界部分に色調の違い（色ずれ）が不可避的に生じ、結果的に画質が低下するという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、撮像した画像等の全域に亙って色ずれが生じない良好なホワイトバランス補正を施すことができるホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置を提供することを目的とする。

前記課題を解決するため請求項１の発明にあっては、画像における互いに離間する複数の注目画素のホワイトバランスの補正係数を個別に取得する第１の係数取得手段と、前記複数の注目画素の間に位置する前記画像における非注目画素のホワイトバランスの補正係数を、前記第１の係数取得手段により取得された、当該非注目画素の周囲に存在する複数の注目画素の補正係数から補間によって取得する第２の係数取得手段と、前記画像の各画素のうち、前記注目画素に対しては前記第１の係数取得手段によって取得された補正係数に基づきホワイトバランス補正を施し、前記非注目画素に対しては前記第２の係数取得手段によって取得された補正係数に基づきホワイトバランス補正を施す補正手段とを備えたものとした。

かかる構成においては、画像が、画素毎に取得された補正係数に基づき画素毎にホワイトバランスを調整されることにより、画像内に異なる種類の光源の照射エリアが存在する場合においても、画像の全域に適したホワイトバランス補正を行うことができる。しかも、複数の注目画素の間に位置する非注目画素の補正係数が、非注目画素の周囲に存在する複数の注目画素の補正係数から補間によって取得されるため、隣接する注目画素と非注目画素、又は隣接する非注目画素同士の間における画素毎の補正係数を滑らかに変化させることができる。同時に、非注目画素の補正係数を画像に基づき直接取得する場合に比べ、ホワイトバランス補正に要するデータ処理量を削減することができる。

また、請求項２の発明にあっては、前記複数の注目画素は、前記画像が分割された複数の係数ブロック毎に設定され、前記第１の係数取得手段は、複数の注目画素の各々の補正係数を、同一の係数ブロック内の全画素の色成分に基づき個別に取得するものとした。

また、請求項３の発明にあっては、前記第１の係数取得手段は、画像内での位置によって異なる色情報を有する画素により構成される画像から前記複数の注目画素の補正係数を取得するものとした。

かかる構成においては、複数の注目画素の補正係数を取得する際に扱うデータ処理量を削減することができる。

また、請求項４の発明にあっては、前記第２の係数取得手段は、前記画像における非注目画素のホワイトバランスの補正係数を、前記第１の係数取得手段により取得された、当該非注目画素の周囲に存在する複数の注目画素からの距離に基づく直線補間によって取得するものとした。

また、請求項５の発明にあっては、画像における互いに離間する複数の注目画素のホワイトバランスの補正係数を個別に取得する第１の工程と、前記複数の注目画素の間に位置する非注目画素におけるホワイトバランスの補正係数を、第１の工程で取得した、当該非注目画素の周囲に存在する複数の注目画素の補正係数から補間によって取得する第２の工程と、前記注目画素に対しては前記第１の工程によって取得された補正係数に基づきホワイトバランス補正を施し、前記非注目画素に対しては前記第２の工程によって取得された補正係数に基づきホワイトバランス補正を施す第３の工程とを含む方法とした。

かかる方法によれば、画像が、画素毎に取得された補正係数に基づき画素毎にホワイトバランスを調整されることにより、画像内に異なる種類の光源の照射エリアが存在する場合においても、画像の全域に適したホワイトバランス補正を行うことができる。しかも、複数の注目画素の間に位置する非注目画素の補正係数が、非注目画素の周囲に存在する複数の注目画素の補正係数から補間によって取得されるため、隣接する注目画素と非注目画素、又は隣接する非注目画素同士の間における画素毎の補正係数を滑らかに変化させることができる。同時に、非注目画素の補正係数を画像に基づき直接取得する場合に比べ、ホワイトバランス補正に要するデータ処理量を削減することができる。

また、請求項６の発明にあっては、画像処理機能を有する装置が有するコンピュータに、画像における互いに離間する複数の注目画素のホワイトバランスの補正係数を個別に取得する第１の処理と、前記複数の注目画素の間に位置する非注目画素におけるホワイトバランスの補正係数を、前記第１の処理で取得した、当該非注目画素の周囲に存在する複数の注目画素の補正係数から補間によって取得する第２の処理と、前記注目画素に対しては前記第１の処理によって取得された補正係数に基づきホワイトバランス補正を施し、前記非注目画素に対しては前記第２の処理によって取得された補正係数に基づきホワイトバランス補正を施す第３の処理とを実行させるためのプログラムとした。

また、請求項７の発明にあっては、撮像手段により撮像した被写体画像を画像データとして記録媒体に記録する電子カメラにおいて、被写体画像における互いに離間する複数の注目画素のホワイトバランスの補正係数を個別に取得する第１の係数取得手段と、前記複数の注目画素の間に位置する被写体画像における非注目画素のホワイトバランスの補正係数を、前記第１の係数取得手段により取得された、当該非注目画素の周囲に存在する複数の注目画素の補正係数から補間によって取得する第２の係数取得手段と、被写体画像の各画素のうち、前記注目画素に対しては前記第１の係数取得手段によって取得された補正係数に基づきホワイトバランス補正を施し、前記非注目画素に対しては前記第２の係数取得手段によって取得された補正係数に基づきホワイトバランス補正を施す補正手段とを備えたものとした。

かかる構成においては、撮像手段により撮像された被写体画像の全画素が、画素毎に取得された補正係数に基づき画素毎にホワイトバランスを調整されることにより、被写体画像内に異なる種類の光源の照射エリアが存在する場合においても、被写体画像の全域に適したホワイトバランス補正を行うことができる。しかも、複数の注目画素の間に位置する非注目画素の補正係数が、非注目画素の周囲に存在する複数の注目画素の補正係数から補間によって取得されるため、隣接する注目画素と非注目画素、又は隣接する非注目画素同士の間における画素毎の補正係数を滑らかに変化させることができる。同時に、非注目画素の補正係数を被写体画像に基づき直接取得する場合に比べ、ホワイトバランス補正に要するデータ処理量を削減することができる。

以上のように本発明のホワイトバランス補正装置及びホワイトバランス補正方法においては、画像内に異なる種類の光源の照射エリアが存在する場合においても、画像の全域に適したホワイトバランス補正を行うことができる。しかも、隣接する注目画素と非注目画素、又は隣接する非注目画素同士の間における画素毎の補正係数を滑らかに変化させることができるようにした。よって、撮像した画像等の全域に亙って色ずれが生じない良好なホワイトバランス補正を施すことが可能となる。同時に、非注目画素の補正係数を画像に基づき直接取得する場合に比べ、ホワイトバランス補正に要するデータ処理量を削減することができるため、ホワイトバランス補正を高速に行うことができる。

特に、請求項３の発明においては、複数の注目画素の補正係数を取得する際に扱うデータ処理量を削減することができるようにした。よって、複数の注目画素の補正係数の取得に要する処理の全てをプログラム処理によって行う構成においては、複数の注目画素の補正係数を効率的に取得することができる。

また、本発明電子カメラ装置によれば、撮像した被写体画像の全域に亙って色ずれが生じない良好なホワイトバランス補正を施すことが可能となり、また、それを高速に行うことができる。

以下、本発明の実施の形態を図にしたがって説明する。
（実施形態１）
図１は、本発明の第１の実施の形態に係るデジタルカメラ１の概略構成を示すブロック図である。

このデジタルカメラ１は、撮像素子であるＣＣＤ２により被写体を撮像し、撮像により取得した被写体画像をＬＣＤ（液晶表示装置）４に表示させるとともに、撮影操作に応じて、撮像した被写体画像を画像データに変換し画像メモリ５に記録する構成であるとともに、ＡＥ（自動露出制御）、ＡＦ（オートフォーカス）、ＡＷＢ（オートホワイトバランス）の各機能を有している。なお、画像メモリ５は、カメラ本体に内蔵又は着脱自在なフラッシュメモリ等の不揮発性メモリである。

ＣＣＤ２は、感光部にベイヤー配列の原色フィルターが設けられたものであり、ＣＣＤ２から出力されたアナログの撮像信号は、信号処理部３において各種の信号処理を施されて、最終的には輝度信号（Ｙ信号）と色差信号（Ｃｂ信号、Ｃｒ信号）を含んだＹＵＶデータ、すなわちデジタルの画像信号として出力される。

信号処理部３から出力された画像信号は、撮影待機状態にあるときＬＣＤ４に送られて被写体画像として表示される。また、撮影操作時には、ＣＰＵ６によりＪＰＥＧ等の所定フォーマットに従い圧縮され画像メモリ５に記録される。画像メモリ５に記録された圧縮後の画像データは、必要に応じＣＰＵ６により読み出され、いったん伸張された後ＬＣＤ４において静止画像、或いは動画像として再生表示される。

また、デジタルカメラ１は、ＣＰＵ６が上記画像データの圧縮・伸張、及び装置全体の制御に必要とする各種の制御プログラムが記録されたＲＯＭ７と、ＣＰＵ６の作業用メモリであるＲＡＭ８、キー入力部９、レンズ駆動部１０を有している。ＲＯＭ７には、ＣＰＵ６に後述するホワイトバランスの補正係数取得処理を行わせることにより、ＣＰＵ６を本発明の第１の係数取得手段、第２の係数取得手段として機能させるためのプログラムが格納されている。

キー入力部９は、シャッターキーや、動作モードの切り替えに使用されるモード切替キー等からなり、キー操作に応じた操作信号をＣＰＵ６へ出力する。レンズ駆動部１０は、ＣＣＤ２の前面に配置されたフォーカスレンズを含む光学系を光軸方向に駆動するモーターや、それを制御するためのドライバー等から構成され、ＡＦ制御時におけるＣＰＵ６からの指令に基づきレンズ位置を変化させる。

図２は、前述した信号処理部３の詳細を示すブロック図である。信号処理部３は、ＣＣＤ２から出力されるアナログの撮像信号が入力するアナログ処理部１１と、黒レベル調整部１２、色補間部１３、計測部１４、ホワイトバランス調整部１５、ガンマ補正部１９、フィルタ処理部２０、ＹＵＶ変換処理部２１の各部から構成されている。

アナログ処理部１１は、ＣＣＤ２から出力された撮像信号に含まれるＣＣＤ２の駆動ノイズを減少させる相関二重サンプリング回路（ＣＤＳ回路）と、ノイズ低減後における信号のゲインを調整する自動利得制御回路（ＡＧＣ回路）、ゲイン調整後の信号をデジタル信号に変換するＡ／Ｄ変換器を含み、ＣＣＤ２から入力したアナログの撮像信号をデジタルの画像信号、すなわちベイヤーデータに変換する。黒レベル調整部１２は、デジタル化された画像信号を所定の黒レベルにクランプする。

色補間部１３は、黒レベル調整部１２から入力したベイヤーデータからＲ，Ｇ，Ｂの色成分について色補間を行い画素毎のＲ，Ｇ，Ｂの色成分データを生成する。計測部１４は、黒レベル調整部１２から入力した１画面分のベイヤーデータ（以下、ベイヤー画像という。）１０１について、図３（ａ）に示したように、１画面を縦１６×横１６に分割した計２５６の係数ブロック１１１を単位として、係数ブロック１１１毎にベイヤーデータのＲ，Ｇ，Ｂ値を個別に積分し、その結果をＣＰＵ６へ出力する。

ホワイトバランス調整部１５は本発明の補正手段であって、色補間部１３で生成されたＲＧＢデータをストアするメモリ１６と、メモリ１６上のＲＧＢデータを読み出し、画素毎にホワイトバランス補正係数（以下、単に補正係数という。）をかけて、前記ガンマ補正部１９へ出力するゲイン乗算回路１７と、その補正係数が設定される係数レジスタ１８とから構成されている。係数レジスタ１８に設定される補正係数は、後述する処理によってＣＰＵ６から送られる各画素に対するＲ画素用のゲイン（Ｒゲイン係数）とＢ画素用のゲイン（Ｂゲイン係数）である。

ガンマ補正部１９は、ホワイトバランス調整後のＲＧＢデータに対するガンマ特性（階調特性）の補正を行い、フィルタ処理部２０は、ガンマ補正後のＲＧＢデータに種々のフィルタ処理を施し、ＹＵＶ変換処理部２１は、ＲＧＢデータから輝度信号（Ｙ）と色差信号（Ｕ、Ｖ）からなるＹＵＶデータを画素毎に生成し、ＣＰＵ６やＬＣＤ４へ出力する。

次に、以上の構成において、ＣＣＤ２が駆動されている間にＣＰＵ６が実施するホワイトバランスの補正係数取得処理に関する手順を図４のフローチャートに従って説明する。

ＣＰＵ６は、前記計測部１４から入力したベイヤー画像１０１（図３（ａ））における係数ブロック１１１毎のＲＧＢ積分結果に基づき、係数ブロック１１１毎にＲ，Ｂゲイン係数を演算し（ステップＳＡ１）、演算した各々のＲ、Ｂゲイン係数（Ｒｇａｉｎ，Ｂｇａｉ）を、各々の係数ブロック１１１の中心画素（注目画素）１２１の補正係数としてホワイトバランス調整部１５の係数レジスタ１８に設定する（ステップＳＡ２）。引き続き、中心画素以外の非中心画素（非注目画素）のＲ，Ｂゲイン係数を、その画素の周囲の複数の中心画素１２１のＲ、Ｂゲイン係数に基づき線形補間より算出する（ステップＳＡ３）。

例えば図３（ｂ）に示したように、非中心画素１２２のＲ，Ｂゲイン係数をＲ４，Ｂ４、周辺の係数ブロック１１１の４つの中心画素１２１のＲゲイン係数をＲ０〜Ｒ３、Ｂゲイン係数をＢ０〜Ｂ３、非中心画素１２２の左上の中心画素１２１からの距離をｘ，ｙ（ただし、各々の中心画素１２１間の距離を１に正規化した値）として以下の式によりＲ，Ｂゲイン係数を求める。
Ｒ４＝（１−ｘ）（１−ｙ）Ｒ０＋ｘ（１−ｙ）Ｒ１＋（１−ｘ）ｙＲ２＋ｘｙＲ３
Ｂ４＝（１−ｘ）（１−ｙ）Ｂ０＋ｘ（１−ｙ）Ｂ１＋（１−ｘ）ｙＢ２＋ｘｙＢ３

また、画像内の最外周に位置する係数ブロック１１１内の他の非中心画素１２２については、自己のブロックの中心画素１２１と隣接するブロックの中心画素１２１のＲ，Ｂゲイン係数からの距離に基づく補間によって算出する。

そして、算出した全ての非中心画素１２２のＲ，Ｂゲイン係数をホワイトバランス調整部１５の係数レジスタ１８に設定する（ステップＳＡ４）。なお、ステップＳＡ３において前述した補間ができない非中心画素１２２、すなわちベイヤー画像１０１の四隅に位置する各係数ブロック１１１における、中心画素１２１と、ベイヤー画像１０１の隅と、ベイヤー画像１０１の縦及び横の辺を構成する２点の計４点を頂点とする正方形領域内の非中心画素１２２については、中心画素１２１と同一のＲ，Ｂゲイン係数を設定する。

これにより、画像内の全ての画素に対するＲ，Ｂゲイン係数がホワイトバランス調整部１５の係数レジスタ１８に設定され、ホワイトバランス調整部１５においては、前述したようにゲイン乗算回路１７によって、各々に設定されたＲ，Ｂゲイン係数が画素毎にかけられることによりホワイトバランス調整が行われる。

以上のように本実施の形態においては、画素毎に取得した補正係数（Ｒ，Ｂゲイン係数）に基づき画素毎にホワイトバランス調整を行うことから、画面内の被写体に複数の光源照射があり、その照射エリアがある程度分離されているような場合であっても、照射エリア毎に適したホワイトバランスを確保することができる。同時に、各係数ブロック１１１の中心画素１２１の補正係数を係数ブロック１１１毎のＲＧＢ積分結果に基づき取得し、かつ非中心画素１２２の補正係数を周囲の複数の中心画素１２１のＲ，Ｂゲイン係数から補間により取得することから、隣接する係数ブロック１１１同士の境界部分、及び隣接する中心画素１２１と非中心画素１２２、又は隣接する非中心画素１２２同士の間における画素毎のＲ，Ｂゲイン係数が滑らかに変化することとなり、上記境界部分に色ずれが生じることがない。したがって、画面全域に極めて良好なホワイトバランス補正を施すことができる。

しかも、非中心画素１２２の補正係数を複数の中心画素１２１のＲ，Ｂゲイン係数から補間により取得することから、例えば全画素の補正係数をベイヤー画像１０１等から直接取得するような場合に比べて、ホワイトバランス補正に要するデータ処理量が少ないため、画素毎にホワイトバランス調整を行っても、ホワイトバランス補正を高速に行うことができる。また、ＣＰＵ６にかかる処理負担を抑えることができる。

なお、本実施の形態においては、各係数ブロック１１１における中心画素１２１のＲ，Ｂゲイン係数を、色補間前のベイヤー画像１０１を構成する画素のＲ，Ｇ，Ｂ毎の積分値に基づき取得したが、それを色補間後の各画素におけるＲ，Ｇ，Ｂの色成分毎の積分値に基づき取得してもよい。ただし、ベイヤー画像１０１の段階で取得した方が、係数ブロック１１１毎のＲ，Ｇ，Ｂ毎の積分値の取得時におけるデータ処理量が少なくなる（１／３となる）。

また、本実施の形態とは異なり、計測部１４の係数ブロック１１１毎のＲ，Ｇ，Ｂ値の積分処理を含めた中心画素１２１のＲ，Ｂゲイン係数の取得に要する全ての処理をＣＰＵ６によりプログラム処理で行う場合においては、複数の注目画素の補正係数を効率的に取得することができる。つまりＣＰＵ６のデータ処理負担を必要最小限に止めることができる。

また、本実施の形態においては、ベイヤー画像１０１を均等に２５６分割した係数ブロック１１１毎に、中心画素１２１のＲ，Ｂゲイン係数を取得するものを示したが、係数ブロック１１１の分割数や、係数ブロック１１１の個々の形状については適宜変更することができる。

また、非中心画素１２２の補正係数を、その周囲に存在する複数の中心画素１２１からの距離に基づく線形補間によって求めるものについて説明したが、非中心画素１２２の補正係数をこれ以外の補間方法、例えばスプライン補間などの他の補間方法を用いて求めるようにしてもよい。

また、本実施の形態においては、ベイヤー画像１０１の係数ブロック１１１毎のＲ，Ｇ，Ｂ値の積分作業を計測部１４において行い、かつその積分結果に基づき、デジタルカメラ１の全体を制御するＣＰＵ６が中心画素１２１のＲ，Ｂゲイン係数を取得する構成について説明したが、例えばＣＣＤ２から出力された画像信号に対する、ホワイトバランス補正を含めた種々の処理を一括して行うＡＳＩＣ（Application Specific Integrated Circuit）を備えた構成では、計測部１４及びＣＰＵ６の上記機能等をＡＳＩＣにより実現しても構わない。

また、本実施の形態においては、ＣＣＤを備えたデジタルカメラに本発明を採用した場合について説明したが、これに限らず本発明は、ＣＭＯＳセンサを備えたデジタルカメラや、ＣＣＤやＣＭＯＳセンサ等の撮像素子を備えた他の撮像装置、例えばデジタルビデオカメラ、カメラ付き携帯電話機、カメラ付きＰＤＡ、カメラ付きパソコン等の種々の電子カメラ装置にも採用することができる。その場合においても、前述した効果を得ることができる。

（実施形態２）
図５は、本発明の第２の実施の形態に係るパーソナルコンピュータ（以下、パソコン）５１を示すブロック図である。

このパソコン５１はＣＰＵ５２と、ＣＰＵ５２に接続されたＲＯＭ５３、ＲＡＭ５４、内蔵時計５５、ＣＲＴやＬＣＤ等からなる表示装置５６へ送る表示信号を生成する表示回路５７を備えている。ＣＰＵ５２には、インターフェース５８を介して入力手段であるマウス５９及びキーボード６０と、ハードディスク６１、ＣＤ−ＲＯＭドライブ６２、各種のメモリカードが直接、または所定のアダプタを介して着脱自在に装着可能なスロットを有する内蔵又は外付けのカードドライブ６３が接続されている。ハードディスク６１には、パソコン５１の動作に不可欠な各種ＯＳ、及び必要に応じてＣＰＵ５２に後述するホワイトバランス補正処理を実行させることにより、ＣＰＵ５２を本発明の第１の係数取得手段、第２の係数取得手段、補正手段として機能させるためのプログラムを含む画像処理プログラム等の各種アプリケーションプログラムがインストールされている。

次に、以上の構成からなるパソコン５１において、画像処理プログラムが起動しているときＣＰＵ５２が必要に応じて実行する画像に対するホワイトバランス補正処理の内容を図６のフローチャートにしたがって説明する。なお、ここでは、処理対象となる画像が、第１の実施の形態で説明したデジタルカメラのＣＣＤ２と同様に感光部にベイヤー配列の原色フィルターを有した撮像素子を備えた任意のデジタルカメラで撮影され記録された撮影画像であり、例えばメモリカードを介してカードドライブ６３からハードディスク６１に読み込まれているものとする。また、上記撮影画像のデータが、一般にＲＡＷデータと呼ばれる撮像素子の生出力データ、つまり撮像素子における画素毎のデータ（ここでは、ベイヤーデータ）であるものとする。

以下、説明するとＣＰＵ５２は、ハードディスク６１から上記画像データ、つまりベイヤーデータを読み出した後（ステップＳＢ１）、その１画面を１６×１６の係数ブロック１１１に分割し（図３（ａ）参照）、ブロック毎にＲ，Ｇ，Ｂ値を個別に積分する（ステップＳＢ２）。そして、係数ブロック毎のＲＧＢの各積分結果に基づき、係数ブロック毎にＲ，Ｂゲイン係数を演算し（ステップＳＢ３）、その結果を各係数ブロックにおける中心画素１２１の補正係数としてＲＡＭ５４等に記憶する（ステップＳＢ４）。次に、１画面内における前記中心画素１２１を除く非中心画素１２２（図３（ｂ）参照）のＲ，Ｂゲイン係数を、各々の周囲の複数の中心画素１２１からの距離に基づき、複数の中心画素１２１のＲ、Ｂゲイン係数から線形補間よって画素毎に算出し、その結果をＲＡＭ５４等に記憶する（ステップＳＢ５）。なお、この線形補間よる非中心画素１２２のＲ，Ｂゲイン係数の具体的に算出方法については、第１の実施の形態と同様であるため説明を省略する。

引き続き、処理対象の画像データに色補間処理を施して、画素毎にＲＧＢデータを生成し（ステップＳＢ６）、生成した画素毎のＲ，Ｂデータに、ステップＳＢ３，ＳＢ５で予め記憶しておいた画素毎のＲ，Ｂゲイン係数をかけることによって、画素毎にホワイトバランスを調整する（ステップＳＢ７）。しかる後、ホワイトバランス調整後の画素データ（画素毎のＲＧＢデータ）からなるカラー画像を、ＪＰＥＧ等の所定の画像フォーマットでハードディスク６１に記憶する（ステップＳＢ８）。

したがって、本実施の形態のパソコン５１においても、第１の実施の形態に示したデジタルカメラ１と同様、画面内の被写体に複数の光源照射があり、その照射エリアがある程度分離されているような場合であっても、照射エリア毎に適したホワイトバランスを確保することができる。同時に、隣接する係数ブロック１１１同士の境界部分に色ずれが生じることがない。したがって、画面全域に極めて良好なホワイトバランス補正を施すことができる。しかも、画素毎にホワイトバランス調整を行っても、ホワイトバランス補正を高速に行うことができるとともに、ＣＰＵ５２にかかる処理負担を抑えることができる。

また、各係数ブロック１１１における中心画素１２１のＲ，Ｂゲイン係数を、色補間前のベイヤー画像１０１を構成する画素のＲ，Ｇ，Ｂ毎の積分値に基づき取得するため、複数の注目画素の補正係数を効率的に取得することができる。つまりＣＰＵ５２のデータ処理負担を必要最小限に止めることができる。

なお、本実施の形態においては、処理対象の撮影画像のデータがＲＡＷデータである場合について説明したが、本発明は、ＲＡＷデータ以外の画像データを対象とする場合であっても有効であり、処理対象はＪＰＥＧ形式等の他のデータ形式で記録されている画像であってもよい。例えばＪＰＥＧ形式の画像を対象とする場合には、記録されている画像をいったん画素毎のＹ，Ｃｂ，Ｃｒデータに伸張し、さらにそれを画素毎のＲＧＢデータに変換した後、変換後の各画素におけるＲ，Ｇ，Ｂの色成分毎の積分値に基づき各係数ブロック１１１における中心画素１２１のＲ，Ｂゲイン係数を取得すればよい。さらに、その場合には、各係数ブロック１１１における中心画素１２１のＲ，Ｂゲイン係数を画素毎のＣｂ，Ｃｒデータに基づき取得するようにしてもよい。

また、本実施の形態においても、係数ブロック１１１の分割数や、係数ブロック１１１の個々の形状については適宜変更することができ、また、非中心画素１２２の補正係数を、その周囲に存在する複数の中心画素１２１の補正係数から、線形補間以外のスプライン補間などの他の補間方法を用いて求めるようにしてもよい。

また、本実施の形態においては、前述したように汎用的な構成を備えたパソコン５１に所定の画像処理プログラムをインストールすることによって本発明のホワイトバランス補正装置を実現したものを示したが、これ以外にも、本発明は、画像処理機能、特に撮影画像に対する画像処理機能を有するものであれば、例えばデジタルカメラ等によって画像データとして記録された画像を印刷する各種方式のプリンタにも採用することができる。その場合においても、前述した効果を得ることができる。

本発明の第１の実施の形態を示すデジタルカメラのブロック図である。 同デジタルカメラの信号処理部の詳細を示すブロック図である。 ベイヤー画像における係数ブロックと、中心画素及び非中心画素とを示す説明図である。 ＣＰＵによるホワイトバランスの補正係数取得処理の内容を示すフローチャートである。 本発明の第２の実施の形態を示すパーソナルコンピュータのブロック図である。 ＣＰＵによるホワイトバランス補正処理の内容を示すフローチャートである。

符号の説明

１ デジタルカメラ
２ ＣＣＤ
３ 信号処理部
５ 画像メモリ
６ ＣＰＵ
７ ＲＯＭ
８ ＲＡＭ
１３ 色補間部
１４ 計測部
１５ ホワイトバランス調整部
１６ メモリ
１７ ゲイン乗算回路
１８ 係数レジスタ
５１ パーソナルコンピュータ
５２ ＣＰＵ
５３ ＲＯＭ
５４ ＲＡＭ
５６ 表示装置
６１ ハードディスク
６３ カードドライブ
１０１ ベイヤー画像
１１１ 係数ブロック
１２１ 中心画素
１２２ 非中心画素

Claims (7)

1. 画像における互いに離間する複数の注目画素のホワイトバランスの補正係数を個別に取得する第１の係数取得手段と、
   前記複数の注目画素の間に位置する前記画像における非注目画素のホワイトバランスの補正係数を、前記第１の係数取得手段により取得された、当該非注目画素の周囲に存在する複数の注目画素の補正係数から補間によって取得する第２の係数取得手段と、
   前記画像の各画素のうち、前記注目画素に対しては前記第１の係数取得手段によって取得された補正係数に基づきホワイトバランス補正を施し、前記非注目画素に対しては前記第２の係数取得手段によって取得された補正係数に基づきホワイトバランス補正を施す補正手段と
   を備えたことを特徴とするホワイトバランス補正装置。
2. 前記複数の注目画素は、前記画像が分割された複数の係数ブロック毎に設定され、前記第１の係数取得手段は、複数の注目画素の各々の補正係数を、同一の係数ブロック内の全画素の色成分に基づき個別に取得することを特徴とする請求項１記載のホワイトバランス補正装置。
3. 前記第１の係数取得手段は、画像内での位置によって異なる色情報を有する画素により構成される画像から前記複数の注目画素の補正係数を取得することを特徴とする請求項１又は２記載のホワイトバランス補正装置。
4. 前記第２の係数取得手段は、前記画像における非注目画素のホワイトバランスの補正係数を、前記第１の係数取得手段により取得された、当該非注目画素の周囲に存在する複数の注目画素からの距離に基づく直線補間によって取得することを特徴とする請求項１，２又は３記載のホワイトバランス補正装置。
5. 画像における互いに離間する複数の注目画素のホワイトバランスの補正係数を個別に取得する第１の工程と、
   前記複数の注目画素の間に位置する非注目画素におけるホワイトバランスの補正係数を、第１の工程で取得した、当該非注目画素の周囲に存在する複数の注目画素の補正係数から補間によって取得する第２の工程と、
   前記注目画素に対しては前記第１の工程によって取得された補正係数に基づきホワイトバランス補正を施し、前記非注目画素に対しては前記第２の工程によって取得された補正係数に基づきホワイトバランス補正を施す第３の工程と
   を含むことを特徴とするホワイトバランス補正方法。
6. 画像処理機能を有する装置が有するコンピュータに、
   画像における互いに離間する複数の注目画素のホワイトバランスの補正係数を個別に取得する第１の処理と、
   前記複数の注目画素の間に位置する非注目画素におけるホワイトバランスの補正係数を、前記第１の処理で取得した、当該非注目画素の周囲に存在する複数の注目画素の補正係数から補間によって取得する第２の処理と、
   前記注目画素に対しては前記第１の処理によって取得された補正係数に基づきホワイトバランス補正を施し、前記非注目画素に対しては前記第２の処理によって取得された補正係数に基づきホワイトバランス補正を施す第３の処理と
   を実行させるためのプログラム。
7. 撮像手段により撮像した被写体画像を画像データとして記録媒体に記録する電子カメラにおいて、
   被写体画像における互いに離間する複数の注目画素のホワイトバランスの補正係数を個別に取得する第１の係数取得手段と、
   前記複数の注目画素の間に位置する被写体画像における非注目画素のホワイトバランスの補正係数を、前記第１の係数取得手段により取得された、当該非注目画素の周囲に存在する複数の注目画素の補正係数から補間によって取得する第２の係数取得手段と、
   被写体画像の各画素のうち、前記注目画素に対しては前記第１の係数取得手段によって取得された補正係数に基づきホワイトバランス補正を施し、前記非注目画素に対しては前記第２の係数取得手段によって取得された補正係数に基づきホワイトバランス補正を施す補正手段と
   を備えたことを特徴とする電子カメラ装置。
   

Images