JP2009044236A

JP2009044236A - ホワイトバランス調整装置及びホワイトバランス調整方法

Info

Publication number: JP2009044236A
Application number: JP2007204433A
Authority: JP
Inventors: Shinya Fujiwara; 慎也藤原; Kenkichi Hayashi; 健吉林
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2007-08-06
Filing date: 2007-08-06
Publication date: 2009-02-26

Abstract

【課題】微小な画角のずれがあっても色味のばらつきの発生しないホワイトバランスゲインを算出する。
【解決手段】ブレ補正機能を搭載したデジタルカメラ１により、一度のレリーズ操作において、ブレ補正画像及びブレ増大画像を連続して撮像することにより、同じ撮像シーンにおけるブレの無い画像とブレのある画像を取得する。ブレ増大画像は、ブレ補正機能を逆に動作することにより撮像する。ブレ増大画像を複数の領域に分割し、各分割領域のＲ、Ｇ、Ｂごとの画像信号の積算値を取り込み、ホワイトバランス調整用のゲイン値を算出する。この算出したホワイトバランスゲインを用いて、ブレ補正画像のホワイトバランスを調整する。
【選択図】図４

Description

本発明はホワイトバランス調整装置及びホワイトバランス調整方法に係り、特にブレ画像を用いて最適なホワイトバランスゲインを算出するホワイトバランス調整装置及びホワイトバランス調整方法に関する。

撮像装置での撮像は、蛍光灯や白熱灯、太陽光等、様々な光源下で行われる。これらの光源は色温度がそれぞれ異なるため、同じ被写体でも撮像環境下で色が異なってくる。従来より、デジタルカメラ等の撮像装置には、このように光源によって変わる色調の違いを補正し、光源にかかわらず白さが同じに見えるようにするホワイトバランス調整機能が設けられている。

特許文献１には、被写体が撮像された画面を複数のエリアに分割し、分割したエリアごとの色情報を求め、色情報に基づいて各エリアを光源種に対応した色分布の範囲を示す検出枠に当てはめると共に、被写体の輝度レベル、赤外線の光量を検出することにより、光源を判別して適切なホワイトバランス制御を行うホワイトバランス制御方法が記載されている。この技術によれば、低輝度屋外（日陰）の葉緑シーンにおいても、光源を蛍光灯と誤判断することを防止できる。
特開２００３−１６３９４４号公報

ここで、特許文献１に記載されている、被写体が撮像された画面を複数のエリアに分割してホワイトバランスゲインを算出する方法について説明する。図１７、図１８は、それぞれ同じような撮像シーンを撮像した場合の、撮像画像を分割するホワイトバランスゲインの算出について示した図である。図１７（ａ）及び図１８（ａ）は、撮像画像を示す図である。同じ被写体であるが、画角が若干異なっている。図１７（ｂ）及び図１８（ｂ）は、それぞれの撮像画像を３×３のブロックに分割した様子を示している。図１７（ｂ）では被写体が１つのブロックＥに収まっているが、図１８（ｂ）では被写体が２つのブロックＤ及びＥにまたがっている。

図１７（ｃ）及び図１８（ｃ）は、それぞれのブロックごとに色平均を算出した様子を示している。図１７（ｂ）では被写体がブロックＥだけに存在していたが、図１８（ｂ）では被写体がブロックＤ及びＥにまたがって存在しているため、図１７（ｃ）と図１８（ｃ）を比較すると、ブロックＤ及びブロックＥの色味が大きく変わっている。

このように、特許文献１に記載のホワイトバランス制御方法は、微小な画角のずれであっても、分割したブロックの積算値が大きく変化する可能性があるため、同じ光源で同じ被写体を撮影しているにもかかわらず、算出したホワイトバランスゲインにもばらつきが発生し、この結果ホワイトバランス調整をした画像の色味がばらつくハンチングが発生する可能性があるという欠点があった。本発明はこのような事情に鑑みてなされたもので、ブロックの積算値が変化することを防止し、最適なホワイトバランスゲインを算出できるホワイトバランス調整装置及びホワイトバランス調整方法を提供することを目的とする。

前記目的を達成するために請求項１に記載のホワイトバランス調整装置は、同一シーンにおけるブレの無い画像とブレのある画像とを取得する取得手段と、前記ブレのある画像からホワイトバランスゲインを算出する手段と、前記ホワイトバランスゲインに基づいて、前記ブレの無い画像のホワイトバランス調整を行う手段とを備えたことを特徴とする。

これにより、ホワイトバランス調整をした画像の色味のハンチングを防止することができる。

請求項２に示すように請求項１に記載のホワイトバランス調整装置において、前記取得手段は、被写体を画像データに変換する撮像手段と、ブレが無視できる露光時間での撮像を連続して複数回行い、全体の露光時間が適正となるように制御する手段と、前記撮像した複数の画像における被写体のずれを補正して合成する第１の合成手段と、前記撮像した複数の画像における被写体のずれを増大させて合成する第２の合成手段とを備え、前記第１の合成手段によりブレの無い画像を生成し、前記第２の合成手段によりブレのある画像を生成することを特徴とする。

これにより、簡単にブレの無い画像とブレのある画像を取得することができる。

請求項３に示すように請求項１に記載のホワイトバランス調整装置において、前記取得手段は、被写体を画像データに変換する撮像手段と、撮像時における装置本体のブレを検出する検出手段と、補正レンズ又は撮像素子を平行移動させる移動手段と、前記検出手段の検出結果に基づいてブレを補正するように前記補正レンズ又は前記撮像素子を平行移動させて本撮像を行う第１の制御手段と、前記検出手段の検出結果に基づいてブレが増大するように前記補正レンズ又は前記撮像素子を平行移動させて本撮像を行う第２の制御手段と、一度のレリーズ操作に基づいて、前記第１の制御手段によるブレの無い画像の撮像と、前記第２の制御手段によるブレのある画像の撮像とを行うことを特徴とする。

請求項４に示すように請求項２に記載のホワイトバランス調整装置において、前記第２の合成手段は、前記ブレのある画像のブレ量が常に一定になるように前記撮像した複数の画像における被写体のずれを縮小又は維持又は増大して合成することを特徴とする。

これにより、精度のよいホワイトバランスゲインを算出することができる。

請求項５に示すように請求項３に記載のホワイトバランス調整装置において、前記第２の制御手段は、前記ブレのある画像のブレ量が常に一定になるように前記検出手段の検出結果に基づいてブレを縮小又は維持又は増大するように前記補正レンズ又は前記撮像素子を平行移動させて本撮像を行わせることを特徴とする。

請求項６に示すように請求項２に記載のホワイトバランス調整装置において、前記第２の合成手段は、前記撮像した複数の画像における被写体のずれが多方向になるように合成することにより、前記ブレのある画像のブレを多方向にすることを特徴とする。

これにより、ホワイトバランス調整をした画像の色味の多方向のハンチングを防止することができる。

請求項７に示すように請求項３に記載のホワイトバランス調整装置において、前記第２の制御手段は、前記検出手段の検出結果と垂直の方向に前記補正レンズ又は前記撮像素子を平行移動させることにより、前記ブレのある画像のブレを多方向にすることを特徴とする。

前記目的を達成するために請求項８に記載のホワイトバランス調整装置は、同一シーンにおけるブレの無い画像とブレのある画像とを取得する取得手段と、前記ブレのある画像のブレ量を検出する検出手段と、前記ブレのある画像からホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、前記ホワイトバランスゲインに基づいて、前記ブレの無い画像のホワイトバランス調整を行う手段と、を備えたホワイトバランス調整装置であって、前記ホワイトバランスゲイン算出手段は、前記ブレのある画像を複数の領域に分割する分割手段と、前記分割した各領域の画像データに基づいてホワイトバランスゲインを算出する手段と、を備え、前記検出手段が検出したブレ量が適切な場合に、ブレ量が適切でない場合よりも分割する領域数を増加させることを特徴とする。

請求項９に示すように請求項８に記載のホワイトバランス調整装置において、前記取得手段は、被写体を画像データに変換する撮像手段と、補正レンズ又は撮像素子を平行移動させる移動手段と、前記検出手段の検出結果に基づいてブレを補正するように前記補正レンズ又は前記撮像素子を平行移動させて本撮像を行う第１の制御手段と、前記検出手段の検出結果に基づいてブレが増大するように前記補正レンズ又は前記撮像素子を平行移動させて本撮像を行う第２の制御手段と、一度のレリーズ操作に基づいて、前記第１の制御手段によるブレの無い画像の撮像と、前記第２の制御手段によるブレのある画像の撮像とを行うことを特徴とする。

前記目的を達成するために請求項１０に記載のホワイトバランス調整方法は、同一シーンにおけるブレの無い画像とブレのある画像とを取得する取得工程と、前記ブレのある画像からホワイトバランスゲインを算出する工程と、前記ホワイトバランスゲインに基づいて、前記ブレの無い画像のホワイトバランス調整を行う工程とを備えたことを特徴とする。

前記目的を達成するために請求項１１に記載のホワイトバランス調整方法は、同一シーンにおけるブレの無い画像とブレのある画像とを取得する取得工程と、前記ブレのある画像のブレ量を検出する検出工程と、前記ブレのある画像からホワイトバランスゲインを算出するホワイトバランスゲイン算出工程と、前記ホワイトバランスゲインに基づいて、前記ブレの無い画像のホワイトバランス調整を行う工程とを備えたホワイトバランス調整方法であって、前記ホワイトバランスゲイン算出工程は、前記ブレのある画像を複数の領域に分割する分割工程と、前記分割した各領域の画像データに基づいてホワイトバランスゲインを算出する工程とを備え、前記検出工程が検出したブレ量が適切な場合に、ブレ量が適切でない場合よりも分割する領域数を増加させることを特徴とする。

本発明によれば、ブロックの積算値のばらつきを防止し、最適なホワイトバランスゲインを算出できるホワイトバランス調整装置及びホワイトバランス調整方法を提供することができる。

以下、添付図面に従って本発明を実施するための最良の形態について説明する。

＜第１の実施の形態＞
図１は、本発明が適用されたデジタルカメラの第１の実施の形態の電気的構成を示すブロック図である。

同図に示すように、本実施の形態のデジタルカメラ１０は、ＣＰＵ１１、操作部１２、ズームレンズ用モータドライバ１３、ズームレンズ１４、フォーカスレンズ用モータドライバ１５、フォーカスレンズ１６、手ブレ補正制御部１７、手ブレ補正レンズ１８、タイミングジェネレータ１９、ＣＣＤドライバ２０、ＣＣＤ２１、アナログ信号処理部２２、Ａ／Ｄ変換器２３、画像入力コントローラ２４、画像信号処理回路２５、圧縮処理回路２６、ビデオエンコーダ２７、画像表示装置２８、バス２９、メディアコントローラ３０、記録メディア３１、メモリ（ＳＤＲＡＭ）３２、ＡＦ検出回路３３、ＡＥ検出回路３４等を備えて構成される。

各部はＣＰＵ１１に制御されて動作し、ＣＰＵ１１は、操作部１２からの入力に基づき所定の制御プログラムを実行することにより、デジタルカメラ１０の各部を制御する。

ＣＰＵ１１はプログラムＲＯＭを内蔵しており、このプログラムＲＯＭにはＣＰＵ１１が実行する制御プログラムのほか、制御に必要な各種データ等が記録されている。ＣＰＵ１１は、このプログラムＲＯＭに記録された制御プログラムをメモリ３２に読み出し、逐次実行することにより、デジタルカメラ１０の各部を制御する。

なお、このメモリ３２は、プログラムの実行処理領域として利用されるほか、画像データ等の一時記憶領域、各種作業領域として利用される。

操作部１２は、電源スイッチやレリーズボタン、撮像モードダイヤル、手ブレ補正スイッチ等のカメラの一般的な操作手段を含み、操作に応じた信号をＣＰＵ１１に出力する。

フォーカスレンズ１６は、フォーカス用モータドライバ１５に駆動されて、ズームレンズ１４の光軸上を前後移動する。ＣＰＵ１１は、フォーカス用モータドライバ１５を介してフォーカスレンズ１６の移動を制御し、フォーカシングを行う。

ズームレンズ１４は、ズームレンズ用モータドライバ１３に駆動されて、フォーカスレンズ１６の光軸上を前後移動する。ＣＰＵ１１は、ズームレンズ用モータドライバ１３を介してズームレンズ１４の移動を制御し、ズーミングを行う。

手ブレ補正レンズ１８は、レンズ面内の直交する２つの方向それぞれに手ブレを打ち消すように手ブレ補正制御部１７により制御され、ズームレンズ１４、及びフォーカスレンズ１６を介した被写体像の手ブレを補正し、手ブレ補正後の被写体像をＣＣＤ２１へ透過させる。

ＣＣＤ２１は、手ブレ補正レンズ１８の後段に配置されており、手ブレ補正レンズ１８を透過した被写体光を受光する。ＣＣＤ２１は、周知のように多数の受光素子がマトリクス状に配列された受光面を備えている。手ブレ補正レンズ１８を透過した被写体光は、このＣＣＤ２１の受光面上に結像され、各受光素子によって電気信号に変換される。

このＣＣＤ２１は、タイミングジェネレータ１９からＣＣＤドライバ２０を介して供給される垂直転送クロック及び水平転送クロックに同期して、各画素に蓄積された電荷を１ラインずつシリアルな画像信号として出力する。ＣＰＵ１１は、タイミングジェネレータ１９を制御して、ＣＣＤ２１の駆動を制御する。

なお、各画素の電荷蓄積時間（露出時間）は、タイミングジェネレータ１９から与えられる電子シャッタ駆動信号によって決められる。ＣＰＵ１１は、タイミングジェネレータ１９に対して電荷蓄積時間を指示する。

また、画像信号の出力は、デジタルカメラ１０が撮像モードにセットされると開始される。すなわち、デジタルカメラ１０が撮像モードにセットされると、画像表示装置２８にスルー画像を表示するため、画像信号の出力が開始される。このスルー画像用の画像信号の出力は、本撮像の指示が行われると、一旦停止され、本撮像が終了すると、再度開始される。

ＣＣＤ２１から出力される画像信号は、アナログ信号であり、このアナログの画像信号は、アナログ信号処理部２２に取り込まれる。

アナログ信号処理部２２は、相関二重サンプリング回路（ＣＤＳ）、及び自動ゲインコントロール回路（ＡＧＣ）を含んで構成される。ＣＤＳは、画像信号に含まれるノイズの除去を行い、ＡＧＣは、ノイズ除去された画像信号を所定のゲインで増幅する。このアナログ信号処理部２２で所要の信号処理が施されたアナログの画像信号は、Ａ／Ｄ変換器２３に取り込まれる。

Ａ／Ｄ変換器２３は、取り込んだアナログの画像信号を所定ビットの階調幅を持ったデジタルの画像信号に変換する。この画像信号は、いわゆるＲＡＷデータであり、画素ごとＲ、Ｇ、Ｂの濃度を示す階調値を有している。

画像入力コントローラ２４は、所定容量のラインバッファを内蔵しており、Ａ／Ｄ変換器２３から出力された１コマ分の画像信号を蓄積する。この画像入力コントローラ２４に蓄積された１コマ分の画像信号は、バス２９を介してメモリ３２に格納される。

バス２９には、上記ＣＰＵ１１、メモリ３２、画像入力コントローラ２４のほか、画像信号処理回路２５、圧縮処理回路２６、ビデオエンコーダ２７、メディアコントローラ３０、ＡＦ検出回路３３、ＡＥ検出回路３４等が接続されており、これらはバス２９を介して互いに情報を送受信できるようにされている。

メモリ３２に格納された１コマ分の画像信号は、点順次（画素の順番）に画像信号処理回路２５に取り込まれる。

画像信号処理回路２５は、点順次に取り込んだＲ、Ｇ、Ｂの各色の画像信号に対して所定の信号処理を施し、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）を生成する。

図２は、この画像信号処理回路２５の概略構成を示すブロック図である。

同図に示すように、画像信号処理回路２５は、ホワイトバランスゲイン算出回路２５ａ、オフセット補正回路２５ｂ、ゲイン補正回路２５ｃ、ガンマ補正回路２５ｄ、ＲＧＢ補間演算回路２５ｅ、ＲＧＢ／ＹＣ変換回路２５ｆ、ノイズフィルタ２５ｇ、輪郭補正回路２５ｈ、色差マトリクス回路２５ｉ、光源種別判定回路２５ｊ等を含んで構成されている。

ホワイトバランスゲイン算出回路２５ａは、前述のように、複数の領域に分割した分割領域毎のＲ、Ｇ、Ｂごとの画像信号の積算値を取り込み、ホワイトバランス調整用のゲイン値を算出する。

オフセット補正回路２５ｂは、黒色の被写体を撮像した場合に黒色が表現されるように、ＲＡＭ４４から点順次に取り込まれたＲ、Ｇ、Ｂの各色の画像信号に対して所定のオフセット処理を施す。すなわち、Ｒ、Ｇ、Ｂの各色の画像信号に対してあらかじめ設定されたオフセット値を減算する。

ゲイン補正回路２５ｃは、オフセット処理された画像信号を点順次に取り込み、ホワイトバランスゲイン算出回路２５ａで算出されたゲイン値を用いてホワイトバランス調整を行う。

ガンマ補正回路２５ｄは、ホワイトバランス調整された画像信号を点順次に取り込み、所定の階調変換処理を施す。すなわち、画像データをモニタに出力すると、モニタに入力された階調値とモニタが出力する階調値との間にズレが生じることから、このズレを補正するために、撮像により得られた画像信号に対して所定の階調変換処理（いわゆるガンマ補正）を施す。

ＲＧＢ補間演算回路２５ｅは、階調変換処理されたＲ、Ｇ、Ｂの色信号を補間演算して、各画素位置におけるＲ、Ｇ、Ｂ３色の信号を求める。すなわち、単板式の撮像素子の場合、各画素からは、Ｒ、Ｇ、Ｂのいずれか一色の信号しか出力されないため、出力しない色を周囲の画素の色信号から補完演算により求める。たとえば、Ｒを出力する画素では、この画素位置におけるＧ、Ｂの色信号がどの程度になるかを周りの画素のＧ、Ｂ信号から補間演算により求める。

なお、このようにＲＧＢ補完演算は、単板式の撮像素子に特有のものなので、撮像素子に三板式のものを用いた場合には不要となる。

ＲＧＢ／ＹＣ変換回路２５ｆは、ＲＧＢ補間演算後のＲ、Ｇ、Ｂ信号から輝度信号Ｙと色差信号Ｃｒ、Ｃｂを生成する。

ノイズフィルタ２５ｇは、ＲＧＢ／ＹＣ変換回路２５ｆで生成された輝度信号Ｙと色差信号Ｃｒ、Ｃｂに対してノイズ低減処理を施す。このノイズフィルタ２５ｇでノイズ低減処理が施された輝度信号Ｙと色差信号Ｃｒ、Ｃｂは、それぞれ輪郭補正回路２５ｈと色差マトリクス回路２５ｉに取り込まれる。

色差マトリクス回路２５ｉは、色差信号Ｃｒ、Ｃｂに対して所定の色差マトリクス（Ｃ−ＭＴＸ）を乗算することにより、色調補正を行う。すなわち、色差マトリクス回路２５ｉには、光源対応の色差マトリクスが複数種類設けられており、光源種別判定回路２５ｊが求めた光源種に応じて、使用する色差マトリクスを切り替え、この切り替え後の色差マトリクスを入力された色差信号Ｃｒ、Ｃｂに乗算し、色差信号Ｃｒ、Ｃｂを色調補正する。

光源種別判定回路２５ｊは、ＡＥ／ＡＷＢ検出部３６で算出された積算値を取り込み、光源種を判定して、色差マトリクス回路２５ｉに色差マトリクス選択信号を出力する。

輪郭補正回路２５ｈは、輝度信号Ｙに対して所定の輪郭補正処理を行う。

以上のように、画像信号処理回路２５は、点順次に取り込んだＲ、Ｇ、Ｂの画像信号に所定の信号処理を施して、輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）を生成する。

ＡＦ検出回路３３は、ＣＰＵ１１の指令に従い、画像入力コントローラ２４を介してメモリ３２に格納されたＲ、Ｇ、Ｂの画像信号を取り込み、ＡＦ（Automatic Focus）制御に必要な焦点評価値を算出する。このＡＦ検出回路３３は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面に設定された所定のフォーカス領域内の信号を切り出すフォーカス領域抽出部、及び、フォーカス領域内の絶対値データを積算する積算部を含み、この積算部で積算されたフォーカス領域内の絶対値データを焦点評価値としてＣＰＵ１１に出力する。ＣＰＵ１１は、ＡＦ制御時、このＡＦ検出回路３３から出力される焦点評価値が極大となる位置をサーチし、その位置にフォーカスレンズ１６を移動させることにより、主要被写体への焦点合わせを行う。

ＡＥ検出回路３４は、ＣＰＵ１１の指令に従い、画像入力コントローラ２４を介してメモリ３２に格納されたＲ、Ｇ、Ｂの画像信号を取り込み、ＡＥ制御に必要な積算値を算出する。ＣＰＵ１１は、積算値から輝度値を算出し、輝度値から露出値を求める。また露出値から所定のプログラム線図に従って、絞り値及びシャッタ速度を決定する。

圧縮処理回路２６は、ＣＰＵ１１からの圧縮指令に従い、入力された輝度信号Ｙと色差信号Ｃｒ、Ｃｂとからなる画像信号（Ｙ／Ｃ信号）に所定形式（たとえば、ＪＰＥＧ）の圧縮処理を施し、圧縮画像データを生成する。また、ＣＰＵ１１からの伸張指令に従い、入力された圧縮画像データに所定形式の伸張処理を施して、非圧縮の画像データを生成する。

ビデオエンコーダ２７は、ＣＰＵ１１からの指令に従い、画像表示装置２８への表示を制御する。

メディアコントローラ３０は、ＣＰＵ１１からの指令に従い、記録メディア３１に対してデータの読み／書きを制御する。なお、記録メディア３１は、メモリカードのようにカメラ本体に対して着脱自在なものでもよいし、また、カメラ本体に内蔵されたものでもよい。着脱自在とする場合は、カメラ本体にカードスロットを設け、このカードスロットに装填して使用する。

次に、手ブレ補正制御部１７について説明する。本実施の形態のデジタルカメラ１０は、手ブレ補正機能を備えており、装置本体のブレを検出し、ブレに応じて手ブレ補正レンズを移動させることにより、手ブレ補正を行う。図３は、手ブレ補正制御部１７、及び手ブレ補正レンズ１８について示したブロック図である。

手ブレ補正制御部１７は、位置検出回路４１、ヨー方向角速度センサ４２、ピッチ方向角速度センサ４３、角速度検出回路４４、手ブレ補正制御回路４６、及びドライブ回路４７から構成される。また手ブレ補正レンズ１８は、手ブレ補正レンズ１８を移動するためのＸ軸アクチュエータ１８ａ及びＹ軸アクチュエータ１８ｂ、手ブレ補正レンズ１８の位置を検出するためのＸ軸ホール素子１８ｃ及びＹ軸ホール素子１８ｄを備えている。

角速度検出回路４４は、ヨー方向角速度センサ４２及びピッチ方向角速度センサ４３の出力により、デジタルカメラ１０の角速度を連続的に検出する。

手ブレ補正制御回路４６は、ドライブ回路４７を介してＸ軸アクチュエータ１８ａ及びＹ軸アクチュエータ１８ｂを駆動し、手ブレ補正レンズ１８を移動させることが可能である。また、位置検出回路４１はＸ軸ホール素子１８ｃ及びＹ軸ホール素子１８ｄの出力に基づき、手ブレ補正レンズ１８の位置を検出することが可能である。手ブレ補正制御回路４６は、この位置検出回路４１から出力される位置情報に基づいて、角速度検出回路４４が算出した角速度に応じた制御量で手ブレ補正レンズ１８を移動させ、手ブレ補正を行う。

次に、ホワイトバランスゲインの算出について説明する。図４は、ホワイトバランスゲインの算出処理について示したフローチャートであり、図５は、ホワイトバランスの調整処理について示した機能図である。

最初に、ブレ増大画像を撮像する（ステップＳ４１、プロセスＰ５１〜Ｐ５３）。前述のように、本実施の形態のデジタルカメラ１０は手ブレ補正機能を備えており、手ブレ補正をした画像を撮像することが可能である。ここでは、一度のレリーズ操作において、この手ブレ補正を行った画像と共に、ブレを増大した画像を連続して撮像することにより、同一のシーンにおけるブレ補正画像とブレ増大画像を取得する。ブレ増大画像を撮像する手段として、例えばブレ補正機能を逆に動作させ、ブレる方向に手ブレ補正レンズ１８を移動させればよい。

次に、ブレ増大画像の積算値からホワイトバランスゲインを算出する（ステップＳ４２、プロセスＰ５５）。ホワイトバランスゲインの算出は、前述のように、複数の領域に分割した分割領域毎のＲ、Ｇ、Ｂごとの画像信号の積算値を用いる。図６、図７は、同じ撮像シーンにおいて画角が若干異なる場合の、ブレ画像を用いたホワイトバランスゲインの算出について示した図である。図６（ａ）及び図７（ａ）は、ブレ補正画像を示す図である。同じ撮像シーンであるが、画角が若干異なっている。図６（ｂ）及び図７（ｂ）は、それぞれ図６（ａ）及び図７（ａ）に続いて撮像した、ブレ増大画像を示す図である。本実施の形態では、ブレ補正機能を横方向にブレが増大するように動作させ、画面横方向のブレ増大画像を撮像している。

図６（ｃ）及び図７（ｃ）は、それぞれの撮像画像を３×３のブロックに分割した様子を示している。図６（ｃ）、図７（ｃ）共に、被写体が３つのブロックＤ、Ｅ、Ｆにまたがっている。図６（ｄ）及び図７（ｄ）は、それぞれのブロックごとに色平均を算出した様子を示している。図６（ｃ）、図７（ｃ）共に被写体が３つのブロックＤ、Ｅ、Ｆにまたがって存在しているため、図６（ｄ）と図７（ｄ）を比較すると、３つのブロックＤ、Ｅ、Ｆの各ブロックの色味は急激に変わりにくくなっており、図１７、図１８の場合より画角耐性が向上していることがわかる。

このように、ブレ画像を用いることにより、画角が若干異なる場合においても、色味のハンチングの発生しないホワイトバランスゲインを算出することができる。

次に、オフセット補正回路２５ｂは、ブレ補正画像のＲ、Ｇ、Ｂの各色の画像信号に対して所定のオフセット処理を施し（プロセスＰ５４）、ゲイン補正回路２５ｃは、オフセット処理された画像信号を、上記のように算出されたホワイトバランスゲイン値を用いてホワイトバランス調整を行う（プロセスＰ５６）。以下の信号処理については、前述の記載と同様である（プロセスＰ５７）。

フィルタ処理を用いても、本実施の形態で算出したホワイトバランスゲインと同様のゲイン値が得られるが、フィルタ処理を行う場合はブロック数に応じて処理量、処理時間がかかり、本発明の場合は、処理量、処理時間を削減することができる。

本実施の形態では、手ブレ補正レンズ１８を制御することによりブレ補正画像とブレ増大画像を撮像したが、これらの画像を得る方法はこの方法に限定されるものではなく、例えば撮像素子の移動を制御してもよい。また、ブレが無視できる露光時間で複数の画像を連続して撮像し、この複数の画像を被写体のずれを補正するように合成してブレ補正画像を生成し、逆に被写体がずれるように合成してブレ増大画像を生成することにより、ブレ補正画像とブレ増大画像を取得してもよい。この場合は、複数画像の露出時間の合計が適正な露出時間となるように撮像回数を制御する。

＜第２の実施の形態＞
第２の実施の形態のデジタルカメラ１０について説明する。第２の実施の形態のデジタルカメラ１０は、第１の実施の形態と同様にブレ補正機能を備えており、ブレ量を判定してブレ画像のブレ量が一定になるように手ブレ補正レンズ１８を制御する。

図８は、ホワイトバランスゲインの算出処理について示したフローチャートであり、図９は、ホワイトバランスの調整処理について示した機能図である。

第１の実施の形態と同様に、一度のレリーズ操作において、ブレ補正画像とブレ画像を連続して撮像する。まずブレ補正画像を撮像し、次に、ブレ量の測定を行う（ステップＳ８１、プロセスＰ５１、プロセスＰ５２）。そして、測定したブレ量の判定を行う（ステップＳ８２、ステップＳ８３）。ブレ量が小さいと判断した場合は、手ブレ補正機能によりブレを増大させてブレ画像を撮像する（ステップＳ８４、プロセスＰ９２、プロセスＰ９３）。ブレ量が大きいと判断した場合は、手ブレ補正機能によりブレを軽減させてブレ画像を撮像する（ステップＳ８５、プロセスＰ９２、プロセスＰ９３）。ブレ量が適切と判断した場合は、手ブレ補正機能を動作させずに、そのままブレ画像を撮像する（ステップＳ８６、プロセスＰ９２、プロセスＰ９３）。

次に、ブレ画像の積算値を用いて、ホワイトバランスゲインを算出する（ステップＳ４２、プロセスＰ５５）。ホワイトバランスゲインの算出は、第１の実施の形態と同様に、複数の領域に分割した分割領域毎のＲ、Ｇ、Ｂごとの画像信号の積算値を用いる。

ホワイトバランスゲインを算出するためのブレ画像のブレ量が少なすぎると、色味のばらつきの発生しない適切なホワイトバランスゲインの算出を行うことができない。また、ブレ量が大きすぎると積算値としての信頼度が低くなる。よって、手ブレ補正回路により、適切なブレ量となるように制御する。また、ブレが適切な場合は、ブレ補正機能を停止させて撮像することにより、適切なブレ量で撮像することができると共に消費電量を抑えることができる。このように、ブレ量を測定して、ブレ量に応じて手ブレ補正機能を制御することにより、ブレ画像のブレ量を、適切なブレ量とすることができ、この結果、ハンチングの発生しないホワイトバランスゲインを算出することができる。

＜第３の実施の形態＞
第３の実施の形態のデジタルカメラ１０について説明する。第３の実施の形態のデジタルカメラ１０は、ブレ補正画像と共に、他方向ブレ画像を撮影し、他方向ブレ画像を用いてホワイトバランスゲインを算出する。

図１０は、ホワイトバランスゲインの算出処理について示したフローチャートであり、図１１は、ホワイトバランスの調整処理について示した機能図である。

これまでと同様に、一度のレリーズ操作において、ブレ補正画像とブレ画像を連続して撮像する。まずブレ方向を測定し（ステップＳ１０１、プロセスＰ１１１）、ブレ補正画像を撮像する（プロセスＰ５２）と共に、測定したブレ方向と垂直方向のブレを増大させて撮像を行う（ステップＳ１０２、プロセスＰ１１２、プロセスＰ１１３）。

次に、ブレ画像の積算値を用いて、ホワイトバランスゲインを算出する（ステップＳ４２、プロセスＰ５５）。ホワイトバランスゲインの算出は、これまでと同様に、複数の領域に分割した分割領域毎のＲ、Ｇ、Ｂごとの画像信号の積算値を用いる。

図１２、図１３、及び図１４は、同じ撮像シーンにおいて画角が若干異なる場合の、本実施の形態のブレ画像を用いたホワイトバランスゲインの算出について示した図である。図１２（ａ）、図１３（ａ）、及び図１４（ａ）は、ブレ補正画像を示す図である。同じ撮像シーンであるが、画角が若干異なっている。図１２（ｂ）、図１３（ｂ）、及び図１４（ｂ）は、それぞれ図１２（ａ）、図１３（ａ）、及び図１４（ａ）に続いて撮像した、ブレ増大画像を示す図である。この例では、画面横方向に手ブレがあった場合に、画面縦方向にブレ補正機能を逆動作させている。

図１２（ｃ）、図１３（ｃ）、及び図１４（ｃ）は、それぞれの撮像画像を３×３のブロックに分割した様子を示している。どの場合も、被写体が縦と横の複数のブロックにまたがっている。図１２（ｄ）、図１３（ｄ）、及び図１４（ｄ）は、それぞれのブロックごとに色平均を算出した様子を示している。どの場合も、被写体が縦と横の複数のブロックにまたがって存在しているため、各ブロックの色味が急激に変わりにくくなっており、画角耐性が向上している。このように、多方向のブレ画像を用いることにより、どの方向においても色味のばらつき耐性のある、ホワイトバランスゲインを算出することができる。

ホワイトバランスゲインの算出を行うと、次に、オフセット補正回路２５ｂは、ブレ補正画像のＲ、Ｇ、Ｂの各色の画像信号に対して所定のオフセット処理を施し（プロセスＰ５４）、ゲイン補正回路２５ｃは、オフセット処理された画像信号を、上記のように算出されたホワイトバランスゲイン値を用いてホワイトバランス調整を行う（プロセスＰ５６）。以下の信号処理については、前述の記載と同様である（プロセスＰ５７）。

このように、一方向だけでなく、他方向のブレ画像を用いることにより、より色味のばらつきの発生しない、適切なホワイトバランスゲインを算出することができる。

＜第４の実施の形態＞
第４の実施の形態のデジタルカメラ１０について説明する。第４の実施の形態のデジタルカメラ１０は、ブレ補正画像と共にブレ画像を撮影し、ブレ画像のブレ量に応じた手法でホワイトバランスゲインを算出する。

図１５は、ホワイトバランスゲインの算出処理について示したフローチャートであり、図１６は、ホワイトバランスの調整処理について示した機能図である。

これまでと同様に、一度のレリーズ操作において、ブレ補正画像及びブレ増大画像を撮像する。まずブレ補正画像を撮像し（プロセスＰ５２）、次に、ブレを増大させた画像を撮像する（プロセスＳ１６１）。そして、ブレ増大画像のブレ量を測定する（ステップＳ８１、プロセスＰ９１）。

次に、測定したブレ量から、ホワイトバランスゲインの算出手法を選択する（プロセスＰ１６２）。まず、ブレ量が適正か否かを判定する（ステップＳ１５１）。ブレ量が適正な場合は、ホワイトバランスゲイン算出手法［１］を用いて、ホワイトバランスゲインを算出する（ステップＳ１５２、プロセスＰ５５）。ブレ量が適正でない場合は、ホワイトバランスゲイン算出手法［２］を用いて、ホワイトバランスゲインを算出する（ステップＳ１５３、プロセスＰ５５）。

ホワイトバランスゲイン算出手法の［１］と［２］では、［１］の方が積算値を求める際の画面の分割数が多くなっている。分割数を増やすことで、ホワイトバランスの精度が向上するが、色味のばらつきも発生しやすくなる。しかし、ブレ画像を用いてホワイトバランスゲインを算出することにより色味のばらつきの発生を防止できるため、ブレ量が適切な場合は分割数を多くすることが可能となる。

ホワイトバランスゲインの算出を行うと、次に、オフセット補正回路２５ｂは、ブレ補正画像のＲ、Ｇ、Ｂの各色の画像信号に対して所定のオフセット処理を施し（プロセスＰ５４）、ゲイン補正回路２５ｃは、オフセット処理された画像信号を、上記のように算出されたホワイトバランスゲイン値を用いてホワイトバランス調整を行う（プロセスＰ５６）。以下の信号処理については、前述の記載と同様である（プロセスＰ５７）。
このように、ブレ増大画像のブレ量に応じてホワイトバランスゲイン算出手法を切り換えることで、より精度のよい、適正なホワイトバランスゲインを算出することができる。

図１は、本発明が適用されたデジタルカメラの第１の実施の形態の電気的構成を示すブロック図である。図２は、画像信号処理回路２５の概略構成を示すブロック図である。図３は、手ブレ補正制御部１７及び手ブレ補正レンズ１８の内部について示したブロック図である。図４は、ホワイトバランスゲインの算出処理について示したフローチャートである。図５は、ホワイトバランスの調整処理について示した機能図である。図６は、ブレ画像を用いたホワイトバランスゲインの算出について示した図である。図７は、ブレ画像を用いたホワイトバランスゲインの算出について示した図である。図８は、ホワイトバランスゲインの算出処理について示したフローチャートである。図９は、ホワイトバランスの調整処理について示した機能図である。図１０は、ホワイトバランスゲインの算出処理について示したフローチャートである。図１１は、ホワイトバランスの調整処理について示した機能図である。図１２は、ブレ画像を用いたホワイトバランスゲインの算出について示した図である。図１３は、ブレ画像を用いたホワイトバランスゲインの算出について示した図である。図１４は、ブレ画像を用いたホワイトバランスゲインの算出について示した図である。図１５は、ホワイトバランスゲインの算出処理について示したフローチャートである。図１６は、ホワイトバランスの調整処理について示した機能図である。図１７は、従来のホワイトバランスゲイン算出について示した図である。図１８は、従来のホワイトバランスゲイン算出について示した図である。

符号の説明

１０…デジタルカメラ、１１…ＣＰＵ、１２…操作部、１７…手ブレ補正制御部、１８…手ブレ補正レンズ、２１…ＣＣＤ、２２…アナログ信号処理部、２３…Ａ／Ｄ変換器、２４…画像入力コントローラ、２５…画像信号処理回路、２５ａ…ホワイトバランスゲイン算出回路、２５ｂ…オフセット補正回路、２５ｃ…ゲイン補正回路、２５ｄ…階調補正回路、２５ｅ…ＲＧＢ補間演算回路、２５ｆ…ＲＧＢ／ＹＣ変換回路、２５ｇ…ノイズフィルタ、２５ｈ…輪郭補正回路、２５ｉ…色差マトリクス回路、２５ｊ…光源種別判定回路、２６…圧縮処理回路、３２…メモリ、３３…ＡＦ検出回路、３４…ＡＥ検出回路

Claims

同一シーンにおけるブレの無い画像とブレのある画像とを取得する取得手段と、
前記ブレのある画像からホワイトバランスゲインを算出する手段と、
前記ホワイトバランスゲインに基づいて、前記ブレの無い画像のホワイトバランス調整を行う手段と、
を備えたことを特徴とするホワイトバランス調整装置。
前記取得手段は、
被写体を画像データに変換する撮像手段と、
ブレが無視できる露光時間での撮像を連続して複数回行い、全体の露光時間が適正となるように制御する手段と、
前記撮像した複数の画像における被写体のずれを補正して合成する第１の合成手段と、
前記撮像した複数の画像における被写体のずれを増大させて合成する第２の合成手段と、を備え、
前記第１の合成手段によりブレの無い画像を生成し、前記第２の合成手段によりブレのある画像を生成することを特徴とする請求項１に記載のホワイトバランス調整装置。
前記取得手段は、
被写体を画像データに変換する撮像手段と、
撮像時における装置本体のブレを検出する検出手段と、
補正レンズ又は撮像素子を平行移動させる移動手段と、
前記検出手段の検出結果に基づいてブレを補正するように前記補正レンズ又は前記撮像素子を平行移動させて本撮像を行う第１の制御手段と、
前記検出手段の検出結果に基づいてブレが増大するように前記補正レンズ又は前記撮像素子を平行移動させて本撮像を行う第２の制御手段と、
一度のレリーズ操作に基づいて、前記第１の制御手段によるブレの無い画像の撮像と、前記第２の制御手段によるブレのある画像の撮像とを行うことを特徴とする請求項１に記載のホワイトバランス調整装置。
前記第２の合成手段は、前記ブレのある画像のブレ量が常に一定になるように前記撮像した複数の画像における被写体のずれを縮小又は維持又は増大して合成することを特徴とする請求項２に記載のホワイトバランス調整装置。
前記第２の制御手段は、前記ブレのある画像のブレ量が常に一定になるように前記検出手段の検出結果に基づいてブレを縮小又は維持又は増大するように前記補正レンズ又は前記撮像素子を平行移動させて本撮像を行わせることを特徴とする請求項３に記載のホワイトバランス調整装置。
前記第２の合成手段は、前記撮像した複数の画像における被写体のずれが多方向になるように合成することにより、前記ブレのある画像のブレを多方向にすることを特徴とする請求項２に記載のホワイトバランス調整装置。
前記第２の制御手段は、前記検出手段の検出結果と垂直の方向に前記補正レンズ又は前記撮像素子を平行移動させることにより、前記ブレのある画像のブレを多方向にすることを特徴とする請求項３に記載のホワイトバランス調整装置。
同一シーンにおけるブレの無い画像とブレのある画像とを取得する取得手段と、前記ブレのある画像のブレ量を検出する検出手段と、前記ブレのある画像からホワイトバランスゲインを算出するホワイトバランスゲイン算出手段と、前記ホワイトバランスゲインに基づいて、前記ブレの無い画像のホワイトバランス調整を行う手段と、を備えたホワイトバランス調整装置であって、
前記ホワイトバランスゲイン算出手段は、
前記ブレのある画像を複数の領域に分割する分割手段と、
前記分割した各領域の画像データに基づいてホワイトバランスゲインを算出する手段と、を備え、
前記検出手段が検出したブレ量が適切な場合に、ブレ量が適切でない場合よりも分割する領域数を増加させることを特徴とするホワイトバランス調整装置。
前記取得手段は、
被写体を画像データに変換する撮像手段と、
補正レンズ又は撮像素子を平行移動させる移動手段と、
前記検出手段の検出結果に基づいてブレを補正するように前記補正レンズ又は前記撮像素子を平行移動させて本撮像を行う第１の制御手段と、
前記検出手段の検出結果に基づいてブレが増大するように前記補正レンズ又は前記撮像素子を平行移動させて本撮像を行う第２の制御手段と、
一度のレリーズ操作に基づいて、前記第１の制御手段によるブレの無い画像の撮像と、前記第２の制御手段によるブレのある画像の撮像とを行うことを特徴とする請求項８に記載のホワイトバランス調整装置。
同一シーンにおけるブレの無い画像とブレのある画像とを取得する取得工程と、
前記ブレのある画像からホワイトバランスゲインを算出する工程と、
前記ホワイトバランスゲインに基づいて、前記ブレの無い画像のホワイトバランス調整を行う工程と、
を備えたことを特徴とするホワイトバランス調整方法。
同一シーンにおけるブレの無い画像とブレのある画像とを取得する取得工程と、前記ブレのある画像のブレ量を検出する検出工程と、前記ブレのある画像からホワイトバランスゲインを算出するホワイトバランスゲイン算出工程と、前記ホワイトバランスゲインに基づいて、前記ブレの無い画像のホワイトバランス調整を行う工程と、を備えたホワイトバランス調整方法であって、
前記ホワイトバランスゲイン算出工程は、
前記ブレのある画像を複数の領域に分割する分割工程と、
前記分割した各領域の画像データに基づいてホワイトバランスゲインを算出する工程と、を備え、
前記検出工程が検出したブレ量が適切な場合に、ブレ量が適切でない場合よりも分割する領域数を増加させることを特徴とするホワイトバランス調整方法。