JP2016010081A - 撮像装置 - Google Patents

Abstract

【課題】撮像装置において、ユーザーが蛍光灯などの人工光源や水中などの黒体軌跡から離れた光源に対してのホワイトバランス調整を行う事が出来ない課題や、撮影時に各ホワイトバランスモードに対応した積分処理を行うため撮影時間が増加する課題がある。【解決手段】ＲＡＷ画像記録モードにおいて、静止画像撮影時のホワイトバランス処理時間を増やすことなく黒体軌跡から離れた光源に対応した、複数のホワイトバランス補正値を記録する。【選択図】 図３

Description

本発明は、複数のホワイトバランスモードを持つ撮像装置のホワイトバランス制御方法に関する。

従来、デジタルカメラの映像信号をそのまま出力可能としたデジタルカメラが知られている。映像信号そのままの画像データ（以下、ＲＡＷデータと呼ぶ）を利用すると、撮影後に画像補正処理を施すことが可能である。ＲＡＷデータは映像信号そのままの画像データであるので、ＲＡＷデータに対して画像処理を行うことで、一般に扱われるＪＰＥＧ形式などの画像データへ変換することが可能である。ＲＡＷデータに対する画像補正処理として、ホワイトバランスの調整機能があり、撮影後にホワイトバランスのモードを切り替えて適切な色調の画像データを得ることが可能である。

特許文献１では、ＲＡＷデータに黒体軌跡の偏移を示す情報を格納することで、ＲＡＷデータのホワイトバランスの精度を向上させる発明がなされている。また、特許文献２では、ＲＡＷデータに対しての画像処理を実行するときのホワイトバランス調整で、任意のホワイトバランスモードに設定してもホワイトバランスの積分処理と演算処理を行う必要が無く、画像処理時間の大幅な短縮が可能となる撮像装置の発明がなされている。

特許第４０１０８６５号明細書 特許第４９５８６８０号明細書

しかしながら、特許文献１の方法では、黒体軌跡の偏移を示す情報から再計算を行う必要がある。また、ユーザーが蛍光灯などの人工光源や水中などの黒体軌跡から離れた光源に対してのホワイトバランス調整を行う事が出来ない。また、特許文献２の方法では、撮影時に各ホワイトバランスモードに対応した積分処理を行うため撮影時間の増大が課題となっている。

本発明の撮像装置の構成は、
被写体を撮像しデジタル信号を得る撮像手段と、
前記デジタル信号をＲＡＷ画像データとして記録するＲＡＷ画像記録手段と、
前記デジタル信号に画像処理を行い静止画像または、ライブ画像を生成する画像処理手段と、
複数のホワイトバランスモードを有し、前記複数のホワイトバランスモードからホワイトバランスモードを選択するホワイトバランスモード選択手段と、
前記複数のホワイトバランスモードのホワイトバランス補正値を記録する記録手段と、
前記複数のホワイトバランスモードにそれぞれ対応したホワイトバランスモードのデフォルトホワイトバランス補正値と、
前記デジタル信号からホワイトバランス補正値を算出するホワイトバランス算出手段を有し、
ＲＡＷ画像記録モードで静止画撮影した場合は、
ユーザーが選択したホワイトバランスモードのホワイトバランス補正値は、静止画用デジタル信号から算出したホワイトバランス補正値を記録し、
ユーザーが選択していないホワイトバランスモードのホワイトバランス補正値は、前記デフォルトホワイトバランス補正値及びまたは、前記ライブ画像用のデジタル信号から予め算出したホワイトバランス補正値を記録することを特徴とする。

本発明によれば、ＲＡＷ画像記録モードにおいて、静止画像撮影時のホワイトバランス処理時間を増やすことなく黒体軌跡から離れた光源に対応した、複数のホワイトバランス補正値を記録する撮像装置を提供できる。

本発明のブロック図 色度座標における黒体放射カーブとホワイトバランスモード設定対象範囲 本発明のホワイトバランス補正値を算出するフローチャート

以下、図面を参照して、本発明の実施形態を詳細に説明する。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。

図１において、撮像レンズ部１０１は、絞りおよびシャッターを備えたレンズである。フォーカスレンズ１０２は、光学制御部１１１の制御に従い移動し、オートフォーカス機能を実現する。撮像素子１０３はＣＭＯＳイメージセンサ、ＣＣＤイメージセンサなど、被写体の光学像を光電変換しアナログ電気信号に変換し撮像信号を読み出す。ＣＤＳ／ＡＤ処理部１０４は撮像素子１０３から出力されたアナログ電気信号にアナログゲイン調整を行った後、Ａ／Ｄ変換してデジタル信号に変換する。

信号処理部１０５は、ＣＤＳ／ＡＤ処理部１０４が出力するデジタル信号に対し、デジタル信号そのままを生の画像データ（以下、ＲＡＷ画像データ）として出力する。さらに信号処理部１０５は、デジタルゲイン調整、ホワイトバランス処理、画素補間処理、色信号処理、輝度信号処理、拡大縮小等の信号処理を行い、撮像画像データを生成することも可能な構成となっている。尚、ホワイトバランス処理の詳細については後述する。信号処理部１０５は、生成したＲＡＷ画像および撮像画像データを画像メモリ１０６に記憶する。信号処理部１０５は、静止画像だけでなく連続して撮像した撮像画像データを逐次画像処理を行う事によりライブ画像や動画像を生成する。

システム制御部１１３は撮像装置全体の動作を制御する。システム制御部１１３は例えばＣＰＵであり、ＲＯＭ１２１およびＲＡＭ１２２に記憶された、定数、変数、プログラム等を用いて装置全体の動作を制御することができる。ＲＯＭ１２１は、不揮発性メモリであり、記憶内容は電源をＯＦＦされても記憶されている。ＲＡＭ１２２は、揮発性メモリであり撮像装置の電源がＯＦＦされると記憶内容が消える。システム制御部１１３は、光学制御部１１１を通じて、撮像レンズ部１０１が備える絞りおよびシャッターを駆動することにより、自動露出制御（ＡＥ）を行う。また、システム制御部１１３は、ＡＥ処理において、必要に応じて、撮像部制御部１１２を通じた撮像素子１０３の感度制御（ゲイン調整）を行う。

さらに、システム制御部１１３は、信号処理部１０５が生成した撮像画像データのコントラスト値を検出し、コントラスト値が最大となるように、光学制御部１１１を通じてフォーカスレンズ１０２の位置を制御することにより、自動焦点検出（ＡＦ）を行う。

記録再生部１０７は、メモリカードやハードディスク等の記録媒体１０８とのインターフェースである。システム制御部１１３は、記録再生部１０７を用いて記録媒体１０８の読み書きを行う。システム制御部１１３は、画像メモリ１０６を制御し記憶したデータを記録媒体に記録する。

１１０は表示装置である。連続して撮像した撮像画像データを逐次表示する事によりライブ画像を表示する電子ファインダとしても使用する。

ＳＷ１（１１５）は、レリーズボタンの半押しでオンとなるスイッチ、ＳＷ２（１１６）は、レリーズボタンの全押しでオンとなるスイッチである。

ＳＷ１（１１５）のオンにより、レリーズボタンがユーザーにより半押しされたことを検出すると、システム制御部１１３はＡＥ及びＡＦ処理を開始する。そして、ＳＷ２（１１６）のオンによりレリーズボタンがユーザーにより全押しされたことを検出すると、システム制御部１１３はＡＥおよびＡＦ結果に基づいた静止画撮像処理を実行する。

操作部１１４は、ユーザーが操作することにより、例えばホワイトバランスモードの切り替えやＲＡＷ画像記録モードの切り替えなどを行う。発光部１２０は、被写体へ光を照射する。

本発明のホワイトバランス処理方法について図１、図２を用いて説明する。ホワイトバランスのための演算処理として、次の処理が行われる。デジタル信号を複数のブロックに分け各ブロックの色信号の積分値を得るブロック積分と、デジタル信号の各画素の信号値を色度座標に展開しパラメータによって表現される所定の領域についての色信号であるか否かを判別する白検出が行われる。前記ブロック積分結果及び、または白検出結果からホワイトバランス演算処理を行いホワイトバランス補正値を算出する。前記ブロック積分及び白検出に使用するパラメータは、システム制御部１１３により、信号処理部１０５に設定する。

図２は色度座標上における黒体放射カーブ２０１とホワイトバランスモード設定時のブロック積分及び白検出対象範囲を示す図である。例えばオートホワイトバランス（ＡＷＢ）モードにおけるホワイトバランス補正値を得る場合には、ブロック積分及び白検出対象範囲を２０２に設定する。信号処理部１０５は、設定された対象枠範囲のブロック積分結果と白検出結果をシステム制御部１１３へ送る。システム制御部１１３は、ブロック積分結果、白検出結果からホワイトバランス演算を行い、ホワイトバランス補正値を算出しＲＡＭ１２２に記憶すると共に信号処理部１０５へ返す。信号処理部１０５はホワイトバランス補正値を画像信号に乗算する事でホワイトバランス処理を行う。

システム制御部１１３は、オートホワイトバランス（ＡＷＢ）モードと同様に、曇りモード、太陽モード、電球モード、蛍光灯モード、高色温度蛍光灯（蛍光灯Ｈ）モード、水中モードなど各光源に応じたブロック積分パラメータ及び白検出パラメータを信号処理部１０５に設定する事で各ホワイトバランスモードのブロック積分結果及び白検出結果を取得し、ホワイトバランス補正値を算出する。算出したホワイトバランス補正値は、ＲＡＭ１２２へ記憶する。また、予め各ホワイトバランスモードに対応する、ホワイトバランス補正値の初期補正値（デフォルトホワイトバランス補正値）がＲＯＭ１２１に記憶されている。

撮像装置の起動直後など、ホワイトバランス補正値を算出していないホワイトバランスモードのホワイトバランス補正値は前記デフォルトホワイトバランス補正値を適応する。ユーザーからの撮影指示により、システム制御部１１３は、前記ホワイトバランス補正値及びまたはデフォルトホワイトバランス補正値、ＲＡＷ画像データ、撮像画像データを記録媒体１０８へ記録する。通信部１１７は、ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮなどのコネクタ１１８及びまたは、無線通信等機能を有するアンテナ１１９を介し、他の機器へ送信する。

システム制御部１１３は、画像メモリのデータや記録媒体に記録したデータなどを通信部１１７を介し他の機器へ送信する事も可能な構成となっている。

図示しないが、オートホワイトバランス（ＡＷＢ）モードのブロック積分及び白検出対象範囲を、明るさに応じて全ての光源を含む様に設定しても良い。即ち、オートホワイトバランス（ＡＷＢ）モードに設定する事により、明るい屋外では黒体放射カーブに沿った光源のホワイトバランス補正値を求める様にし、暗い室内や水中では、全ての光源に対応したホワイトバランス補正値を求める事が可能となる。

図３は、本発明の撮像装置のホワイトバランス補正値を算出するフローチャートである。

Ｓ３０１にて全てのホワイトバランスモードのデフォルトホワイトバランス補正値をＲＡＭ１２２に記憶する。

Ｓ３０２にてライブ画像用撮像信号を読みだす。Ｓ３０３にて、ＲＡＷ記録モードか判定する。ＲＡＷ記録モードで無い場合は後述する。ＲＡＷ記録モードの場合は、Ｓ３０４にてホワイトバランスモード設定パラメータ（ＷＢ＿ＭＯＤＥ）を１に設定する。例えば、ＷＢ＿ＭＯＤＥ＝１をオートホワイトバランス（以下ＡＷＢ）モードとしてある場合は、Ｓ３０５にてブロック積分及び白検出対象範囲を図２に示した２０２の領域を設定するように信号処理部１０５にパラメータを設定する。

Ｓ３０６にて、信号処理部１０５は、ＡＷＢモードの白検出結果とブロック積分結果をシステム制御部１１３へ送る。

Ｓ３０７にて、システム制御部１１３は、ＡＷＢモードのホワイトバランス補正値を算出する。Ｓ３１３にて、記録モードが別の記録モードに変更しているかを判定する。記録モードが変更されている場合は、Ｓ３０２へ戻る。Ｓ３１４にてＳＷ１（１１５）がオンでない場合は、Ｓ３１５にて全モードのホワイトバランス補正値が算出されているかを判別する。

Ｓ３１５の処理は、例えば、ＷＢ＿ＭＯＤＥが決めてある最大値で有るか否かを判別する事で全モードのホワイトバランス補正値が算出されているかを判別することができる。全てのホワイトバランス補正値が算出されていない場合は、Ｓ３１６にてホワイトバランスモードを変更し、算出が終了している場合はＳ３０２へ戻る。

Ｓ３１６は、例えば、ＷＢ＿ＭＯＤＥ＝１に設定した場合をＡＷＢモード、ＷＢ＿ＭＯＤＥ＝２を曇りモード、ＷＢ＿ＭＯＤＥ＝３を太陽モード、ＷＢ＿ＭＯＤＥ＝４を電球モード、ＷＢ＿ＭＯＤＥ＝５を蛍光灯モード、ＷＢ＿ＭＯＤＥ＝６を蛍光灯Ｈモード、ＷＢ＿ＭＯＤＥ＝７を水中モードと予め決めておく。現在のＷＢ＿ＭＯＤＥに１を加える（ＷＢ＿ＭＯＤＥ＋＋；）事により次々とホワイトバランスモードを切り替えることができる。ホワイトバランスモードを切り替えＳ３０５の処理へ戻る。尚、算出するホワイトバランスモードは、前記の順番に依らず、例えばユーザーが設定しているホワイトバランスモードをＷＢ＿ＭＯＤＥ＝１の時に算出する様にし、優先して算出する事も出来る。ホワイトバランス補正値の算出順序は、前記の順に制限されるものではない。

Ｓ３０３にてＲＡＷ記録モードで無い場合は、Ｓ３０８にてユーザーが設定しているホワイトバランスモードを検出する。Ｓ３０９にて、検出されたホワイトバランスモードのブロック積分パラメータ及び白検出パラメータを信号処理部１０５に設定する。Ｓ３１０にて、信号処理部１０５は、ブロック積分結果及び白検出結果をシステム制御部１１３へ送る。Ｓ３１１にて、システム制御部１１３は、ブロック積分結果及び白検出結果からホワイトバランス補正値を算出する。Ｓ３１２にて、ＲＡＷ記録モードで無い場合は、全モードのホワイトバランス（ＷＢ）補正値算出終了となる。

Ｓ３１３にて、記録モードから別の記録モードに変更しているかを判定する。記録モードが変更されている場合は、Ｓ３０２へ戻る。Ｓ３１４にてＳＷ１（１１５）がオンでない場合は、Ｓ３１３にて全モードのホワイトバランス補正値が算出されているかを判別する。

ＲＡＷ記録モードでない場合は、Ｓ３１２にて全ホワイトバランス（ＷＢ）補正値算出了しているためＳ３０２へもどる。Ｓ３１４にてＳＷ１（１１５）がオンである場合は、Ｓ３１７にてシステム制御部１１３はＡＥ及びＡＦ処理を開始する。

Ｓ３１８にて、ＳＷ２（１１６）がオンになるまで待機する。図示しないが、ＳＷ１（１１５）がオフになった場合はＳ３０２へ戻る処理を加えても良い。
Ｓ３１８にて、ＳＷ２（１１６）がオンになるとＳ３１７にて静止画像用の撮像信号を読み出す。Ｓ３２０にてユーザーが設定しているホワイトバランスモードを検出する。

Ｓ３２１にて、検出されたホワイトバランスモードのブロック積分パラメータ及び白検出パラメータを信号処理部１０５に設定する。Ｓ３２２にて、信号処理部１０５は、ブロック積分結果及び白検出結果をシステム制御部１１３へ送る。Ｓ３２３にて、システム制御部１１３は、ブロック積分結果及び白検出結果からホワイトバランス補正値を算出する。

本発明の撮像装置は、例えばＡＷＢモード、曇りモード、太陽モード、電球モード、蛍光灯モード、高色温度蛍光灯モード、水中モードなど複数のホワイトバランスモードを有し、ユーザーが任意のホワイトバランスモードを選択する。ＲＡＷ画像記録モードにおいては、選択されたホワイトバランスモードを含めたすべてのホワイトバランスモードのホワイトバランス補正値を記録する。記録するホワイトバランス補正値は、デフォルトホワイトバランス補正値、ライブ画像信号から算出したホワイトバランス補正値、静止画信号から算出したホワイトバランス補正値の全て若しくは何れかを記録する構成となっている。また、ホワイトバランスモードは、色温度を直接指定するなど前述したホワイトバランスモードに限らない。

（第２の実施形態）
ホワイトバランス処理方法について図１、図２を用いて説明する。尚、第１の実施形態と共通の構成及び処理方法については記述を省く。

ホワイトバランスのための演算処理として、次の処理が行われる。デジタル信号を複数のブロックに分け各ブロックの色信号の積分値を得るブロック積分と、デジタル信号の各画素の信号値を色度座標に展開しパラメータによって表現される所定の領域についての色信号であるか否かを判別する白検出及び、前記所定の領域についての色信号である画素数を白検出信頼度として検出する。白検出信頼度は、システム制御部１１３により、白検出に使用した全画素数と前記所定の領域についての色信号である画素数の割合を算出し、白検出信頼度としても良い。

前記ブロック積分結果及びまたは、白検出結果からホワイトバランス演算処理を行い、ホワイトバランス補正値を算出する。前記ブロック積分及び白検出に使用するパラメータは、システム制御部１１３により、信号処理部１０５に設定する。

さらに、システム制御部１１３は、ライブ画像を撮像中のブロック積分結果、白検出結果、ホワイトバランス補正値と、ブロック積分変動量、白検出変動量、ホワイトバランス補正値変動量を算出し逐次記憶する。自動露出制御（ＡＥ）から被写体の明るさ情報と明るさの変動量を逐次記憶する。

また、システム制御部１１３は、撮像画像データの特徴を検出するシーン検出を行う。図示しないが、撮像装置に搭載したジャイロセンサーにより撮像装置の動き量を検出する。図２は色度座標上における黒体放射カーブ２０１とホワイトバランスモード設定時のブロック積分及び白検出対象範囲を示す図である。

例えばオートホワイトバランス（ＡＷＢ）モードにおけるホワイトバランス補正値を得る場合には、ブロック積分及び白検出対象範囲を２０２に設定する。信号処理部１０５は、設定された対象枠範囲のブロック積分結果、白検出結果、白検出信頼度をシステム制御部１１３へ送る。システム制御部は、ブロック積分結果及びまたは、白検出結果に応じてホワイトバランス演算を行い、ホワイトバランス補正値をＲＡＭ１２２へ記憶すると共に信号処理部１０５へ返す。

システム制御部１１３は、白検出信頼度が所定の値より高くホワイトバランスが正確にとれているかを判定し、ホワイトバランスが正確にとれていると判断した場合にオートホワイトバランス（ＡＷＢ）モードを除く各ホワイトバランス補正値はデフォルトホワイトバランス補正値を画像情報として記録する。

また、ホワイトバランス補正値の変動量が大きい場合についてもデフォルトホワイトバランス制御値を画像情報として記録する。ホワイトバランス補正値の変動量だけでなく被写体の明るさ情報、明るさの変動量、シーン検出結果、撮像装置の動き量から、前記デジタル信号から算出したホワイトバランス補正値を記録するか、デフォルトホワイトバランス補正値を記録するかを変更しても良い。

（第３の実施形態）
ホワイトバランス処理方法について図１、図２を用いて説明する。尚、第１の実施形態、第２の実施形態と共通の構成及び処理方法については記述を省く。

システム制御部１１３は、オートホワイトバランス（ＡＷＢ）モード、曇りモード、太陽モード、電球モード、蛍光灯モード、高色温度蛍光灯（蛍光灯Ｈ）モード、水中モードなど各光源に応じたブロック積分パラメータ及び白検出パラメータを信号処理部１０５に設定する。ブロック積分結果及び白検出結果から各ホワイトバランスモードのホワイトバランス補正値を算出し、白検出信頼度及びホワイトバランス補正値をＲＡＭ１２２へ記憶する。

システム制御部１１３は、白検出信頼度の一番高いホワイトバランスモードの光源を被写体を照明している光源と判別する。前記光源判定結果に応じて、前記デジタル信号から算出したホワイトバランス補正値を記録するか、デフォルトホワイトバランス補正値を記録するかを決定する。

ユーザーが設定しているホワイトバランスモードよりも、白検出信頼度の高いホワイトバランスモードが有る場合は、前記デジタル信号から算出したホワイトバランス補正値を記録する。

以上説明したように、本実施形態によれば、静止画像撮影時のホワイトバランス補正値算出処理時間を増やすことなく複数のホワイトバランスモードに対応した、ホワイトバランス補正値を記録することが可能になる。

１０１ 撮像レンズ部、１０２ フォーカスレンズ、１０３ 撮像素子

Claims (6)

1. 被写体を撮像しデジタル信号を得る撮像手段と、
   前記デジタル信号をＲＡＷ画像データとして記録するＲＡＷ画像記録手段と、
   前記デジタル信号に画像処理を行い静止画像または、ライブ画像を生成する画像処理手段と、
   複数のホワイトバランスモードを有し、前記複数のホワイトバランスモードからホワイトバランスモードを選択するホワイトバランスモード選択手段と、
   前記複数のホワイトバランスモードのホワイトバランス補正値を記録する記録手段と、
   前記複数のホワイトバランスモードにそれぞれ対応したホワイトバランスモードのデフォルトホワイトバランス補正値と、
   前記デジタル信号からホワイトバランス補正値を算出するホワイトバランス算出手段を有し、
   ＲＡＷ画像記録モードで静止画撮影した場合は、
   ユーザーが選択したホワイトバランスモードのホワイトバランス補正値は、静止画用デジタル信号から算出したホワイトバランス補正値を記録し、
   ユーザーが選択していないホワイトバランスモードのホワイトバランス補正値は、前記デフォルトホワイトバランス補正値及びまたは、前記ライブ画像用のデジタル信号から予め算出したホワイトバランス補正値を記録することを特徴とする撮像装置。
2. オートホワイトバランスモードと、
   白検出信頼度を検出する白検出信頼度検出手段を有し、
   前記オートホワイトバランスモードの白検出信頼度に応じて、
   前記デフォルトホワイトバランス補正値または前記ライブ画像用のデジタル信号から予め算出したホワイトバランス補正値から選択することを特徴とする請求項１に記載の撮像装置。
3. ホワイトバランス補正値変動量を検出するホワイトバランス変動量検出手段を有し、
   前記ホワイトバランス変動量検出結果に応じて、
   前記デフォルトホワイトバランス補正値または前記ライブ画像用のデジタル信号から予め算出したホワイトバランス補正値から選択することを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 被写体の明るさを検出する明るさ検出手段と、
   明るさ変動量を検出する明るさ変動量検出手段を有し、
   前記明るさ検出結果及びまたは明るさ変動量検結果に応じて、
   前記デフォルトホワイトバランス補正値または前記ライブ画像用のデジタル信号から予め算出したホワイトバランス補正値から選択することを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
5. 撮像装置の動き量を検出する動き検出手段を有し、
   前記動き検出結果に応じて、
   前記デフォルトホワイトバランス補正値または前記ライブ画像用のデジタル信号から予め算出したホワイトバランス補正値から選択することを特徴とする請求項１乃至請求項４の何れか一項に記載の撮像装置。
6. 被写体を照明している光源を判別する光源判別手段を有し、
   前記光源判別結果に応じて、
   前記デフォルトホワイトバランス補正値または前記ライブ画像用のデジタル信号から予め算出したホワイトバランス補正値から選択することを特徴とする請求項１乃至請求項５の何れか一項に記載の撮像装置。