JP2008017198A - 光源色算出装置、光源色算出方法及び撮影装置 - Google Patents

Abstract

【課題】 水中等の特殊な撮影状況下で撮影した画像について光源色を正確に算出することができる光源色算出装置、光源色算出方法及び撮影装置を提供する。
【解決手段】 撮影状況判別部１００は、操作スイッチの撮影状況モード選択スイッチにより設定された撮影状況モードに応じて画像の撮影状況を判別する。軌跡選択部１０２は、撮影状況判別部１００により判別された撮影状況に基づいて、光源色の算出に使用する光源色軌跡を選択する。ホワイトバランスゲイン算出回路１０６は、光源色算出部１０４により算出された光源色に応じてホワイトバランス調整回路１１０のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランスゲイン）を算出する。ホワイトバランス調整回路１１０は、オフセット補正回路１０８によりオフセット処理された画像信号を取り込み、ホワイトバランスゲイン算出回路１０６により算出されたゲイン値を用いてホワイトバランス調整を行う。
【選択図】 図２

Description

本発明は光源色算出装置、光源色算出方法及び撮影装置に係り、特に画像の撮影状況下の光源色を算出する技術に関する。

従来、黒体輻射の軌跡が通るある範囲に色差信号（Ｃｒ、Ｃｂ）が存在するデータから、ホワイトバランスをとるための評価値として（有効データの積分値）／（有効データ数）を求めるホワイトバランス方法が提案されている（特許文献１）。
特開平５−１６８０３３号公報

ところで、色バランスが著しく偏った光源の下で撮影した場合、画像から得られた色情報の分布が色空間において黒体軌跡から離れた位置に分布することがある。例えば、水中における光源色は、陸上とは異なり、水の影響により光源色のうち赤の成分（Ｒ成分）が減少して青が強くなる。この場合、黒体軌跡に基づく光源色の算出ができないという問題があった。

本発明はこのような事情に鑑みてなされたもので、水中等の特殊な撮影状況下で撮影した画像について光源色を正確に算出することができる光源色算出装置、光源色算出方法及び撮影装置を提供することを目的とする。

上記課題を解決するために、本発明の請求項１に係る光源色算出装置は、所定の色空間における色温度に応じた物体の色変化の軌跡である光源色軌跡を少なくとも２つ記憶する光源色軌跡記憶手段と、撮像素子を介して入力された画像から色情報を取得する色情報取得手段と、前記画像の撮影状況に応じて、前記光源色軌跡記憶手段に記憶された光源色軌跡の中から、光源色の算出に用いる光源色軌跡を選択する光源色軌跡選択手段と、前記光源色軌跡選択手段により選択された光源色軌跡及び前記色情報に基づいて、前記画像の撮影状況下における光源色を算出する光源色算出手段とを備えることを特徴とする。

請求項１に係る発明によれば、撮影状況に応じて光源色軌跡を選択することにより、通常の撮影状況に比べて色分布が偏った特殊な撮影状況下で撮影した画像から光源色を正確に算出することができる。これにより、撮影状況にあわせて画像のホワイトバランス調整を正確に行うことができる。

なお、請求項２に示すように、前記光源色軌跡記憶手段は、光源の色温度を変化させた際の黒体の色変化の軌跡である黒体軌跡を記憶している。

請求項３に係る光源色算出装置は、水の分光特性情報を取得する分光特性取得手段と、水面の光源色を取得する手段と、前記水面の光源色と前記水の分光特性情報に基づいて、水中において所定の色空間における色温度に応じた物体の色変化の軌跡を示す水中用光源色軌跡を算出する水中用光源色軌跡算出手段と、水中で撮影された画像から色情報を取得する色情報取得手段と、前記水中用光源色軌跡及び前記色情報に基づいて光源色を算出する光源色算出手段とを備えることを特徴とする。

請求項３に係る発明によれば、水面の光源色を測定して水中用光源色軌跡を算出することにより、撮影状況に適した光源色軌跡を用いて光源色を算出することができる。これにより、撮影状況にあわせて画像のホワイトバランス調整を正確に行うことができる。

請求項４に係る発明は、請求項３の光源色算出装置において、前記画像の撮影場所の情報を入力する入力手段を更に備え、前記分光特性取得手段は、外部記録媒体又はネットワークを介して、前記撮影場所の水の分光特性情報を取得することを特徴とする。

請求項４に係る発明によれば、各撮影場所の水の分光特性を取得して水面の光源色を測定し、水中用光源色軌跡を算出することにより、各撮影場所に適した光源色軌跡を用いて光源色を算出することができる。これにより、撮影状況にあわせて画像のホワイトバランス調整を正確に行うことができる。

請求項５に係る撮影装置は、画像を撮影する撮影手段と、前記撮影手段により撮影された画像から光源色を算出する、前記請求項１から４の光源色算出装置と、前記光源色算出装置により算出された光源色に基づいて、前記撮影された画像にホワイトバランス調整を施すホワイトバランス調整手段とを備えることを特徴とする。

請求項５に係る発明によれば、本発明の光源色算出装置を備えることにより、ホワイトバランス調整を正確に行って、撮影画像やスルームービー画の色の再現性を高めることができる。

請求項６に係る光源色算出方法は、所定の色空間における色温度に応じた物体の色変化の軌跡である光源色軌跡を少なくとも２つ記憶する光源色軌跡記憶工程と、撮像素子を介して入力された画像から色情報を取得する色情報取得工程と、前記画像の撮影状況に応じて、前記光源色軌跡記憶工程において記憶された光源色軌跡の中から、光源色の算出に用いる光源色軌跡を選択する光源色軌跡選択工程と、前記光源色軌跡選択工程において選択された光源色軌跡及び前記色情報に基づいて、前記画像の撮影状況下における光源色を算出する光源色算出工程とを備えることを特徴とする。

請求項７に係る光源色算出方法は、水の分光特性情報を取得する分光特性取得工程と、水面の光源色を取得する工程と、前記水面の光源色と前記水の分光特性情報に基づいて、水中において所定の色空間における色温度に応じた物体の色変化の軌跡を示す水中用光源色軌跡を算出する水中用光源色軌跡算出工程と、水中で撮影された画像から色情報を取得する色情報取得工程と、前記水中用光源色軌跡及び前記色情報に基づいて光源色を算出する光源色算出工程とを備えることを特徴とする。

請求項８に係る発明は、請求項７の光源色算出方法において、前記画像の撮影場所の情報を入力する入力工程を更に備え、前記分光特性取得工程は、外部記録媒体又はネットワークを介して、前記撮影場所の水の分光特性情報を取得する工程を更に備えることを特徴とする。

本発明によれば、撮影状況に応じて光源色軌跡を用いることにより、通常の撮影状況に比べて色分布が偏った特殊な撮影状況下で撮影した画像から光源色を正確に算出することができる。また、本発明の撮影装置によれば、撮影状況にあわせて画像のホワイトバランス調整を正確に行うことができ、撮影画像の色の再現性を高めることができる。

以下、添付図面に従って本発明に係る光源色算出装置、光源色算出方法及び撮影装置の好ましい実施の形態について説明する。

［撮影装置の構成］
図１は、本発明の第１の実施形態に係る撮影装置の主要構成を示すブロック図である。図１に示す撮影装置１は、静止画や動画の記録及び再生機能を備えた電子カメラであり、撮影装置１全体の動作は中央処理装置（ＣＰＵ）１０によって統括制御される。ＣＰＵ１０は、所定のプログラムに従って本カメラシステムを制御する制御手段として機能するとともに、自動露出（ＡＥ）演算、自動焦点調節（ＡＦ）演算、ホワイトバランス（ＷＢ）調整演算等、各種演算を実施する演算手段として機能する。電源回路１２は、本カメラシステムの各ブロックに電源を供給する。

ＣＰＵ１０には、バス１４を介してＲＯＭ（Read Only Memory）１６及びＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）１８が接続されている。ＲＯＭ１６には、ＣＰＵ１０が実行するプログラム及び制御に必要な各種データ等が格納され、ＥＥＰＲＯＭ１８には、ＣＣＤ画素欠陥情報、カメラ動作に関する各種定数／情報等が格納されている。

また、メモリ（ＳＤＲＡＭ、Synchronous Dynamic Random Access Memory）２０は、プログラムの展開領域及びＣＰＵ１０の演算作業用領域として利用されるとともに、画像データや音声データの一時記憶領域として利用される。ＶＲＡＭ（Video Random Access Memory）２２は、画像データ専用の一時記憶メモリであり、Ａ領域２２ＡとＢ領域２２Ｂを含んでいる。なお、メモリ２０とＶＲＡＭ２２は共用することが可能である。

撮影装置１には、モード選択スイッチ、撮影スイッチ、メニュー／ＯＫキー、十字キー、キャンセルキー等の操作スイッチ２４が設けられている。これら各種の操作スイッチからの信号はＣＰＵ１０に入力され、ＣＰＵ１０は入力信号に基づいて撮影装置１の各回路を制御し、例えば、レンズ駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、画像表示装置（液晶モニタ）２６の表示制御等を行う。

モード選択スイッチは、撮影モード、再生モード及び動画出力モードとの間で動作モードを切り替えるための操作手段である。撮影スイッチは、撮影開始の指示を入力する操作ボタンであり、半押し時にＯＮするＳ１スイッチと、全押し時にＯＮするＳ２スイッチとを有する２段ストローク式のスイッチで構成されている。メニュー／ＯＫキーは、画像表示装置２６の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行等を指令するＯＫボタンとしての機能とを兼備した操作キーである。十字キーは、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。また、十字キーの上下キーは撮影時のズームスイッチあるいは再生時の再生ズームスイッチとして機能し、左右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。キャンセルキーは、選択項目等所望の対象の消去や指示内容の取消し、あるいは１つ前の操作状態に戻らせる時等に使用される。

画像表示装置２６は、カラー表示可能な液晶モニタで構成されている。画像表示装置２６（以下の説明では、液晶モニタ２６と記載する）は、撮影時に画角確認用の電子ファインダとして使用できるとともに、記録済み画像を再生表示する手段として利用される。また、液晶モニタ２６は、ユーザインターフェース用の表示画面としても利用され、必要に応じてメニュー情報や選択項目、設定内容等の情報が表示される。液晶モニタに代えて、有機ＥＬ（electro-luminescence）等の他の方式の表示装置を用いることも可能である。

撮影装置１は、メディアソケット（メディア装着部）２８を有し、メディアソケット２８には記録メディア３０を装着することができる。記録メディア３０の形態は特に限定されず、ｘＤピクチャカード（登録商標）、スマートメディア（登録商標）に代表される半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等、種々の媒体を用いることができる。メディアコントローラ３２は、メディアソケット２８に装着される記録メディア３０に適した入出力信号の受渡しを行うために所要の信号変換を行う。

また、撮影装置１は、パーソナルコンピュータ（ＰＣ）やプリンタ、ネットワーク等の外部機器と接続するための通信手段として外部接続インターフェース部（外部接続Ｉ／Ｆ）３４を備えている。撮影装置１は、図示せぬＵＳＢケーブル等を用いて撮影装置１と外部機器を接続することにより、外部機器との間でデータの受渡しが可能となる。もちろん、通信方式はＵＳＢに限らず、IEEE1394やBluetooth（登録商標）、有線又は無線ＬＡＮ、赤外線通信等の通信方式を適用してもよい。

［撮影モード］
次に、撮影装置１の撮影機能について説明する。モード選択スイッチによって撮影モードが選択されると、カラーＣＣＤ固体撮像素子３６（以下の説明では、ＣＣＤ３６と記載する）を含む撮像部に電源が供給され、撮影可能な状態になる。

レンズユニット３８は、フォーカスレンズ４０及びズームレンズ４２を含む撮影レンズ４４と、絞り兼用メカシャッタ４６とを含む光学ユニットである。撮影レンズ４４のフォーカシングは、フォーカスレンズ４０をフォーカスモータ４０Ａによって移動させることにより行われ、ズーミングは、ズームレンズ４２をズームモータ４２Ａで移動させることにより行われる。フォーカスモータ４０Ａとズームモータ４２Ａは、それぞれフォーカスモータドライバ４０Ｂとズームモータドライバ４２Ｂにより駆動制御される。ＣＰＵ１０は、このフォーカスモータドライバ４０Ｂとズームモータドライバ４２Ｂに制御信号を出力して制御する。

絞り４６は、いわゆるターレット型絞りで構成されており、Ｆ２．８からＦ８の絞り孔が穿孔されたターレット板を回転させて絞り値（Ｆ値）を変化させる。この絞り４６の駆動はアイリスモータ４６Ａによって行われる。アイリスモータ４６Ａはアイリスモータドライバ４６Ｂにより駆動制御される。ＣＰＵ１０は、このアイリスモータドライバ４６Ｂに制御信号を出力して制御する。

レンズユニット３８を通過した光は、ＣＣＤ３６の受光面に結像される。ＣＣＤ３６の受光面には多数のフォトダイオード（受光素子）が２次元的に配列されており、各フォトダイオードに対応して赤（Ｒ）、緑（Ｇ）、青（Ｂ）の原色カラーフィルタが所定の配列構造で配置されている。ＣＣＤ３６は、各フォトダイオードの電荷蓄積時間（シャッタースピード）を制御する電子シャッター機能を有している。ＣＰＵ１０は、タイミングジェネレータ（ＴＧ）４８を介してＣＣＤ３６での電荷蓄積時間を制御する。また、ＣＰＵ１０は、ＣＣＤ３６に対して、ＯＦＤ（Overflow Drain）の電位を制御して、ＣＣＤ３６を構成するフォトダイオードに蓄積される信号電荷の上限値を調整する。

ＣＣＤ３６の受光面に結像された被写体像は、各フォトダイオードによって入射光量に応じた量の信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１０の指令に従いＴＧ４８から与えられる駆動パルス（読み出しパルス、垂直転送クロック、水平転送クロック）に基づいて信号電荷に応じた電圧信号（画像信号）として順次読み出される。

ＣＣＤ３６から出力された信号はアナログ処理部（ＣＤＳ／ＡＭＰ）５０に送られ、ここで画素ごとのＲ、Ｇ、Ｂ信号がサンプリングホールド（相関２重サンプリング処理）され、増幅された後、Ａ／Ｄ変換器５２に加えられる。Ａ／Ｄ変換器５２によってデジタル信号に変換された点順次のＲ、Ｇ、Ｂ信号は、画像入力コントローラ５４を介してメモリ２０に記憶される。

デジタル信号処理部５６は、ＣＰＵ１０からの指令に従い、メモリ２０からＲ、Ｇ、Ｂ信号を読み込み、所定の信号処理を施して輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）により構成されるＹＵＶ信号に変換するとともに、ガンマ補正等の所定の処理が施す。デジタル信号処理部５６により処理された画像データはＶＲＡＭ２２に格納される。

撮影画像を液晶モニタ２６にモニタ出力する場合、ＶＲＡＭ２２から画像データが読み出され、バス１４を介してビデオエンコーダ５８に送られる。ビデオエンコーダ５８は、入力された画像データを表示用の所定方式のビデオ信号（例えば、ＮＴＳＣ方式のカラー複合画像信号）に変換して液晶モニタ２６に出力する。

ＣＣＤ３６から出力される画像信号によって、１コマ分の画像を表す画像データがＶＲＡＭ２２のＡ領域２２ＡとＢ領域２２Ｂとで交互に書き換えられる。ＶＲＡＭ２２のＡ領域２２Ａ及びＢ領域２２Ｂのうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。このようにしてＶＲＡＭ２２内の画像データが定期的に書き換えられ、その画像データから生成される画像信号が液晶モニタ２６に供給されることにより、撮影中の映像がリアルタイムに液晶モニタ２６に表示される。撮影者は、液晶モニタ２６に表示される映像（スルームービー画）によって撮影画角を確認できる。

撮影スイッチが半押しされ、Ｓ１がオンすると、撮影装置１はＡＥ及びＡＦ処理を開始する。即ち、ＣＣＤ３６から出力された画像信号はＡ／Ｄ変換後に画像入力コントローラ５４を介してＡＦ検出回路６０並びにＡＥ／ＡＷＢ検出回路６２に入力される。

ＡＥ／ＡＷＢ検出回路６２は、１画面を複数の分割エリア（例えば、８×８又は１６×１６）に分割し、この分割エリアごとにＲＧＢ信号を積算する回路を含み、その積算値をＣＰＵ１０に提供する。ＣＰＵ１０は、ＡＥ／ＡＷＢ検出回路６２から得た積算値に基づいて被写体の明るさ（被写体輝度）を検出し、撮影に適した露出値（撮影ＥＶ値）を算出する。ＣＰＵ１０は、求めた露出値と所定のプログラム線図に従って、絞り値とシャッタースピードを決定し、これに従いＣＣＤ３６の電子シャッター及びアイリスを制御して適正な露光量を得る。

また、ＡＥ／ＡＷＢ検出回路６２は、自動ホワイトバランス調整時に、分割エリアごとにＲ、Ｇ、Ｂ信号の色別の平均積算値を算出し、その算出結果をデジタル信号処理部５６に提供する。デジタル信号処理部５６は、分割エリアごとのＲの積算値、Ｇの積算値、Ｂの積算値を取得して、Ｒ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランスゲイン）を制御し、各色チャンネルの信号に補正をかける。なお、ホワイトバランス制御の詳細については後述する。

撮影装置１におけるＡＦ制御は、例えば、画像信号のＧ信号の高周波成分が極大になるようにフォーカスレンズ４０を移動させるコントラストＡＦが適用される。即ち、ＡＦ検出回路６０は、Ｇ信号の高周波成分のみを通過させるハイパスフィルタ、絶対値化処理部、画面内（例えば、画面中央部）にあらかじめ設定されているフォーカス対象エリア内の信号を切り出すＡＦエリア抽出部及びＡＦエリア内の絶対値データを積算する積算部から構成される。

ＡＦ検出回路６０により求められた積算値のデータはＣＰＵ１０に通知される。ＣＰＵ１０は、フォーカスモータドライバ４０Ｂを制御してフォーカスレンズ４０を移動させながら、複数のＡＦ検出ポイントで焦点評価値（ＡＦ評価値）を演算し、評価値が極大となるレンズ位置を合焦位置として決定する。そして、ＣＰＵ１０は、求めた合焦位置にフォーカスレンズ４０を移動させるようにフォーカスモータドライバ４０Ｂを制御する。なお、ＡＦ評価値の演算はＧ信号を利用する態様に限らず、輝度信号（Ｙ信号）を利用してもよい。

撮影スイッチが半押しされ、Ｓ１オンによってＡＥ／ＡＦ処理が行われ、撮影スイッチが全押しされ、Ｓ２オンによって記録用の撮影動作がスタートする。Ｓ２オンに応動して取得された画像データはデジタル信号処理部５６において輝度／色差信号（Ｙ／Ｃ信号）に変換され、ガンマ補正等の所定の処理が施された後、メモリ２０に格納される。

メモリ２０に格納されたＹ／Ｃ信号は、圧縮伸張回路６４によって所定のフォーマットに従って圧縮された後、メディアコントローラ３２を介して記録メディア３０に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）形式の画像ファイルとして記録される。

［再生モード］
モード選択スイッチにより再生モードが選択されると、記録メディア３０に記録されている最終の画像ファイル（最後に記録された画像ファイル）の圧縮データが読み出される。最後の記録に係る画像ファイルが静止画ファイルの場合、この読み出された画像圧縮データは、圧縮伸張回路６４を介して非圧縮のＹＣ信号に伸張され、デジタル信号処理部５６及びビデオエンコーダ５８を介して表示用の信号に変換された後、液晶モニタ２６に出力される。これにより、当該画像ファイルの画像内容が液晶モニタ２６の画面上に表示される。

静止画の１コマ再生中（動画の先頭フレーム再生中も含む）に、十字キーの右キー又は左キーを操作することによって、再生対象の画像ファイルを切り替えること（順コマ送り／逆コマ送り）ができる。コマ送りされた位置の画像ファイルが記録メディア３０から読み出され、上記と同様にして静止画像や動画が液晶モニタ２６に再生表示される。

また、再生モード時に、パーソナルコンピュータやテレビ等の外部ディスプレイがビデオ入出力端子６６を介して撮影装置１に接続されている場合には、記録メディア３０に記録されている画像ファイルはビデオ出力回路６８により処理されて、この外部ディスプレイに再生表示される。

［デジタル信号処理部５６の構成］
図２は、デジタル信号処理部５６の主要構成を示すブロック図である。図２に示すように、デジタル信号処理部５６は、撮影状況判別部１００、軌跡選択部１０２、光源色算出部１０４、ホワイトバランスゲイン算出回路１０６、オフセット補正回路１０８、ホワイトバランス調整回路１１０、ガンマ補正回路１１２、ＲＧＢ補間演算部１１４、ＲＧＢ／ＹＣ変換回路１１６、ノイズフィルタ１１８、輪郭補正回路１２０及び色差マトリクス回路１２２を備えている。

撮影状況判別部１００は、操作スイッチ２４の撮影状況モード選択スイッチにより設定された撮影状況モードに応じて画像の撮影状況を判別する。ここで、撮影状況モードとは、例えば、通常撮影モード、水中撮影モード、日陰撮影モード、夕焼け撮影モード、雪原撮影モード等である。

軌跡選択部１０２は、撮影状況判別部１００により判別された撮影状況に基づいて、光源色の算出に使用する光源色軌跡を選択し、光源色算出部１０４に軌跡選択信号を出力する。本実施形態の撮影装置１は、各種の撮影状況（例えば、水中、雪原、夕焼け等）において光源色を判別するのに適した光源色軌跡をＲＯＭ１６又はＥＥＰＲＯＭ１８に複数記憶している。軌跡選択部１０２は、ＲＯＭ１６又はＥＥＰＲＯＭ１８に記録された光源色軌跡の中から撮影状況に適した光源色軌跡を選択する。

なお、本実施形態では、例えば、外部接続Ｉ／Ｆ３４を介して接続された外部機器や、記録メディア３０から光源色軌跡を取得して、様々な撮影状況に適した光源色軌跡をＲＯＭ１６等に追加できるようにしてもよい。

光源色算出部１０４は、上記軌跡選択部１０２により選択された光源色軌跡を用いて光源色を算出する。メモリ２０から取得したＲ、Ｇ、Ｂ信号の積算値から分割エリアごとにＲ／Ｇ及びＢ／Ｇの比を求め、Ｒ／Ｇ、Ｂ／Ｇ座標軸により定義された色空間（Ｒ／Ｇ、Ｂ／Ｇ色空間）における上記Ｒ／Ｇ、Ｂ／Ｇの比の値の分布（色分布）等に基づいて光源色を算出する。

ここで、水中で撮影した画像における光源色の算出方法について説明する。水中で撮影する際には、水面における光源色の赤色（Ｒ）が水の影響で大きく減衰してしまい、水深が深くなるにつれてＲ、Ｇ、Ｂの順で減衰していく。従って、水中では、陸上で撮影する場合と比較して光源色の色温度と色味の関係が異なる。このため、Ｒ／Ｇ、Ｂ／Ｇ色空間における光源色の分布が異なり、陸上の場合と同じ光源色軌跡を用いても適切な光源色を算出することができない。従って、水中で撮影した画像について光源色の検出を行う場合には、撮影状況モードを水中撮影モードに設定して、水中における光源色算出に適した水中用光源色軌跡を用いる。また、日陰や夕焼け時、雪原等で撮影を行う場合には、それぞれの撮影状況に適した光源色軌跡を用いて光源色を算出する。

図３は水中用光源色軌跡を示すテーブルであり、図４はそのグラフである。図３及び図４に示す水中用光源軌跡は、水面（水深０ｍ付近）において（Ｒ／Ｇ，Ｂ／Ｇ）＝（１，１）の光源の水中における光源色の変化と水深との関係を示している。水中用光源色軌跡は、水面における光源（例えば、太陽や照明）の光源色の値（Ｒ／Ｇ，Ｂ／Ｇ）を基準値として、水の分光特性に基づいて算出され、例えば、水面における光源色の値（Ｒ／Ｇ，Ｂ／Ｇ）に水深の関数として表されるＲ、Ｇ、Ｂ信号の減衰分を示す係数を乗算することにより算出される。

なお、水中用光源色軌跡は、撮影を行う場所の水質（例えば、海水、淡水、汽水等）を選択してから算出するようにしてもよい。また、水中に光源を持ち込む場合には、当該光源の種類や光の強度を入力することにより水中用光源色軌跡を補正できるようにしてもよい。

以下、光源色の算出方法について、図４のグラフを用いて説明する。図４に示すＲ／Ｇ、Ｂ／Ｇ色空間には、黒体軌跡Ｌｂと水中用光源色軌跡Ｌｗとがプロットされている。黒体軌跡Ｌｂは、光源（昼光やタングステン光源）の色温度を変化させた際の黒体の色変化の軌跡である。

光源色を算出する際には、まず、光源色算出部１０４は、メモリ２０から取得したＲ、Ｇ、Ｂ信号の積算値の平均値（それぞれＲ平均、Ｇ平均、Ｂ平均）を算出して、（Ｒ平均）／（Ｇ平均）及び（Ｂ平均）／（Ｇ平均）の比の値を算出する。以下の説明では、Ｒ／Ｇ、Ｂ／Ｇ色空間において、座標（（Ｒ平均）／（Ｇ平均），（Ｂ平均）／（Ｇ平均））の点Ｌ１０を画像の全体平均と記載する。なお、Ｒ、Ｇ、Ｂ信号の積算値の平均値として、例えば、分割エリアごとの重み付け平均を算出するようにしてもよい。

次に、撮影状況モードが通常撮影モードの場合には、図４に示すように、画像の全体平均Ｌ１０に最も近い黒体軌跡Ｌｂ上の点Ｌ１１、即ち、点Ｌ１０を通る黒体軌跡Ｌｂの法線と黒体軌跡Ｌｂとの交点を算出し、この交点Ｌ１１を光源色とする。

一方、撮影状況モードが水中撮影モードの場合には、画像の全体平均Ｌ１０に最も近い水中用光源色軌跡Ｌｗ上の点Ｌ１２を算出し、この点Ｌ１２を光源色とする。また、水中以外の特殊な撮影状況（例えば、日陰や夕焼け時、雪原）で撮影した画像に対しても、個々の撮影状況に対応する光源色軌跡を用いて光源色の算出を行う。

なお、撮影状況の判別は、ＡＥ／ＡＷＢ検出回路６２から取得したＲ、Ｇ、Ｂ信号の積算値の分布とＲＯＭ１６等に記憶された各光源軌跡からの距離に基づいて自動的に行って、当該撮影状況に対応する光源色軌跡を選択するようにしてもよい。

以下、図２の説明に戻る。ホワイトバランスゲイン算出回路１０６は、光源色算出部１０４により算出された光源色に応じてホワイトバランス調整回路１１０のＲ、Ｇ、Ｂ信号に対するゲイン値（ホワイトバランスゲイン）を算出する。

オフセット補正回路１０８は、Ａ／Ｄ変換器５２から出力されるＲ、Ｇ、Ｂの各色の画像信号を取り込んでオフセット処理を行う。

ホワイトバランス調整回路１１０は、オフセット補正回路１０８によりオフセット処理された画像信号を取り込み、ホワイトバランスゲイン算出回路１０６により算出されたゲイン値を用いてホワイトバランス調整を行う。

ガンマ補正回路１１２は、ホワイトバランス調整回路１１０によりホワイトバランス調整された画像信号を取り込み、所定のγ値を用いてガンマ補正を行う。

ＲＧＢ補間演算部１１４は、ガンマ補正回路１１２によりガンマ補正されたＲ、Ｇ、Ｂの各色の画像信号を補間演算して、各画素位置におけるＲ、Ｇ、Ｂ３色の信号を求める。即ち、撮像素子３６が単板式の場合、各画素からは、Ｒ、Ｇ、Ｂのいずれか一色の信号しか出力されないため、出力しない色を周囲の画素の色信号から補間演算により求める。例えば、Ｒを出力する画素の位置におけるＧ、Ｂの色信号がどの程度になるかを周りの画素のＧ、Ｂ信号から補間演算により求める。このように、ＲＧＢ補間演算は、単板式の撮像素子に特有のものなので、撮像素子３６として３板式のものを用いた場合には不要となる。

ＲＧＢ／ＹＣ変換回路１１６は、ＲＧＢ補間演算後のＲ、Ｇ、Ｂ信号から輝度信号Ｙと色差信号Ｃｒ、Ｃｂを生成する。

ノイズフィルタ１１８は、ＲＧＢ／ＹＣ変換回路１１６により生成された輝度信号Ｙと色差信号Ｃｒ、Ｃｂに対してノイズ低減処理を施す。

輪郭補正回路１２０は、ノイズ低減後の輝度信号Ｙに対し、輪郭補正処理を行い、輪郭補正された輝度信号Ｙ′を出力する。

一方、色差マトリクス回路１２２は、ノイズ低減後の色差信号Ｃｒ、Ｃｂに対し、色差マトリクス（Ｃ−ＭＴＸ）を乗算して色調補正を行う。即ち、色差マトリクス回路１２２には、光源対応の色差マトリクスが複数種類設けられており、光源色算出部１０４により求められた光源種に応じて、使用する色差マトリクスを切り替え、この切り替え後の色差マトリクスを入力された色差信号Ｃｒ、Ｃｂに乗算し、色調補正された色差信号Ｃｒ′、Ｃｂ′を出力する。

光源色算出部１０４は、ＡＥ／ＡＷＢ検出回路６２で算出された積算値を取り込んで光源種を判定し、色差マトリクス回路１２２に色差マトリクス選択信号を出力する。

なお、本実施形態の撮影装置１では、上記のようにデジタル信号処理部５６をハードウェア回路で構成しているが、当該ハードウェア回路と同じ機能をソフトウェアにより構成することも可能である。

［ホワイトバランス調整処理］
次に、本実施形態の撮影装置１におけるホワイトバランス調整処理の流れについて、図５のフローチャートを参照して説明する。まず、撮影状況判別部１００により撮影状況が判別される（ステップＳ１０）。そして、特殊な光源色軌跡が必要な撮影状況である場合、即ち、通常撮影モード以外の場合には（ステップＳ１０のＹｅｓ）、軌跡選択部１０２により撮影状況に対応した光源色軌跡が選択される（ステップＳ１２）。一方、特殊な光源色軌跡が必要な撮影状況ではない場合、即ち、通常撮影モードの場合には（ステップＳ１０のＮｏ）、軌跡選択部１０２により黒体軌跡が選択される（ステップＳ１４）。次に、光源色算出部１０４により、ステップＳ１２及びＳ１４において選択された光源色軌跡を用いて光源色が算出され（ステップＳ１６）、ホワイトバランスゲイン算出回路１０６によりホワイトバランスゲインが算出される（ステップＳ１８）。

本実施形態によれば、撮影状況に応じて光源色軌跡を選択することにより、通常の撮影状況に比べて色分布が偏った特殊な撮影状況下で撮影した画像から光源色を正確に算出することができる。これにより、撮影状況にあわせて画像のホワイトバランス調整を正確に行うことができる。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。図６は、本発明の第２の実施形態に係る撮影装置の主要構成を示すブロック図である。図６に示すように、本実施形態の撮影装置１は、光源色軌跡算出部２００を更に備えている。

図７は、デジタル信号処理部５６及び光源色軌跡算出部２００の主要構成を示すブロック図である。図７に示すように、光源色軌跡算出部２００は、水面光源色測定部２０２及び水中用光源色軌跡算出部２０４を備えている。

水面光源色測定部２０２は、水面（水深０ｍ付近）における光源色を測定する。水面における光源色の測定は、例えば、ユーザがマニュアルで行ってもよいし、水面を検知した場合に、自動的にホワイトバランス処理を行って光源色を検出するようにしてもよい。なお、カスタムホワイトバランス機能を利用して水面の光源色を測定して、水面光源色測定部２０２を設けない構成とすることもできる。

水中用光源色軌跡算出部２０４は、水の分光特性を記憶しており、水面光源色測定部２０２により測定された水面における光源（例えば、太陽や照明）の光源色と水の分光特性に基づいて水中用光源色軌跡を算出する。そして、水中用光源色軌跡算出部２０４は、算出した水中用光源色軌跡をデジタル信号処理部５６の光源色算出部１０４に出力する。光源色算出部１０４は、軌跡選択部１０２により選択された光源色軌跡を用いて光源色を算出する。

なお、水中用光源色軌跡は、撮影を行う場所の水質（例えば、海水、淡水、汽水等）を選択してから算出するようにしてもよい。また、水中に光源を持ち込む場合には、当該光源の種類や光の強度を入力することにより水中用光源色軌跡を補正できるようにしてもよい。

図８は、本実施形態に係る撮影装置１により算出した水中用光源色軌跡の例を示すグラフである。図８において、曲線Ｌｗａ、Ｌｗｂ及びＬｗｃは、それぞれ水面において測定された光源色が黒体軌跡Ｌｂ上の点ａ、ｂ及びｃの場合の水中光源色軌跡を示している。水中用光源色軌跡を算出する場合には、まず、水面において撮影を行い、撮影した画像に基づいて光源色を算出する。即ち、水面光源色測定部２０２により、撮像素子３６から出力されたＲ、Ｇ、Ｂ信号から画像の全体平均（（Ｒ平均）／（Ｇ平均），（Ｂ平均）／（Ｇ平均））を算出し、Ｒ／Ｇ、Ｂ／Ｇ空間において画像の全体平均に最も近い黒体軌跡Ｌｂ上の点を算出し、この交点を光源色とする。そして、水中用光源色軌跡算出部２０４により、水面における光源色の値（Ｒ／Ｇ，Ｂ／Ｇ）を基準値として、水の分光特性、例えば、水面における光源色の値（Ｒ／Ｇ，Ｂ／Ｇ）に水深の関数として表されるＲ、Ｇ、Ｂ信号の減衰分を示す係数を上記基準値に乗算することにより算出する。

次に、本実施形態の撮影装置１におけるホワイトバランス調整処理の流れについて、図９のフローチャートを参照して説明する。まず、水面光源色測定部２０２により水面における光源色が測定され（ステップＳ３０）、水中用光源色軌跡算出部２０４により水中用光源色軌跡が算出される（ステップＳ３２）。

次に、撮影状況判別部１００により撮影状況が判別される（ステップＳ３４）。そして、水中で撮影している場合、即ち、水中撮影モードの場合には（ステップＳ３４のＹｅｓ）、軌跡選択部１０２により水中用光源色軌跡が選択される（ステップＳ３６）。一方、水中で撮影していない場合、即ち、通常撮影モードの場合には（ステップＳ３４のＮｏ）、軌跡選択部１０２により黒体軌跡が選択される（ステップＳ３８）。次に、光源色算出部１０４により、ステップＳ３６及びＳ３８において選択された光源色軌跡を用いて光源色が算出され（ステップＳ４０）、ホワイトバランスゲイン算出回路１０６によりホワイトバランスゲインが算出される（ステップＳ４２）。

本実施形態によれば、水面の光源色を測定して水中用光源色軌跡を算出することにより、撮影状況に適した光源色軌跡を用いて光源色を算出することができる。これにより、撮影状況にあわせて画像のホワイトバランス調整を正確に行うことができる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。なお、本実施形態の撮影装置１の構成については、上記第２の実施形態と同様であるため説明を省略する。

図１０は、デジタル信号処理部５６及び光源色軌跡算出部２００の主要構成を示すブロック図である。図１０に示すように、光源色軌跡算出部２００は、水面光源色測定部２０２及び水中用光源色軌跡算出部２０４に加えて、分光特性取得部２０６を備えている。

分光特性取得部２０６は、例えば、操作スイッチ２４により入力された撮影場所（例えば、海、河川、湖、温泉）の名称等を用いて、外部接続Ｉ／Ｆ３４を介してネットワーク上に設置されたサーバに問い合わせて、当該撮影場所の水の分光特性を取得する。また、ＰＣ等の外部機器を介して記録メディア３０に分光特性をダウンロードして、この記録メディア３０を撮影装置１に装着することにより取得してもよい。なお、水の分光特性は、撮影装置１のＲＯＭ１６等に予め記憶しておくようにしてもよい。

水中用光源色軌跡算出部２０４は、水面光源色測定部２０２により測定された水面の光源色と、分光特性取得部２０６により取得された分光特性を用いて水中用光源色軌跡を算出する。

次に、本実施形態の撮影装置１におけるホワイトバランス調整処理の流れについて、図１１のフローチャートを参照して説明する。まず、操作スイッチ２４により撮影場所の名称（例えば、〇〇海、××川）が入力されると、分光特性取得部２０６により当該撮影場所の水の分光特性が取得される（ステップＳ５０）。水面光源色測定部２０２により水面における光源色が測定され（ステップＳ５２）、水中用光源色軌跡算出部２０４により水中用光源色軌跡が算出される（ステップＳ５４）。

次に、撮影状況判別部１００により撮影状況が判別される（ステップＳ５６）。そして、水中で撮影している場合、即ち、水中撮影モードの場合には（ステップＳ５６のＹｅｓ）、軌跡選択部１０２により水中用光源色軌跡が選択される（ステップＳ５８）。一方、水中で撮影していない場合、即ち、通常撮影モードの場合には（ステップＳ５６のＮｏ）、軌跡選択部１０２により黒体軌跡が選択される（ステップＳ６０）。次に、光源色算出部１０４により、ステップＳ５８及びＳ６０において選択された光源色軌跡を用いて光源色が算出され（ステップＳ６２）、ホワイトバランスゲイン算出回路１０６によりホワイトバランスゲインが算出される（ステップＳ６４）。

本実施形態によれば、各撮影場所の水の分光特性を取得して水面の光源色を測定し、水中用光源色軌跡を算出することにより、各撮影場所に適した光源色軌跡を用いて光源色を算出することができる。これにより、撮影状況にあわせて画像のホワイトバランス調整を正確に行うことができる。

なお、上記の実施形態では、例えば、撮影状況判別部１００に水圧センサを設けることにより、水中であるかどうかを判別するようにしてもよい。

また、上記の処理を実行するプログラムを含むアプリケーションソフトウェアを、画像の撮影機能を有する装置（電子カメラや携帯電話機、携帯情報端末、ＰＣ等）に適用することにより、本発明の光源色算出装置、光源色算出方法及び撮影装置を実現することができる。

本発明の第１の実施形態に係る撮影装置の主要構成を示すブロック図 デジタル信号処理部５６の主要構成を示すブロック図 水中用光源色軌跡を示すテーブル 水中用光源色軌跡を示すグラフ ホワイトバランス調整処理の流れを示すフローチャート 本発明の第２の実施形態に係る撮影装置の主要構成を示すブロック図 デジタル信号処理部５６及び光源色軌跡算出部２００の主要構成を示すブロック図 本発明の第２の実施形態に係る撮影装置１により算出した水中用光源色軌跡の例を示すグラフ 本発明の第２の実施形態に係るホワイトバランス調整処理の流れを示すフローチャート 本発明の第３の実施形態に係るデジタル信号処理部５６及び光源色軌跡算出部２００の主要構成を示すブロック図 本発明の第３の実施形態に係るホワイトバランス調整処理の流れを示すフローチャート

符号の説明

１…撮影装置（カメラ）、１０…中央処理装置（ＣＰＵ）、１２…電源回路、１４…バス、１６…ＲＯＭ、１８…ＥＥＰＲＯＭ、２０…メモリ（ＳＤＲＡＭ）、２２…ＶＲＡＭ、２４…操作スイッチ、２６…画像表示装置（液晶モニタ）、２８…メディアソケット、３０…記録メディア、３２…メディアコントローラ、３４…外部接続インターフェース部（外部接続Ｉ／Ｆ）、３６…ＣＣＤ、３８…レンズユニット、４０…フォーカスレンズ、４２…ズームレンズ、４４…撮影レンズ、４６…絞り兼用メカシャッタ、４８…タイミングジェネレータ（ＴＧ）、５０…アナログ処理部（ＣＤＳ／ＡＭＰ）、５２…Ａ／Ｄ変換器、５４…画像入力コントローラ、５６…画像信号処理回路、５８…ビデオエンコーダ、６０…ＡＦ検出回路、６２…ＡＥ／ＡＷＢ検出回路、６４…圧縮伸張回路、６６…ビデオ入出力端子、６８…ビデオ出力回路、１００…撮影状況判別部、１０２…軌跡選択部、１０４…光源色算出部、１０６…ホワイトバランスゲイン算出回路、１０８…オフセット補正回路、１１０…ホワイトバランス調整回路、１１２…ガンマ補正回路、１１４…ＲＧＢ補間演算部、１１６…ＲＧＢ／ＹＣ変換回路、１１８…ノイズフィルタ、１２０…輪郭補正回路、１２２…色差マトリクス回路、２００…光源色軌跡算出部、２０２…水面光源色測定部、２０４…水中用光源色軌跡算出部、２０６…分光特性取得部

Claims (8)

1. 所定の色空間における色温度に応じた物体の色変化の軌跡である光源色軌跡を少なくとも２つ記憶する光源色軌跡記憶手段と、
   撮像素子を介して入力された画像から色情報を取得する色情報取得手段と、
   前記画像の撮影状況に応じて、前記光源色軌跡記憶手段に記憶された光源色軌跡の中から、光源色の算出に用いる光源色軌跡を選択する光源色軌跡選択手段と、
   前記光源色軌跡選択手段により選択された光源色軌跡及び前記色情報に基づいて、前記画像の撮影状況下における光源色を算出する光源色算出手段と、
   を備えることを特徴とする光源色算出装置。
2. 前記光源色軌跡記憶手段は、光源の色温度を変化させた際の黒体の色変化の軌跡である黒体軌跡を記憶することを特徴とする請求項１記載の光源色算出装置。
3. 水の分光特性情報を取得する分光特性取得手段と、
   水面の光源色を取得する手段と、
   前記水面の光源色と前記水の分光特性情報に基づいて、水中において所定の色空間における色温度に応じた物体の色変化の軌跡を示す水中用光源色軌跡を算出する水中用光源色軌跡算出手段と、
   水中で撮影された画像から色情報を取得する色情報取得手段と、
   前記水中用光源色軌跡及び前記色情報に基づいて光源色を算出する光源色算出手段と、
   を備えることを特徴とする光源色算出装置。
4. 前記画像の撮影場所の情報を入力する入力手段を更に備え、
   前記分光特性取得手段は、外部記録媒体又はネットワークを介して、前記撮影場所の水の分光特性情報を取得することを特徴とする請求項３記載の光源色算出装置。
5. 画像を撮影する撮影手段と、
   前記撮影手段により撮影された画像から光源色を算出する、前記請求項１から４のいずれか１項記載の光源色算出装置と、
   前記光源色算出装置により算出された光源色に基づいて、前記撮影された画像にホワイトバランス調整を施すホワイトバランス調整手段と、
   を備えることを特徴とする撮影装置。
6. 所定の色空間における色温度に応じた物体の色変化の軌跡である光源色軌跡を少なくとも２つ記憶する光源色軌跡記憶工程と、
   撮像素子を介して入力された画像から色情報を取得する色情報取得工程と、
   前記画像の撮影状況に応じて、前記光源色軌跡記憶工程において記憶された光源色軌跡の中から、光源色の算出に用いる光源色軌跡を選択する光源色軌跡選択工程と、
   前記光源色軌跡選択工程において選択された光源色軌跡及び前記色情報に基づいて、前記画像の撮影状況下における光源色を算出する光源色算出工程と、
   を備えることを特徴とする光源色算出方法。
7. 水の分光特性情報を取得する分光特性取得工程と、
   水面の光源色を取得する工程と、
   前記水面の光源色と前記水の分光特性情報に基づいて、水中において所定の色空間における色温度に応じた物体の色変化の軌跡を示す水中用光源色軌跡を算出する水中用光源色軌跡算出工程と、
   水中で撮影された画像から色情報を取得する色情報取得工程と、
   前記水中用光源色軌跡及び前記色情報に基づいて光源色を算出する光源色算出工程と、
   を備えることを特徴とする光源色算出方法。
8. 前記画像の撮影場所の情報を入力する入力工程を更に備え、
   前記分光特性取得工程は、外部記録媒体又はネットワークを介して、前記撮影場所の水の分光特性情報を取得する工程を更に備えることを特徴とする請求項７記載の光源色算出方法。

Images