JP5943682B2 - 撮像装置、その制御方法及びプログラム - Google Patents

Description

本発明は、画像データに対するホワイトバランス制御技術に関するものである。

一般に、デジタルカメラやデジタルビデオカメラ等の、撮像素子を用いた撮像装置においては、撮像によって得られた画像の色調を調整するホワイトバランス制御機能を備えている。ホワイトバランス制御には、マニュアルホワイトバランス制御とオートホワイトバランス制御とがある。マニュアルホワイトバランス制御は、予め白色被写体を撮像してホワイトバランス係数を算出しておき、算出したホワイトバランス係数を画面全体に適用する制御である。一方、オートホワイトバランス制御は、撮像した画像データから白色と思われる部分を自動検出し、画面全体の各色成分の平均値からホワイトバランス係数を算出し、算出したホワイトバランス係数を画面全体に適用する制御である。

ここで、従来のオートホワイトバランス制御について簡単に説明する。従来のオートホワイトバランス制御は、撮像された画像データのブロック毎に色評価値が求められ、色評価値が白検出領域に含まれる場合、そのブロックが白であると判定される。そして、白と判定されたブロックの画素の積分値が求められることにより、ホワイトバランス係数が算出される。

しかしながら、撮像された画像データに白が存在しない場合、色評価値が白検出範囲に含まれるブロックの画素の積分値がゼロに近くなるため、正しいホワイトバランス係数を算出することができない。さらに、ズーム撮影時は、ワイド撮影時に比べて白が存在する確率が低く、環境光源の色温度を特定することは困難である。例えば、人のアップをズームにより撮影した場合、画面に対して白の割合が減少する。

また、人のアップをズームにより撮影した場合は、以下のような問題も生じる。例えば、蛍光灯のような光源において、人の肌色は白検出範囲における低色温度側に分布する。つまり、画面に白が少なく且つ人肌がアップのシーンにおいて、肌色を低色温度光源下の白色と誤判別することにより、人の肌を青白くしてしまい、撮影者の意図しない画像となる可能性がある。

これに対し、例えば特許文献１には、ズーム倍率に応じて制御範囲をコントロールする技術が開示されている。特許文献１に開示される技術においては、ズーム倍率が低いときは制御範囲を広くとり、ズーム倍率が高いときは制御範囲を狭くしている。これにより、撮影された画像データにおける有彩色の占有面積が大きくなっても、有彩色を白っぽくしてしまう褪色現象を抑えることができる。

特許第２６４０１６８号公報

しかしながら、特許文献１に開示される技術では、環境光源に追従できない場合がある。例えば、ズーム倍率変更後に光源の切り替わりが発生した場合、制御範囲を狭くしてしまうことで環境光源に追従できない場合がある。また、ズーム倍率変更前のシーンにおいて有彩色の占有面積が大きい場合も、ズーム倍率変更前後で環境光源に追従できない場合がある。

そこで、本発明の目的は、ズーム倍率が変更されて撮影された場合であっても、適切なホワイトバランス制御を行うことにある。

本発明の撮像装置は、撮像手段と、前記撮像手段により撮像された画像データに基づいて、第１のホワイトバランス補正値を算出する第１の算出手段と、前記撮像手段による撮像処理時のズーム倍率を変更する変更手段と、前記変更手段によるズーム倍率変更中において前記第１の算出手段により算出される第１のホワイトバランス補正値を所定の間隔で監視する監視手段と、前記監視手段により監視された第１のホワイトバランス補正値の変化に基づいて、前記変更手段によるズーム倍率変更前の第１のホワイトバランス補正値の信頼度を判定し、判定結果に応じて、第２のホワイトバランス補正値を算出する第２の算出手段と、を有することを特徴とする。

本発明によれば、ズーム倍率が変更されて撮影された場合であっても、適切なホワイトバランス補正を行うことが可能となる。

本発明の実施形態に係る撮像装置の構成を示す図である。 ＷＢ制御部における第１のＷＢ補正値の算出処理を示すフローチャートである。 白検出の際に使用されるグラフを示す図である。 ＷＢ制御部における第２のＷＢ補正値の算出処理を示すフローチャートである。 ズーミング処理を行った場合を模式的に示す図である。 ズーム倍率と色温度との関係を示す図である。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

図１は、本発明の実施形態に係る撮像装置の構成を示す図である。図１において、１０１は、ＣＣＤやＣＭＯＳ等から構成される固体撮像素子であり、その表面は例えばベイヤー配列のようなＲＧＢカラーフィルタにより覆われ、カラー撮影が可能な構成となっている。被写体像が固体撮像素子１０１上に結像されると、固体撮像素子１０１は、画像データ（画像信号）を生成し、生成された画像データはメモリ１０２に記憶される。

制御部１１４は、画像全体が明るくなるようなシャッタ速度及び絞り値を計算するとともに、合焦領域内にある被写体に合焦するようにフォーカスレンズの駆動量を計算する。そして、制御部１１４により計算された露出値（シャッタ速度、絞り値）及びフォーカスレンズの駆動量は撮像制御回路１１３に出力され、各値に基づいてそれぞれ制御される。ホワイトバランス（ＷＢ）制御部１０３は、メモリ１０２に記憶された画像データに基づいてＷＢ補正値を算出し、算出したＷＢ補正値を用いて、メモリ１０２に記憶された画像データに対してＷＢ補正を行う。なお、このＷＢ制御部１０３によるＷＢ補正値の算出方法の詳細については後述する。

色変換マトリックス（ＭＴＸ）回路１０４は、ＷＢ制御部１０３によりＷＢ補正された画像データが最適な色で再現されるように色ゲインをかけて色差信号Ｒ−Ｙ、Ｂ−Ｙに変換する。ローパスフィルタ（ＬＰＦ）回路１０５は、色差信号Ｒ−Ｙ、Ｂ−Ｙの帯域を制限する。ＣＳＵＰ（Chroma Supress）回路１０６は、ＬＰＦ回路１０５で帯域制限された画像データのうち、飽和部分の偽色信号を抑圧する。一方、ＷＢ制御部１０３によりＷＢ補正された画像データは、輝度信号生成回路１１１にも出力される。輝度信号生成回路１１１は、入力された画像データから輝度信号Ｙを生成する。エッジ強調回路１１２は、生成された輝度信号Ｙに対してエッジ強調処理を施す。

ＲＧＢ変換回路１０７は、ＣＳＵＰ回路１０６から出力される色差信号Ｒ−Ｙ、Ｂ−Ｙとエッジ強調回路１１２から出力される輝度信号ＹとをＲＧＢ信号に変換する。ガンマ（γ）補正回路１０８は、変換されたＲＧＢ信号に対して階調補正を施す。色輝度変換回路１０９は、階調補正が施されたＲＧＢ信号をＹＵＶ信号に変換する。ＪＰＥＧ圧縮回路１１０は、色輝度変換回路１０９から出力されるＹＵＶ信号をＪＰＥＧ方式等により圧縮し、外部記録媒体又は内部記録媒体に画像データとして記録させる。

図２は、ＷＢ制御部１０３における第１のＷＢ補正値（第１のホワイトバランス補正値）の算出処理を示すフローチャートである。以下、図２を参照しながら、ＷＢ制御部１０３における第１のＷＢ補正値の算出処理について詳細に説明する。なお、図２に示す処理及び後述する図４に示す処理は、制御部１１４がＲＯＭ等から必要なデータ及びプログラムを読み出して実行し、ＷＢ制御部１０３を制御することにより実現する処理である。

ステップＳ２０１において、ＷＢ制御部１０３は、メモリ１０２に記憶された画像データを読み出し、当該画像データを任意のｍ個のブロックに分割する。ステップＳ２０２において、ＷＢ制御部１０３は、ブロック（１〜ｍ）毎に、画素値を各色に加算平均して色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を算出する。そして、ＷＢ制御部１０３は、次の式を用いて、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）を算出する。
Ｃｘ［ｉ］＝（Ｒ［ｉ］−Ｂ［ｉ］）／Ｙ［ｉ］×１０２４
Ｃｙ［ｉ］＝（Ｒ［ｉ］＋Ｂ［ｉ］−２Ｇ［ｉ］）／Ｙ［ｉ］×１０２４
但し、Ｙ［ｉ］＝（Ｒ［ｉ］＋２Ｇ［ｉ］＋Ｂ［ｉ］）／４

ＷＢ制御部１０３は、図３に示すような座標軸を持つグラフを用いて白検出を行う。図３において、ｘ座標（Ｃｘ）の負方向が高色温度被写体の白を撮影したときの色評価値を表し、正方向が低色温度被写体の白を撮影したときの色評価値を表す。また、ｙ座標（Ｃｙ）は光源の緑成分の度合いを意味しており、負方向になるにつれＧｒｅｅｎ成分が大きくなり、つまり蛍光灯であることを示している。

ステップＳ２０３において、ＷＢ制御部１０３は、ステップＳ２０２で算出したｉ番目のブロックの色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が、予め設定された白検出範囲３０１に含まれるか否かを判定する。白検出範囲３０１は、予め異なる光源下で白を撮影して算出した色評価値を黒体放射軸に沿ってプロットしたものである。なお、この白検出範囲３０１は撮影モードによって異なるように設定できるものとする。例えば、ストロボが発光された場合、既知の光源として、白検出範囲３０２のように範囲を限定して設定できるものとする。色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲３０１に含まれる場合、処理はステップＳ２０４に移行する。一方、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲３０１に含まれない場合、処理はステップＳ２０４をスキップして、ステップＳ２０５に移行する。

ステップＳ２０４において、ＷＢ制御部１０３は、ｉ番目のブロックが白色であると判定して、当該ブロックの色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を積分する。一方、ステップＳ２０４がスキップされた場合、当該ブロックの色平均値は積分（加算）されないまま、処理はステップＳ２０５に移行する。なお、ステップＳ２０３及びＳ２０４の処理は、次の式によって表すことができる。

ここで、上記式において、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲３０１に含まれる場合、Ｓｗ［ｉ］は１に設定され、色評価値（Ｃｘ［ｉ］，Ｃｙ［ｉ］）が白検出範囲３０１に含まれない場合、Ｓｗ［ｉ］は０に設定される。これにより、ステップＳ２０３及びＳ２０４において、色平均値（Ｒ［ｉ］，Ｇ［ｉ］，Ｂ［ｉ］）を積分するか、積分しないかを実質的に行っている。

ステップＳ２０５において、ＷＢ制御部１０３は、全てのブロックについてステップＳ２０２〜Ｓ２０４の処理を実行したか否かを判定する。全てのブロックについて処理が実行された場合、処理はステップＳ２０６に移行する。一方、全てのブロックについて処理が実行されていない場合、処理はステップＳ２０２に戻る。

ステップＳ２０６において、ＷＢ制御部１０３は、得られた色評価値の積分値（ＳｕｍＲ１，ＳｕｍＧ１，ＳｕｍＢ１）から、次の式を用いて、第１のＷＢ補正値（ＷＢＣｏｌ＿Ｒ１，ＷＢＣｏｌ＿Ｇ１，ＷＢＣｏｌ＿Ｂ１）を算出する。なお、ステップＳ２０６は、第１の算出手段の処理例である。
ＷＢＣｏｌ＿Ｒ１＝ＳｕｍＹ１×１０２４／ＳｕｍＲ１
ＷＢＣｏｌ＿Ｇ１＝ＳｕｍＹ１×１０２４／ＳｕｍＧ１
ＷＢＣｏｌ＿Ｂ１＝ＳｕｍＹ１×１０２４／ＳｕｍＢ１
但し、ＳｕｍＹ１＝（ＳｕｍＲ１＋２×ＳｕｍＧ１＋ＳｕｍＢ１）／４

図４は、ＷＢ制御部１０３における第２のＷＢ補正値（第２のホワイトバランス補正値）の算出処理を示すフローチャートである。以下、図４を参照しながら、ＷＢ制御部１０３における第２のＷＢ補正値の算出処理について詳細に説明する。

ステップＳ４０１において、ＷＢ制御部１０３は、ズーム倍率変更前のＷＢ補正値を記憶しておく。例えば、ＷＢ制御部１０３は、過去に算出されたＥＶＦ（Electronic View Finder）駆動時のＷＢ補正値を記憶しておく。なお、ここで記憶されるＷＢ補正値は、図２に示した第１のＷＢ補正値の算出処理によって得られるものである。

ステップＳ４０２において、ＷＢ制御部１０３は、ズーム倍率が変更されて撮影されたか否かを判定する。ズーム倍率が変更されて撮影された場合、処理はステップＳ４０３に移行する。一方、ズーム倍率が変更されずに撮影された場合、処理はステップＳ４０７に移行する。ステップＳ４０７において、ＷＢ制御部１０３は、ステップＳ４０１で記憶されたＷＢ補正値（第１のＷＢ補正値）を用いて通常のＷＢ制御を行う。

ステップＳ４０３において、ＷＢ制御部１０３は、ズーム倍率変更中においてＷＢ補正値を所定の間隔で算出するとともに、監視する。なお、所定の間隔で監視された各ＷＢ補正値は記憶される。本実施形態においては、所定のズームポジションに応じてＷＢ補正値を監視するものとする。例えば、３５ｍｍ換算で２８ｍｍ−５６０ｍｍ画角の場合、２８ｍｍ、５６ｍｍ、８４ｍｍ、・・・、５６０ｍｍと所定のズームポジションに応じてＷＢ補正値を監視することとする。なお、ＷＢ補正値の監視間隔は、ズーム速度に応じて可変にしてもよいし、所定の時間間隔でＷＢ補正値を監視してもよい。

ズーム倍率が変更された後、ステップＳ４０４において、ＷＢ制御部１０３は、ＷＢ制御範囲（ＷＢ補正値の範囲）を設定する。ここでのＷＢ制御範囲の設定は、ズーム倍率変更前のＷＢ補正値に基づいて行われる。例えば、ズーム倍率変更前のＷＢ補正値を中心に所定の幅を持った範囲をＷＢ制御範囲として設定してもよい。また、ＷＢ制御範囲の設定は、ズーム倍率変更前又はズーム倍率変更後のズーム倍率によって可変にしてもよい。例えば、ズーム倍率が高いときは有彩色の占有面積が大きくなり、有彩色が白と判断される可能性が高くなるため、ＷＢ制御範囲が狭く設定される。

ステップＳ４０５において、ＷＢ制御部１０３は、ズーム倍率変更中又はズーム倍率変更後にシーンが変化したか否かを判定する。ここでは、シーン変化の判断要素として、ジャイロセンサから得られる情報や、環境光源の明るさ（測光値）情報の変動を監視することにより、シーンの変化を検出するものとする。即ち、ジャイロセンサから得られる情報を用いた場合、パンニングして撮影されたか否かを検出することができ、環境光源の明るさ（測光値）情報を用いた場合、環境光源の切り替わりを検出することができる。シーンが変化していない場合、処理はステップＳ４０６に移行する。一方、シーンが変化した場合、処理は上述したステップＳ４０７に移行する。

ステップＳ４０６において、ＷＢ制御部１０３は、ステップＳ４０３にて設定したＷＢ制御範囲とステップＳ４０４で監視した監視結果とに基づいて、第２のＷＢ補正値を算出する。なお、ステップＳ４０６は、第２の算出手段の処理例である。

以下、図５及び図６を参照しながら、ステップＳ４０６における第２のＷＢ補正値の算出処理について具体的に説明する。なお、図５及び図６においては、zoom(0)→zoom(1)→zoom(2)→zoom(3)→zoom(4)のようにズームされたことを表している。

図５（ａ）は、主被写体５０１の顔領域に対してズーミング処理を行った場合を模式的に示している。図５（ａ）に示すように、主被写体５０１の顔領域に対してズーミング処理を行った場合、顔色が低色温度光源であると誤検出される割合が徐々に増加していくため、検出される色温度が低下していく。つまり、ここで検出される色温度の状態遷移は、図６（ａ）に示すようになる。図６（ａ）に示すように、ズーム倍率変更前に検出された色温度（ＷＢ補正値）から徐々に減少する傾向のような状態遷移の場合、ズーム倍率変更前のＷＢ補正値がより信頼度が高いと判定される。従って、第２のＷＢ補正値として、ズーム倍率変更前のＷＢ補正値が使用される。また、図６（ａ）に示す例とは反対に、ズーム倍率変更前の検出色温度（ＷＢ補正値）から徐々に増加する傾向のような状態遷移の場合であっても、ズーム倍率変更前のＷＢ補正値がより信頼度が高いと判定される。従って、この場合、第２のＷＢ補正値としてズーム倍率変更前のＷＢ補正値が使用される。そのほか、ズーム倍率変更前のＷＢ補正値がより信頼度が高いと判定された場合、ズーム倍率変更中において算出されたＷＢ補正値のうち、ＷＢ制御範囲の上限値或いは下限値又はその近傍の値に該当するＷＢ補正値を第２のＷＢ補正値として出力するようにしてもよい。

また、図５（ｂ）に示すように、背景に様々な色の被写体５０２がある場合、ズーム倍率変更前からＷＢ補正値として信頼度が低いことがある。つまり、図６（ｂ）に示すように、状態遷移として、検出された色温度（ＷＢ補正値）がばらついているような場合、ズーム倍率変更前のＷＢ補正値の信頼度が低いと判定され、ＷＢ制御範囲内に含まれるＷＢ補正値を加重加算して第２のＷＢ補正値とする。即ち、ＷＢ制御部１０３は、次の式を用いて、第２のＷＢ補正値を算出する。

ここで、上記式において、ズーム倍率変更時に監視されているＷＢ補正値（Ｃｘ［ｊ］，Ｃｙ［ｊ］）が図６（ｂ）に示すＷＢ制御範囲に含まれる場合、Ｓｗ［ｊ］は１に設定される。一方、ＷＢ補正値（Ｃｘ［ｊ］，Ｃｙ［ｊ］）が図６（ｂ）に示すＷＢ制御範囲に含まれない場合、Ｓｗ［ｊ］は０に設定される。これにより、ＷＢ補正値の加算を行うか、行わないかの処理を行っている。

以上により、ズーム倍率を変更して撮影された場合においても、適切なホワイトバランス補正値を得ることができ、ユーザにとって好ましい画像を提供することができる。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０１：固定撮像素子、１０２：メモリ、１０３：ＷＢ制御部、１０４：色変換マトリックス回路、１０５：ＬＰＦ回路、１０６：ＣＳＵＰ回路、１０７：ＲＧＢ変換回路、１０８：γ補正回路、１０９：色輝度変換回路、１１０：ＪＰＥＧ圧縮回路、１１１：輝度信号生成回路、１１２：エッジ強調回路、１１３：撮像制御回路、１１４：制御部

Claims (10)

1. 撮像手段と、
   前記撮像手段により撮像された画像データに基づいて、第１のホワイトバランス補正値を算出する第１の算出手段と、
   前記撮像手段による撮像処理時のズーム倍率を変更する変更手段と、
   前記変更手段によるズーム倍率変更中において前記第１の算出手段により算出される第１のホワイトバランス補正値を所定の間隔で監視する監視手段と、
   前記監視手段により監視された第１のホワイトバランス補正値の変化に基づいて、前記変更手段によるズーム倍率変更前の第１のホワイトバランス補正値の信頼度を判定し、判定結果に応じて、第２のホワイトバランス補正値を算出する第２の算出手段と、を有することを特徴とする撮像装置。
2. 前記変更手段によるズーム倍率変更前の第１のホワイトバランス補正値に基づいて、ホワイトバランス補正値の範囲を設定する設定手段を更に有し、
   前記第２の算出手段は、前記監視手段により監視された第１のホワイトバランス補正値と、前記設定手段により設定された前記ホワイトバランス補正値の範囲とに基づいて、第２のホワイトバランス補正値を算出することを特徴とする請求項１に記載の撮像装置。
3. 前記設定手段は、前記変更手段によるズーム倍率変更前又はズーム倍率変更後のズーム倍率に応じて、前記ホワイトバランス補正値の範囲を設定することを特徴とする請求項２に記載の撮像装置。
4. 前記第２の算出手段は、前記信頼度が高いと判定された場合は、前記変更手段によるズーム倍率変更前において前記第１の算出手段により算出された第１のホワイトバランス補正値を、前記第２のホワイトバランス補正値として算出することを特徴とする請求項１から３の何れか１項に記載の撮像装置。
5. 前記第２の算出手段は、前記信頼度が高いと判定された場合は、前記変更手段によるズーム倍率変更中において前記第１の算出手段により算出された第１のホワイトバランス補正値のうち、前記ホワイトバランス補正値の範囲の上限値或いは下限値又はその近傍の値に該当する第１のホワイトバランス補正値を用いて、前記第２のホワイトバランス補正値として算出することを特徴とする請求項２又は３に記載の撮像装置。
6. 前記第２の算出手段は、前記信頼度が低いと判定された場合は、前記変更手段によるズーム倍率変更中において前記第１の算出手段により算出された第１のホワイトバランス補正値のうち、前記ホワイトバランス補正値の範囲内に属する第１のホワイトバランス補正値に基づいて、前記第２のホワイトバランス補正値を算出することを特徴とする請求項２又は３に記載の撮像装置。
7. 前記監視手段は、前記変更手段によるズーム倍率変更中において前記第１の算出手段により算出される第１のホワイトバランス補正値を、所定のズームポジションに応じて監視することを特徴とする請求項１から６の何れか１項に記載の撮像装置。
8. 前記監視手段は、前記変更手段によるズーム倍率変更中において前記第１の算出手段により算出される第１のホワイトバランス補正値を、所定の時間間隔で監視することを特徴とする請求項１から６の何れか１項に記載の撮像装置。
9. 撮像手段を有する撮像装置の制御方法であって、
   前記撮像手段により撮像された画像データに基づいて、第１のホワイトバランス補正値を算出する第１の算出ステップと、
   前記撮像手段による撮像処理時のズーム倍率を変更する変更ステップと、
   前記変更ステップによるズーム倍率変更中において前記第１の算出ステップにより算出される第１のホワイトバランス補正値を所定の間隔で監視する監視ステップと、
   前記監視ステップにより監視された第１のホワイトバランス補正値の変化に基づいて、前記変更ステップによるズーム倍率変更前の第１のホワイトバランス補正値の信頼度を判定し、判定結果に応じて、第２のホワイトバランス補正値を算出する第２の算出ステップと、を有することを特徴とする撮像装置の制御方法。
10. 撮像手段を有する撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
    前記撮像手段により撮像された画像データに基づいて、第１のホワイトバランス補正値を算出する第１の算出ステップと、
    前記撮像手段による撮像処理時のズーム倍率を変更する変更ステップと、
    前記変更ステップによるズーム倍率変更中において前記第１の算出ステップにより算出される第１のホワイトバランス補正値を所定の間隔で監視する監視ステップと、
    前記監視ステップにより監視された第１のホワイトバランス補正値の変化に基づいて、前記変更ステップによるズーム倍率変更前の第１のホワイトバランス補正値の信頼度を判定し、判定結果に応じて、第２のホワイトバランス補正値を算出する第２の算出ステップと、をコンピュータに実行させるためのプログラム。

Images