JP2012134678A

JP2012134678A - 撮像装置及び撮像方法

Info

Publication number: JP2012134678A
Application number: JP2010283826A
Authority: JP
Inventors: Takahiko Yoshida; 崇彦吉田
Original assignee: Samsung Yokohama Research Institute
Current assignee: Samsung R&D Institute Japan Co Ltd
Priority date: 2010-12-20
Filing date: 2010-12-20
Publication date: 2012-07-12

Abstract

【課題】ホワイトバランスゲインが滑らかに変化するような被写体や輝度値が急激に変化する被写体であっても正確にホワイトバランスゲインを算出すること。
【解決手段】本発明に係る撮像装置は、フラッシュ非発光時の第１の撮像画像と、フラッシュ発光時の第２の撮像画像とが同一サイズとなるように第２の撮像画像を縮小して第３の撮像画像とする画像縮小部と、第１及び第２の撮像画像の露光制御値に基づき露光差分値を算出する露光差分値算出部と、第１の撮像画像及び露光差分値を乗算した第３の撮像画像の信号値に基づき第１のフラッシュ反射量を算出する第１フラッシュ反射量算出部と、カラーバランス又は輝度値に基づく線形補間処理の何れか一方を選択し、選択した線形補間処理により第２のフラッシュ反射量を算出するフラッシュ反射量補間部と、第２のフラッシュ反射量に基づきホワイトバランスゲインを算出するホワイトバランスゲイン算出部とを備える。
【選択図】図１

Description

本発明は、撮像装置及び撮像方法に関する。

デジタルスチルカメラ等のデジタル撮像装置（電子的撮像装置）において、様々な色温度の光源のもとであっても白色を正確に映し出すようにするために、ホワイトバランス補正処理と呼ばれる補正処理が実施される。従来のホワイトバランス補正処理では、画像を構成する全ての画素に対して、同一のホワイトバランスゲインを一律に適用することが行われる。

例えば定常光（環境光）が暗い状況下では、露光不足を解消するためにフラッシュを発光させて撮影を行う。かかる際において、定常光とフラッシュ光とが混合されている状況下でのホワイトバランスゲインは、フラッシュの発光量等に応じて算出される。

このような状況下において、デジタルスチルカメラに近い距離にある被写体は、適切なホワイトバランスへと補正することが可能であるが、デジタルスチルカメラから遠い距離にある被写体は、フラッシュ光よりも定常光の依存度が高くなる。そのため、定常光が蛍光灯などの場合、定常光とフラッシュ光との色温度差が大きくなる。その結果、白い被写体が黄色く映し出されるといった、不適切なホワイトバランス補正処理が実施されてしまうという問題が発生することとなる。

かかる問題を解決して画像全体を適切なホワイトバランスとするために、フラッシュ発光画像とフラッシュ非発光画像とを比較することでフラッシュ反射量を算出し、算出したフラッシュ反射量から最適なホワイトバランスゲインを画素単位で算出することが行われている。

例えば、以下の特許文献１では、フラッシュ発光画像とフラッシュ非発光画像の画像サイズが異なる場合に、フラッシュ発光画像及びフラッシュ非発光画像の輝度値を比較し、補間対象画素の輝度値に近い画素の色温度条件に基づいてホワイトバランスゲインを算出する技術が開示されている。

特開２００２−３６９２１１号公報

しかしながら、上記特許文献１に開示されている方法では、ホワイトバランスゲインが滑らかに変化するような被写体や輝度値が急激に変化する被写体では画素間で色の変化が大きくなり、不自然な画像となってしまうという問題があった。

そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ホワイトバランスゲインが滑らかに変化するような被写体や輝度値が急激に変化する被写体であっても、正確にホワイトバランスゲインを算出することが可能な、撮像装置及び撮像方法を提供することにある。

上記課題を解決するために、本発明のある観点によれば、フラッシュ非発光時に撮像された第１の撮像画像と、当該第１の撮像画像よりも画素数が多く、フラッシュ発光時に撮像された第２の撮像画像と、を生成する撮像部と、前記第１の撮像画像と前記第２の撮像画像とが同一の画像サイズとなるように前記第２の撮像画像を縮小して、第３の撮像画像を生成する画像縮小部と、前記第１の撮像画像の露光制御値及び前記第２の撮像画像の露光制御値に基づいて、第１の撮像画像と第２の撮像画像との間の露光差分値を算出する露光差分値算出部と、前記第１の撮像画像の信号値と、前記露光差分値を乗算した前記第３の撮像画像の信号値とに基づいて、画素単位で第１のフラッシュ反射量を算出する第１フラッシュ反射量算出部と、色信号値から算出したカラーバランスに基づく線形補間処理、又は、輝度値に基づく線形補間処理の何れか一方を選択するとともに、選択した前記線形補間処理により前記第１のフラッシュ反射量を補間拡大し、第２のフラッシュ反射量を算出するフラッシュ反射量補間部と、算出された前記第２のフラッシュ反射量に基づいて、前記第２の撮像画像に対してホワイトバランス補正処理を実施する際に用いられるホワイトバランスゲインを画素単位で算出するホワイトバランスゲイン算出部と、を備える撮像装置が提供される。

かかる構成によれば、輝度値だけでなくカラーバランスを使用することによりフラッシュ反射量を適切に補間することが可能となる。その結果、ホワイトバランスゲインが滑らかに変化するような被写体や輝度値が急激に変化する被写体であっても、正確にホワイトバランスゲインを算出することができる。

前記撮像装置は、算出された前記ホワイトバランスゲインを前記第２の撮像画像の全画素に対して適用し、前記第２の撮像画像のホワイトバランスを補正するホワイトバランス制御部を更に備えることが好ましい。これにより、適切に算出されたホワイトバランスゲインを用いて、ホワイトバランス補正処理を正確に実施することが可能となる。

前記フラッシュ反射量補間部は、前記第２の撮像画像を構成する各画素の輝度値の差分を算出する輝度差分算出部と、前記第２の撮像画像を構成する各画素の色信号値の差分を算出するカラーバランス算出部と、前記輝度差分算出部により算出された前記輝度値の差分と、前記カラーバランス算出部により算出された前記色信号値の差分とに基づいて、各画素の信号値の類似度合いを所定の閾値に基づいて判断し、前記第１のフラッシュ反射量の補間拡大に利用する信号を選択する補間信号選択部と、前記補間信号選択部により選択された前記補間拡大に利用する信号に基づいて前記第１のフラッシュ反射量を線形補間により補間拡大して、第２のフラッシュ反射量を算出する第２フラッシュ反射量算出部と、を更に備えることが好ましい。これにより、ホワイトバランスゲインを算出する際に利用される第２のフラッシュ反射量をより適切に算出することが可能となる。

前記補間信号選択部は、前記輝度値の差分が第１の閾値以上である場合には、前記補間拡大に利用する信号として前記輝度値を選択し、前記輝度値の差分が前記第１の閾値未満である場合には、前記補間拡大に利用する信号として前記色信号値を選択することが好ましい。これにより、輝度値が類似した値となっている場合であっても、色信号値を利用することで正確にホワイトバランスゲインを算出することができる。

前記補間信号選択部は、前記輝度値の差分が前記第１の閾値未満であり、かつ、前記カラーバランス算出部により算出されたＲ信号値の差分が第２の閾値以上である場合には、前記補間拡大に利用する信号として前記Ｒ信号値を選択し、前記輝度値の差分が前記第１の閾値未満であり、かつ、前記カラーバランス算出部により算出されたＢ信号値の差分が前記第２の閾値以上である場合には、前記補間拡大に利用する信号として前記Ｂ信号値を選択し、前記輝度値の差分が前記第１の閾値未満であり、かつ、前記カラーバランス算出部により算出された前記Ｒ信号値及び前記Ｂ信号値の差分がそれぞれ前記第２の閾値以上である場合には、前記補間拡大に利用する信号として前記Ｒ信号値及び前記Ｂ信号値の双方を選択し、前記輝度値の差分が前記第１の閾値未満であり、かつ、前記カラーバランス算出部により算出された前記Ｒ信号値及び前記Ｂ信号値の差分がそれぞれ前記第２の閾値未満である場合には、前記補間拡大に利用する信号として前記輝度値を選択することが好ましい。これにより、輝度値が類似した値となっている場合であっても、色信号値を利用することで正確にホワイトバランスゲインを算出することができる。

前記第２フラッシュ反射量算出部は、前記補間信号選択部により前記Ｒ信号値及び前記Ｂ信号値の双方が選択された場合に、それぞれの信号値に基づく補間拡大結果の平均値を算出し、当該平均値を前記第２のフラッシュ反射量とすることが好ましい。これにより、より正確にホワイトバランスゲインを算出することが可能となる。

前記第１のフラッシュ反射量及び前記第２のフラッシュ反射量は、ベイヤ画像におけるＲ，Ｇ，Ｇ，Ｂの４画素を一つの画素とみなして算出されてもよく、ベイヤ色補間処理により周辺画素を補間して一つの画素（Ｒ，Ｇ，Ｂ）として算出されてもよい。

また、上記課題を解決するために、本発明の別の観点によれば、フラッシュ非発光時に撮像された第１の撮像画像と、当該第１の撮像画像よりも画素数が多く、フラッシュ発光時に撮像された第２の撮像画像と、を生成する撮像ステップと、前記第１の撮像画像と前記第２の撮像画像とが同一の画像サイズとなるように前記第２の撮像画像を縮小して、第３の撮像画像を生成する画像縮小ステップと、前記第１の撮像画像の露光制御値及び前記第２の撮像画像の露光制御値に基づいて、第１の撮像画像と第２の撮像画像との間の露光差分値を算出する露光差分値算出ステップと、前記第１の撮像画像の信号値と、前記露光差分値を乗算した前記第３の撮像画像の信号値とに基づいて、画素単位で第１のフラッシュ反射量を算出する第１フラッシュ反射量算出ステップと、色信号値から算出したカラーバランスに基づく線形補間処理、又は、輝度値に基づく線形補間処理の何れか一方を選択するとともに、選択した前記線形補間処理により前記第１のフラッシュ反射量を補間拡大し、第２のフラッシュ反射量を算出するフラッシュ反射量補間ステップと、算出された前記第２のフラッシュ反射量に基づいて、前記第２の撮像画像に対してホワイトバランス補正処理を実施する際に用いられるホワイトバランスゲインを画素単位で算出するホワイトバランスゲイン算出ステップと、
を含む撮像方法が提供される。

以上説明したように本発明によれば、輝度値だけでなくカラーバランスを使用することによりフラッシュ反射量を適切に補間することが可能となり、ホワイトバランスゲインが滑らかに変化するような被写体や輝度値が急激に変化する被写体であっても、正確にホワイトバランスゲインを算出することができる。

本発明の第１の実施形態に係る撮像装置の構成を示したブロック図である。フラッシュ非発光撮影により撮像される画像を示した説明図である。フラッシュ発光撮影により撮像される画像を示した説明図である。ベイヤ型配列を有する撮像素子を示した説明図である。撮像画像縮小処理の一例を示した説明図である。同実施形態に係る補間参照画素について説明するための説明図である。同実施形態に係る補間対象画素について説明するための説明図である。同実施形態に係る補間参照画素について説明するための説明図である。同実施形態に係る補間信号選択処理について説明するための説明図である。同実施形態に係る補間信号選択処理について説明するための説明図である。同実施形態に係るフラッシュ反射量補間拡大処理について説明するための説明図である。同実施形態に係るフラッシュ反射量補間拡大処理について説明するための説明図である。同実施形態に係るフラッシュ反射量補間拡大処理について説明するための説明図である。同実施形態に係るフラッシュ反射量補間拡大処理について説明するための説明図である。同実施形態に係る撮像方法の流れの一例を示した流れ図である。同実施形態に係る撮像方法の流れの一例を示した流れ図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（第１の実施形態）
＜撮像装置の画像処理パイプラインについて＞
以下の実施形態では、撮像装置の一例としてデジタルスチルカメラを例にとって、本実施形態に係る撮像装置で実施される画像処理パイプラインについて、図１を参照しながら簡単に説明する。図１は、本実施形態に係る撮像装置の画像処理パイプラインの構成を示したブロック図である。

本実施形態に係る撮像装置１０は、図１に示したように、撮像部１０１、信号処理部１０２、前処理部１０３、画像メモリ１０４、適正ＡＥ算出部１０５、マルチＡＷＢ処理部１０６、後処理部１０７、ＲＧＢ−ＹＣＣ変換部１０８、データ圧縮部１０９、メモリカードインタフェース１１０及びメモリカード１１１を主に備える。

撮像部１０１は、図１に示したように、被写体からの光を集光するレンズ１２１と、絞り１２２と、シャッター１２３と、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子１２４と、露光制御部１２５と、フラッシュ１２６と、を主に備える。

レンズ１２１を透過した光は、絞り１２２及びシャッター１２３の動作タイミングに合わせて撮像素子１２４に結像し、撮像素子１２４の各画素から、結像した光に関する出力信号が出力される。また、露光制御部１２５は、絞り１２２、シャッター１２３、撮像素子１２４及びフラッシュ１２６の動作タイミングを制御しており、フラッシュ１２６を発光させながら被写体を撮像したり、フラッシュ１２６を発光させないで被写体を撮像したりする制御を行っている。

信号処理部１０２は、撮像部１０１の撮像素子１２４から出力された出力信号に対して信号処理を行う処理部である。この信号処理部１０２は、出力信号に対して色分離処理を行う色分離部１３１と、出力信号に対してＡ／Ｄ変換処理を行うＡ／Ｄ変換部１３２と、を主に備える。色分離部１３１とＡ／Ｄ変換部１３２とは、互いに連携しながら、出力信号に対して信号処理を実施する。これらの処理が行われることで、撮像素子１２４から出力された出力信号はＲＧＢ画像信号となる。

前処置部１０３は、信号処理部１０２から出力されたＲＧＢ画像信号に対して、前処理を施す処理部である。この前処理部１０３は、図１に示したように、黒レベル補正部１４１、欠陥画素補正部１４２、シェーディング補正部１４３及びＡＥ評価値算出部１４４を主に備える。信号処理部１０２から出力されたＲＧＢ画像信号は、黒レベル補正部１４１による黒レベル補正処理により黒レベルが一定となるように補正され、欠陥画素補正部１４２により、画素欠陥がＲＧＢ画像信号中に存在する場合に画素欠陥周辺の情報に基づいて情報が補間される。また、信号処理部１０２から出力されたＲＧＢ画像信号は、シェーディング補正部１４３により、画像の周辺等に発生する輝度落ち等に起因する画像の輝度差が補正される。ＡＥ評価値算出部１４４は、これらの補正が行われたＲＧＢ画像信号に基づいて、ＡＥ評価値を算出する。ＡＥ評価値算出部１４４により算出されたＡＥ評価値は、適正ＡＥ算出部１０５に出力される。また、上述の補正が行われたＲＧＢ画像信号は、画像メモリ１０４及び後処理部１０７に出力される。

画像メモリ１０４は、前処理部１０３による各種の前処理が施されたＲＧＢ信号を記憶部する記憶部の一例である。この画像メモリ１０４は、フラッシュ非発光時に撮像された撮像画像を記憶する第１撮像記憶部１５１と、フラッシュ発光時に撮像された撮像画像を記憶する第２撮像記憶部１５２と、を有している。後述するマルチＡＷＢ（オートホワイトバランス）処理部１０６及び後処理部１０７は、かかる画像メモリ１０４が記憶している各撮像画像を利用して、それぞれの処理部における処理を実施することが可能である。

適正ＡＥ算出部１０５は、前処理部１０３のＡＥ評価値算出部１４４から出力されたＡＥ評価値に基づいて、撮像条件に適したＡＥ値を算出する。適正ＡＥ算出部１０５は、算出したＡＥ値を、撮像部１０１の露光制御部１２５及びマルチＡＷＢ処理部１０６に出力する。これにより、露光制御部１２５は、取得したＡＥ値に基づいて絞り１２２、シャッター１２３、撮像素子１２４及びフラッシュ１２６の露光制御を行うことが可能となる。

マルチＡＷＢ処理部１０６は、適正ＡＥ算出部１０５が算出したＡＥ値と、画像メモリ１０４に記憶されているフラッシュ非発光時に撮像された撮像画像及びフラッシュ発光時に撮像された撮像画像と、を利用して、ホワイトバランス補正処理に用いられるホワイトバランスゲインを算出する処理部である。マルチＡＷＢ処理部１０６は、算出したホワイトバランスゲインを、後述する後処理部１０７のホワイトバランス制御部１７６に出力する。

このマルチＡＷＢ処理部１０６は、図１に示したように、画像縮小部１６１、露光差分値算出部１６２、第１フラッシュ反射量算出部１６３、フラッシュ反射量補間部１６４、推定光源色算出部１６９及びホワイトバランスゲイン算出部１７０を有している。また、フラッシュ反射量補間部１６４は、更に、輝度差分算出部１６５、カラーバランス算出部１６６、補間信号選択部１６７及び第２フラッシュ反射量算出部１６８を有している。

マルチＡＷＢ処理部１０６で実施されるホワイトバランスゲインの算出処理については、以下で改めて詳細に説明する。

後処理部１０７は、前処理部１０３により前処理が施されたＲＧＢ画像信号に対して、各種の後処理を実施する処理部である。この後処理部１０７は、ＲＧＢ画像信号に対してデモザイク処理（ベイヤ色補間処理）を実施するデモザイク処理部１７１と、ＲＧＢ画像信号に対してエッジ強調処理を実施するエッジ強調処理部１７２と、ＲＧＢ画像信号に対して色補正処理を実施する色補正処理部１７３と、ＲＧＢ画像信号に対してガンマ補正を実施するガンマ補正処理部１７４と、ＲＧＢ画像信号のノイズリダクション処理（ノイズ低減処理）を実施するノイズリダクション処理部１７５と、ＲＧＢ画像信号に対してホワイトバランス補正処理を実施するホワイトバランス制御部１７６と、を更に備える。ここで、ホワイトバランス制御部１７６には、本実施形態に係るマルチＡＷＢ処理部１０６により算出されたホワイトバランスゲインが入力され、ホワイトバランス制御部１７６は、算出されたホワイトバランスゲインを用いて、ＲＧＢ画像信号に対してホワイトバランス補正処理を実施する。

これらの処理部により各種の後処理を施されたＲＧＢ画像信号は、ＲＧＢ−ＹＣＣ変換部１０８に出力される。ＲＧＢ−ＹＣＣ変換部１０８は、ＲＧＢ画像信号をＹＣＣ画像信号へと変換する処理部である。かかる変換処理により、撮像された画像の色空間がＲＧＢ色空間からＹＣＣ（ＹＣｒＣｂ）色空間へと変換されることとなる。変換後のＹＣＣ画像信号は、データ圧縮部１０９へと出力される。

データ圧縮部１０９は、ＹＣＣ画像信号を、必要に応じてＪＰＥＧ等の各種の圧縮形式で圧縮する処理部である。必要に応じて圧縮されたＹＣＣ画像信号は、メモリカードインタフェース１１０を介してメモリカード１１１に記録される。

以上、図１を参照しながら、本実施形態に係る撮像装置１０の画像処理パイプラインについて、簡単に説明した。

＜ホワイトバランスゲインの算出処理について＞
続いて、図１〜図１３を参照しながら、本実施形態に係るマルチＡＷＢ処理部１０６で実施されるホワイトバランスゲインの算出処理について、詳細に説明する。本実施形態に係るマルチＡＷＢ処理部１０６は、以下で説明するような処理を実施することで、ホワイトバランスゲインが滑らかに変化するような被写体、輝度値が急激に変化する被写体、エッジなどの境界が存在する被写体、輝度値が滑らかに変化しており、輝度値がほぼ同じ値にも関わらず色温度が変化している被写体、といった各種の被写体について、フラッシュ発光時のホワイトバランス補正処理に利用される適切なホワイトバランスゲインを、正確に算出することができる。

まず、図２Ａ、図２Ｂ及び図３を参照しながら、マルチＡＷＢ処理部１０６に入力される撮像画像及び当該撮像画像における画素の取り扱いについて、簡単に説明する。図２Ａは、フラッシュ非発光撮影により撮像される画像を示した説明図であり、図２Ｂは、フラッシュ発光撮影により撮像される画像を示した説明図である。図３は、ベイヤ型配列を有する撮像素子を示した説明図である。

本実施形態に係るマルチＡＷＢ処理部１０６には、入力信号として、第１の撮像画像の一例であるフラッシュ非発光時に撮像された撮像画像（以下、フラッシュ非発光撮像画像とも称する。）と、第２の撮像画像の一例であるフラッシュ発光時に撮像された撮像画像（以下、フラッシュ発光撮像画像とも称する。）と、が入力される。ここで、図２Ａに示したようなフラッシュ非発光撮像画像は、ライブビュー画像のように間引き処理等によって、図２Ｂに示したようなフラッシュ発光撮像画像よりも画像サイズが小さい画像となっている。

また、マルチＡＷＢ処理部１０６は、後述するように、入力された撮像画像の画像信号から推定光源色を算出するが、マルチＡＷＢ処理部１０６は、かかる処理において、フラッシュ非発光撮像画像のＲＧＢ画像信号を、ＲＧＢ別（色別）に全画面分積分し、フラッシュが発光していない定常光のみの場合の推定光源色（Ｒ／Ｇ、Ｂ／Ｇ）を算出する。また、マルチＡＷＢ処理部１０６は、定常光がなくフラッシュ光のみで撮像した場合の推定光源色を既知の値としてＲＯＭ等の各種メモリに保持しており、適宜各種メモリから読みだして処理に利用することができる。

ここで、本実施形態に係るマルチＡＷＢ処理部１０６では、画素単位ごとにホワイトバランスゲインが算出されることとなる。この際、マルチＡＷＢ処理部１０６は、フラッシュ発光撮像画像及びフラッシュ非発光撮像画像において、図３に示したように、Ｒ，Ｇ，Ｇ，Ｂの四つの画素２１を一組としたベイヤユニット２３を１画素とみなしたり、ベイヤ色補間（デモザイク）処理によって、ベイヤ画像におけるＲ，Ｇ，Ｇ，Ｂの四つの画素から各色（Ｒ，Ｇ，Ｂ）一つずつの画素を生成したりする。

以下では、図１及び図４〜図１３を参照しながら、本実施形態に係るマルチＡＷＢ処理部１０６で実施されるホワイトバランスゲインの算出処理について、詳細に説明する。

マルチＡＷＢ処理部１０６にフラッシュ非発光撮像画像（第１の撮像画像）及びフラッシュ発光撮像画像（第２の撮像画像）が入力されると、画像縮小部１６１は、まず、フラッシュ発光撮像画像に対して縮小処理を施して、第三の撮像画像（以下、フラッシュ発光縮小画像とも称する。）を生成する。この縮小処理は、フラッシュ発光縮小画像の画像サイズが、フラッシュ非発光撮像画像の画像サイズと同一となるように行われる。

フラッシュ発光縮小画像の生成に利用される画像縮小処理は、適宜公知の方法を選択することが可能であるが、例えば図４に示したような間引き処理を利用する。図４は、間引き処理を説明するための説明図である。図４では、縮小前の画像（図４の左側の画像）を２分の１に間引く場合について図示している。画像縮小部１６１は、間引き前の画像を縦横２分の１に間引く場合、図４において太線枠内の４つの画素のうち、ある１画素（図４の場合は、４つの画素のうち左上に位置する画素）のみを抜き出して、抜き出した画素を順に配列していく。これにより、図４の右側に示したような、縦横が２分の１に縮小された画像が生成されることとなる。図４では、２分の１に間引く場合について説明したが、間引き前の画像を縦横３分の１、４分の１に間引く場合であっても、同様に処理を行うことが可能である。

画像縮小部１６１は、フラッシュ発光撮像画像に対して間引き処理する際に、フラッシュ非発光撮像画像がどのように間引かれているかに応じて、間引き方法を変更する。図４では、太線枠内の左上画素（Ｃ１１，Ｃ１３，Ｃ１５・・・）を残すような間引きを行ったが、フラッシュ非発光撮像画像の間引き方法が図４の太線枠内の画素すべての平均値とするような間引きである場合には、フラッシュ発光縮小画像も同様に平均値を算出するように間引きを行う必要がある。

画像縮小部１６１は、このようにしてフラッシュ発光撮像画像を縮小してフラッシュ発光縮小画像を生成すると、得られた結果を、露光差分値算出部１６２に出力する。

このとき、図２Ａに示したようなフラッシュ非発光撮像画像を撮像するときの露光制御値と、図２Ｂに示すようなフラッシュ発光撮像画像を撮像するときの露光制御値が一致していない場合には、露光差分値算出部１６２は、各露光制御値の差分を考慮する。ここで、露光制御値には、以下の式１０１に示す関係があることが知られている。ここで、以下の式１０１において、ＴＶはシャッタースピードを表し、ＡＶは絞り値を表し、ＳＶは感度を表し、ＢＶは被写体輝度を表している。また、下記式１０１のそれぞれの値は、ＡＰＥＸ値で表現されている。

・・・（式１０１）

そこで、露光差分値算出部１６２は、各撮像画像の露光制御値が異なる場合には、以下の式１０２及び式１０３を用いて、被写体輝度を算出する。ここで、以下に示した式１０２は、フラッシュ非発光撮像画像の被写体輝度値ＢＶ_ｌを算出するための式であり、以下に示した式１０３は、フラッシュ発光縮小画像の被写体輝度値ＢＶ_Ｓを算出するための式である。

・・・（式１０２）

・・・（式１０３）

露光差分値算出部１６２は、式１０２及び式１０３に基づく被写体輝度値の算出を終了すると、得られた算出結果を利用して、以下の式１０４に基づいて差分ＢＶ_ｄｉｆｆを算出する。このとき、フラッシュ非発光撮像画像の露光制御値とフラッシュ発光撮像画像の露光制御値とが一致している場合には、以下の式１０４に示す差分ＢＶ_ｄｉｆｆの値は０となる。

・・・（式１０４）

露光差分値算出部１６２は、差分ＢＶ_ｄｉｆｆを算出すると、続いて以下の式１０５を利用して、露光差分値Ｌｆを算出する。

・・・（式１０５）

露光差分値算出部１６２は、露光差分値Ｌｆを算出すると、得られた算出結果を第１フラッシュ反射量算出部１６３に出力する。

第１フラッシュ反射量算出部１６３は、フラッシュ非発光撮像画像の信号値と、露光差分値を乗算したフラッシュ発光縮小画像の信号値とに基づいて、画素単位で第１のフラッシュ反射量Ｒａｔｉｏを算出する。この第１のフラッシュ反射量Ｒａｔｉｏは、フラッシュ非発光撮像画像における定常光量を１としたときの相対値として算出されるものであり、信号値として輝度値を利用した場合には以下の式１０６で表される。

・・・（式１０６）

ここで、以下の式１０６において、Ｙ_ｌは、フラッシュ非発光撮像画像における各画素の輝度値であり、Ｙ_Ｓは、フラッシュ発光縮小画像における各画素の輝度値である。

また、色信号値の一つであるＧ（グリーン）信号値は輝度値Ｙとほぼ同じ値となるため、第１フラッシュ反射量算出部１６３は、上記式１０６において輝度値Ｙの代わりにＧ信号値を利用して、第１のフラッシュ反射量を算出してもよい。

第１フラッシュ反射量算出部１６３は、第１のフラッシュ反射量を算出すると、得られた算出結果を、フラッシュ反射量補間部１６４に出力する。

フラッシュ反射量補間部１６４は、色信号値から算出したカラーバランスに基づく線形補間処理、又は、輝度値に基づく線形補間処理の何れか一方を選択するとともに、選択した線形補間処理により第１のフラッシュ反射量を補間拡大し、第２のフラッシュ反射量を算出する。

すなわち、フラッシュ反射量補間部１６４は、フラッシュ発光縮小画像の画像サイズからフラッシュ発光撮像画像の画像サイズへと画像拡大を行う。この画像拡大処理の際に、フラッシュ反射量補間部１６４は、フラッシュ発光縮小画像の輝度値及びカラーバランスと、第１フラッシュ反射量算出部１６３により算出された第１のフラッシュ反射量と、に基づいて、第１のフラッシュ反射量を補間拡大し、各画素の輝度値及びカラーバランスに基づいた第２のフラッシュ反射量を算出する。

ここで、図５〜図７を参照しながら、フラッシュ発光縮小画像の画素と、フラッシュ発光撮像画像の画素との関係について、具体的に説明する。

図５では、フラッシュ発光縮小画像（第３の撮像画像）における補間参照画素を白く表している。フラッシュ発光縮小画像は、フラッシュ発光撮像画像を縮小した画像であるため、フラッシュ発光縮小画像の画像サイズをフラッシュ発光撮像画像の画像サイズへと拡大するためには、画素を補間しなくてはならない。ここで、図５で示したフラッシュ発光縮小画像を、図６に示したフラッシュ発光撮像画像へと拡大する際には、図６において斜線で示した画素については、第１のフラッシュ反射量が算出されていない。そのため、図６において斜線で示した画素が、補間対象となる画素（補間対象画素）となる。

そこで、フラッシュ反射量補間部１６４は、フラッシュ発光縮小画像のある画素に着目し、着目した画素の上下左右及び斜め方向に隣り合う画素を、補間参照画素として取り扱う。すなわち、図７に示したフラッシュ発光縮小画像においては、図中で（１）、（２）及び（３）で示した位置関係にある画素を、補間参照画素として取り扱う。ここで、図７において（１）の位置関係にある補間参照画素が、着目している画素の斜め方向で隣接する補間参照画素に対応しており、（２）の位置関係にある補間参照画素が、着目している画素の左右方向で隣接している補間参照画素に対応しており、（３）の位置関係にある補間参照画素が、着目している画素の上下方向で隣接している補間参照画素に対応している。この際、図７では、補間参照画素を着目している画素に隣り合う画素としたが、補間参照画素は、着目している画素と１画素以上離隔している画素であってもよい。

以下では、フラッシュ反射量補間部１６４が備える各処理部の機能について、詳細に説明する。

まず、フラッシュ反射量補間部１６４が備える輝度差分算出部１６５は、フラッシュ発光縮小画素において、第１のフラッシュ反射量が算出されている画素を選択し、選択した画素に対して、図７において（１）、（２）、（３）の位置関係に存在している画素（すなわち、補間参照画素）について、以下の式１０７で表される輝度差分Ｙ_ｄｉｆｆを算出する。このような輝度差分Ｙ_ｄｉｆｆの算出は、フラッシュ発光縮小画像を構成する各画素に対して実施される。ここで、下記式１０７において、Ｙ_１が着目している画素の輝度値であり、Ｙ_２が補間参照画素の輝度値である。

・・・（式１０７）

その後、輝度差分算出部１６５は、算出した２画素間での輝度値の差分のうち、差分の値が一番大きくなった２画素を選択する。輝度差分算出部１６５は、選択した２つの画素に関する情報を、後述するカラーバランス算出部１６６及び補間信号選択部１６７に出力するとともに、選択した２画素間の輝度値の差分Ｙ_ｄｉｆｆの値を補間信号選択部１６７に出力する。

なお、先述のように、色信号値の一つであるＧ（グリーン）信号値は輝度値Ｙとほぼ同じ値となるため、輝度差分算出部１６５は、下記式１０８に示したように、輝度値Ｙの代わりにＧ信号値を利用して輝度差分Ｙ_ｄｉｆｆに対応する値であるＧ_ｄｉｆｆを算出し、画素の選択を行っても良い。

・・・（式１０８）

カラーバランス算出部１６６は、輝度差分算出部１６５によって選択された２つの画素間におけるカラーバランスを算出する。ここで、本実施形態に係るカラーバランス算出部１６６は、色信号値の一種であるＲ（レッド）信号値及びＢ（ブルー）信号値を利用して、以下の式１０９及び式１１０によりカラーバランスＲ_ｄｉｆｆ及びＢ_ｄｉｆｆを算出する。以下の式１０９及び式１１０から明らかなように、カラーバランスＲ_ｄｉｆｆは、Ｒ信号値の差分の絶対値であり、カラーバランスＢ_ｄｉｆｆは、Ｂ信号値の差分の絶対値である。

・・・（式１０９）

・・・（式１１０）

カラーバランス算出部１６６は、式１０９及び式１１０に基づいてカラーバランスを算出すると、算出したカラーバランスを、補間信号選択部１６７に出力する。

なお、上記説明では、カラーバランス算出部１６６は、輝度差分算出部１６５により選択された２画素についてカラーバランスの算出処理を行ったが、輝度差分算出部１６５における輝度差分の算出処理と同様にして、フラッシュ発光縮小画像を構成する各画素について式１０９及び式１１０で表されるカラーバランスを算出し、カラーバランス（差分値）の値が一番大きくなる上記２つのカラーバランスの組み合わせを選択してもよい。

補間信号選択部１６７は、輝度差分算出部１６５により算出された輝度値の差分と、カラーバランス算出部１６６により算出された色信号値の差分（Ｒ信号値の差分、Ｂ信号値の差分）とに基づいて、各画素の信号値の類似度合いを所定の閾値に基づいて判断し、第１のフラッシュ反射量の補間拡大に利用する信号を選択する。

以下、補間信号選択部１６７が実施する補間信号の選択処理について、図８及び図９を参照しながら、具体的に説明する。

補間信号選択部１６７は、輝度値の差分と、色信号値の差分とを利用して、輝度差分算出部１６５やカラーバランス算出部１６６で選択された２つの画素の信号値の類似度合い（すなわち、信号値が近い値か否か）を、まず判断する。

以下では、まず、輝度値の差分に着目した判断方法について説明する。
図８の左側に示した図のように、輝度値の差分が０に近い値であれば、選択された２画素の輝度値は互いに近い値を有しており、図８の右側に示した図のように、輝度値の差分が大きい値であれば、選択された２画素の輝度値は、離れた値であることが分かる。そこで、ノイズ等の影響を考慮してある程度の幅を持たせた閾値（第１の閾値）を予め調整によって定めておいた上で、補間信号選択部１６７は、この第１の閾値と輝度値の差分とを比較する。

補間信号選択部１６７は、第１の閾値より輝度値の差分が大きい場合（輝度値の差分が第１の閾値以上である場合）には、選択した各画素の輝度値が離れていると判断できるため、輝度値を、第１のフラッシュ反射量の補間に用いる信号として選択する。

他方、補間信号選択部１６７は、輝度値の差分が第１の閾値よりも小さい（輝度値の差分が第１の閾値未満である場合）には、選択した各画素の輝度値が近い値となっていると判断できる。そのため、補間信号選択部１６７は、色信号値の差分を利用して、以下のような判定処理を実施する。すなわち、ノイズ等の影響を考慮してある程度の幅を持たせた閾値（第２の閾値）を予め調整によって定めておいた上で、補間信号選択部１６７は、この第２の閾値と、色信号値の差分（Ｒ信号値の差分及びＢ信号値の差分）とを比較する。

この際、図９に示したように、補間参照画素１と補間参照画素２の輝度値の差分が第１の閾値未満であり、Ｂ信号値の差分が第２の閾値未満であり、Ｒ信号値の差分が第２の閾値以上であった場合には、補間信号選択部１６７は、Ｒ信号値を、第１のフラッシュ反射量の補間に用いる信号として選択する。

また、図９とは逆に、補間参照画素１と補間参照画素２の輝度値の差分が第１の閾値未満であり、Ｂ信号値の差分が第２の閾値以上であり、Ｒ信号値の差分が第２の閾値未満であった場合には、補間信号選択部１６７は、Ｂ信号値を、第１のフラッシュ反射量の補間に用いる信号として選択する。

また、補間参照画素１と補間参照画素２の輝度値の差分が第１の閾値未満であり、Ｂ信号値の差分及びＲ信号値の差分がそれぞれ第２の閾値以上であった場合には、補間信号選択部１６７は、Ｒ信号値及びＢ信号値の双方を、第１のフラッシュ反射量の補間に用いる信号として選択する。

また、補間参照画素１と補間参照画素２の輝度値の差分が第１の閾値未満であり、Ｂ信号値の差分及びＲ信号値の差分がそれぞれ第２の閾値未満であった場合には、補間信号選択部１６７は、輝度値を、第１のフラッシュ反射量の補間に用いる信号として選択する。

補間信号選択部１６７は、このようにして選択した拡大補間に用いる信号に関する選択結果を、第２フラッシュ反射量算出部１６８に出力する。

第２フラッシュ反射量算出部１６８は、補間信号選択部１６７により選択された補間信号に基づいて第１のフラッシュ反射量を線形補間により補間拡大して、第２のフラッシュ反射量を算出する。以下、図１０〜図１２を参照しながら、第２フラッシュ反射量の算出処理について、具体的に説明する。

まず、図１０を参照しながら、輝度値に基づいて第２のフラッシュ反射量を算出する方法について説明する。
２つの補間参照画素の輝度値及び補間対象画素の輝度値は、フラッシュ発光撮像画像の画像データを参照することで把握することが可能であり、２つの補間参照画素の第１のフラッシュ反射量は、上記式１０６により算出されている。そこで、第２フラッシュ反射量算出部１６８は、図１０に示したように、補間対象画素の輝度値Ｙと補間参照画素１の輝度値Ｙ_１との差分αと、補間参照画素１と補間参照画素２との輝度値の差分（α＋β）と、を利用して線形補間処理を行うことで、補間対象画素のフラッシュ反射量（すなわち、第２のフラッシュ反射量）を算出する。具体的には、第２フラッシュ反射量算出部１６８は、以下の式１１１を利用して、補間対象画素の第２のフラッシュ反射量を算出する。

・・・（式１１１）

ここで、上記式１１１の左辺に示した値Ｒａｔｉｏが補間対象画素の第２のフラッシュ反射量であり、上記式１１１の右辺に示した輝度値Ｙが補間対象画素の輝度値である。また、Ｙ_１及びＲａｔｉｏ_１は、それぞれ補間参照画素１の輝度値及び第１のフラッシュ反射量であり、Ｙ_２及びＲａｔｉｏ_２は、それぞれ補間参照画素２の輝度値及び第１のフラッシュ反射量である。

図１１は、Ｒ信号値を利用して第２のフラッシュ反射量を算出する方法について示している。かかる場合においても、輝度値に基づく第２のフラッシュ反射量の算出方法と同様にして、以下の式１１２に基づき補間対象画素の第２のフラッシュ反射量を算出する。

・・・（式１１２）

ここで、上記式１１２の左辺に示した値Ｒａｔｉｏが補間対象画素の第２のフラッシュ反射量であり、上記式１１２の右辺に示したＲが補間対象画素のＲ信号値である。また、Ｒ_１及びＲａｔｉｏ_１は、それぞれ補間参照画素１のＲ信号値及び第１のフラッシュ反射量であり、Ｒ_２及びＲａｔｉｏ_２は、それぞれ補間参照画素２のＲ信号値及び第１のフラッシュ反射量である。

図１２は、Ｂ信号値を利用して第２のフラッシュ反射量を算出する方法について示している。かかる場合においても、輝度値に基づく第２のフラッシュ反射量の算出方法と同様にして、以下の式１１３に基づき補間対象画素の第２のフラッシュ反射量を算出する。

・・・（式１１３）

ここで、上記式１１３の左辺に示した値Ｒａｔｉｏが補間対象画素の第２のフラッシュ反射量であり、上記式１１３の右辺に示したＢが補間対象画素のＢ信号値である。また、Ｂ_１及びＲａｔｉｏ_１は、それぞれ補間参照画素１のＢ信号値及び第１のフラッシュ反射量であり、Ｂ_２及びＲａｔｉｏ_２は、それぞれ補間参照画素２のＢ信号値及び第１のフラッシュ反射量である。

また、Ｒ信号値及びＢ信号値をともに利用して第２のフラッシュ反射量を算出する場合、第２フラッシュ反射量算出部１６８は、式１１２及び式１１３を利用してそれぞれ第２のフラッシュ反射量を算出した後に、得られた算出結果の平均値を算出し、得られた平均値を、補間対象画素の第２のフラッシュ反射量とする。

第２フラッシュ反射量算出部１６８は、このようにして、フラッシュ発光撮像画像の画像サイズの全画素についてフラッシュ反射量を算出すると、得られた算出結果を、推定光源色算出部１６９に出力する。

このように、本実施形態に係るフラッシュ反射量補間部１６４では、色温度が大きく変わっているにもかかわらず輝度値が変化しない場合においては、画素の各輝度値がほぼ同じ値かどうかを判定することで、輝度値を用いた補間により間違った第２のフラッシュ反射量を算出してしまうことを防止することができる。また、本実施形態に係るフラッシュ反射量補間部１６４は、色温度が大きく変わっているにもかかわらず輝度値が変化しない場合であっても、輝度値の代わりにカラーバランスを使用することで、正確な第２のフラッシュ反射量を算出することができる。

また、以上説明したような算出方法を用いることで、例えば図１３のように補間対象画素が補間参照画素間に複数存在し、輝度値が滑らかに推移する場合、被写体にエッジがあるような色温度差の大きい境界が発生する場合、及び、光源の境界であるにもかかわらず輝度に差がない場合においても、適切な補間処理を実施し、正確にフラッシュ反射率を算出することが可能となる。

再び図１に戻って、マルチＡＷＢ処理部１０６が有する推定光源色算出部１６９について説明する。
推定光源色算出部１６９は、第２フラッシュ反射量算出部１６８が算出した第２のフラッシュ反射量を利用して、フラッシュ光の推定光源色（ＣＢ_ｆ）と、定常光（環境光）の推定光源色（ＣＢ_ｓ）とを線形補間して、対象画素の推定光源色（ＣＢ）を算出する。この際、推定光源色算出部１６９は、下記の式１１４及び式１１５に示したように、Ｒ画像信号の推定光源色ＣＢ_Ｒと、Ｂ画像信号の推定光源色ＣＢ_Ｂとを、それぞれ個別に算出する。なお、下記式１１４及び式１１５において、Ｒａｔｉｏは第２のフラッシュ反射量を表している。

・・・（式１１４）

・・・（式１１５）

推定光源色算出部１６９は、上記式１１４及び式１１５に基づく推定光源色の算出処理を全画素に対して実施し、得られた結果をホワイトバランスゲイン算出部１７０に出力する。

ホワイトバランスゲイン算出部１７０は、第２のフラッシュ反射量に基づいて算出された推定光源色を利用して、フラッシュ発光撮像画像に対してホワイトバランス補正処理を実施する際に用いられるホワイトバランスゲインを、画素単位で算出する。

具体的には、ホワイトバランスゲイン算出部１７０は、上記式１１４及び式１１５に基づいて算出した推定光源色ＣＢＲ及びＣＢＢを利用し、下記式１１６及び式１１７に基づいて、対象画素のホワイトバランスゲイン（ＷＢＧａｉｎ_Ｒ，ＷＢＧａｉｎ_Ｂ）を算出する。

・・・（式１１６）

・・・（式１１７）

ホワイトバランスゲイン算出部１７０は、上記式１１６及び式１１７に基づくホワイトバランスゲインの算出処理を全画素に対して実施し、得られた結果を、後処理部１０７のホワイトバランス制御部１７６に出力する。

本実施形態に係るマルチＡＷＢ処理部１０６は、以上説明したような処理を実施することで、フラッシュ非発光撮像画像とフラッシュ発光撮像画像の画像サイズが異なる場合であっても、フラッシュ光と定常光とが混在している状況下において、適切なホワイトバランスゲインを、画素単位で算出することが可能となる。

後処理部１０７のホワイトバランス制御部１７６は、フラッシュ発光撮像画像の各画素値に対して、以下の式１１８及び式１１９に基づいて、ホワイトバランスゲインを乗算する。これにより、ホワイトバランス制御部１７６は、フラッシュ光と定常光とが混在している撮像環境下で撮像された撮像画像に対しても、適切なホワイトバランス補正処理を実施することが可能となる。

・・・（式１１８）

・・・（式１１９）

以上説明したように、本実施形態に係る撮像装置１０では、フラッシュ非発光撮像画像とフラッシュ発光撮像画像の画像サイズが異なる場合であっても、画素の輝度値及びカラーバランスに基づいて拡大補間処理を実施することにより、定常光とフラッシュ光とが混在する状況下に対しても適切なホワイトバランスゲインを算出することができる。

＜撮像方法の流れについて＞
続いて、図１４Ａ及び図１４Ｂを参照しながら、本実施形態に係る撮像装置１０で実施される撮像方法の流れについて、その一例を簡単に説明する。図１４Ａ及び図１４Ｂは、本実施形態に係る撮像方法の流れの一例を示した流れ図である。

まず、撮像装置１０の撮像部１０１は、フラッシュを発光させない状態で被写体を撮像し、フラッシュ非発光撮像画像を取得する（ステップＳ１０１）。生成されたフラッシュ非発光撮像画像は、信号処理部１０２による各種の信号処理及び前処理部１０３による各種の前処理を施された後に、そのＲＧＢ画像信号が、画像メモリ１０４の第１撮像記憶部１５１に保存される（ステップＳ１０３）。

次に、撮像装置１０の撮像部１０１は、フラッシュを発光させた状態で被写体を撮像し、フラッシュ発光撮像画像を取得する（ステップＳ１０５）。生成されたフラッシュ発光撮像画像は、信号処理部１０２による各種の信号処理及び前処理部１０３による各種の前処理を施された後に、そのＲＧＢ画像信号が、画像メモリ１０４の第２撮像記憶部１５２に保存される（ステップＳ１０７）。

続いて、マルチＡＷＢ処理部１０６は、第１撮像記憶部１５１からフラッシュ非発光撮像画像を取得するとともに、第２撮像記憶部１５２からフラッシュ発光撮像画像を取得する。その後、マルチＡＷＢ処理部１０６の画像縮小部１６１は、フラッシュ発光撮像画像をフラッシュ非発光撮像画像の画像サイズに縮小して（ステップＳ１０９）、フラッシュ発光縮小画像を生成する。

その後、マルチＡＷＢ処理部１０６は、露光差分値算出部１６２により露光差分値を算出した後に、第１フラッシュ反射量算出部１６３によりフラッシュ反射量（第１のフラッシュ反射量）を算出する（ステップＳ１１１）。マルチＡＷＢ処理部１０６は、全ての画像に対して第１のフラッシュ反射量の算出処理が終了したか否かを判断し（ステップＳ１１３）、処理が終了していない場合には、ステップＳ１１１を再実施する。

次に、マルチＡＷＢ処理部１０６の輝度差分算出部１６５及びカラーバランス算出部１６６は、補間対象画素を選択し、差分絶対値（すなわち、輝度値の差分、並びに、色信号値（Ｒ信号値及びＢ信号値）の差分）を算出し（ステップＳ１１５）、補間信号選択部１６７に出力する。補間信号選択部１６７は、輝度値の差分絶対値が第１の閾値未満か否かを判断する（ステップＳ１１７）。

ここで、輝度値の差分絶対値が第１の閾値未満であった場合には、補間信号選択部１６７は、拡大補間のために利用する信号として色信号値を選択し、第２フラッシュ反射量算出部１６８は、色信号値（画像のカラーバランス）を基に対象画素のフラッシュ反射量（第２フラッシュ反射量）の補間を行う（ステップＳ１１９）。その後、マルチＡＷＢ処理部１０６は、後述するステップＳ１２３を実施する。

また、輝度値の差分絶対値が第１の閾値以上であった場合には、補間信号選択部１６７は、拡大補間のために利用する信号として輝度値を選択し、第２フラッシュ反射量算出部１６８は、画像の輝度値（又は、Ｇ信号値）を基に対象画素のフラッシュ反射量（第２フラッシュ反射量）の補間を行う（ステップＳ１２１）。その後、マルチＡＷＢ処理部１０６は、後述するステップＳ１２３を実施する。

続いて、マルチＡＷＢ処理部１０６は、全ての画素に対して補間処理が終了したか否かを判断する（ステップＳ１２３）。補間処理が終了している場合には、マルチＡＷＢ処理部１０６は、後述するステップＳ１２５を実施する。また、補間処理が終了していない場合には、マルチＡＷＢ処理部１０６は、再びステップＳ１１５に戻って処理を継続する。

全ての画素に対して補間処理が終了すると、マルチＡＷＢ処理部１０６の推定光源色算出部１６９は、算出された第２のフラッシュ反射量に基づいて、フラッシュ光と定常光の推定光源色を線形補間により算出する（ステップＳ１２５）。その後、マルチＡＷＢ処理部１０６のホワイトバランスゲイン算出部１７０は、算出された推定光源色に基づいて、ホワイトバランスゲインを算出する（ステップＳ１２７）。

その後、マルチＡＷＢ処理部１０６は、全ての画素に対してホワイトバランスゲインの算出処理が終了したか否かを判断する（ステップＳ１２９）。算出処理が終了している場合には、マルチＡＷＢ処理部１０６は、算出した全てのホワイトバランスゲインを、後処理部１０７のホワイトバランス制御部１７６に出力して、処理を終了する。他方、ホワイトバランスゲインの算出処理が終了していない場合には、マルチＡＷＢ処理部１０６は、再びステップＳ１２５に戻って処理を継続する。

以上、図１４Ａ及び図１４Ｂを参照しながら、本実施形態に係る撮像装置１０で実施される撮像方法の流れの一例について、簡単に説明した。

以上説明したように、本発明の実施形態に係る撮像装置及び撮像方法によれば、フラッシュ発光撮像画像の輝度値だけでなく、カラーバランスを使用することにより、フラッシュ反射量を適切に補間することが可能となる。これにより、輝度値がほぼ同じ値になっていて、色温度が大きく変化する境界であっても、フラッシュ反射量を適切に補間することができる。

その結果、輝度値や距離によらず適切なホワイトバランスゲインを算出することができ、不適切なホワイトバランスゲインによる被写体のエッジ周辺の色つきを低減することができるため、画素単位に行うホワイトバランス補正処理を、従来技術より好適に行うことができる撮像装置及び撮像方法を提供することができる。

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

１０撮像装置
１０１撮像部
１０２信号処理部
１０３前処理部
１０４画像メモリ
１０５適正ＡＥ算出部
１０６マルチＡＷＢ処理部
１０７後処理部
１０８ＲＧＢ−ＹＣＣ変換部
１０９データ圧縮部
１１０メモリカードインタフェース
１１１メモリカード
１２１レンズ
１２２絞り
１２３シャッター
１２４撮像素子
１２５露光制御部
１２６フラッシュ
１３１色分離部
１３２Ａ／Ｄ変換部
１４１黒レベル補正部
１４２欠陥画素補正部
１４３シェーディング補正部
１４４ＡＥ評価値算出部
１５１第１撮像記憶部
１５２第２撮像記憶部
１６１画像縮小部
１６２露光差分値算出部
１６３第１フラッシュ反射量算出部
１６４フラッシュ反射量補間部
１６５輝度差分算出部
１６６カラーバランス算出部
１６７補間信号選択部
１６８第２フラッシュ反射量算出部
１６９推定光源色算出部
１７０ホワイトバランスゲイン算出部
１７１デモザイク処理部
１７２エッジ強調処理部
１７３色補正処理部
１７４ガンマ補正処理部
１７５ノイズリダクション処理部
１７６ホワイトバランス制御部

Claims

フラッシュ非発光時に撮像された第１の撮像画像と、当該第１の撮像画像よりも画素数が多く、フラッシュ発光時に撮像された第２の撮像画像と、を生成する撮像部と、
前記第１の撮像画像と前記第２の撮像画像とが同一の画像サイズとなるように前記第２の撮像画像を縮小して、第３の撮像画像を生成する画像縮小部と、
前記第１の撮像画像の露光制御値及び前記第２の撮像画像の露光制御値に基づいて、第１の撮像画像と第２の撮像画像との間の露光差分値を算出する露光差分値算出部と、
前記第１の撮像画像の信号値と、前記露光差分値を乗算した前記第３の撮像画像の信号値とに基づいて、画素単位で第１のフラッシュ反射量を算出する第１フラッシュ反射量算出部と、
色信号値から算出したカラーバランスに基づく線形補間処理、又は、輝度値に基づく線形補間処理の何れか一方を選択するとともに、選択した前記線形補間処理により前記第１のフラッシュ反射量を補間拡大し、第２のフラッシュ反射量を算出するフラッシュ反射量補間部と、
算出された前記第２のフラッシュ反射量に基づいて、前記第２の撮像画像に対してホワイトバランス補正処理を実施する際に用いられるホワイトバランスゲインを画素単位で算出するホワイトバランスゲイン算出部と、
を備えることを特徴とする、撮像装置。
前記撮像装置は、算出された前記ホワイトバランスゲインを前記第２の撮像画像の全画素に対して適用し、前記第２の撮像画像のホワイトバランスを補正するホワイトバランス制御部を更に備えることを特徴とする、請求項１に記載の撮像装置。
前記フラッシュ反射量補間部は、
前記第２の撮像画像を構成する各画素の輝度値の差分を算出する輝度差分算出部と、
前記第２の撮像画像を構成する各画素の色信号値の差分を算出するカラーバランス算出部と、
前記輝度差分算出部により算出された前記輝度値の差分と、前記カラーバランス算出部により算出された前記色信号値の差分とに基づいて、各画素の信号値の類似度合いを所定の閾値に基づいて判断し、前記第１のフラッシュ反射量の補間拡大に利用する信号を選択する補間信号選択部と、
前記補間信号選択部により選択された前記補間拡大に利用する信号に基づいて前記第１のフラッシュ反射量を線形補間により補間拡大して、第２のフラッシュ反射量を算出する第２フラッシュ反射量算出部と、
を更に備えることを特徴とする、請求項１又は２に記載の撮像装置。
前記補間信号選択部は、
前記輝度値の差分が第１の閾値以上である場合には、前記補間拡大に利用する信号として前記輝度値を選択し、
前記輝度値の差分が前記第１の閾値未満である場合には、前記補間拡大に利用する信号として前記色信号値を選択することを特徴とする、請求項３に記載の撮像装置。
前記補間信号選択部は、
前記輝度値の差分が前記第１の閾値未満であり、かつ、前記カラーバランス算出部により算出されたＲ信号値の差分が第２の閾値以上である場合には、前記補間拡大に利用する信号として前記Ｒ信号値を選択し、
前記輝度値の差分が前記第１の閾値未満であり、かつ、前記カラーバランス算出部により算出されたＢ信号値の差分が前記第２の閾値以上である場合には、前記補間拡大に利用する信号として前記Ｂ信号値を選択し、
前記輝度値の差分が前記第１の閾値未満であり、かつ、前記カラーバランス算出部により算出された前記Ｒ信号値及び前記Ｂ信号値の差分がそれぞれ前記第２の閾値以上である場合には、前記補間拡大に利用する信号として前記Ｒ信号値及び前記Ｂ信号値の双方を選択し、
前記輝度値の差分が前記第１の閾値未満であり、かつ、前記カラーバランス算出部により算出された前記Ｒ信号値及び前記Ｂ信号値の差分がそれぞれ前記第２の閾値未満である場合には、前記補間拡大に利用する信号として前記輝度値を選択することを特徴とする、請求項４に記載の撮像装置。
前記第２フラッシュ反射量算出部は、前記補間信号選択部により前記Ｒ信号値及び前記Ｂ信号値の双方が選択された場合に、それぞれの信号値に基づく補間拡大結果の平均値を算出し、当該平均値を前記第２のフラッシュ反射量とすることを特徴とする、請求項５に記載の撮像装置。
前記第１のフラッシュ反射量及び前記第２のフラッシュ反射量は、ベイヤ画像におけるＲ，Ｇ，Ｇ，Ｂの４画素を一つの画素とみなして算出されることを特徴とする、請求項１に記載の撮像装置。
前記第１のフラッシュ反射量及び前記第２のフラッシュ反射量は、ベイヤ色補間処理により周辺画素を補間して一つの画素（Ｒ，Ｇ，Ｂ）として算出されることを特徴とする、請求項１に記載の撮像装置。
フラッシュ非発光時に撮像された第１の撮像画像と、当該第１の撮像画像よりも画素数が多く、フラッシュ発光時に撮像された第２の撮像画像と、を生成する撮像ステップと、
前記第１の撮像画像と前記第２の撮像画像とが同一の画像サイズとなるように前記第２の撮像画像を縮小して、第３の撮像画像を生成する画像縮小ステップと、
前記第１の撮像画像の露光制御値及び前記第２の撮像画像の露光制御値に基づいて、第１の撮像画像と第２の撮像画像との間の露光差分値を算出する露光差分値算出ステップと、
前記第１の撮像画像の信号値と、前記露光差分値を乗算した前記第３の撮像画像の信号値とに基づいて、画素単位で第１のフラッシュ反射量を算出する第１フラッシュ反射量算出ステップと、
色信号値から算出したカラーバランスに基づく線形補間処理、又は、輝度値に基づく線形補間処理の何れか一方を選択するとともに、選択した前記線形補間処理により前記第１のフラッシュ反射量を補間拡大し、第２のフラッシュ反射量を算出するフラッシュ反射量補間ステップと、
算出された前記第２のフラッシュ反射量に基づいて、前記第２の撮像画像に対してホワイトバランス補正処理を実施する際に用いられるホワイトバランスゲインを画素単位で算出するホワイトバランスゲイン算出ステップと、
を含むことを特徴とする、撮像方法。