JP6900577B2 - 画像処理装置及びプログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特にホワイトバランス補正の技術に関する。

従来より、画像を構成する画素毎又はエリア毎に、異なるホワイトバランスゲインを適用するホワイトバランス補正（マルチエリアホワイトバランス補正）が行われている。特に輝度差が大きなシーンの撮影画像に対して、マルチエリアホワイトバランス補正は好適に用いられる。輝度差が大きなシーンの撮影画像では、領域ごとに別の光環境に置かれているので、明るい領域と暗い領域で色温度が異なっている事があり、マルチエリアホワイトバランス補正は好適に用いられる。ここで輝度差の大きな撮影画像とは、例えば１枚の撮影画像内に、日陰の領域と日向の領域とが併存する撮影画像や、室内照明の領域と太陽光の領域とが併存する撮影画像などである。

これまで、マルチエリアホワイトバランス補正に関する技術は提案されてきた。

例えば、特許文献１では、半水面写真を撮像した場合に、水上の被写体領域に対して水上用のホワイトバランスゲインを設定し、水中の被写体領域に対応する画像領域に対して、水中用のホワイトバランスゲインを設定することが記載されている。

また、複数の画像の各々から求められた複数のホワイトバランスゲイン間で、ホワイトバランスゲインを調整する技術が知られている。

例えば、特許文献２では、高感度の画素から得られる色信号のホワイトバランス補正値と、低感度の画素から得られる色信号のホワイトバランス補正値と調整する技術が記載されている。

特開２０１４−１３８２１７号公報 特開２００５−８０１９０号公報

しかしながら、特許文献１のように、撮影画像の各領域に対して独立に求められた異なるホワイトバランスゲインでマルチエリアホワイトバランス補正を行うと、人間がシーンを見た場合に脳内で作るイメージと異なり違和感が出てしまう。人間は、あるシーンを見る時には、注視した箇所の補正を強く行い、注視していない箇所の補正は注視した箇所の補正の影響に引っ張られてしまう。

特許文献１に記載された技術では、単に水上の被写体領域及び水中の被写体領域のホワイトバランスゲインを、各領域のコントラストを検出することによりそれぞれ決定し、その決定された各ホワイトバランスゲインが各領域に適用されている。したがって、各領域のホワイトバランスゲインは相互に調整されていなく、違和感があるホワイトバランス補正が行われた画像となってしまう場合がある。

また、特許文献２では、撮影画像の領域毎に求まるホワイトバランスゲインの調整に関しては言及されていない。すなわち、マルチエリアホワイトバランス補正を行う場合のホワイトバランスの調整に関しては言及されていない。

上記目的を達成するために、本発明の一の態様である画像処理装置は、撮影画像が入力される画像入力部と、撮影画像を複数の領域に分割し、分割した複数の領域を第１領域と第２領域とを設定する領域設定部と、第１領域及び第２領域から第１ホワイトバランスゲイン及び第２ホワイトバランスゲインをそれぞれ取得するホワイトバランスゲイン取得部と、第１ホワイトバランスゲインと第２ホワイトバランスゲインとに基づいて、第２ホワイトバランスゲインを調整した調整後第２ホワイトバランスゲインを決定する決定部と、第１領域及び第２領域を第１ホワイトバランスゲイン及び調整後第２ホワイトバランスゲインによりホワイトバランス補正を行うホワイトバランス補正部と、を備える。

本態様によれば、撮影画像を複数の領域に分割し、分割した複数の領域を第１領域と第２領域とが設定され、第１領域の第１ホワイトバランスゲインと第２領域の第２ホワイトバランスゲインとに基づいて、第２ホワイトバランスゲインが決定される。そして、第１領域は第１ホワイトバランスゲインにより、第２領域は調整後第２ホワイトバランスゲインによりホワイトバランス補正が行われるので、自然なマルチエリアホワイトバランス補正を行うことができる。

好ましくは、画像入力部に入力される撮影画像の輝度差に基づいて、ホワイトバランスゲイン取得部に第１ホワイトバランスゲイン及び第２ホワイトバランスゲインを取得させる制御を行う第１の制御部を備える。

本態様によれば、ホワイトバランスゲイン取得部に必要に応じて、第１ホワイトバランスゲインと第２ホワイトバランスゲインとを取得させることができ、効率的なマルチエリアホワイトバランス補正を行うことができる。

好ましくは、第１の制御部は、撮影画像の輝度差が閾値以上である場合に、ホワイトバランスゲイン取得部に第１ホワイトバランスゲイン及び第２ホワイトバランスゲインを取得させる。

本態様によれば、ホワイトバランスゲイン取得部に必要に応じて、第１ホワイトバランスゲインと第２ホワイトバランスゲインとを取得させることができ、効率的なマルチエリアホワイトバランス補正を行うことができる。

好ましくは、第１の制御部は、ホワイトバランスゲイン取得部に、操作部から入力される指令に基づいて、第１ホワイトバランスゲインと第２ホワイトバランスゲインとを取得させる。

本態様によれば、操作部から入力される指令に基づいて、第１ホワイトバランスゲイン及び第２ホワイトバランスゲインが取得されるので、撮影者の意図が反映されたマルチエリアホワイトバランス補正を行うことができる。

好ましくは、領域設定部は、撮影画像のフォーカス又は露出を調整する領域を第１領域とする。

本態様によれば、撮影画像のフォーカス又は露出を調整する領域が第１領域とされるので、撮影者の意図が反映されたマルチエリアホワイトバランス補正を行うことができる。

好ましくは、ホワイトバランスゲイン取得部は、ホワイトバランスゲインを求めた領域の大きさ、又はホワイトバランスゲインを求めた領域の輝度に応じて、取得したホワイトバランスゲインを第１ホワイトバランスゲイン及び第２ホワイトバランスゲインとする。

本態様によれば、第１ホワイトバランスゲインが、ホワイトバランスゲインを求めた領域の大きさ、又はホワイトバランスゲインを求めた領域の輝度により決定されるので、撮影画像のシーンに応じた適切なマルチエリアホワイトバランス補正を行うことができる。

好ましくは、決定部は、第１ホワイトバランスゲインと、第１ホワイトバランスゲイン及び第２ホワイトバランスゲインに応じて決定される調整閾値とに基づいて、調整後第２ホワイトバランスゲインを決定する。

本態様によれば、第１ホワイトバランスゲインと決定される調整閾値とに基づいて、調整後第２ホワイトバランスゲインが決定されるので、シーンに応じて調整閾値を決定することにより、ホワイトバランス補正を適切に行うことができる。

好ましくは、決定部は、第１ホワイトバランスゲインと、撮影画像の輝度差に応じて決定される調整閾値とに基づいて、調整後第２ホワイトバランスゲインを決定する。

本態様によれば、第１ホワイトバランスゲインと、撮影画像の輝度差に応じて決定される調整閾値とに基づいて、調整後第２ホワイトバランスゲインが決定されるので、撮影画像の輝度差に応じて、第２ホワイトバランスゲインが調整され、自然なマルチエリアホワイトバランス補正が適切に行われる。

好ましくは、ホワイトバランスゲイン取得部は、第１領域の画素値に基づいて第１ホワイトバランスゲインを取得し、第２領域の画素値に基づいて第２ホワイトバランスゲインを取得する。

本態様によれば、第１領域の画素値及び第２領域の画素値に基づいて、それぞれ第１ホワイトバランスゲイン及び第２ホワイトバランスゲインが取得されるので、撮影画像のシーンに応じたマルチエリアホワイトバランス補正が行われる。

好ましくは、画像入力部には、短露光の撮影画像と長露光の撮影画像とが入力され、領域設定部は、短露光の撮影画像及び長露光の撮影画像のどちらか一方の領域を第１領域として設定し、他方の領域を第２領域と設定する。

本態様によれば、短露光の撮影画像と長露光の撮影画像とからハイダイナミックレンジ合成画像を生成する場合においても、自然なマルチエリアホワイトバランス補正を行うことができる。

好ましくは、画像処理装置は、短露光の撮影画像と長露光の撮影画像とが入力され、短露光の撮影画像と長露光の撮影画像とが合成されるモードが選択された場合に、ホワイトバランスゲイン取得部に第１ホワイトバランスゲイン及び第２ホワイトバランスゲインを取得させる制御を行う第２の制御部を備える。

本態様によれば、ホワイトバランスゲイン取得部に必要に応じて、第１ホワイトバランスゲインと第２ホワイトバランスゲインとを取得させることができ、効率的なマルチエリアホワイトバランス補正を行うことができる。

好ましくは、第２の制御部は、短露光の撮影画像と長露光の撮影画像との露出が閾値以上である場合に、ホワイトバランスゲイン取得部に第１ホワイトバランスゲイン及び第２ホワイトバランスゲインを取得させる制御を行う。

本態様によれば、ホワイトバランスゲイン取得部に必要に応じて、第１ホワイトバランスゲインと第２ホワイトバランスゲインとを取得させることができ、効率的なマルチエリアホワイトバランス補正を行うことができる。

好ましくは、決定部は、第１ホワイトバランスゲインと、画像入力部に入力される短露光の撮影画像と長露光の撮影画像との露出差から決定される調整閾値とに基づいて、調整後第２ホワイトバランスゲインを決定する。

本態様によれば、決定部により、第１ホワイトバランスゲインと、画像入力部に入力される短露光の撮影画像と長露光の撮影画像との露出差から決定される調整閾値とに基づいて、調整後第２ホワイトバランスゲインが決定されるので、自然なマルチエリアホワイトバランス補正を行うことができる。

好ましくは、ホワイトバランスゲイン取得部は、第１領域を有する短露光の撮影画像又は長露光の撮影画像に基づいて、第１ホワイトバランスゲインを取得し、第２領域を有する短露光の撮影画像又は長露光の撮影画像に基づいて、第２ホワイトバランスゲインを取得する。

本態様によれば、第１ホワイトバランスゲイン及び第２ホワイトバランスゲインが撮影画像に基づいて算出されるので、より適切なホワイトバランスゲインが取得され、自然なマルチエリアホワイトバランス補正が行われる。

好ましくは、短露光の撮影画像及び長露光の撮影画像において、第１画像と第２画像を決定する第１第２画像決定部を備え、ホワイトバランスゲイン取得部は、第１画像の第１ホワイトバランスゲインを取得する場合には、第１領域及び第２領域に付与される第１の重視度に基づいて、第１ホワイトバランスゲインを取得し、第２画像の第２ホワイトバランスゲインを取得する場合には、第１の重視度の逆の第２の重視度に基づいて、第２ホワイトバランスゲインを取得する。

本態様によれば、第１ホワイトバランスゲインを求めた第１の重視度の逆の第２の重視度に基づいて、第２ホワイトバランスゲインが算出されるので、適切な第２ホワイトバランスゲインを精度良く求めることができる。

本発明の他の態様である画像処理方法は、撮影画像が入力されるステップと、撮影画像を複数の領域に分割し、分割した複数の領域を第１領域と第２領域とを設定するステップと、第１領域及び第２領域から第１ホワイトバランスゲイン及び第２ホワイトバランスゲインをそれぞれ取得するステップと、第１ホワイトバランスゲインと第２ホワイトバランスゲインとに基づいて、第２ホワイトバランスゲインを調整した調整後第２ホワイトバランスゲインを決定するステップと、第１領域及び第２領域を第１ホワイトバランスゲイン及び調整後第２ホワイトバランスゲインによりホワイトバランス補正を行うステップと、
を含む。

本発明の他の態様であるプログラムは、撮影画像が入力されるステップと、撮影画像を複数の領域に分割し、分割した複数の領域を第１領域と第２領域とを設定するステップと、第１領域及び第２領域から第１ホワイトバランスゲイン及び第２ホワイトバランスゲインをそれぞれ取得するステップと、第１ホワイトバランスゲインと第２ホワイトバランスゲインとに基づいて、第２ホワイトバランスゲインを調整した調整後第２ホワイトバランスゲインを決定するステップと、第１領域及び第２領域を第１ホワイトバランスゲイン及び調整後第２ホワイトバランスゲインによりホワイトバランス補正を行うステップと、を含む画像処理方法をコンピュータに実行させる。

本発明によれば、撮影画像において第１領域と第２領域が設定され、第１領域の第１ホワイトバランスゲインと第２領域の第２ホワイトバランスゲインとに基づいて、調整後第２ホワイトバランスゲインが決定され、第１領域は第１ホワイトバランスゲインにより、第２領域は調整後第２ホワイトバランスゲインによりホワイトバランス補正が行われるので、自然なマルチエリアホワイトバランス補正を行うことができる。

図１は、撮像装置の制御処理系を示すブロック図である。 図２は、画像処理部の機能構成例を示す図である。 図３は、撮影画像の一例を示す図である。 図４は、主領域及び副領域の設定の一例を示す図である。 図５は、副ホワイトバランスゲインの調整例に関して説明する図である。 図６は、画像処理部の動作を示すフロー図である。 図７は、長露光の撮影画像と短露光の撮影画像とを示す図である。 図８は、領域設定部により領域が主領域と副領域を設定されることを説明する図である。 図９は、短露光の撮影画像及び長露光の撮影画像の色度点分布の図である。 図１０は、画像処理部の動作の一例を示すフロー図である。 図１１は、画像処理部の動作の一例を示すフロー図である。 図１２は、画像処理部の機能構成例を示す図である。 図１３は、画像処理部の動作を示すフロー図である。 図１４は、画像処理部の機能構成例を示す図である。 図１５は、制御部の制御の一例を示すフロー図である。 図１６は、制御部の制御の一例を示すフロー図である。 図１７は、制御部の制御の一例を示すフロー図である。 図１８は、撮像装置の表示部の表示例を示す図である。 図１９は、撮像装置の表示部の表示例を示す図である。 図２０は、撮像装置の表示部の表示例を示す図である。 図２１は、撮像画像を示す図である。 図２２は、領域の輝度値に応じて主ホワイトバランスゲインを決定する制御に関して示すフロー図である。

以下、添付図面に従って本発明にかかる画像処理装置、画像処理方法、及びプログラムの好ましい実施の形態について説明する。

図１は、本発明の画像処理装置（画像処理部３１）を搭載する撮像装置１の制御処理系を示すブロック図である。

被写体光は、レンズ１２、絞り１４、メカニカルシャッタ２０を通過し、撮像素子２１によって受光される。レンズ１２は、撮像レンズおよび絞り１４を含む撮像光学系によって構成される。

撮像素子２１は、被写体像を受光して撮像信号（画像データ）を生成する素子であり、ＲＧＢ（赤緑青）等のカラーフィルタと、光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサとを有する。撮像素子２１から出力される画像データは、プロセス処理部２２でＡＧＣ（Automatic Gain Control）回路等によってプロセス処理が施され、その後、ＡＤ（Analog Digital)変換部２３によってアナログ形式の画像データがデジタル形式の画像データに変換される。デジタル化された画像データはメインメモリ２４に保存される。

メインメモリ２４は、画像データを一時的に記憶する領域であり、ＤＲＡＭ（Dynamic Random Access Memory）等によって構成される。ＡＤ変換部２３から送られてきてメインメモリ２４に蓄えられた画像データは、システム制御部２５により制御される画像処理部３１によって読み出される。

画像処理部３１は、撮像素子２１が生成する画像データを入力画像データとして使用し、ホワイトバランス補正、ガンマ補正処理およびデモザイク処理等の各種の画像処理を行い、画像処理後の画像データを再びメインメモリ２４に保存する。なお、画像処理部３１で行われるホワイトバランス補正に関しては後で詳しく説明をする。

画像処理部３１において画像処理が施されてメインメモリ２４に保存された画像データは、表示制御部３５および圧縮伸張部３２によって読み出される。表示制御部３５は表示部８を制御し、メインメモリ２４から読み出した画像データを表示部８に表示させる。このように、撮像素子２１から出力され画像処理部３１において画像処理を受けた画像データは、撮像確認画像（ポストビュー画像）として表示部８に表示される。

一方、圧縮伸張部３２は、メインメモリ２４から読み出した画像データの圧縮処理を行って、ＪＰＥＧ(Joint Photographic Experts Group)やＴＩＦＦ(Tagged Image File Format)等の任意の圧縮形式の画像データを作成する。圧縮処理後の画像データは、外部メモリ１０へのデータ記憶処理および外部メモリ１０からのデータ読み出し処理をコントロールする記憶制御部３３によって、外部メモリ１０に記憶される。撮像情報は任意のフォーマットで画像データに付加され、例えばＥｘｉｆ(Exchangeable image file format)形式を採用可能である。

撮像装置１のＡＦ処理機能は、シャッタボタンの第１段階の押下（半押し）があると、半押し時に取り込まれるＡＦエリアに対応する画像データの高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）をシステム制御部２５に出力する。

ＡＥ検出機能は、シャッタボタンの第１段階の押下（半押し）があると、画面全体に対応するデジタル信号を積算し、または画面中央部と周辺部とで異なる重みづけをした画像データを積算し、その積算値をシステム制御部２５に出力する。

システム制御部２５は、上述のようにメインメモリ２４、画像処理部３１および記憶制御部３３をコントロールするが、撮像装置１における他の各部（ＡＦ処理機能、ＡＥ検出機能）もコントロールする。

システム制御部２５は、オート撮影モード時にシャッタボタンが半押しされると、ＡＥ検出機能を動作させる。ＡＥ検出機能により入力される積算値より被写体輝度（撮像Ｅｖ値）を算出し、この撮像Ｅｖ値に基づいて絞り駆動部２８を介して絞り１４の絞り値およびシャッタ速度（メカニカルシャッタ２０および／または撮像素子２１の電荷蓄積時間）をプログラム線図にしたがって決定する。

シャッタボタンが全押しされると、決定した絞り値に基づいて絞り１４を制御するとともに、決定したシャッタ速度に基づいてシャッタ駆動部２７を介してメカニカルシャッタ２０を制御する。なお、撮像素子２１の電荷蓄積時間は、センサ駆動部２６により制御される。

システム制御部２５は、オート撮影モード時にシャッタボタンが半押しされると、レンズ駆動部２９を介してレンズ１２のフォーカスレンズを至近から無限遠側に移動させるとともに、ＡＦ処理機能を動作させて各レンズ位置におけるＡＦ評価値をＡＦ処理機能から取得する。そして、ＡＦ評価値が最大となる合焦位置をサーチし、その合焦位置にフォーカスレンズを移動させることにより、被写体への焦点調節を行う。システム制御部２５は、フォーカスレンズの移動位置に基づいて合焦位置に関する情報を取得する。

またシステム制御部２５は、シャッタボタン、電源スイッチおよび操作部を含むユーザインタフェース３６からの操作信号を取得し、操作信号に応じた各種の処理およびデバイス制御を行う。

システム制御部２５で行われる各種の処理およびデバイス制御に必要なプログラムやデータ類は、メインメモリ２４に記憶されている。システム制御部２５は、必要に応じて、制御メモリ３０に記憶されているプログラムやデータ類を読み出すことができ、また、新たなプログラムやデータ類を制御メモリ３０に保存することができる。

＜第１の実施形態＞

図２は、第１の実施形態の画像処理部（画像処理装置）３１の機能構成例を示す図である。

画像処理部３１は、画像入力部１０１、領域設定部１０３、ホワイトバランスゲイン取得部１０５、決定部１０７、及びホワイトバランス補正部１０９を備える。

画像入力部１０１には、撮影画像が入力される。画像入力部１０１には、例えば輝度差が大きなシーンの撮影画像が入力される。

図３は、画像入力部１０１に入力される撮影画像の一例を示す図である。撮影画像１５０は、逆行のシーンを撮影した撮影画像である。人物１５１と背景１５２の領域では輝度差が大きく、それぞれ別の光環境となっている。すなわち、人物１５１は暗い領域であり、背景１５２は明るい領域であり、異なる色温度の領域となっている。なお、他に輝度差が大きいシーンとしては、日陰の領域及び日向の領域、室内照明の領域及び太陽光の領域が併存するシーンが挙げられる。本形態では、このように輝度差が大きな撮影画像に対して、自然なマルチエリアホワイトバランス補正を行うことができる。

領域設定部１０３は、撮影画像１５０において、主領域と、主領域以外の領域である副領域とを設定する。主領域は、撮影画像１５０において撮影者が注視している領域である。このように、撮影者が注視している領域を主領域として、後で説明するマルチエリアホワイトバランス補正を行うことにより、人間がシーンを見る時と同様に、注視した箇所の補正が強く、他の箇所の補正は注視した箇所の補正に影響される自然な補正を行うことができる。主領域は、「第１領域」とも言う。副領域は、「第２領域」とも言う。

図４は、図３の撮影画像１５０における主領域及び副領域の設定の一例を示す図である。

領域設定部１０３は、先ず撮影画像１５０を縦８分割、横８分割（８×８）に分割し、その分割された領域における平均の色、輝度、又は分割された領域の画角内の位置の情報に基づいて、複数の領域に分ける設定を行う。例えば領域設定部１０３は、輝度に基づいて領域を分割する場合には、撮影画像１５０では、逆光によって人物１５１は暗い領域に属し、背景１５２は明るい領域に属する。そして例えば領域設定部１０３は、撮影画像１５０の領域を、輝度に基づいて枠Ｗの内側の領域と、枠Ｗの外側の領域とに分割する。例えば領域設定部１０３は、枠Ｗの内側の領域に撮影者の注視領域が含まれる場合には、枠Ｗの内側の領域を主領域として、枠Ｗの外側の領域を副領域とする。なお、本例では撮影画像１５０を８×８に分割して、主領域及び副領域の設定を行ったがこれに限定されるものではない。領域設定部１０３は、画素毎に主領域及び副領域の設定を行ってもよいし、他の数で分割して主領域及び副領域の設定を行ってもよい。

ホワイトバランスゲイン取得部１０５は、主領域及び副領域のホワイトバランス補正用の主ホワイトバランスゲイン及び副ホワイトバランスゲインをそれぞれ取得する。主ホワイトバランスゲイン及び副ホワイトバランスゲインは様々な手法により、ホワイトバランスゲインを取得することができる。例えば、ホワイトバランスゲイン取得部１０５は、主領域の画素値に基づいて、主ホワイトバランスゲインを取得し、副領域の画素値に基づいて、副ホワイトバランスゲインを取得する。主ホワイトバランスゲインは、「第１ホワイトバランスゲイン」とも言う。副ホワイトバランスゲインは、「第２ホワイトバランスゲイン」とも言う。

決定部１０７は、主ホワイトバランスゲインと副ホワイトバランスゲインとに基づいて、副ホワイトバランスゲインを調整した調整後副ホワイトバランスゲインを決定する。決定部１０７は、副ホワイトバランスゲインを主ホワイトバランスゲインの影響を受けるように調整を行い調整後副ホワイトバランスゲインを決定する。

図５は、決定部１０７が行う副ホワイトバランスゲインの調整例に関して説明する図である。図５では縦軸が青色（Blue）のゲインを示し、横軸が赤色（Red）のゲインを示す。また、ホワイトバランスゲイン取得部１０５で取得された撮影画像１５０の主ホワイトバランスゲインをＭＧで示し、副ホワイトバランスゲインをＳＧで示す。さらに、決定部１０７で調整された調整後副ホワイトバランスゲインをＲ−ＳＧで示す。

決定部１０７は、調整閾値Ｒ−ＴＨを決定し、調整閾値Ｒ−ＴＨ以内の主ホワイトバランスゲインＭＧ側になるように副ホワイトバランスゲインＳＧを調整する。例えば、調整閾値Ｒ−ＴＨ以内になるように、以下に示す式でａを設定することにより、調整後副ホワイトバランスゲインＲ−ＳＧを算出する。ここで図５では、調整閾値Ｒ−ＴＨは、円により図示されている。

なお、上式では、Ｒ−ＳＧ_Ｇ_ｒ、は赤色の調整後副ホワイトバランスゲインを示し、Ｒ−ＳＧ_Ｇ_ｂ、は青色の調整後副ホワイトバランスゲインを示す。ＭＧ_Ｇ_ｒ、は赤色の主ホワイトバランスゲインを示し、ＭＧ_Ｇ_ｂ、は青色の主ホワイトバランスゲインを示す。ＳＧ_Ｇ_ｒ、は赤色の副ホワイトバランスゲインを示し、ＳＧ_Ｇ_ｂ、は青色の副ホワイトバランスゲインを示す。ａは、Ｒ−ＳＧ_Ｇ_ｒ及びＲ−ＳＧ_Ｇ_ｂが調整閾値以内に収まるように設定された数値である。

例えばａは、主ホワイトバランスゲインＭＧと副ホワイトバランスゲインＳＧとが遠い程、ａの値は小さくなる。

また決定部１０７は、主ホワイトバランスゲインＭＧと副ホワイトバランスゲインＳＧとの関係から調整閾値Ｒ−ＴＨを決める。また決定部１０７は、画像入力部１０１に入力される撮影画像の輝度差に応じて、調整閾値Ｒ−ＴＨを決める。さらに決定部１０７は、第２の実施形態で説明する、露出の異なる複数の撮影画像（短露光の撮影画像及び長露光の撮影画像）が入力される場合には、複数の撮影画像間の露出差に基づいて、調整閾値Ｒ−ＴＨを決めてもよい。

図６は、本実施形態の画像処理部３１の動作を示す（画像処理方法に相当）フロー図である。

先ず、画像入力部１０１に撮影画像１５０が入力される（ステップＳ１０）。その後、領域設定部１０３により、輝度、色、又は／及び画素位置に基づいて、領域が分割され（ステップＳ１１）、領域設定部１０３により、注視領域も取得される（ステップＳ１２）。この場合、注視領域を含む領域が主領域であり、その他の領域が副領域である。そして、ホワイトバランスゲイン取得部１０５により、主ホワイトバランスゲイン及び副ホワイトバランスゲインが取得される（ステップＳ１３）。その後、決定部１０７により、副ホワイトバランスゲインを主ホワイトバランスゲインと副ホワイトバランスゲインとから再計算を行い、調整後副ホワイトバランスゲインが決定される（ステップＳ１４）。その後、ホワイトバランス補正部１０９により、主領域は主ホワイトバランスゲインにより、副領域は調整後副ホワイトバランスゲインにより、マルチエリアホワイトバランス補正が行われる（ステップＳ１５）。

以上のように、主領域の主ホワイトバランスゲインと副領域の副ホワイトバランスゲインとに基づいて、調整後副ホワイトバランスゲインが決定され、主領域は主ホワイトバランスゲインにより、副領域は調整後副ホワイトバランスゲインによりホワイトバランス補正が行われるので、自然なマルチエリアホワイトバランス補正を行うことができる。

上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

上述の各構成及び機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。

＜第２の実施形態＞

次に、第２の実施形態に関して説明する。本実施形態では、画像入力部１０１に、短時間の露光で取得された短露光の撮影画像と、長時間の露光で取得された長露光の撮影画像とが入力される。本実施形態は、短露光の撮影画像と長露光の撮影画像とを合成して、ハイダイナミックレンジ（ＨＤＲ：High Dynamic Range）合成画像を取得する場合に好適に用いられる。

図７は、画像入力部１０１に入力される長露光の撮影画像と短露光の撮影画像とを示す図である。短露光の撮影画像１６３及び長露光の撮影画像１６５は、図３と同様のシーンが撮影されている。

図８は、領域設定部１０３により、主領域及び副領域が設定されることを説明する図である。図４で説明した手法と同様の手法により、枠Ｗの内側の領域と枠Ｗの外側の領域とに分割する。そして領域設定部１０３は、短露光の撮影画像１６３及び長露光の撮影画像１６５のどちらか一方の領域を主領域として設定し、他方の領域を副領域と設定する。例えば、領域設定部１０３は、短露光の撮影画像１６３のある領域を主領域とした場合には、長露光の撮影画像１６５のある領域に対応する領域以外の領域を副領域とする。

領域設定部１０３は、注視領域が枠Ｗの内側の領域である場合に、短露光の撮影画像１６３及び長露光の撮影画像１６５の枠Ｗの内側の領域の特徴により、主領域を設定する。例えば、領域設定部１０３は、枠Ｗの内側の領域の輝度が所定の範囲の撮影画像、枠Ｗの内側の領域の彩度が高い方の撮影画像、枠Ｗの領域のコントラストが高い方の撮影画像における枠Ｗの内側の領域を主領域として設定する。

図９は、図８の短露光の撮影画像１６３及び長露光の撮影画像１６５の色度点分布の図である。図９（Ａ）には、短露光の撮影画像１６３の色度点分布が示されており、図９（Ｂ）には、長露光の撮影画像１６５の色度点分布が示されている。なお、図９（Ａ）及び（Ｂ）では、縦軸ではＢ（青）／Ｇ（緑）の値が示されており、横軸ではＲ（赤）／Ｇ（緑）の値が示されている。

短露光の撮影画像１６３において、枠Ｗ内の画素の積算値１８１は、黒つぶれが発生しており、積算値が暗すぎるのでＳＮ（signal-noise）比が悪く値が散らばる。一方、枠Ｗ外の画素の積算値１８３は、枠Ｗ外の画素の積算値１８３は、枠Ｗ内の画素の積算値１８１を無視することができるので、適切な値を示す。

長露光の撮影画像１６５において、枠Ｗ内の画素の積算値１８５は、ある一定の領域に集まっており正しい値を示している。一方で、枠Ｗ外の画素の積算値１８７は、白とび（飽和）しているので、色度点が異常に一箇所に集中してしまう。

このような場合、長露光の撮影画像１６５の枠Ｗ内の領域を主領域とし、短露光の撮影画像１６３の枠Ｗ外の領域を副領域として、主ホワイトバランスゲインと調整後副ホワイトバランスゲインとを求め、マルチエリアホワイトバランス補正を行うことにより、違和感のないＨＤＲ合成画像を得ることができる。

図１０は、本実施形態の画像処理部３１の動作の一例を示すフロー図である。

先ず、画像入力部１０１に撮影画像が入力される（ステップＳ２０）。その後、領域設定部１０３により、輝度、色、画素位置に基づいて、短露光の撮影画像１６３、及び長露光の撮影画像１６５の領域が分割され（ステップＳ２１）、領域設定部１０３により注視領域が取得されて（ステップＳ２２）、主領域及び副領域が設定される。その後、ホワイトバランスゲイン取得部１０５は、領域ごとにホワイトバランスゲインを取得する（ステップＳ２３）。次に、ホワイトバランスゲイン取得部１０５は、注視領域の平均輝度を短露光の撮影画像１６３、長露光の撮影画像１６５のそれぞれから算出する（ステップＳ２４）。注視領域の平均輝度が中間に近い方の画像の注視領域から求められたホワイトバランスゲインを主ホワイトバランスゲインとする（ステップＳ２５）。また、ホワイトバランスゲイン取得部１０５は、注視領域の平均輝度が中間から遠い方の画像の注視領域以外の領域から求められたホワイトバランスゲインを副ホワイトバランスゲインとする（ステップＳ２６）。そして、決定部１０７は、主ホワイトバランスゲインと副ホワイトバランスゲインとから調整後副ホワイトバランスゲインを決定する（ステップＳ２７）。その後、ホワイトバランス補正部１０９により、主領域は主ホワイトバランスゲインにより、副領域は調整後副ホワイトバランスゲインにより、マルチエリアホワイトバランス補正を行う（ステップＳ２８）。

図１１は、本実施形態の画像処理装置の動作の他の例を示すフロー図である。

先ず、画像入力部１０１に撮影画像が入力される（ステップＳ３０）。その後、ホワイトバランスゲイン取得部１０５は、短露光の撮影画像１６３及び長露光の撮影画像１６５のそれぞれに、画像ごとにホワイトバランスゲインを求める（ステップＳ３１）。次に、領域設定部１０３は、短露光の撮影画像１６３及び長露光の撮影画像１６５において、輝度、色、画素位置に基づいて領域が分割される（ステップＳ３２）。その後、領域設定部１０３は注視領域を取得する（ステップＳ３３）。注視領域の平均輝度を短露光の撮影画像１６３及び長露光の撮影画像１６５それぞれから算出する（ステップＳ３４）。領域設定部１０３は平均輝度が中間に近い方の画像から求められたホワイトバランスゲインを主ホワイトバランスゲインとする（ステップＳ３５）。そして、決定部１０７により、主ホワイトバランスゲインと副ホワイトバランスゲインとから調整後副ホワイトバランスゲインが決定される（ステップＳ３６）。その後、そして、ホワイトバランス補正部１０９により、主領域は主ホワイトバランスゲインで、副領域は調整後副ホワイトバランスゲインで、マルチエリアホワイトバランス補正が行われる（ステップＳ３７）。

＜第３の実施形態＞

次に、第３の実施形態に関して説明する。本実施形態では、重視度に基づいて副ホワイトバランスゲインが求められる。これにより、適切な副ホワイトバランスゲインが精度良く求められる。

図１２は、本実施形態の画像処理部３１の機能構成例を示す図である。なお、図２で既に説明を行った箇所は、同じ符号を付し説明を省略する。

画像処理部３１は、画像入力部１０１、領域設定部１０３、ホワイトバランスゲイン取得部１０５、決定部１０７、ホワイトバランス補正部１０９、及び主副画像決定部１１１を備える。

主副画像決定部１１１は、短露光の撮影画像１６３及び長露光の撮影画像１６５において、主画像と副画像とを決定する。主画像は「第１画像」とも言う。副画像は「第２画像」とも言う。主副画像決定部は、「画像決定部」とも言う。

ホワイトバランスゲイン取得部１０５は、主画像の主ホワイトバランスゲインを取得する場合には、主領域及び副領域に付与される第１の重視度に基づいて、主ホワイトバランスゲインを取得し、副画像の副ホワイトバランスゲインを取得する場合には、第１の重視度の逆の第２の重視度に基づいて、副ホワイトバランスゲインを取得する。

図１３は、本実施形態の画像処理部３１の動作を示すフロー図である。

先ず、画像入力部１０１に、短露光の撮影画像１６３及び長露光の撮影画像１６５が入力される（ステップＳ４０）。その後、領域設定部１０３により、注視領域が取得される（ステップＳ４１）。その後、主副画像決定部１１１により、注視領域の平均輝度を短露光の撮影画像１６３及び長露光の撮影画像１６５のそれぞれから算出する（ステップＳ４２）。そして、主副画像決定部１１１により、短露光の撮影画像１６３及び長露光の撮影画像１６５の注視領域の平均輝度が、短露光の撮影画像１６３及び長露光の撮影画像１６５の輝度の中央値に近い方の画像を主画像とする（ステップＳ４３）。そして、ホワイトバランスゲイン取得部１０５は、決定された主画像から主ホワイトバランスゲインを求める（ステップＳ４４）。この際、ホワイトバランスゲイン取得部１０５は、各領域に重視度を設定し、その重視度に基づいてホワイトバランスゲインを取得する。例えば、注視領域は重視度を２とし、注視領域以外の領域は重視度を１として、この重視度（第１の重視度）に基づいて、ホワイトバランスゲイン取得部１０５は主画像から主ホワイトバランスゲインを取得する。その後、ホワイトバランスゲイン取得部１０５は、主画像にて主ホワイトバランスゲインを求めた時の領域ごとの重視度を取得する（ステップＳ４５）。そして、ホワイトバランスゲイン取得部１０５は、主画像の重視度の逆になる重視度を副画像に設定し、副画像から副ホワイトバランスゲインを求める（ステップＳ４６）。すなわち、副画像において、注視領域の重視度を１とし、注視領域以外の領域の重視度を２として、この重視度（第２の重視度）に基づいて、副画像から副ホワイトバランスゲインを求める。次に、決定部１０７は、ホワイトバランスゲイン取得部１０５で取得された副ホワイトバランスゲインを、主ホワイトバランスゲイン及び副ホワイトバランスゲインから再計算を行い調整し、調整後副ホワイトバランスゲインを算出する（ステップＳ４７）。その後、ホワイトバランス補正部１０９により、主領域は主ホワイトバランスゲインにより、副領域は調整後副ホワイトバランスゲインにより、マルチエリアホワイトバランス補正を行う（ステップＳ４８）。

＜第４の実施形態＞

次に、第４の実施形態に関して説明する。本実施形態では、制御部１１２（図１４）により、ホワイトバランスゲイン取得部１０５の主ホワイトバランスゲイン及び副ホワイトバランスゲインの取得が制御される。なお、制御部１１２は、第１の制御部及び第２の制御部の機能を有する。

図１４は、本実施形態の画像処理部３１の機能構成例を示す図である。なお、図２で既に説明を行った箇所は同じ符号を付し説明を省略する。

本実施形態の画像処理部３１は、画像入力部１０１、領域設定部１０３、ホワイトバランスゲイン取得部１０５、決定部１０７、ホワイトバランス補正部１０９、及び制御部１１２を備える。

制御部１１２は、ホワイトバランスゲイン取得部１０５に主ホワイトバランスゲイン及び副ホワイトバランスゲインを取得させるか否かを判断し、ホワイトバランスゲイン取得部１０５に実行させる。

図１５は、制御部１１２のホワイトバランスゲイン取得部１０５の制御の一例を示すフロー図である。本例では、制御部（第１の制御部）１１２が入力画像の輝度差に基づいて、ホワイトバランスゲイン取得部１０５を制御する。

先ず、制御部１１２は入力された撮影画像の輝度差を算出する（ステップＳ５０）。そして、制御部１１２は算出された輝度差が閾値以上であるか否か判定し（ステップＳ５１）、輝度差が閾値以上である場合には、ホワイトバランスゲイン取得部１０５に主ホワイトバランスゲイン及び副ホワイトバランスゲインの複数のホワイトバランスゲインを求めさせる（ステップＳ５２）。一方、輝度差が閾値未満である場合には、ホワイトバランスゲイン取得部１０５に主ホワイトバランスゲイン及び副ホワイトバランスゲインの複数のホワイトバランスゲインを求めさせない（ステップＳ５３）。なお、ここでいう輝度差とは、１枚の撮影画像における輝度差のこと、又は複数の撮影画像間での輝度を意味する。

図１６は、制御部１１２のホワイトバランスゲイン取得部１０５の制御の一例を示すフロー図である。本例では、制御部（第２の制御部）１１２が短露光の撮影画像と長露光の撮影画像とが合成されるモードが選択された場合に、ホワイトバランスゲイン取得部１０５に主ホワイトバランスゲイン及び副ホワイトバランスゲインを取得させる制御を行う。

制御部１１２は、短露光の撮影画像１６３と長露光の撮影画像１６５とが合成されるモードが選択されたかを判定する（ステップＳ６０）。なお、このモード選択は、例えば撮影者により撮像装置１のユーザインタフェース３６を介して行われる。そして、制御部１１２は、合成されるモードが選択される場合には、ホワイトバランスゲイン取得部１０５に、主ホワイトバランスゲインと副ホワイトバランスゲインとを算出させる（ステップＳ６１）。一方、制御部１１２は、合成されるモードが選択されていない場合には、ホワイトバランスゲイン取得部１０５に、主ホワイトバランスゲインと副ホワイトバランスゲインとを算出させない（ステップＳ６２）。

図１７は、制御部１１２のホワイトバランスゲイン取得部１０５の制御の一例を示すフロー図である。図１７は、制御部（第２の制御部）１１２が短露光の撮影画像１６３と長露光の撮影画像１６５とが合成されるモードが選択され、且つ短露光の撮影画像１６３と長露光の撮影画像１６５との露出差がある閾値以上であることを判断基準に、ホワイトバランスゲイン取得部１０５を制御する。

制御部１１２は、短露光の撮影画像と長露光の撮影画像とが合成されるモードが選択されたかを判定し、（ステップＳ７０）。合成されるモードが選択された場合には、さらに制御部１１２は露出差２Ｅｖ以上で撮影されるモードが選択されているか判定する（ステップＳ７１）。そして、制御部１１２は、露出差２Ｅｖ以上で撮影されるモードが選択されている場合には、ホワイトバランスゲイン取得部１０５に、主ホワイトバランスゲインと副ホワイトバランスゲインとを求めさせる（ステップＳ７２）。一方、制御部１１２は、合成されるモードが選択されていない場合、又は露出差２Ｅｖ以上の撮影が行われない場合には、ホワイトバランスゲイン取得部１０５に、主ホワイトバランスゲインと副ホワイトバランスゲインとを算出させない（ステップＳ７３）。

＜主又は副ホワイトバランスゲイン、及び主又は副領域の決定例＞

次に、主ホワイトバランスゲイン及び副ホワイトバランスゲインの決定、及び、主領域及び副領域の決定に関して説明する。上述で説明した以外の形態でも、主ホワイトバランスゲイン及び副ホワイトバランスゲインの決定、及び、主領域及び副領域の決定は行われる。

≪例１≫

本例は、撮影者からの指令に基づいて、主ホワイトバランスゲインが選択される例である。

図１８は、撮像装置１の表示部８の表示例を示す図である。表示部８には、画像入力部１０１に入力された撮影画像に対して、ホワイトバランスゲイン取得部１０５で取得されたホワイトバランスゲインが表示されている。図１８に示した場合では、ホワイトバランスゲイン取得部１０５により取得された、「ホワイトバランス１晴れ」（符号１７３で示す）と「ホワイトバランス２日陰」（符号１７４で示す）が表示部８に表示されている。撮影者は、撮影画像において、晴れの領域を注視しているので、「ホワイトバランス１晴れ」を選択する。これにより、「ホワイトバランス１晴れ」が主ホワイトバランスゲインとなる。

≪例２≫

本例は、撮影者からの指令に基づいて、主領域が選択される例である。

図１９は、撮像装置１の表示部８の表示例を示す図である。表示部８には、画像入力部１０１に入力された撮影画像が表示される。そして、撮影者はアイコン１９１で注視する領域を選択する。これにより、撮影者が注視する領域が主領域として選択され、領域設定部１０３は選択された領域を主領域として設定する。

≪例３≫

本例は、撮影画像のフォーカス又は露出を調整する領域を主領域とする例である。

図２０は、撮像装置１の表示部８の表示例を示す図である。表示部８には、撮影時の撮影画像（プレビュー画像）が表示されている。撮影者は撮影時に、注視している領域にフォーカスを合わせるための領域又は露出調整を行うため領域である基準領域１９３を移動させる。この場合、領域設定部１０３は、基準領域１９３又は基準領域１９３を含む領域を主領域とする。

≪例４≫

本例は、顔検出された領域を主領域とする例である。

図２１は、撮影画像１５０を示す図である。撮影画像１５０では、顔検出領域１９５が行われている。領域設定部１０３は、顔検出領域１９５又は顔検出領域１９５を含む領域を、主領域として設定する。

≪例５≫

本例は、ホワイトバランスゲインを求めた領域の輝度に応じて、主ホワイトバランスゲインを決定する例である。

図２２は、ホワイトバランスゲイン取得部１０５により、領域の輝度値に応じて主ホワイトバランスゲインを決定する制御に関して示すフロー図である。なお、ここではホワイトバランスゲイン取得部１０５は、図４で示した撮影画像１５０に関しての主ホワイトバランスゲインを決定する。

先ず、ホワイトバランスゲイン取得部１０５は、枠Ｗの内側の領域と、枠Ｗの外側の領域の輝度値の平均をそれぞれ算出する（ステップＳ８０）。その後、ホワイトバランスゲイン取得部１０５は、枠Ｗの内側の領域及び枠Ｗの外側の領域のうち、撮影画像１５０の輝度値の中央値に、平均輝度値を有する領域が判定される（ステップＳ８１）。そして、枠Ｗの内側の領域の輝度値の平均が中央値に近い場合は、枠Ｗ内の領域に基づいて算出されるホワイトバランスゲインを主ホワイトバランスゲインとする（ステップＳ８２）。一方、枠Ｗの外側の領域の輝度値の平均が中央値に近い場合は、枠Ｗの外側の領域に基づいて算出されるホワイトバランスゲインを主ホワイトバランスゲインとする（ステップＳ８３）。

≪例６≫

本例は、ホワイトバランスゲインを求めた領域の大きさに応じて、主ホワイトバランスゲインを決定する例である。

上述した図２では、枠Ｗの内側の領域と枠Ｗの外側の領域とに基づいて、それぞれホワイトバランスゲインが算出された場合には、枠Ｗの外側の領域の方が大きいので、ホワイトバランスゲイン取得部１０５は、枠Ｗの外側の領域のホワイトバランスゲインを主ホワイトバランスゲインとする。

以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１ ：撮像装置

８ ：表示部

１０ ：外部メモリ

１２ ：レンズ

１４ ：絞り

２０ ：メカニカルシャッタ

２１ ：撮像素子

２２ ：プロセス処理部

２３ ：ＡＤ変換部

２４ ：メインメモリ

２５ ：システム制御部

２６ ：センサ駆動部

２７ ：シャッタ駆動部

２８ ：絞り駆動部

２９ ：レンズ駆動部

３０ ：制御メモリ

３１ ：画像処理部

３２ ：圧縮伸張部

３３ ：記憶制御部

３５ ：表示制御部

３６ ：ユーザインタフェース

１０１ ：画像入力部

１０３ ：領域設定部

１０５ ：ホワイトバランスゲイン取得部

１０７ ：決定部

１０９ ：ホワイトバランス補正部

１１１ ：主副画像決定部

１１２ ：制御部

Claims (21)

1. 撮影画像が入力される画像入力部と、
   前記撮影画像を複数の領域に分割し、分割した前記複数の領域を、撮影者が注視する主領域とそれ以外の領域を副領域とに設定する領域設定部と、
   前記主領域及び前記副領域から第１ホワイトバランスゲイン及び第２ホワイトバランスゲインをそれぞれ取得するホワイトバランスゲイン取得部と、
   前記第１ホワイトバランスゲインと前記第２ホワイトバランスゲインとに基づいて、前記第２ホワイトバランスゲインを調整した調整後第２ホワイトバランスゲインを決定する決定部と、
   前記主領域及び前記副領域を前記第１ホワイトバランスゲイン及び前記調整後第２ホワイトバランスゲインによりホワイトバランス補正を行うホワイトバランス補正部と、
   を備え、
   前記画像入力部には、短露光の撮影画像と長露光の撮影画像とが入力され、
   前記領域設定部は、前記短露光の撮影画像及び前記長露光の撮影画像のどちらか一方の領域を前記主領域として設定し、他方の領域を前記副領域と設定する、
   画像処理装置。
2. 撮影画像が入力される画像入力部と、
   前記撮影画像を複数の領域に分割し、分割した前記複数の領域を、撮影者からの指令により選択された領域、フォーカスを合わせるための領域、露出調整を行うための領域、及び顔検出領域を含む領域の少なくともいずれか１つを主領域とし、それ以外の領域を副領域と設定する領域設定部と、
   前記主領域及び前記副領域から第１ホワイトバランスゲイン及び第２ホワイトバランスゲインをそれぞれ取得するホワイトバランスゲイン取得部と、
   前記第１ホワイトバランスゲインと前記第２ホワイトバランスゲインとに基づいて、前記第２ホワイトバランスゲインを調整した調整後第２ホワイトバランスゲインを決定する決定部と、
   前記主領域及び前記副領域を前記第１ホワイトバランスゲイン及び前記調整後第２ホワイトバランスゲインによりホワイトバランス補正を行うホワイトバランス補正部と、
   を備え、
   前記画像入力部には、短露光の撮影画像と長露光の撮影画像とが入力され、
   前記領域設定部は、前記短露光の撮影画像及び前記長露光の撮影画像のどちらか一方の領域を前記主領域として設定し、他方の領域を前記副領域と設定する、
   画像処理装置。
3. 前記短露光の撮影画像と前記長露光の撮影画像とが入力され、前記短露光の撮影画像と前記長露光の撮影画像とが合成されるモードが選択された場合に、前記ホワイトバランスゲイン取得部に前記第１ホワイトバランスゲイン及び前記第２ホワイトバランスゲインを取得させる制御を行う第２の制御部を備える請求項１又は２に記載の画像処理装置。
4. 前記第２の制御部は、前記短露光の撮影画像と前記長露光の撮影画像との露出が閾値以上である場合に、前記ホワイトバランスゲイン取得部に前記第１ホワイトバランスゲイン及び前記第２ホワイトバランスゲインを取得させる制御を行う請求項３に記載の画像処理装置。
5. 前記決定部は、前記第１ホワイトバランスゲインと、前記画像入力部に入力される前記短露光の撮影画像と前記長露光の撮影画像との露出差から決定される調整閾値とに基づいて、前記調整後第２ホワイトバランスゲインを決定する請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記ホワイトバランスゲイン取得部は、前記主領域を有する前記短露光の撮影画像又は前記長露光の撮影画像に基づいて、前記第１ホワイトバランスゲインを取得し、前記副領域を有する前記短露光の撮影画像又は前記長露光の撮影画像に基づいて、前記第２ホワイトバランスゲインを取得する請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記短露光の撮影画像及び前記長露光の撮影画像において、第１画像と第２画像を決定する画像決定部を備え、
   前記ホワイトバランスゲイン取得部は、前記第１画像の前記第１ホワイトバランスゲインを取得する場合には、前記主領域及び前記副領域に付与される第１の重視度に基づいて、前記第１ホワイトバランスゲインを取得し、前記第２画像の前記第２ホワイトバランスゲインを取得する場合には、前記第１の重視度の逆の第２の重視度に基づいて、前記第２ホワイトバランスゲインを取得する請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記決定部は、前記第１ホワイトバランスゲインと、前記第１ホワイトバランスゲイン及び前記第２ホワイトバランスゲインに応じて決定される調整閾値とに基づいて、前記調整後第２ホワイトバランスゲインを決定する請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記決定部は、前記第１ホワイトバランスゲインと、前記撮影画像の輝度差に応じて決定される調整閾値とに基づいて、前記調整後第２ホワイトバランスゲインを決定する請求項１から７のいずれか１項に記載の画像処理装置。
10. 撮影画像が入力される画像入力部と、
    前記撮影画像を複数の領域に分割し、分割した前記複数の領域を、撮影者が注視する主領域とそれ以外の領域を副領域とに設定する領域設定部と、
    前記主領域及び前記副領域から第１ホワイトバランスゲイン及び第２ホワイトバランスゲインをそれぞれ取得するホワイトバランスゲイン取得部と、
    前記第１ホワイトバランスゲインと前記第２ホワイトバランスゲインとに基づいて、前記第２ホワイトバランスゲインを調整した調整後第２ホワイトバランスゲインを決定する決定部と、
    前記主領域及び前記副領域を前記第１ホワイトバランスゲイン及び前記調整後第２ホワイトバランスゲインによりホワイトバランス補正を行うホワイトバランス補正部と、
    を備え、
    前記決定部は、前記第１ホワイトバランスゲインと、前記第１ホワイトバランスゲイン及び前記第２ホワイトバランスゲインに応じて決定される調整閾値とに基づいて、前記調整後第２ホワイトバランスゲインを決定する、
    画像処理装置。
11. 撮影画像が入力される画像入力部と、
    前記撮影画像を複数の領域に分割し、分割した前記複数の領域を、撮影者からの指令により選択された領域、フォーカスを合わせるための領域、露出調整を行うための領域、及び顔検出領域を含む領域の少なくともいずれか１つを主領域とし、それ以外の領域を副領域と設定する領域設定部と、
    前記主領域及び前記副領域から第１ホワイトバランスゲイン及び第２ホワイトバランスゲインをそれぞれ取得するホワイトバランスゲイン取得部と、
    前記第１ホワイトバランスゲインと前記第２ホワイトバランスゲインとに基づいて、前記第２ホワイトバランスゲインを調整した調整後第２ホワイトバランスゲインを決定する決定部と、
    前記主領域及び前記副領域を前記第１ホワイトバランスゲイン及び前記調整後第２ホワイトバランスゲインによりホワイトバランス補正を行うホワイトバランス補正部と、
    を備え、
    前記決定部は、前記第１ホワイトバランスゲインと、前記第１ホワイトバランスゲイン及び前記第２ホワイトバランスゲインに応じて決定される調整閾値とに基づいて、前記調整後第２ホワイトバランスゲインを決定する、
    画像処理装置。
12. 前記画像入力部に入力される前記撮影画像の輝度差に基づいて、前記ホワイトバランスゲイン取得部に前記第１ホワイトバランスゲイン及び前記第２ホワイトバランスゲインを取得させる制御を行う第１の制御部を備える請求項１から１１のいずれか１項に記載の画像処理装置。
13. 前記第１の制御部は、前記撮影画像の輝度差が閾値以上である場合に、前記ホワイトバランスゲイン取得部に前記第１ホワイトバランスゲイン及び前記第２ホワイトバランスゲインを取得させる請求項１２に記載の画像処理装置。
14. 前記第１の制御部は、前記ホワイトバランスゲイン取得部に、操作部から入力される指令に基づいて、前記第１ホワイトバランスゲインと前記第２ホワイトバランスゲインとを取得させる請求項１２又は１３に記載の画像処理装置。
15. 前記領域設定部は、前記撮影画像のフォーカス又は露出を調整する領域を前記主領域とする請求項１から１４のいずれか１項に記載の画像処理装置。
16. 前記ホワイトバランスゲイン取得部は、ホワイトバランスゲインを求めた領域の大きさ、又はホワイトバランスゲインを求めた領域の輝度に応じて、取得した前記ホワイトバランスゲインを前記第１ホワイトバランスゲイン及び前記第２ホワイトバランスゲインとする請求項１から１４のいずれか１項に記載の画像処理装置。
17. 前記ホワイトバランスゲイン取得部は、前記主領域の画素値に基づいて前記第１ホワイトバランスゲインを取得し、前記副領域の画素値に基づいて前記第２ホワイトバランスゲインを取得する請求項１から１６のいずれか１項に記載の画像処理装置。
18. 短露光の撮影画像と長露光の撮影画像とが入力されるステップと、
    前記短露光の撮影画像及び前記長露光の撮影画像のどちらか一方の領域を、撮影者が注視する主領域として設定し、他方の領域を副領域と設定するステップと、
    前記主領域及び前記副領域から第１ホワイトバランスゲイン及び第２ホワイトバランスゲインをそれぞれ取得するステップと、
    前記第１ホワイトバランスゲインと前記第２ホワイトバランスゲインとに基づいて、前記第２ホワイトバランスゲインを調整した調整後第２ホワイトバランスゲインを決定するステップと、
    前記主領域及び前記副領域を前記第１ホワイトバランスゲイン及び前記調整後第２ホワイトバランスゲインによりホワイトバランス補正を行うステップと、
    を含む画像処理方法をコンピュータに実行させるプログラム。
19. 撮影画像が入力されるステップと、
    前記撮影画像を複数の領域に分割し、分割した前記複数の領域を、撮影者が注視する主領域とそれ以外の領域を副領域とに設定するステップと、
    前記主領域及び前記副領域から第１ホワイトバランスゲイン及び第２ホワイトバランスゲインをそれぞれ取得するステップと、
    前記第１ホワイトバランスゲインと、前記第１ホワイトバランスゲイン及び前記第２ホワイトバランスゲインに応じて決定される調整閾値とに基づいて、前記第２ホワイトバランスゲインを調整した調整後第２ホワイトバランスゲインを決定するステップと、
    前記主領域及び前記副領域を前記第１ホワイトバランスゲイン及び前記調整後第２ホワイトバランスゲインによりホワイトバランス補正を行うステップと、
    を含む画像処理方法をコンピュータに実行させるプログラム。
20. 短露光の撮影画像と長露光の撮影画像とが入力されるステップと、
    前記短露光の撮影画像及び前記長露光の撮影画像のどちらか一方の領域であって、撮影者からの指令により選択された領域、フォーカスを合わせるための領域、露出調整を行うための領域、及び顔検出領域を含む領域の少なくともいずれか１つを主領域として設定し、他方の領域を副領域と設定するステップと、
    前記主領域及び前記副領域から第１ホワイトバランスゲイン及び第２ホワイトバランスゲインをそれぞれ取得するステップと、
    前記第１ホワイトバランスゲインと前記第２ホワイトバランスゲインとに基づいて、前記第２ホワイトバランスゲインを調整した調整後第２ホワイトバランスゲインを決定するステップと、
    前記主領域及び前記副領域を前記第１ホワイトバランスゲイン及び前記調整後第２ホワイトバランスゲインによりホワイトバランス補正を行うステップと、
    を含む画像処理方法をコンピュータに実行させるプログラム。
21. 撮影画像が入力されるステップと、
    前記撮影画像を複数の領域に分割し、分割した前記複数の領域を、撮影者からの指令により選択された領域、フォーカスを合わせるための領域、露出調整を行うための領域、及び顔検出領域を含む領域の少なくともいずれか１つを主領域とし、それ以外の領域を副領域と設定するステップと、
    前記主領域及び前記副領域から第１ホワイトバランスゲイン及び第２ホワイトバランスゲインをそれぞれ取得するステップと、
    前記第１ホワイトバランスゲインと、前記第１ホワイトバランスゲイン及び前記第２ホワイトバランスゲインに応じて決定される調整閾値とに基づいて、前記第２ホワイトバランスゲインを調整した調整後第２ホワイトバランスゲインを決定するステップと、
    前記主領域及び前記副領域を前記第１ホワイトバランスゲイン及び前記調整後第２ホワイトバランスゲインによりホワイトバランス補正を行うステップと、
    を含む画像処理方法をコンピュータに実行させるプログラム。

Images