JP2013162246A - 画像処理装置およびその制御方法 - Google Patents

Abstract

【課題】 露出の異なる複数の画像を合成してダイナミックレンジを拡大した画像を生成する画像処理装置およびその制御方法において、適切な階調表現の合成画像を生成可能とすること。
【解決手段】 異なる複数の露出で撮影された複数の画像を取得し、各々に対してホワイトバランス調整を行う（Ｓ４０２）。ホワイトバランス調整された複数の画像のうちの１つで、かつ輝度補正が行われていない画像の輝度値に応じて、複数の画像の合成比率を決定し、輝度補正された複数の画像を、決定手段が決定した比率で合成する（Ｓ４０８）。
【選択図】 図３

Description

本発明は、露出が異なる複数の画像を合成して広ダイナミックレンジの画像を得る画像処理装置およびその制御方法に関する。

従来、デジタルカメラ等の撮像装置において、同一シーンを異なる露出で撮影した複数の画像を合成して、ダイナミックレンジの広い画像を得る技術が提案されている（例えば、特許文献１参照）。

特開２０００-５０１７３号公報

ダイナミックレンジを拡大した合成画像を得る一方法として、合成する複数の画像の１つを基準画像とし、基準画像の輝度値を基に、残りの画像を輝度補正してから合成する手法がある。この場合、ダイナミックレンジ拡大のために輝度調整をした画像を基準画像として用いて合成画像を生成すると、合成画像の階調表現が適切にならないことがある。

本発明はこのような従来技術の課題に鑑みてなされたものであり、露出の異なる複数の画像を合成してダイナミックレンジを拡大した画像を生成する画像処理装置およびその制御方法において、適切な階調表現の合成画像を生成可能とすることを目的とする。

上述の目的は、異なる複数の露出で撮影された複数の画像を取得する取得手段と、複数の画像の各々に対してホワイトバランス調整を行うホワイトバランス調整手段と、ホワイトバランス調整された複数の画像の各々について、輝度補正を行う輝度補正手段と、ホワイトバランス調整された複数の画像のうちの１つで、かつ輝度補正が行われていない画像の輝度値に応じて、複数の画像の合成比率を決定する決定手段と、輝度補正された複数の画像を、決定手段が決定した比率で合成する合成手段と、を有することを特徴とする画像処理装置によって達成される。

このような構成により、本発明によれば、適切な階調表現の合成画像を得ることができる。

本発明の第１の実施形態に係る画像処理装置の一例としての撮像装置１００の構成例を示すブロック図 図１の撮像装置１００が有する画像処理装置２０１のうち、ダイナミックレンジを拡大した合成画像の生成に関係する機能のブロック図 本発明の第１の実施形態における合成画像生成処理の流れを示すフローチャート （ａ）は本発明の第１の実施形態における輝度補正処理における領域分割の例を示す図、（ｂ）は領域毎の代表輝度値の例を示す図 （ａ）はそれぞれ露出アンダーで撮影された画像に適用するルックアップテーブルの特性を示す図、（ｂ）は露出オーバーで撮影された画像に適用するルックアップテーブルの特性の例を示す図 （ａ）は、ルックアップテーブルを用いて代表輝度値からゲイン値を求める操作を模式的に示す図、（ｂ）は領域毎に代表輝度値をゲイン値に置き換える操作を模式的に示す図 本発明の第１の実施形態における合成回路２０７の入出力データの一例を模式的に示す図 （ａ）は本発明の第１の実施形態における合成比率の一例を示す図、（ｂ）は基準画像の輝度補正により合成比率が変化する場合の例を説明する図 （ａ）は人物に露出を合わせて撮影した画像の例を示す図、（ｂ）は外の景色に露出を合わせて撮影した画像の例を示す図、（ｃ）は（ａ）に輝度補正を適用した画像の例を示す図 （ａ）は、図９（ａ），（ｂ）の対応位置における輝度値の変化を示す図、（ｂ）は、輝度補正された画像を基準画像とした場合と、輝度補正されていない画像を基準画像とした場合の、合成画像における輝度変化の例を示す図 本発明の第２の実施形態に係る画像処理装置の一例として撮像装置１００が有する画像処理装置３０１のうち、ダイナミックレンジを拡大した合成画像の生成に関係する機能のブロック図 本発明の第２の実施形態における合成画像生成処理の流れを示すフローチャート 本発明の第２の実施形態で用いる基準画像用ガンマカーブと合成画像用ガンマカーブの一例を示す図

以下、本発明の例示的な実施形態を、添付の図面に基づいて詳細に説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る画像処理装置の一例としての撮像装置１００の構成例を示すブロック図である。撮像装置１００はデジタルカメラ、デジタルビデオカメラのようなカメラはもとより、カメラ付き携帯電話、カメラ付きコンピュータなど、カメラ機能を備える任意の電子機器であってよい。

図１において、光学系１０１は、レンズ、シャッター、絞りから構成されていて、被写体の光学像で撮像素子１０２を露光する。ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどの撮像素子１０２は、光学系１０１により結像された光学像を画素ごとの輝度情報に変換する。制御部として機能するＣＰＵ１０３は、入力された信号や予め記憶されたプログラムに従い、撮像装置１００を構成する各部を制御することで、撮像装置１００の機能を実現させる。なお、以下の説明において、ＣＰＵ１０３がプログラムを実行して実現する機能の少なくとも一部は、ＡＳＩＣ等の専用ハードウェアによって実現されてもよい。

一次記憶装置１０４は、例えばＲＡＭのような揮発性記憶装置であり、ＣＰＵ１０３の作業用に使われる。二次記憶装置１０５は例えばＥＥＰＲＯＭのような不揮発性記憶装置であり、撮像装置１００を制御するためのプログラム（ファームウェア）や各種の設定情報を記憶する。記憶媒体１０６は、撮影により得られた画像のデータなどを記憶する。なお、記憶媒体１０６は例えば半導体メモリカードのように撮像装置１００から取り外し可能であり、記憶されたデータはパーソナルコンピュータなど他の機器で読み出し可能である。つまり、撮像装置１００は記憶媒体１０６の着脱機構及び読み書き機能を有する。表示部１０７は、撮影時のビューファインダー画像、撮影画像、対話的な操作のためのＧＵＩ画像等の表示を行う。操作部１０８は、ユーザの操作を受け付ける入力デバイス群であり、例えばボタン、レバー、タッチパネル等はもちろん、音声や視線等を用いた入力機器であってもよい。

なお、本実施形態の撮像装置１００は、画像処理装置２０１が撮像画像に適用する画像処理のパターンを複数有し、パターンを撮像モードとして操作部１０８から設定可能である。例えば、撮像画像を鮮やか目に仕上げるパターン、スタンダードな色合いで仕上げるパターン、発色を抑えたニュートラルな画像とするパターン、人物の肌色に重点を置いた画像処理を行うパターン等である。例えばポートレートモードでは、人物の肌色の色調や滑らかさに重点を置いた画像処理が行われるため、人物、特に女性や子供をアップで撮影する場合に好適である。

通信装置１０９は、外部装置と接続し制御コマンドやデータの送受信を行う。外部装置と接続を確立し、データ通信するためのプロトコルとしては、例えばＰＴＰ（Picture Transfer Protocol）が用いられる。なお、通信装置１０９は、外部装置と例えばＵＳＢ（Universal SerialBus）ケーブルなどの有線接続により通信を行ってもよいし、無線ＬＡＮなどの無線接続により通信を行ってもよい。また、外部装置と直接接続してもよいし、サーバを経由したりインターネットなどのネットワークを介して接続してもよい。

画像処理装置２０１は、いわゆる現像処理と呼ばれる画像処理を始め、撮影モードに応じた色調の調整等を行う。また、露出の異なる複数の画像を合成してダイナミックレンジを拡張した合成画像を生成する処理も画像処理装置２０１が行う。合成される複数の画像のデータは例えば一次記憶装置１０４に記憶される。なお、画像処理装置２０１の機能の少なくとも１部は、ＣＰＵ１０３がソフトウェア的に実現してもよい。画像処理装置２０１の内部構成や動作の詳細について以下説明する。

図２は、画像処理装置２０１のうち、ダイナミックレンジを拡大した合成画像の生成に関係する機能のブロック図である。
画像処理装置２０１は、ホワイトバランス調整回路２０２、領域情報生成回路２０３、領域情報置換回路２０４、ゲイン値算出回路２０５、輝度補正回路２０６、合成回路２０７を有している。

図３は、本実施形態における合成画像生成処理の流れを示すフローチャートである。以下、図１、図２、図３を用いて合成画像生成処理について説明する。

まず、Ｓ４０１において、ＣＰＵ１０３は、いわゆるブラケット撮影の要領で、同一視野について露出の異なる複数回の撮影を連続的に実行する。なお、以下の説明では、合成処理の説明及び理解を容易にするため、合成処理に係る撮影画像の視野が同一であるものとする。しかし、画像合成によるダイナミックレンジの拡大は、視野全体が同一な複数の画像の利用に限定されず、撮影される視野の少なくとも一部が、連続撮影される全ての画像に共通であれば良い。従って、本明細書において、「撮影された画像」は「複数の画像に共通した視野に対応する領域」を意味し、必ずしも画像全体を意味しないことに留意されたい。なお、複数の画像のうち共通した視野部分を取り出して合成する技術は既に知られており、また本発明とは直接関係しないため、その詳細については説明を省略する。

なお、適正露出を求める処理や、ブラケット撮影については公知の技術を用いることができるため、その詳細についての説明は省略する。また、適正露出に対してどの程度露出アンダー及び露出オーバーの画像を撮影するかや、何枚の画像を撮影するかは予め定められているものとする。また、適正露出で撮影される画像は必須であるが、露出アンダー及び露出オーバーの画像、いずれかが少なくとも１枚存在すれば良い。ＣＰＵ１０３は、合成に係る画像が撮影されるごとに、画像のデータを一次記憶装置１０４に順次記憶する。

Ｓ４０２においてＣＰＵ１０３は、Ｓ４０１で一次記憶装置１０４に記憶した複数枚の画像のデータに対し、ホワイトバランス調整回路２０２によってホワイトバランス調整を行う。なお、一次記憶装置１０４に記憶した画像ではなく、記憶媒体１０６に記憶された画像を読みだして当該処理の対象としても良い。

Ｓ４０３においてＣＰＵ１０３は、Ｓ４０２により得られた、ホワイトバランス調整後の画像のデータを、一次記憶装置１０４に記憶する。ここで記憶された画像データは、後のＳ４０４あるいはＳ４０８において使用される。

Ｓ４０４においてＣＰＵ１０３は、Ｓ４０３により得られた、ホワイトバランス調整後の画像を、領域情報生成回路２０３により領域に分割する。領域情報生成回路２０３は、ＣＰＵ１０３から与えられる分割情報に従い、領域分割を行う。図４（ａ）は、画像を横方向に１２等分、縦方向に８等分した例を示す。また、本実施形態では方形状に分割をしているが、三角形、六角形などの多角形形状をはじめ、任意の形状の領域に分割することができる。

次にＣＰＵ１０３は、分割した領域毎に、領域に含まれる全ての画素の輝度値の平均値を領域の代表輝度値として求める。図４（ｂ）に、図４（ａ）に対応する領域毎の代表輝度値の例を示す。なお、本実施形態では領域の代表値を輝度の平均値としているが、デモザイキング（色補間処理）後の、各画素がＲ、Ｇ、Ｂ値のいずれかの平均値を領域の代表値として求めてもよい。

Ｓ４０５においてＣＰＵ１０３は、Ｓ４０４により得られた領域毎の代表輝度値を領域情報置換回路２０４によりゲイン値に置き換える。領域情報置換回路２０４は例えば、二次記憶装置１０５に予め記憶されている代表輝度値とゲイン値との関係を示したルックアップテーブルを参照することにより、代表輝度値をゲイン値に置き換えることができる。

本実施形態では、露出アンダーで撮影された画像については、予め決められた基準値よりも代表輝度値の値が小さい場合は、代表輝度値が所定の輝度値となるような（１より大きい）ゲイン値に置き換えるものとする。また、露出オーバーで撮影された画像については、代表輝度値が基準値より大きい場合に、代表輝度値が所定の輝度値となるような（１より小さい）ゲイン値に置き換えるものとする。

図５（ａ）と図５（ｂ）は、それぞれ露出アンダーで撮影された画像に適用するルックアップテーブルの特性と、露出オーバーで撮影された画像に適用するルックアップテーブルの特性の例を示している。図５（ａ）における値ａ、図５（ｂ）における値ｂがそれぞれ上述の基準値に相当する。

なお、例えば適正露出に対して±２／３段、±４／３段といったように、露出アンダー／オーバーでの撮影がそれぞれ複数回行われる場合、それぞれの露出条件に応じたルックアップテーブルが用意されていてもよい。

図６（ａ）は、ルックアップテーブルを用いて代表輝度値からゲイン値を求める操作を、図６（ｂ）は領域毎に代表輝度値をゲイン値に置き換える操作をそれぞれ模式的に示す図である。

図３に戻って、Ｓ４０６においてＣＰＵ１０３は、Ｓ４０５により得られた、領域毎のゲイン値を入力として、ゲイン値算出回路２０５により画素毎のゲイン値を算出する。
例えばＣＰＵ１０３は以下のような原理で画素毎のゲインを算出する。まず、ＣＰＵ１０３は、ゲインを算出する画素（注目画素）から、注目画素を含む領域の近傍の複数の領域の中心又は重心までの距離を求め、距離が短い順から４つまでの領域を選択する。そして、ＣＰＵ１０３は、選択した４つの領域のゲイン値を、注目画素と領域の中心／重心との距離が小さいほど大きな重みを有するようにして２次元の線形補間を行い、画素毎のゲイン値を算出する。なお、画素毎のゲイン値を領域毎のゲイン値に基づいて算出する方法に制限は無く、他の方法を用いてもよいことは言うまでもない。

つまり、元の画像が３０００×２０００画素であり、縦横２５画素の正方形ブロックに分割したとすると、領域情報生成回路２０３から出力される画像（代表輝度値からなる画像）は、１２×８画素となる。この画像の各画素の値（代表輝度値）を、領域情報置換回路２０４でゲイン値に置き換えた画像を、元の画像の画像数に線形補間で拡大すれば、拡大後の各画素の値が元の画像の対応する画素のゲイン値となる。

Ｓ４０７においてＣＰＵ１０３は、一次記憶装置１０４に記憶されたホワイトバランス調整後の画像のデータに対して、Ｓ４０６により得られた画素毎のゲイン値を輝度補正回路２０６により適用することで、画素毎に輝度補正を行う。そして、ＣＰＵ１０３は、輝度補正後の画像のデータを一次記憶装置１０４に記憶する。

輝度補正回路２０６による輝度補正は、下記の式で実現される。
Ｒout ＝Ｇａｉｎ×Ｒin・・・（１）
Ｇout ＝Ｇａｉｎ×Ｇin・・・（２）
Ｂout ＝Ｇａｉｎ×Ｂin・・・（３）
ここで、
Ｒout：輝度補正後の赤色画素値
Ｇout：輝度補正後の緑色画素値
Ｂout：輝度補正後の青色画素値
Ｒin：ホワイトバランス調整後の赤色画素値
Ｇin：ホワイトバランス調整後の緑色画素値
Ｂin：ホワイトバランス調整後の青色画素値
Ｇａｉｎ：ゲイン値
である。

ここで、Ｓ４０４からＳ４０７における処理は、デモザイキング（色補間処理）前のデータに対して適用されることが想定されているが、デモザイキング処理後の（各画素がＲＧＢまたはＹＵＶ成分の値を有する）データに対して適用してもよい。

Ｓ４０８においてＣＰＵ１０３は、Ｓ４０７で輝度補正された画像と、Ｓ４０３にて一次記憶装置１０４に記憶された基準画像とを入力として、合成回路２０７により、所定の合成比率に基づいて画素毎に合成し、合成画像を得る。

本実施形態では、合成画像を生成する場合、Ｓ４０１で露出アンダー、適正露出、露出オーバーの３回の撮影を行うものとする。そして、撮影で得られた各画像を輝度補正した画像と、適正露出で撮影された画像であって、ホワイトバランス調整後の状態（ホワイトバランス調整回路２０２から出力される状態）の画像の計４つの画像を合成回路２０７へ入力する。ここで、適正露出画像に対してホワイトバランス調整された画像を合成のための基準画像とする。

図７に合成回路２０７の入出力データの一例を模式的に示す。
ここで、合成する、輝度補正後の３枚の画像の合成比率は、基準画像の画素毎の輝度値に対する各画像の輝度値の高低に応じて決定する。基準画像は合成比率の決定に用いられるだけで、合成画像を構成しない。

例えば、露出オーバー画像、適正露出画像、露出アンダー画像の３枚が撮影されたとする。本実施形態では輝度補正されていない適正露出画像を基準画像とする。この場合、露出オーバー画像と適正露出画像が切り替わる第１の閾値と、適正露出画像と露出アンダー画像が切り替わる第２の閾値を設ける。従って、第１の閾値＜第２の閾値である。

そして、
基準画像の輝度値が第１の閾値より低い画素：露出オーバー画像の画素値
基準画像の輝度値が第１の閾値以上で第２の閾値以下の輝度値の画素：適正露出画像の画素値
基準画像の輝度値が第２の閾値より高い画素：露出アンダー画像の画素値
をそれぞれ採用して合成する。

また、単に画素値を選択して合成する（すなわち、合成比率が０％か１００％）と、異なる画像から採用された画素の境界（擬似輪郭）が合成画像で視認されてしまう場合がある。そのため、例えば、図８（ａ）のように合成比率を線形に増減することにより、境界の発生を軽減させることが可能である。

本実施形態では、ホワイトバランス調整はしているが輝度補正はしていない適正露出画像を基準画像とし、デモザイキング前の各画素（カラーフィルタの構成に応じた単色成分値を有する）について、図８（ａ）のような合成比率に基づいて合成を行う。ただし、画像合成は、デモザイキング後のように、各画素が必要な成分（例えばＲＧＢ成分やいわゆる現像処理後のＹＵＶ成分）を有する状態で行ってもよい。この場合、基準画像についても合成する各画像と同じ形式として輝度値の比較を行う。

ここで、図９（ａ）〜（ｃ）、図１０（ｂ）を用いて、輝度補正されていない画像を基準画像とする場合と、輝度補正された画像を基準画像とする場合とで、得られる合成画像がどのように異なるかについて説明する。

例えば室内で窓に向かって逆光状態で人物を撮影する場合を考える。人物が適正露出になるように撮影した画像（図９（ａ））では、人物は適正の明るさとなるが、人物より被写体輝度が高い外の景色は白とびする。一方、外の景色が適正露出となるように撮影した画像（図９（ｂ））では、外の景色は適正の明るさとなるが、外の景色より被写体輝度が低い人物は黒つぶれする。

この２つの画像を合成する場合を想定する。以下では便宜上、人物が適正露出になるように撮影した図９（ａ）の画像が適正露出画像であるとする。従って、図９（ｂ）の画像は露出アンダー画像となる。

図１０（ａ）は、図９（ａ），（ｂ）に示した水平線１１０１，１１０３に対応する画素の輝度値および輝度補正に用いられるゲイン値を示している。水平線１１０１，１１０３は、二つの画像で同じ画素位置を示している。
適正露出画像（図９（ａ））をホワイトバランス調整した画像における、水平線１１０１の位置の輝度がＬ４で示されるものとする。ホワイトバランス調整した画像に対し、上述のようにして求められた各画素のゲイン値がＬ５であるとすると、輝度補正後の輝度はＬ６で示すようになる。例えば、図９（ａ）の画素１１０２の輝度Ｌは、図１０（ａ）の１１０６で示す輝度Ｌ’に補正される。

図９（ｃ）は、図９（ａ）の適正露出画像をホワイトバランス調整した画像に輝度補正を適用した後の画像を模式的に示している。輝度補正は画面全体を所定の明るさに補正するため、輝度補正後の画像は元の画像より明暗差が小さくなる。

上述の通り、合成比率を基準画像の輝度値に応じて決定する場合、基準画像が輝度補正されている場合と輝度補正されていない場合とで、合成比率が異なる場合が生じる。例えば、画素選択による合成（合成比率が０％か１００％）を行う場合には、輝度補正前後の輝度値が、上述した第１の閾値または第２の閾値を跨ぐ場合である。図８（ａ）に示したように中間の合成比率を設けた場合には、より多くの場合で合成比率の差異が生じる。

図８（ｂ）は、図８（ａ）の合成比率を用いた場合を例として、輝度補正による輝度値の変化で生じる合成比率の差異を示している。輝度補正されていない場合、画素１１０２の輝度Ｌでは露出アンダー画像（Ｌ３）の画素（図９（ｂ）の画素１１０４）が合成画像に１００％の割合で採用される。一方、輝度補正後の画素１１０２の輝度Ｌ’では、輝度補正後の基準画像（Ｌ２）の画素（図９（ｃ）の画素１１０６）が合成画像に１００％の割合で採用される。

図１０（ｂ）に、輝度補正された画像を基準画像とした場合と、輝度補正されていない画像を基準画像とした場合の、合成画像の水平線１１０１に対応する画素の輝度変化の例を示す。輝度補正された画像を基準画像とした場合の合成画像（Ｌ７）は、明部において主に適正露出画像の画素が採用されるので、外の景色の輝度が高くなり、階調性に乏しい。一方、輝度補正されていない画像を基準画像とした場合の合成画像（Ｌ８）では、主に露出アンダー画像の画素が採用されるので、外の景色の階調が残るような合成画像結果となる。

以上説明したように、輝度補正された画像を基準画像として合成を行うと、ダイナミックレンジを広げる目的とは反する合成処理が行われる可能性がある。
また、輝度補正回路２０６で出力される画像は、領域毎の輝度補正処理なので、図１０（ａ）のＬ６に示すように、輝度補正後の画像には暗部と明部の境目で極端な階調変化が起こる可能性がある。

このような画像を基準画像として合成比率を決定すると、基準画像における極端な階調変化が合成画像にも反映されてしまう。これに対し、本実施形態では、輝度補正処理していない適正露出画像を基準画像として用いて合成比率を決定することにより、ダイナミックレンジが拡張され、かつ合成画像における不適切な階調変化を抑制することができる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。本実施形態は、第１の実施形態が分割領域毎に輝度補正を行うのに対し、ガンマ補正を利用して輝度補正することを特徴とする。第２の実施形態による画像処理装置としての撮像装置の構成は、画像処理装置２０１が画像処理装置３０１に置き換わることを除いて第１の実施形態と同様である。なお、その他の構成は、第１の実施形態と同様であるため、図１と同様の符号を用いて説明する。また、以下では、第１の実施形態と異なる箇所についてのみ説明を行う。

図１１に、本実施形態の撮像装置における画像処理装置３０１の構成例を示す。画像処理装置３０１には、第１の実施形態の画像処理装置２０１の領域情報生成回路２０３、領域情報置換回路２０４、ゲイン値算出回路２０５および輝度補正回路２０６に代えて、合成画像用ガンマ調整回路３０２および基準画像用ガンマ調整回路が設けられる。その他の構成は、第１の実施形態と同様であるため、図２と同様の符号を付してある。

図１２は、本実施形態における合成画像生成処理の流れを示すフローチャートである。以下、図１、図１１、図１２を用いて合成画像生成処理について説明する。なお、図１２において、図３と同様の処理については参照数字を図３と共通とし、説明を省略する、

Ｓ４０１〜Ｓ４０３は第１の実施形態と同様の処理である。
Ｓ５０４においてＣＰＵ１０３は、Ｓ４０３により得られた、ホワイトバランス調整後の画像データに対して、合成画像用ガンマ調整回路３０２により、二次記憶装置１０５に予め記憶されているガンマカーブを適用してガンマ補正を行う。具体的には、ガンマカーブを表すルックアップテーブルを用いてガンマ補正を行うことができる。

本実施形態では、出力デバイスでの入出力特性が線形になるように行うガンマ補正で用いるガンマカーブを、画像の露出に応じて調整することにより、合成画像用の画像のガンマ補正を行う。例えば、露出が予め決められた基準値（適正露出）よりも低い場合、中間域から高域の階調を残し、低域の階調を圧縮するような特性にガンマカーブを調整する。逆に露出値が基準値（適正露出）よりも高い場合、低域から中間域の階調を残し、高域の階調を圧縮するようなガンマカーブに調整する。また、適正露出で撮影された画像に関しては、ガンマカーブの調整を行わない。

なお、通常のガンマ補正は出力デバイスから出力された際に元の画像の階調性を再現するために行うものであるから、実質的な輝度補正には当たらない。従って、本実施形態においては、適正露出で撮影された画像は、合成に供する画像も基準画像と同様、実質的に輝度補正されない。従って、ガンマ補正後の画像を基準画像として用いることができる。あるいは、Ｓ５０４の処理を、適正露出で撮影されていない画像のデータについてのみ実行してもよい。

Ｓ５０５においてＣＰＵ１０３は、Ｓ５０４により得られた、画像合成に用いる、ガンマ補正後の画像のデータを一次記憶装置１０４に記憶する。ここで記憶された画像データは、後のＳ４０７において使用される。

Ｓ５０６においてＣＰＵ１０３は、Ｓ４０３にて一次記憶装置１０４に記憶された、ホワイトバランス調整後、ガンマ調整されていない適正露出画像のデータに対し、基準画像用ガンマ調整回路３０３により輝度補正を行う。この輝度補正は、二次記憶装置１０５に予め記憶されている、基準画像用のガンマカーブ（通常のガンマカーブ）に対応するルックアップテーブルを用いて行う。

図１３に基準画像用ガンマカーブと合成画像用ガンマカーブの一例を示す。本実施形態では、基準画像に対しては、図１３のＬ７に示すような、入力に応じて局所的に圧縮や伸長をしない、線形なガンマカーブを表すルックアップテーブルを用いてガンマ補正する。ただし、上述したように、出力デバイスのガンマ特性が非線形であれば、対応したガンマカーブを用いてガンマ補正する。

なお、適正露出で撮影された画像について既にＳ５０４でガンマ補正済みであれば、その画像を基準画像として用い、Ｓ５０６の処理を省略してもよい。この場合、基準画像用ガンマ調整回路３０３も不要である。

Ｓ４０８においてＣＰＵ１０３は、
・露出アンダーもしくは露出オーバーで撮影され、Ｓ５０５で通常のガンマカーブから調整されたガンマカーブを適用してガンマ補正した画像と、
・適正露出で撮影された画像にＳ５０５で通常のガンマカーブを適用した画像
（あるいは／さらに、適正露出で撮影された画像にＳ５０６で通常のガンマカーブを適用した画像）
を入力として、合成回路２０７により、所定の合成比率に基づいて画素毎に合成し、合成画像を得る。

このように、本実施形態では基準画像を被合成画像としても利用可能である（あるいは、適正露出で撮影された画像をガンマ補正したものも基準画像として利用可能である）。そのため、第１の実施形態と同様に、Ｓ４０１で露出アンダー、適正露出、露出オーバーの３回の撮影を行う場合、合成回路２０７には３つまたは４つの画像が入力される。しかし、基準画像の輝度に応じて合成比率を求めて合成する処理は第１の実施形態と共通である。
以上のように、第２の実施形態によっても、第１の実施形態と同様の効果が得られる。

（その他の実施形態）
なお、上述の実施形態では、撮像装置に本発明を適用した実施形態について説明した。しかしながら、当業者が容易に理解するように、撮影機能を持たない装置であっても本発明を実施可能である。例えば、ブラケット撮影された複数の画像のデータを記録媒体やネットワークなどを通じて取得し、上述のフローチャートのＳ４０２以降の処理を実施すれば良い。ブラケット撮影された複数の画像のうち、どれが適正露出画像であるかどうかは、画像データにメタデータとして記録されている情報を用いて判別しても良いし、画像処理によって判別してもよい。あるいは、適正露出、露出オーバー、露出アンダーの順で撮影される等、ブラケット撮影の順序が予め分かっていれば、単に記録日時やファイル名などから判別してもよい。

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

以上、本発明の例示的な実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (8)

1. 異なる複数の露出で撮影された複数の画像を取得する取得手段と、
   前記複数の画像の各々に対してホワイトバランス調整を行うホワイトバランス調整手段と、
   前記ホワイトバランス調整された前記複数の画像の各々について、輝度補正を行う輝度補正手段と、
   前記ホワイトバランス調整された前記複数の画像のうちの１つで、かつ前記輝度補正が行われていない画像の輝度値に応じて、前記複数の画像の合成比率を決定する決定手段と、
   前記輝度補正された前記複数の画像を、前記決定手段が決定した比率で合成する合成手段と、を有することを特徴とする画像処理装置。
2. 前記輝度補正手段が、
   前記画像を分割した複数の領域の各々について、領域の代表輝度値を所定の輝度値にするためのゲイン値を求め、
   前記領域ごとに求められたゲイン値を補間することによって各画素に対するゲイン値を求め、
   前記各画素に対するゲイン値を画素値に適用することにより、前記輝度補正を行うことを特徴とする請求項１記載の画像処理装置。
3. 異なる複数の露出で撮影された複数の画像を取得する取得手段と、
   前記複数の画像の各々に対してホワイトバランス調整を行うホワイトバランス調整手段と、
   前記ホワイトバランス調整された前記複数の画像のうち、適正露出で撮影された画像については前記適正露出で撮影された画像用のガンマカーブを用いてガンマ補正し、適正露出で撮影されていない画像のデータについては前記適正露出で撮影された画像用のガンマカーブとは異なるガンマカーブを用いてガンマ補正を行うガンマ補正手段と、
   前記ホワイトバランス調整された前記複数の画像のデータのうちの１つで、かつ前記適正露出で撮影された画像用のガンマカーブを用いてガンマ補正された画像の輝度値に応じて、前記複数の画像の合成比率を決定する決定手段と、
   前記ガンマ補正された前記複数の画像を、前記決定手段が決定した比率で合成する合成手段と、を有することを特徴とする画像処理装置。
4. 前記取得手段が、前記複数の画像を撮影して取得する撮像手段を有することを特徴とする請求項１乃至請求項３のいずれか１項に記載の画像処理装置。
5. 請求項１乃至請求項４のいずれか１項に記載の画像処理装置を備えたことを特徴とする撮像装置。
6. 画像処理装置の取得手段が、異なる複数の露出で撮影された複数の画像を取得する取得工程と、
   画像処理装置のホワイトバランス調整手段が、前記複数の画像の各々に対してホワイトバランス調整を行うホワイトバランス調整工程と、
   画像処理装置の輝度補正手段が、前記ホワイトバランス調整された前記複数の画像の各々について、輝度補正を行う輝度補正工程と、
   画像処理装置の決定手段が、前記ホワイトバランス調整された前記複数の画像のうちの１つで、かつ前記輝度補正が行われていない画像の輝度値に応じて、前記複数の画像の合成比率を決定する決定工程と、
   画像処理装置の合成手段が、前記輝度補正された前記複数の画像を、前記決定工程で決定された比率で合成する合成工程と、を有することを特徴とする画像処理装置の制御方法。
7. 画像処理装置の取得手段が、異なる複数の露出で撮影された複数の画像を取得する取得工程と、
   画像処理装置のホワイトバランス調整手段が、前記複数の画像の各々に対してホワイトバランス調整を行うホワイトバランス調整工程と、
   画像処理装置のガンマ補正手段が、前記ホワイトバランス調整された前記複数の画像のうち、適正露出で撮影された画像については前記適正露出で撮影された画像用のガンマカーブを用いてガンマ補正し、適正露出で撮影されていない画像のデータについては前記適正露出で撮影された画像用のガンマカーブとは異なるガンマカーブを用いてガンマ補正を行うガンマ補正工程と、
   画像処理装置の決定手段が、前記ホワイトバランス調整された前記複数の画像のデータのうちの１つで、かつ前記適正露出で撮影された画像用のガンマカーブを用いてガンマ補正された画像の輝度値に応じて、前記複数の画像の合成比率を決定する決定工程と、
   画像処理装置の合成手段が、前記ガンマ補正された前記複数の画像を、前記決定工程で決定された比率で合成する合成工程と、を有することを特徴とする画像処理装置の制御方法。
8. コンピュータを、請求項１乃至請求項５のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images