JP2013128212A - 画像処理装置および撮像装置並びにその方法 - Google Patents

Abstract

【課題】より自然なHDR画像を生成すること。
【解決手段】ステップＳ３０１において、撮像部１０１〜１０９の絞りを異なる設定にして被写体を撮影することにより、露出の異なる複数の撮影画像を取得する（撮影画像取得処理）。ステップＳ３０２において、撮影時の被写界深度が最も浅い撮像部の撮影パラメータに基づき、各撮影画像をリフォーカスして複数の補正画像を生成する（画像補正処理）。ステップＳ３０３において、補正画像の画素値を合成して１枚のＨＤＲ画像を生成する（画像合成処理）。
【選択図】図４

Description

本発明は画像処理装置および撮像装置並びにその方法に関し、より具体的には複数の画像を用いてダイナミックレンジの広い画像を生成するための画像処理装置および撮像装置並びにその方法に関する。

デジタルカメラを用いて屋外で撮影する際など、撮影可能なダイナミックレンジよりも撮影シーンのダイナミックレンジが広い場合がある。このとき、撮影可能なダイナミックレンジを超える被写体についてはその階調情報を記録することができないため、撮影画像において白飛びや黒潰れが発生する。その結果、撮影シーンの印象と撮影画像の印象とが異なってしまう可能性がある。

従来、このような問題を解決するための技術の１つとして、ハイダイナミックレンジ（High Dynamic Range）画像生成技術（以後、HDR画像生成技術）が知られている。HDR画像生成技術は、露出の異なる複数枚の撮影画像を取得し、これらを合成することでよりダイナミックレンジの広い画像を生成するものである。ここで、撮影画像の露出を変える方法としては、デジタルカメラの露光時間を変化させて同一シーンを複数回撮影するものが広く知られている。また、他の方法として、絞りを変化させることで露出の異なる複数画像を取得する方法も知られている（例えば、特許文献１参照）。

特許第４５３０１４９号公報

しかし、上述した露光時間を変えて複数回撮影する方法では、撮影シーンに動きがある場合、撮影画像間において露出ごとに被写体の位置が微妙に異なって写り、ブレが生じる。また、絞りを変えて撮影する方法では、絞りの量に応じて被写界深度も変化するため、奥行きのあるシーンを撮影した場合に露出ごとに合焦範囲が変化して、異なるボケが生じる。そのため従来技術は、動きや奥行きのあるシーンを撮影した場合に、撮影画像を合成して得られるHDR画像が不自然な画像となるという課題があった。

そこで本発明では、絞りを変えて撮影した露出の異なる複数枚の画像について、被写界深度が互いに同等となるように補正を実行してから合成することにより、より自然なHDR画像を生成することを目的とする。

本発明の画像処理方法は、複数の撮影画像を合成する画像処理方法であって、絞りおよび露出を変えて撮影した撮影画像を取得する撮影画像取得ステップと、取得した複数の撮影画像を、複数の撮影画像の各々の画像上において絞りに応じて生じるボケの差異が減少するように補正する画像補正ステップと、補正された露出の異なる画像を合成して複数の撮影画像の各々のダイナミックレンジよりも高いダイナミックレンジを有する画像を生成する画像合成ステップとを備えたことを特徴とする。

本発明の撮像方法は、複数の撮像手段を有する撮像装置により撮影した複数の画像を合成して画像を出力する撮像方法であって、複数の撮像手段によって、絞りおよび露出を変えて撮影することにより複数の撮影画像を取得する撮影画像取得ステップと、取得した複数の撮影画像を、複数の撮影画像の各々の画像上において絞りに応じて生じるボケの差異が減少するように補正する画像補正ステップと、補正された露出の異なる画像を合成して複数の撮影画像の各々のダイナミックレンジよりも高いダイナミックレンジを有する画像を生成する画像合成ステップとを備えたことを特徴とする。

本発明の画像処理装置は、絞りおよび露出を変えて撮影した撮影画像を取得する撮影画像取得手段と、取得した複数の撮影画像を、複数の撮影画像の各々の画像上において絞りに応じて生じるボケの差異が減少するように補正する画像補正手段と、補正された露出の異なる画像を合成して複数の撮影画像の各々のダイナミックレンジよりも高いダイナミックレンジを有する画像を生成する画像合成手段とを備えたことを特徴とする。

本発明の撮像装置は、絞りおよび露出を変えて撮影することにより複数の撮影画像を取得する複数の撮像手段と、複数の撮像手段によって取得した複数の撮影画像を、複数の撮影画像の各々の画像上において絞りに応じて生じるボケの差異が減少するように補正する画像補正手段と、補正された露出の異なる画像を合成して複数の撮影画像の各々のダイナミックレンジよりも高いダイナミックレンジを有する画像を生成する画像合成手段とを備えたことを特徴とする。

本発明は、被写体に動きがあり、かつ奥行きのあるシーンにおいても、被写体ブレの少ない、ボケ味の自然なHDR画像の生成を可能とする。

本発明の撮像装置の一例を示す図である。 本発明の撮像装置の一例を示す図である。 本実施例における画像処理装置のシステム構成を示すブロック図である。 本実施例における画像処理の流れを示すフローチャートである。 本実施例の撮影画像取得処理の流れを示すフローチャートである。 実施例１における画像補正処理の流れを示すフローチャートである。 実施例２における画像補正処理の流れを示すフローチャートである。 各撮像部の撮影画像の例を示す図である。 本実施例のシーンの被写体、合焦位置および被写界深度との関係を説明するための図である。 本実施例のボケを同程度に調整した補正画像の例を示す図である。 本実施例のボケを同程度に調整した補正画像の例を示す図である。 本実施例のボケを同程度に調整した補正画像の例を示す図である。 本実施例のボケの程度を補正したＨＤＲ画像の例を示す図である。 ボケの程度を補正せずに合成したＨＤＲ画像の例を示す図である。 実施例２における平滑化処理の流れを示すフローチャートである。

［実施例１］
本実施例では、絞りの異なる複数の撮像部を用いて複数の視点位置から同一シーンを撮影し、露出の異なる複数枚の撮影画像を取得する。取得した複数枚の画像を用いて、撮影時の被写界深度が最も浅い画像を撮影した撮像部の撮影パラメータに基づき、各撮影画像をリフォーカスすることにより、被写体のボケが互いに同程度でボケの差異を減少させた露出の異なる複数の補正画像を生成する。最後に、これらの補正画像を合成してHDR画像を生成する。これにより、撮影画像間でのボケ方の差を補正した自然なHDR画像の生成を可能とする。

まず、本実施例における画像処理装置のシステム構成例について、図１ないし図３を用いて説明する。図１は、複数の撮像部を備えた多眼方式による撮像装置の一例を示す図である。同図において、撮像装置１００の筐体は、画像を取得する９個の撮像部１０１〜１０９からなるカメラアレイと、撮影ボタン１１０を備えている。撮影ボタン１１０が押下されると、撮像部１０１〜１０９が被写体の光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換されて、複数の撮影画像（デジタルデータ）が同時に取得される。このような多眼方式の撮像装置により、同一の被写体を複数の位置から撮影した画像群を得ることができる。なお、ここでは撮像部の数を９個としたが撮像部の数は９個に限定されず、例えば図２に示すように３個とすることもできる。したがって、複数の撮像部を有するいずれの撮像装置にも本発明を適用することができる。また、複数の撮像部の配置は任意であり、放射状や直線状に配置してもよいし、まったくランダムに配置してもよい。

図３は、撮像装置１００の内部構成を示すブロック図である。中央処理装置（ＣＰＵ）２０１は、以下に述べる各部を統括的に制御する。ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＲＯＭ２０３は、ＣＰＵ２０１で実行される制御プラグラム等を格納している。バス２１３は、各種データの転送経路となる。例えば、撮像部１０１〜１０９によって取得されたデジタルデータは、このバス２１３を介して所定の処理部に送られる。ユーザの指示を受け取る操作部２０４は、ボタンやモードダイヤルなどが含まれるが、これに限られない。

表示部２０６は、撮影画像や文字の表示を行い、例えば液晶ディスプレイが用いられる。また、表示部２０６は、タッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザ指示を操作部２０４の入力として扱うことも可能である。表示制御部２０５は、表示部２０６に表示される撮影画像や文字の表示制御を行う。

撮像部制御部２０７は、フォーカスを合わせる、シャッターを開く及び閉じる並びに絞りを調節するなどの、ＣＰＵ２０１からの指示に基づいた撮像系の制御を行う。デジタル信号処理部２０８は、バス２１３を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。エンコーダ部２０９は、デジタルデータをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。外部メモリ制御部２１０は、ＰＣやその他のメディア２１１（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に接続するためのインターフェースである。画像処理部２１２は、撮像部１０１〜１０９で取得されたカラー画像群或いは、デジタル信号処理部２０８から出力されるカラー画像群から出力されるデジタル画像群を用いて画像処理を行う。

次に、本実施例の画像処理装置における一連の処理の動作手順を、図４に示すフローチャートを参照して説明する。まずステップＳ３０１において、撮像部１０１〜１０９の絞りを異なる設定にして被写体を撮影することにより、露出の異なる複数の撮影画像を取得する（撮影画像取得処理）。ステップＳ３０２において、撮影時の被写界深度が最も浅い撮像部の撮影パラメータに基づき、各撮影画像をリフォーカスして複数の補正画像を生成する（画像補正処理）。ステップＳ３０３において、補正画像の画素値を合成して１枚のＨＤＲ画像を生成する（画像合成処理）。以下、各処理の詳細について説明する。なお本処理は、図４のフローチャートに示す手順を実行するよう記述されたコンピュータ実行可能なプログラムを、ＲＯＭ２０３からＲＡＭ２０２上に読み込んだ後、ＣＰＵ２０１によって、読み込んだプログラムを実行することにより行われる。

＜撮影画像取得の詳細処理＞
通常のデジタルカメラにおいては、撮影準備状態においてレンズの種類、焦点距離、ピント距離、露光時間、絞り値などからなる撮影パラメータセットを１セット設定する。これに対し、本実施例で用いるような多眼方式の撮像装置では各撮像部が１セットずつ撮影パラメータを設定されるが、ここでは露出が異なるように絞り値を変えた撮影パラメータセットを複数作成する。作成された撮影パラメータセットは複数の撮像部１０１〜１０９に各々割り当てられ、割り当てられたパラメータセットに応じて露光を行うことで、露出の異なる複数の撮影画像を得る。以下、図５に示すフローチャートを用いて詳細な処理について説明する。

まず、撮影ボタン１１０が半押しされると本実施例の撮像装置１００は撮影準備状態となり、ステップＳ４０１で通常のデジタルカメラと同様にして、例えば撮像部１０５における適正露出（ＥＶ＝±０）の撮影パラメータセットP0を１セット決定する。以後、この撮影パラメータセットを基準撮影パラメータセットと呼ぶ。また、撮像部１０５の位置を基準視点位置Oと呼ぶ。

次にステップＳ４０２で、基準撮影パラメータセットと、ＲＯＭ２０３上のレンズ特性値データベースに格納されている情報を取得する。この取得した情報に基づき、絞り値を変化させて露出が−１段（EV=-1）および＋１段（EV=+1）となる撮影パラメータセットP-1およびP+1を作成する。以後、P-1、P+1を変動撮影パラメータセットと呼ぶ。ここで、レンズ特性値データベースには、予め撮影パラメータセットと、露出、被写界深度および後述する画像補正処理で用いる仮想絞りフィルタとの対応関係が格納されているものとする。

撮影ボタン１１０が全押しされると、ステップＳ４０３で各撮影パラメータセットP0、P-1、P+1が撮像部１０１〜１０９に割り当てられ、撮像部が各々撮影パラメータセットに従って撮影動作を開始し、複数枚の撮影画像を得る。撮影パラメータセットの割り当ては、例えば、被写界深度が深い（つまり、絞りを閉じた）撮影パラメータセットほど、距離の離れた多くの撮像部に割り当たるように行うのが望ましい。例えば、図１に示す白丸、網掛け、黒丸で示した撮像部に、それぞれ撮影パラメータセットP-1、P0、P+1を割り当てる。すなわち、撮像部１０１、１０３、１０７及び１０９には撮影パラメータセットP-1が割り当てられる。同様に、撮像部１０２、１０４、１０６及び１０８には撮影パラメータセットP0が、撮像部１０５には撮影パラメータセットP+1が割り当てられる。このような割り当てにより、後の画像補正処理においてより高品質なリフォーカス画像を生成することが可能となるが、これに限られず撮像部とパラメータとはいずれの組合せとしても本実施例の効果を奏することはできる。

以上の処理により得られる撮影画像の例を図８に示す。図８において、画像（ａ）〜（ｉ）はそれぞれ撮像部１０１〜１０９から得られる撮像画像である。また、この際撮影されるシーンの状態を図９に示す。図９に示す被写体７０１は、被写体７０３の撮像装置１００から遠ざかる方向に所定の距離をおいて配置され、焦点は被写体７０３に合っているものとする。ここで、撮像装置１００から被写体７０３までの距離はＬ0とし、撮影パラメータセットP0、P-1およびP+1の被写界深度をそれぞれD0、D-1およびD+1とする。このように設定すると、図８に示すように、被写体７０１は、撮影パラメータセットP0、P-1が割り当てられた撮像部では被写界深度D0、D-1内にあるので合焦する。しかし、撮影パラメータセットP+1の撮像部の被写界深度D+1内にははいらない。そのため、ＥＶ＝−１およびＥＶ＝±０の撮影画像、すなわち撮像部１０５以外の撮像部で撮影し得られた画像上では被写体７０１にピントが合って見えるが、ＥＶ＝＋１の画像、すなわち撮像部１０５で撮影し得られた画像上では被写体７０１にボケが生じる。

＜画像補正処理の詳細＞
本実施例における画像補正処理について説明する。本実施例においては、同一の撮影パラメータセットを用いて得られた複数の撮影画像を変換して重みづけ加算することにより撮影画像のリフォーカスを行い、撮影位置・ピント距離・被写界深度が同一で、露出の異なる複数の補正画像を生成する。また、撮影画像を重みづけ加算する際の重み係数は、撮影時の被写界深度が最も浅い撮像部の撮影パラメータセットに基づいて決定する。以下、図６に示すフローチャートを用いて詳細な処理について説明する。

まずステップＳ５０１で、基準撮影パラメータセットP0および変動撮影パラメータセットP-1、P+1に基づき、後述するステップS５０２で用いる目標絞りフィルタを取得する。具体的には、まず撮影パラメータセットP0、P-1、P+1を用いてレンズ特性値データベースから対応する被写界深度D0、D-1、D+1を取得する。得られた被写界深度のうち最も浅い被写界深度Dmin（本例では、D+1）を求め、これに対応する仮想絞りフィルタを目標絞りフィルタとしてレンズ特性値データベースから取得する。なお、仮想絞りフィルタは、絞りに応じて定まるボケの大きさや形状を表すものであり、後述するステップＳ５０２の重みづけ加算に用いる重み係数が記述されたフィルタである。

次にステップＳ５０２で、基準撮影パラメータセットP0中のピント距離L0、およびステップＳ５０１で取得した目標絞りフィルタを用いてリフォーカス処理を行い、ＥＶ＝±０，−１，＋１の撮影画像に対応する補正画像を生成する。以下、ＥＶ＝±０の撮影画像を例にしてリフォーカス処理を具体的に説明する。ただし、リフォーカス処理については様々な手法が知られており、ピント位置および被写界深度を露出の異なる画像間で統一できるものであれば、実現方法を本実施例で説明する処理に限定するものではない。

まず、基準撮影パラメータセットP0を用いて得られた複数の撮影画像それぞれに関し、ピント面上の被写体について画像上での位置を一致させるシフト変形量を算出する。カメラアレイ平面上において基準視点位置Oに対する相対位置座標が( i, j )である撮像部から得られた撮影画像をI0 ,(i,j) とする。そうすると、ピント距離がL0である場合の撮影画像I0,(i,j)の水平シフト量Shiftu(i,j)および垂直シフト量Shiftv(i,j)は以下の式で求められる。

ここで、W、Hはそれぞれ撮影画像の水平方向および垂直方向の画像サイズ、θｗ、θｈはそれぞれ撮像部の水平視野角および垂直視野角である。

次に、算出したシフト量Shiftu(i,j)、Shiftv(i,j)と、ステップＳ５０１で取得した目標絞りフィルタの重み係数α( ｉ， ｊ )を用い、次式に従い撮影画像I0 ,(i,j)の画素値を重みづけ加算して補正画像H0を生成する。ただし、( u, v )は画像平面上における水平、垂直座標であり、I0 ,(i,j) ( u, v )、H0 ( u, v )はそれぞれ撮影画像I0 ,(i,j) および補正画像H0の座標( u, v )における画素値である。

以上で説明した処理により、ＥＶ＝±０に対して撮影位置がO、ピント距離がL0、被写界深度がDminである補正画像H0が得られる。同様にして、撮影時に用いた変動撮影パラメータセットごとに、ステップＳ３０１で得た複数の撮影画像に対してリフォーカス処理を適用することにより、EV=-1,+1に対する補正画像H-1、H+1も生成する。

以上の処理により得られる補正画像の例を図１０ないし１２に示す。これらの補正画像は、露出は異なるが被写体のボケが同程度である画像となる。なお、ステップＳ４０３において、被写界深度が最も浅い撮影パラメータセットを基準視点位置に存在する撮像部に割り当てた場合、その撮像部から得られる撮影画像についてはリフォーカス処理を省略してもよい。例えば、最も浅い被写界深度Dminが変動撮影パラメータセットP+1に対応する被写界深度D+1であり、撮像部１０５の撮影パラメータセットがP+1である場合がある。この場合には、撮像部１０５から得られるEV=+1の撮影画像I+1 ,(0,0) をそのまま補正画像H+1としてもよい。その場合、処理時間を短縮できるという効果を奏する。

一般にリフォーカス処理は、ボケた被写体像からピントの合った被写体像を生成するよりも、ピントの合った被写体像からボケた被写体像を生成する方が比較的簡単な処理で品質の良い画像を生成することができる。また、撮影画像上の被写体像に対して生成したいボケの程度が大きい場合、より多様な視点位置から撮影した画像を用いるほど、生成されるボケた被写体像の品質が向上する。したがって本実施例では、撮影画像のうち最も浅い被写界深度に他の撮影画像の被写界深度を揃え、さらに、ステップＳ４０３で説明したように撮影パラメータセットを割り当てる。これによって、より高品質な補正画像を生成することが可能となる。

＜画像合成の詳細処理＞
補正画像からＨＤＲ画像を合成する際には、既知のＨＤＲ画像生成技術が利用可能である。例えば、次式に従い各補正画像H-1、H0、H+1の画素値に合成ゲインを乗じて足し合わせることで、１枚のＨＤＲ画像Gを生成する。なお、合成ゲインの値は各補正画像の露出に応じた値（例えば、γ−１＝２．０、γ０＝１．０、γ＋１＝０．５）とすればよい。得られるＨＤＲ画像Gの例を図１３に示す。また、撮像部１０５で撮影パラメータセットP0 、P-1、P+1を用いて撮影した画像から補正せずに合成して得られるＨＤＲ画像の例を図１４に示す。図１４のＨＤＲ画像では、被写体７０２とその周辺の間でボケの不整合が生じる。これに対し、本実施例においてHDR合成に用いる補正画像は撮影画像間でのボケ方の差を補正した画像であるため、合成して得られるHDR画像はボケの不整合が生じない自然な画像となる。

以上説明したように、多眼カメラを用い同時に複数の露出の異なる画像を取得するとともに、深度の調整も行うことで、被写体に動きがあり、かつ奥行きのあるシーンにおいても、被写体ブレおよびボケ味の自然なHDR画像を得ることが可能となる。なお、本実施例では露出をEV＝−1，±0，＋1の３段階に変えて撮影する例について説明したが、露出の段階数が複数であれば、他の露出設定で撮影を行っても同様の効果を得ることができる。

[実施例２]
実施例１では、露出ごとに撮影画像をリフォーカスすることによりボケ具合を整合させて補正画像を生成する例について説明した。本実施例においては、被写界深度の最も浅い撮影画像における空間周波数のスペクトルに基づき、他の撮影画像を平滑化することにより補正画像を生成する例について説明する。なお、撮影画像取得処理および画像合成処理については、実施例１と同一であるため説明を省略する。ただし、本実施例においては、図２に示す撮像装置を用いて露出ごとに各撮像部で３つの画像を取得し、これを合成して１枚の撮影画像を得るものとする。本実施例では、図２に示すような撮像装置を例に説明するが、撮像部の数や形態などについては、本技術分野で知られたいずれの撮像装置も使用することができ、その場合は以下の処理は適宜具体的な装置特性に合わせて変更することができる。さらに、撮像部間の距離はピント距離に対して十分短く、何れの撮像部で撮影した画像も基準視点位置Oから撮影した画像として見なせるものとする。以下、図７に示すフローチャートを用いて詳細な処理を説明する。

まずステップＳ６０１において、基準撮影パラメータセットP0並びに変動撮影パラメータセットP-1及びP+1に基づき、撮影画像の中から基準深度画像を選択する。具体的には、撮影パラメータセットP0、P-1、P+1を用いてレンズ特性値データベースから対応する被写界深度D0、D-1、D+1を取得する。そして、得られた被写界深度が最も浅い撮影パラメータセットを特定し、それを用いて撮影した撮影画像を基準深度画像IDとして選択する。

次にステップＳ６０２で、基準深度画像IDおよび他の撮影画像（以後、補正対象画像）をＮ×Ｎ画素のブロック領域に分割する。そしてステップＳ６０３で、各補正対象画像の領域ごとに空間周波数スペクトルが基準深度画像IDと同等となるよう平滑化を行い、補正画像を得る。以下、ある１枚の補正対象画像Inの領域Rを平滑化する場合を例に、図１５に示すフローチャートを用いて詳細を説明する。まず、ステップＳ１００１で基準深度画像ID上の領域Rについて、フーリエ変換等を用いて空間周波数スペクトルを算出する。さらに、求めたスペクトルをそれぞれの直流成分で正規化し、正規化スペクトルfD(kx,ky)（kx,kyは空間周波数を表すインデックス）を得る。

次にステップＳ１００２で、補正対象画像In上の領域Rについて、ステップＳ１００１と同様に空間周波数の正規化スペクトルfn(kx,ky)を得る。次にステップＳ１００３で、正規化スペクトルfD(kx,ky)、fn(kx,ky)を用いて、領域Ｒにおける基準深度画像IDと補正対象画像Inの相違度Snを求める。ここで、相違度Snは２つの正規化空間周波数スペクトル間における違いの程度を表す評価値であり、例えば次式に従い算出する。このとき、相違度Snは基準深度画像と補正対象画像との間でボケの程度が異なるほど大きな値となる。

次にステップＳ１００４で、相違度Snが予め定めた閾値Thより小さいか否かを判定する。Sn≦Thの場合には領域Rに関して基準深度画像と補正対象画像とはボケの程度が同等であると判断し、補正対象画像における領域Rの画素値を補正画像における領域Rの画素値として記憶した後、処理を終了する。また、Sn>Thの場合にはボケの程度が異なっていると判断し、ステップＳ１００５へ進む。ステップＳ１００５では、補正対象画像Inの領域Rに対してガウスフィルタ等を用いて平滑化処理を実行し、平滑化した補正対象画像を新たな補正対象画像としてステップＳ１００２に戻る。

以上のステップＳ１００２〜Ｓ１００５の処理を繰り返し行うことにより、補正画像における領域Ｒの画素値を得る。なお、上述の例ではステップＳ１００４において相違度が閾値以下となるまで処理を繰り返し行うが、相違度が極小値に収束した場合に処理を終了するようにしてもよい。

以上の処理により、撮像部の個数が少ない場合においても、撮影画像間でのボケ方の差を補正した補正画像を生成することが可能となる。なお、本実施例ではステップＳ６０２において基準深度画像を含む撮影画像をブロック領域に分割したが、分割方法はこれに限るものではない。例えば、基準深度画像のエッジに基づいて領域分割を行ってもよい。その場合、被写体の輪郭線が過剰に平滑化されたり、ブロック領域間の平滑化程度の差により補正画像にブロックノイズが生じたりすることを回避する効果を奏する。

［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数のプロセッサが連携して処理を行うことによっても実現できるものである。

Claims (10)

1. 複数の撮影画像を合成する画像処理方法であって、
   絞りおよび露出を変えて撮影した撮影画像を取得する撮影画像取得ステップと、
   前記取得した複数の撮影画像を、前記複数の撮影画像の各々の画像上において前記絞りに応じて生じるボケの差異が減少するように補正する画像補正ステップと、
   前記補正された露出の異なる画像を合成して前記複数の撮影画像の各々のダイナミックレンジよりも高いダイナミックレンジを有する画像を生成する画像合成ステップと
   を備えたことを特徴とする画像処理方法。
2. 前記画像補正ステップは、前記複数の撮影画像のうち最も開いた絞りに対応する被写界深度に基づき、各撮影画像をリフォーカスすることにより補正することを特徴とする請求項１に記載の画像処理方法。
3. 前記画像補正ステップは、前記複数の撮影画像の各々の視点位置が同一となるよう補正することを特徴とする請求項１または２に記載の画像処理方法。
4. 前記複数の撮影画像は、前記撮影の際の絞りが閉じているほど多いことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理方法。
5. 前記画像補正ステップは、被写界深度の最も浅い撮影画像における空間周波数のスペクトルに基づき、各撮影画像を平滑化することにより補正することを特徴とする請求項１に記載の画像処理方法。
6. 複数の撮像手段を有する撮像装置により撮影した複数の画像を合成して画像を出力する撮像方法であって、
   前記複数の撮像手段によって、絞りおよび露出を変えて撮影することにより複数の撮影画像を取得する撮影画像取得ステップと、
   前記取得した複数の撮影画像を、前記複数の撮影画像の各々の画像上において前記絞りに応じて生じるボケの差異が減少するように補正する画像補正ステップと、
   前記補正された露出の異なる画像を合成して前記複数の撮影画像の各々のダイナミックレンジよりも高いダイナミックレンジを有する画像を生成する画像合成ステップと
   を備えたことを特徴とする撮像方法。
7. 絞りおよび露出を変えて撮影した撮影画像を取得する撮影画像取得手段と、
   前記取得した複数の撮影画像を、前記複数の撮影画像の各々の画像上において前記絞りに応じて生じるボケの差異が減少するように補正する画像補正手段と、
   前記補正された露出の異なる画像を合成して前記複数の撮影画像の各々のダイナミックレンジよりも高いダイナミックレンジを有する画像を生成する画像合成手段と
   を備えたことを特徴とする画像処理装置。
8. 絞りおよび露出を変えて撮影することにより複数の撮影画像を取得する複数の撮像手段と、
   前記複数の撮像手段によって取得した複数の撮影画像を、前記複数の撮影画像の各々の画像上において前記絞りに応じて生じるボケの差異が減少するように補正する画像補正手段と、
   前記補正された露出の異なる画像を合成して前記複数の撮影画像の各々のダイナミックレンジよりも高いダイナミックレンジを有する画像を生成する画像合成手段と
   を備えたことを特徴とする撮像装置。
9. コンピュータを請求項７に記載の画像処理装置として機能させるためのプログラム。
10. コンピュータを請求項８に記載の撮像装置として機能させるためのプログラム。

Images