JP6091176B2 - 画像処理方法、画像処理プログラム、画像処理装置および撮像装置 - Google Patents

Description

本発明は、撮像により得られた光線情報を用いて、様々な画像を再構成して出力する画像処理技術に関する。

結像光学系からの光をマイクロレンズアレイを通して撮像素子に導いたり、結像光学系および撮像素子の組（つまりは撮像装置）を複数用いたりして撮像を行うことで、被写体空間の各点からの光線の強度や方向を含む光線情報を得ることができる。そして、この光線情報を用いて、ピント位置や被写界深度や視点方向を調整した画像を再構成する画像処理技術が提案されている。非特許文献１は、「Light Field Photography」という手法により被写体からの光線の位置と角度（方向）の情報を取り込み、該情報を用いて任意の位置にピントが合った画像や任意の視点方向から見た画像を再構成する方法が開示している。

また、一般に広角レンズを用いた撮像や撮像素子サイズが小さい撮像装置を用いた撮像では、焦点距離が短いために被写界深度が深い（全体的にピントが合った）画像が得られる。さらに、絞りを絞り込んでの撮像でも、同様に被写界深度の深い画像が得られる。このような画像に対して意図的にぼけ（画像ぼけ成分）を付加することで、主被写体を際立たせたり画像の雰囲気を和らげたりする画像処理がなされることがある。

ここで、画像に現れるぼけには、被写体が合焦する距離から離れた位置に存在することによって発生するデフォーカスによるぼけと、光学系の収差や回折に起因して発生するぼけとがある。上記のように画像に意図的に付加するぼけは、デフォーカスによるぼけ（以下、単にぼけ又はデフォーカスぼけという）である。

特許文献１には、結像光学系からの光をマイクロレンズアレイを通して撮像素子に導いて得られた複数の画素のデータに対して視点方向に応じた重み付けを行うことで、被写界深度を調整した画像や様々なぼけを表現した画像を再構成する技術が開示されている。また、特許文献２には、光学特性が異なる複数のカメラを用いて、異なるぼけ味の画像を同時に取得する撮像装置が開示されている。

特開２００９−１５９３５７号公報 特開２００３−１８４３８号公報

Ren Ng、他７名著,「light field photography with a hand-held plenoptic camera」, Stanford Tech Report CTSR 2005-02

特許文献１にて開示された技術では、再構成時にぼけの形状を制御することで様々なぼけを表現する。また、特許文献２にて開示された技術では、複数のカメラで得られた画像情報を元に様々なぼけ味を表現する。しかしながら、これら特許文献１，２では、表現するぼけの大きさは結像光学系のＦ値で規定されており、画像処理によって該Ｆ値より小さいＦ値に対応する大きさのぼけを付加することについては記載されていない。

また、ぼけを付加する画像処理においては、以下のような問題がある。第１に、結像光学系の光学特性に起因する問題である。デフォーカス量や撮像素子の大きさや焦点距離にかかわらず、撮像により得られた画像には、少なからず前述した結像光学系の収差や回折に起因するぼけが含まれている。このような収差や回折に起因するぼけを含んだ画像に対してデフォーカスぼけを付加しても、自然なぼけを表現することは難しい。

例えば、図１８（ａ）に示すような点光源としての被写体の画像に対して円対称形状を有するデフォーカスぼけを付加すると、図１８（ｂ）に示すように自然なぼけ味が得られる。しかし、例えば、図１８（ｃ）に示すようにコマ収差によるぼけが発生している画像に対して、円対称形状を有するデフォーカスぼけを付加すると、図１８（ｄ）に示すように不自然なぼけとなる。

第２に、輝度飽和領域にぼけを付加する際の問題である。図１９（ａ）には、輝度飽和領域の一断面の輝度分布を示している。図中の飽和値は、デジタル画像で表現できる最大輝度値である。図１９（ａ）に示す輝度飽和領域にぼけを付加すると、図１９（ｂ）に示すなだらかな曲線状の輝度分布が得られる。また、図１９（ｃ）には、図１９（ａ）に示す場合よりもＦ値が小さい条件で取得した画像の輝度分布を示している。図１９（ｃ）に示す輝度分布に比べて、図１９（ｂ）に示すぼけの輝度分布は低くなっている。すなわち、単に輝度飽和領域にぼけを付加するだけでは、Ｆ値が小さい条件で取得した画像の輝度飽和領域のぼけを再現することができない。

本発明は、撮像により得られた光線情報を用いて画像を再構成する場合に、良好なぼけを付加することができるようにした画像処理方法や画像処理装置を提供する。

本発明の一側面としての画像処理方法は、被写体空間の同一点からの複数の光線を少なくとも１つの結像光学系の瞳面での光線通過領域に応じて異なる撮像画素に入射させる撮像系によって生成された入力画像を取得するステップと、入力画像の生成時の撮影条件に応じた撮像系の光学伝達関数に基づく画像回復処理および複数の入力画像のうち輝度飽和領域を含む入力画像の輝度飽和領域の輝度値を輝度飽和領域を含まない入力画像を用いて推定する輝度推定処理のうち少なくとも一方を含む整形処理を行うステップと、入力画像とは異なる画像を再構成する再構成処理を行うステップと、画像ぼけ成分を付加するぼけ付加処理を行うステップとを有し、入力画像に対して整形処理を行った後に、再構成処理およびぼけ付加処理を行うことを特徴とする。

本発明の他の一側面としての画像処理プログラムは、コンピュータに、被写体空間の同一点からの複数の光線を少なくとも１つの結像光学系の瞳面での光線通過領域に応じて異なる撮像画素に入射させる撮像系によって生成された入力画像を取得するステップと、入力画像の生成時の撮影条件に応じた撮像系の光学伝達関数に基づく画像回復処理および複数の入力画像のうち輝度飽和領域を含む入力画像の輝度飽和領域の輝度値を輝度飽和領域を含まない入力画像を用いて推定する輝度推定処理のうち少なくとも一方を含む整形処理を行うステップと、入力画像とは異なる画像を再構成する再構成処理を行うステップと、画像ぼけ成分を付加するぼけ付加処理を行うステップとを含む処理を実行させるコンピュータプログラムであり、コンピュータに、入力画像に対して整形処理を行わせた後に、再構成処理およびぼけ付加処理を行わせることを特徴とする。

また、本発明の他の一側面としての画像処理装置は、被写体空間の同一点からの複数の光線を少なくとも１つの結像光学系の瞳面での光線通過領域に応じて異なる撮像画素に入射させる撮像系によって生成された入力画像に対する画像処理を行う。該画像処理装置は、入力画像の生成時の撮影条件に応じた撮像系の光学伝達関数に基づく画像回復処理および複数の入力画像のうち輝度飽和領域を含む入力画像の輝度飽和領域の輝度値を輝度飽和領域を含まない入力画像を用いて推定する輝度推定処理のうち少なくとも一方を含む整形処理と、入力画像とは異なる画像を再構成する再構成処理と、画像ぼけ成分を付加するぼけ付加処理とを行い、入力画像に対して整形処理を行った後に、再構成処理およびぼけ付加処理を行うことを特徴とする。

なお、被写体空間の同一点からの複数の光線を少なくとも１つの結像光学系の瞳面での光線通過領域に応じて異なる撮像画素に入射させる撮像系と、上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。

本発明によれば、再構成処理とぼけ付加処理を行う場合に、整形処理を適切なタイミングで行うことで、良好なぼけが付加された再構成画像を生成することができる。

本発明の実施例１である画像処理装置を搭載した撮像装置の構成を示すブロック図。 実施例１の画像処理装置が行う処理を示すフローチャート。 本発明の実施例２である画像処理装置を搭載した撮像装置の構成を示すブロック図。 実施例２の画像処理装置が行う処理を示すフローチャート。 本発明の実施例３である画像処理装置を搭載した撮像装置の構成を示すブロック図。 実施例３の画像処理装置が行う処理を示すフローチャート。 撮像シーンの例を示す図。 撮像素子上においてレンズアレイの各マイクロレンズを通過した光線が入射する領域を示す図。 再構成処理後の画像を示す図。 ぼけ付加処理を説明する図。 輝度飽和領域を説明する図。 輝度推定処理を説明する図。 画像回復処理に関するＭＴＦを説明する図。 画像回復処理にて用いられる画像回復フィルタを説明する図。 画像回復フィルタの選択を説明する図。 ウィナーフィルタによる画像回復処理とＭＴＦを説明する図。 ぼけ関数の例を示す図。 結像光学系の光学特性によって変化した被写体画像にぼけを付加する際の問題を説明する図。 輝度飽和領域にぼけを付加する際の問題を説明する図。 整形処理またはぼけ付加に用いるフィルタを説明する図。

以下、本発明の実施例について図面を参照しながら説明する。

図１には、本発明の実施例１である画像処理装置としての画像処理部１０７を搭載した撮像装置１１４の構成を示している。１０１は被写体面（被写体空間）である。被写体面１０１には、人物や物体が必ずしも存在していなくてよい。これは後の再構成処理によって、被写体面１０１より奥や手前に存在する人物や物体に撮影後にピントを合わせることができるためである。このことは、後述する他の実施例でも同じである。

１０２は結像光学系（撮像光学系）である。１０３は複数のマイクロレンズを含むレンズアレイである。レンズアレイ１０３は、結像光学系１０２の被写体面１０１に対する像側共役面に配置され、結像光学系１０２の瞳（射出瞳）を分割する瞳分割部として機能する。また、結像光学系１０２の射出瞳と撮像素子１０４とが、レンズアレイ１０３によって共役な関係となっている。撮像素子１０４は、ＣＭＯＳセンサやＣＣＤセンサ等の光電変換素子により構成され、複数の画素（撮像画素）を含む。

なお、本実施例では、瞳分割部としてレンズアレイ１０３を用いているが、ピンホールアレイ等、レンズアレイとは異なる素子により瞳分割部を構成してもよい。また、レンズアレイ１０３として、複数のレンズアレイを用いてもよいし、本実施例のような固体レンズではなく、液体レンズ、液晶レンズ、回折光学素子等の様々な素子を用いて構成することができる。

１１５は光学系制御部であり、結像光学系１０２の焦点距離や絞り値を変更したり、焦点調節を行ったりする。

被写体面１０１からの光線は、結像光学系１０２およびレンズアレイ１０３を通過し、該光線の被写体面１０１上での位置と角度に応じて撮像素子１０４における異なる画素に入射する。レンズアレイ１０３は、被写体面１０１上の同一位置（同一点）からの複数の光線を、撮像素子１０４上の同一画素に入射させず、互いに異なる画素に入射させる。つまり、被写体空間の同一点からの複数の光線を結像光学系１０２の瞳面での光線通過領域に応じて異なる撮像画素に入射させる。また、レンズアレイ１０３は、被写体面１０１上の互いに異なる位置からの複数の光線も、撮像素子１０４上の互いに異なる画素に入射させる。撮像素子１０４がこれら光線を光電変換することで、各光線の位置と方向（角度）の情報を得ることができる。

撮像素子１０４から出力されたアナログ電気信号は、Ａ／Ｄコンバータ１０５でデジタル信号に変換され、画像処理部１０７に入力される。画像処理部１０７は、上記各光線の位置と方向（角度）の情報である光線情報から、被写体面１０１上の同一領域を複数の視点から見た画素群が並んだ画像、つまりは視差情報を含む撮像データとしての入力画像を生成する。結像光学系１０２、レンズアレイ１０３および撮像素子１０４（さらに画像処理部１０７における入力画像の生成を行う部分）により撮像系が構成される。

また、画像処理部１０７は、記憶部１０６で保持されている各種情報を読み取る。各種情報には、撮像系（結像光学系１０２とレンズアレイ１０３）の光学特性に関する情報が含まれ、また結像光学系１０２の絞り値や焦点距離および露出に関する情報等の撮像条件に関する情報も含まれる。さらに、後述する画像回復フィルタの情報も含まれる。なお、記憶部１０６にて上記各種情報を保持せずに、必要に応じて外部から各種情報を取得してもよい。

画像処理部１０７には、それぞれ後述する処理を行う距離情報取得部１０８と、画像再構成部１０９と、画像回復処理部１１０と、ぼけ付加処理部１１１とを有する。画像処理部１０７での処理が終了した画像、すなわち、後述する「ぼけ」が付加された再構成画像は、半導体メモリ等の画像記録媒体１１２に保存されたり、液晶ディスプレイ等により構成される表示部１１３に表示されたりする。

次に、本実施例で行う画像回復処理について説明する。点像分布関数（ＰＳＦ）をフーリエ変換して得られる光学伝達関数（Optical Transfer Function：ＯＴＦ）は、収差および回折の周波数成分情報であり、複素数で表される。光学伝達関数（ＯＴＦ）の絶対値、すなわち振幅成分を、ＭＴＦ（Modulation Transfer Function）といい、位相成分をＰＴＦ（Phase Transfer Function）という。ＭＴＦおよびＰＴＦはそれぞれ、収差および回折による画像劣化の振幅成分および位相成分の周波数特性である。ここでは、位相成分を位相角として以下の式で表す。Ｒｅ（ＯＴＦ）およびＩｍ（ＯＴＦ）はそれぞれ、ＯＴＦの実部および虚部を表す。
ＰＴＦ＝ｔａｎ^-1（Ｉｍ（ＯＴＦ）／Ｒｅ（ＯＴＦ））
このように、撮像系に含まれる光学系（本実施例では、結像光学系１０２およびレンズアレイ１０３）の光学伝達関数（ＯＴＦ）は、画像の振幅成分と位相成分に対して劣化を与えるため、劣化画像は被写体の各点がコマ収差のように非対称にぼけた状態になる。

劣化画像（入力画像）における振幅成分（ＭＴＦ）の劣化と位相成分（ＰＴＦ）の劣化を補正する方法として、光学系の光学伝達関数の情報を用いるものが知られている。この方法は、画像回復や画像復元とも呼ばれており、以下、この光学系の光学伝達関数の情報を用いて劣化画像を補正（劣化成分を低減）する処理を画像回復処理（または単に回復処理）と称する。

光学系を用いた撮像によって生成された入力画像（劣化画像）をｇ（ｘ，ｙ）とし、元の劣化していない画像をｆ（ｘ，ｙ）とし、光学伝達関数（ＯＴＦ）のフーリエペアである点像分布関数（ＰＳＦ）をｈ（ｘ，ｙ）とする場合、以下の式が成り立つ。＊はコンボリューション（畳み込み積分または積和）を示し、（ｘ，ｙ）は入力画像上の座標（位置）を示す。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ）
この式をフーリエ変換して周波数面での表示形式に変換すると、以下の式のように周波数ごとの積の形式になる。Ｈは点像分布関数（ＰＳＦ）ｈをフーリエ変換したものであり、光学伝達関数（ＯＴＦ）に相当する。Ｇ，Ｆはそれぞれ、ｇ，ｆをフーリエ変換したものである。（ｕ，ｖ）は２次元周波数面での座標、すなわち周波数を示す。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）
撮像により生成された劣化画像から元の画像を得るためには、以下のように、上記式の両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）
Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、元の画像ｆ（ｘ，ｙ）である回復画像が得られる。

ここで、Ｈ^−１を逆フーリエ変換したものをＲとすると、以下の式のように実面での画像に対するコンボリューション処理を行うことで、同様に元の画像ｆ（ｘ，ｙ）である回復画像を得ることができる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ）
このＲ（ｘ，ｙ）が画像回復フィルタである。入力画像が２次元であるとき、一般に画像回復フィルタも該２次元画像の各画素に対応したタップ（セル）を有する２次元フィルタとなる。また、一般に画像回復フィルタのタップ数（セル数）が多いほど画像回復精度が向上するため、出力画像としての要求画質、画像処理装置としての画像処理能力、光学系の収差や回折の特性等に応じて実現可能なタップ数を設定する。

画像回復フィルタは、少なくとも収差や回折の特性を反映している必要があるため、従来の水平垂直各３タップ程度のエッジ強調フィルタ（ハイパスフィルタ）等とは全く異なる。また、画像回復フィルタは、光学系の収差や回折の情報を含む光学伝達関数（ＯＴＦ）に基づいて生成されるため、劣化画像（入力画像）における振幅成分と位相成分の劣化をともに高精度に補正することができる。

また、実際の入力画像にはノイズ成分が含まれる。このため、上記のように光学伝達関数（ＯＴＦ）の完全な逆数をとって作成した画像回復フィルタを用いると、劣化画像が回復されるだけでなくノイズ成分が大幅に増幅されてしまう。これは、入力画像の振幅成分にノイズの振幅が付加されている状態に対して光学系のＭＴＦ（振幅成分）を全周波数にわたって１に戻すようにＭＴＦを持ち上げるためである。撮影光学系による振幅劣化であるＭＴＦは１に戻るが、同時にノイズ成分のパワースペクトルも持ち上がってしまい、結果的にＭＴＦを持ち上げる度合い、すなわち回復ゲインに応じてノイズが増幅されてしまう。

したがって、ノイズがある場合には鑑賞用画像としては良好な画像は得られない。これを式で示すと以下のように表せる。Ｎはノイズ成分を表している。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）＋Ｎ（ｕ，ｖ）／Ｈ（ｕ，ｖ）
この点については、例えば、式（１）に示すウィナーフィルタのように画像信号とノイズ信号の強度比（ＳＮＲ）に応じて回復度合いを制御する方法が知られている。

Ｍ（ｕ，ｖ）はウィナーフィルタの周波数特性を示し、｜Ｈ（ｕ，ｖ）｜は光学伝達関数（ＯＴＦ）の絶対値（ＭＴＦ）を示す。この方法は、周波数ごとに、ＭＴＦが小さいほど回復ゲインを抑制し、ＭＴＦが大きいほど回復ゲインを強くするものである。一般に、撮影光学系のＭＴＦは、低周波数側が高く、高周波数側が低くなるため、実質的に画像信号の高周波数側の回復ゲインを抑制する方法となる。

画像回復フィルタを、図１４を用いて説明する。画像回復フィルタは、光学系の収差・回折特性や要求される画像回復精度に応じてタップ数が決められる。

図１４（ａ）では、例として、１１×１１タップの２次元画像回復フィルタを示している。図１４（ａ）では、各タップ内の値であるタップ値（係数値）を省略しているが、この画像回復フィルタの１つの断面を図１４（ｂ）に示す。図１４（ｂ）に示す画像回復フィルタの各タップ値は、上述した光学系の様々な収差や回折の情報に基づいて設定される。この画像回復フィルタのタップ値の分布が、収差や回折によって空間的に広がった信号値（ＰＳＦ）を、理想的には元の１点に戻す役割を果たす。

画像回復処理では、画像回復フィルタの各タップ値が、入力画像における各タップに対応する各画素に対してコンボリューションされる。コンボリューション処理では、ある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、入力画像と画像回復フィルタの対応画素ごとに入力画像の信号値と画像回復フィルタのタップ値（係数値）との積をとり、その総和を中心画素の信号値として置き換える。

このような実空間での画像回復フィルタを入力画像に対してコンボリューション処理することで、画像回復処理で画像のフーリエ変換や逆フーリエ変換を行うことなく画像回復を行うことができる。

画像回復フィルタは、光学系の光学伝達関数（ＯＴＦ）の逆関数に基づいて設計した関数を逆フーリエ変換して作成することができる。例えば、ウィナーフィルタを用いる場合、式（１）を逆フーリエ変換することで、実際に入力画像に畳み込む実空間の画像回復フィルタを作成することができる。

また、光学伝達関数（ＯＴＦ）は、同じ撮像条件であっても光学系の像高（画像上での位置）に応じて変化するので、画像回復フィルタは像高に応じて変更して使用される。

本実施例にて用いられる、特に収差の対称性を向上させる機能を有した画像回復フィルタについて説明する。式（１）から分かるように、以下の式（２）中のｒＯＴＦの部分が図１８（ａ）に示した点光源を撮像して得られた画像の回復後の周波数特性になる。

ここで、ｒＯＴＦは、任意の関数である。回復画像の位相劣化成分は零であることが望ましいので、ｒＯＴＦは位相成分を持たないようにすればよく、ｒＯＴＦは実部のみを有するため、実質的にはｒＭＴＦと等しい。ｒＯＴＦは実部のみを有することが好ましいが、許容可能な範囲で虚部に値を持たせてもよい。換言すると、点光源に関わらず、どのような被写体に対しても、あたかも光学伝達関数（ＯＴＦ）がｒＯＴＦの特性を持った光学系（結像光学系１０２およびレンズアレイ１０３）を通して撮像されたような画像を得ることができるようにすればよい。

したがって、式（２）を、主光線（結像光学系の瞳の中心を通る光線）と直交するそれぞれのアジムス方向間で共通なＯＴＦ（ｒＨ（ｕ，ｖ））を用いた式（３）のようにする。これにより、あたかもアジムス方向間にＭＴＦの差がない光学系を通した撮像により生成された画像を得ることができる。

このことを、図１６を用いて説明する。画像回復前のＭＴＦは、図１６（Ｂ）中の（ａ），（ｂ）に示すようにアジムス方向ごとに異なっているが、画像回復後のＭＴＦは、図１６（Ｂ）中の（ｃ），（ｄ）に示すようにアジムス方向間で揃っている。図１６（Ｂ）中の（ａ），（ｂ）に示したＭＴＦは、例えばメリジオナル方向とサジタル方向のＭＴＦに相当する。このように、本実施例で用いる画像回復フィルタによりアジムス方向間のＭＴＦの差異を補正しながら画像回復を行うことが可能となる。

また、式（３）ではアジムス方向間で共通なＯＴＦ（ｒＨ（ｕ，ｖ））を用いているが、ｒＨ（ｕ，ｖ）をアジムス方向ごとのＯＴＦの差が画像回復前のＯＴＦの差よりも小さくなるように補正することで、回転対称性を制御することができる。完全には回転対称には補正していない例を、図１３に示す。図１３中の（ｃ），（ｄ）のＭＴＦのように完全に一致しなくても、図１６（Ａ）中の（ｃ），（ｄ）のＭＴＦに対してアジムス方向間のＭＴＦの差が小さくなり、ＰＳＦの非対称性が低減される。非対称性の補正効果を得るためには、少なくとも画像回復後のアジムス方向間でのＭＴＦの差が画像回復前よりも小さくなるように制御することが望ましい。

画像回復フィルタは、式（３）のＨ（ｕ，ｖ）の部分がアジムス方向ごとに異なるため、ｒＨ（ｕ，ｖ）がアジムス方向間で共通か否かにかかわらず、画像回復フィルタとしては非対称な係数配列を有する。すなわち、図１４（ｂ）に示した断面でのタップ値がアジムス方向ごとに異なる。

さらに、光学伝達関数（ＯＴＦ）には、結像光学系１０２およびレンズアレイ１０３のみならず、撮像の過程で光学伝達関数（ＯＴＦ）を劣化させる要因を含めることができる。例えば、複屈折を有する光学ローパスフィルタは、光学伝達関数（ＯＴＦ）の周波数特性に対して高周波成分を抑制するものである。また、撮像素子１０４の画素開口の形状、開口率、ヴィネッティングも周波数特性に影響する。他にも光源の分光特性や各種波長フィルタの分光特性が挙げられる。これらを含めた広義の光学伝達関数（ＯＴＦ）に基づいて、画像回復フィルタを作成することが望ましい。また、画像回復フィルタの縦横のタップ数に関しても正方配列である必要はなく、コンボリューション処理時に考慮するようにすれば任意に変更することができる。

画像回復処理は、画像の劣化過程が線形である方が劣化前の元の画像に回復するための過程を高精度に処理できるため、入力画像は非線形処理を受けていないことが好ましい。したがって、画像回復処理は、モザイク画像（ＲＡＷ画像）に対して行うことが好ましい。ただし、デモザイク画像でも、色補間処理による劣化過程が線形であれば、画像回復フィルタの生成において、この劣化関数を考慮することで同様に画像回復処理を行うことができる。また、画像回復の要求精度が低い場合や諸々の画像処理を受けた画像しか取得できない場合には、デモザイク画像に対して画像回復処理を行ってもよい。本実施例で用いる画像処理方法は、入力画像がモザイク画像であってもデモザイク画像であっても適用することができる。

本実施例にて行う入力画像から画像ぼけ成分（以下、単にぼけという）を付加した画像であるぼけ付加画像を生成する画像処理（画像処理方法）について、図２に示したフローチャートを用いて説明する。本処理は、コンピュータとしての画像処理部１０７がコンピュータプログラムである画像処理プログラムに従って実行する。

ステップＳ０１１では、画像処理部１０７は、入力画像を取得する。本実施例にいう入力画像とは、被写体面１０１上の各点（各同一点）からの複数の光線を結像光学系１０２の瞳面での光線通過領域に応じて異なる撮像画素に入射させる撮像系によって生成された画像である。この入力画像には、上記各点からの複数の光線の方向の情報が含まれる。言い換えれば、被写体面１０１を複数の視点から見た画素群（視点が異なる複数の小画像）が並んだ画像であり、視差情報を含む画像である。

ステップＳ０１２では、画像処理部１０７のうち距離情報取得部１０８は、ステップＳ０１１で取得した視差情報を含む入力画像から被写体空間の距離情報を取得する。具体的には、入力画像から各視点に対応する画像（視点画像）を再構成し、これら視点画像間における被写体の画素ずれ量から被写体の距離情報を取得する。

なお、このステップＳ０１２で行う再構成は、ぼけを付加する対象となる画像を生成するための再構成とは異なり、距離情報を取得するために行われる処理である。距離情報の取得方法は、このような視点画像を再構成して行う方法には限定されず、DFF（depth from focus）のように、ピント位置をずらして複数回の撮像を行うことで取得した複数の画像を用いて距離情報を取得してもよい。また、オートフォーカスに利用する測距点で距離情報を取得してもよい。

次のステップＳ０１３およびステップＳ０１４は、画像処理部１０７が、特定処理としての整形処理を行う整形工程である。本実施例では、整形処理として、画像回復処理を行う。

ステップＳ０１３では、画像処理部１０７のうち画像回復処理部１１０は、結像光学系１０２とレンズアレイ１０３の少なくとも一方の光学特性と、撮像条件（被写体の距離情報を含む）とに対応する画像回復フィルタを取得（選択または生成）する。画像回復フィルタの取得方法について以下に説明する。

図１５には、記憶部１０６に格納された画像回復フィルタ群を模式的に示す。画像回復フィルタ群は、撮像条件（撮像状態）としての焦点距離（状態Ａ）、絞り値（状態Ｂ）と距離情報（状態Ｃ）の３つを軸とした撮像状態空間中に離散的に配置されている。撮像状態空間中の各点（黒丸）の座標が、記憶部１０６に予め格納された画像回復フィルタを示す。なお、図１５では、画像回復フィルタを各撮像状態に対して直交した線上の格子点に配置しているが、画像回復フィルタを格子点から外して配置しても構わない。また、撮像状態の種類は、ズーム位置、絞り開口径および距離情報に限らず、その数も３つでなくてもよく、４つ以上の撮像状態による４次元以上の撮像状態空間を構成してその中に画像回復フィルタを離散的に配置してもよい。

このように離散的に配置された画像回復フィルタ群において、図１５中に大きな白丸で示した撮像状態が、実際の撮像状態であるとする。実際の撮像状態に対応して又はそれに近接した撮像状態に対応して記憶部１０６に記憶（格納）された画像回復フィルタ（以下、格納フィルタという）が存在する場合には、その格納フィルタを選択して画像回復処理に用いる。実際の撮像状態に対応して又はそれに近接した撮像状態に対応した格納フィルタが存在しない場合には、以下の方法により画像回復フィルタを選択または生成（補正）する。

まず、実際の撮像状態と複数の格納フィルタに対応する撮像状態との間の撮像状態空間内での距離をそれぞれ算出する。そして、算出した距離のうち最も短い距離にある撮像状態に対応する格納フィルタ（図１５中に小さな白丸で示す）を選択する。このような格納フィルタを選択することで、実際の撮像状態と該格納フィルタに対応する撮像状態との相違量（以下、状態相違量という）が最も小さくなる。このため、該格納フィルタに対する補正量を少なくすることができ、実際の撮像状態に対応する画像回復フィルタにより近い画像回復フィルタを作成することが可能となる。なお、画像回復フィルタの選択において撮像状態空間中の方向による重み付けをすることもできる。すなわち、撮像状態空間中の距離と方向ウェイトとの積を評価関数として選択してもよい。

次に、選択した格納フィルタに対応する撮像状態と実際の撮像状態との状態相違量ΔＡ，ΔＢ，ΔＣを算出する。そして、これらの状態相違量ΔＡ，ΔＢ，ΔＣに基づいて、状態補正係数を算出する。さらに、該状態補正係数を用いて、選択した格納フィルタを補正する。これにより、実際の撮像状態に対応した画像回復フィルタを作成することができる。

また、別の方法として、実際の撮像状態に近い複数の画像回復フィルタを選択し、これら選択した複数の画像回復フィルタを用いて状態相違量に応じた補間処理を行うことで、実際の撮像状態に適した画像回復フィルタを生成してもよい。ここでの補間処理は、２次元フィルタ同士の対応タップの係数値を線形補間、多項式補間およびスプライン補間等の補間方法を用いて行えばよい。

図２において、ステップＳ０１４では、画像処理部１０７（画像回復処理部１１０）は、入力画像に対して、ステップＳ１０３で取得した画像回復フィルタをコンボリューションし、回復画像を取得する。

図８には、撮像素子１０４上においてレンズアレイ１０３の各マイクロレンズを通過した光線が入射する領域１１６を示している。本実施例では、領域１１６と被写体距離ごとに異なる画像回復フィルタを、撮像素子１０４を用いて取得した入力画像に対してコンボリューションして画像回復を行う。その結果、入力画像の位相劣化成分は零を目標値に補正され、振幅劣化成分はアジムス方向間で振幅成分が揃うように補正される。

このように本実施例では、ぼけ付加の対象となる画像（げけ付加対象画像）を生成するための再構成処理の前に画像回復処理を行う。この理由を以下に説明する。再構成処理前の各画素に対応した画像回復フィルタは、結像光学系１０２とレンズアレイ１０３の光学伝達関数から算出される。しかし、再構成処理は各画素を合成する処理を行うので、再構成処理後の画像に対応した光学系が不明となり、適切な光学伝達関数を求めることができない。すなわち、収差と回折による被写体の像形状の変化を補正する画像回復を行うことができない。このため、再構成処理の前に画像回復処理を行う必要がある。

図２において、ステップＳ０１５では、画像処理部１０７は、回復画像において、角度成分のエイリアシングが発生する距離に対して、距離に応じたローパスフィルタをかける。この処理を行う理由は、角度成分のエイリアシングがデフォーカスぼけの形状に影響を及ぼすからである。ただし、再構成処理前にローパスフィルタをかけなくてもよく、この場合には再構成処理前に行うぼけ付加処理によって、デフォーカスぼけの形状が角度成分のエイリアシングから受ける影響を改善してもよい。

次のステップＳ０１６は、画像処理部１０７のうち画像再構成部１０９が、ぼけ付加の対象となる画像を生成するための再構成処理を行う再構成工程である。このステップＳ０１６では、画像処理部１０７（画像再構成部１０９）は、ステップＳ０１５にてローパスフィルタをかけた回復画像に対して再構成処理を行うことで再構成画像としての中間画像（１つの視点に対応した視点画像）を生成する。この際に距離情報を利用してピント位置を変更したり、距離に応じて異なる重み付けを行ったりする。

ステップＳ０１７およびステップＳ０１８は、画像処理部１０７のうちぼけ付加処理部１１１が中間画像に対してぼけ付加処理を行うぼけ付加工程である。

ステップＳ０１７では、画像処理部１０７（ぼけ付加処理部１１１）は、中間画像に含まれる被写体ごとの被写体距離に応じたぼけ関数を生成する。図７には、撮像シーンの一例を示す。図９には、図７の撮像シーンで取得された入力画像から再構成処理によって生成された中間画像を示す。本ステップでは、図９に示す被写体１，２，３のそれぞれの被写体距離に対応したぼけ関数を生成する。

ここで、ぼけ関数の例を示す。図１７（ａ）はガウシアンとしてのぼけ関数であり、周辺に行くほど滑らかに減衰するぼけを表す。また、図１７（ｂ）は半値幅の異なる２種類のガウシアンを組み合わせたぼけ関数であり、図１７（ａ）のぼけ関数と比べて、中心部分のピークが鋭いぼけを表す。さらに、図１７（ｃ）は均一なぼけを表すぼけ関数である。ただし、ぼけ関数はこれらに限定されたものではなく、他のぼけ関数であってもよい。

本実施例では、ぼけの大きさが指定したＦ値の結像光学系に対応するものとなるようにぼけ関数を距離に応じて変化させる。ただし、ぼけの大きさの規定はこれに限定されたものでなく、例えば、ピント位置からの距離の２乗に比例するように変化させてもよい。ぼけ関数の情報は、図２０に示す２次元フィルタとしてのぼけフィルタの各タップ値としてステップＳ０１８で用いられる。

図２において、ステップＳ０１８では、中間画像中の各被写体画像部分（レイヤー）のうちぼけを付加する対象となるレイヤーにぼけフィルタをかける。すなわち、ぼけフィルタをコンボリューションする。具体的には、ステップＳ０１４での画像回復処理を経て、ステップＳ０１６での再構成処理によって生成された中間画像を、図１０（ａ），（ｂ），（ｃ）に示す３つのレイヤーに分割する。図１０（ａ），（ｂ）は背景のレイヤーを示し、図１０（ｃ）は主被写体のレイヤーを示す。

そして、ステップＳ０１６にて取得した、背景レイヤーのそれぞれに対応するぼけフィルタをこれら背景レイヤーにかけることでぼけを付加する。画像を合成する際は、複数のレイヤーの画素値を足し合わせてもよいし、いずれか１つ又は複数の画素値を用いてもよい。こうしてぼけが付加された背景レイヤーと主被写体レイヤーとを合成することで、図１０（ｄ）に示すぼけ付加画像を取得する。

なお、本実施例では、レイヤーの数が３つの場合を示したが、これに限定されず、２つ以下または４つ以上のレイヤーの数に対しても有効である。

また、ステップＳ０１７からステップＳ０１８で示したぼけ付加処理は例に過ぎず、他のぼけ付加処理を行ってもよい。例えば、図９に示す中間画像を距離に応じて複数の画像領域に切り分け、該画像領域ごとに異なるぼけフィルタをコンボリューションしてもよい。また、ぼけ関数をぼけの大きさとして定義し、各レイヤーの画素値をぼけの大きさの領域で平均化してもよい。

さらに、本実施例では、再構成処理の後にぼけ付加処理を行う場合について説明したが、ぼけ付加処理の後に再構成処理を行ってもよい。この場合、再構成処理の前に必要な処理である、被写体距離に応じたローパスフィルタ処理の工程をぼけ付加処理で代用することができる。ただし、再構成処理前の視差情報を持つ画像に対して適用するぼけフィルタと、意図したぼけを付加するぼけフィルタとを同じにすると、視差のある各画像に同一のぼけフィルタを付加することになる。このため、再構成処理後のぼけ形状が、意図したぼけ形状にならない。したがって、レンズアレイ１０３によって分割された結像光学系１０２の瞳面の領域ごとに異なるぼけフィルタを適用して調整を行う必要がある。または、再構成処理時において光線ごとの重み付けを制御してぼけ形状を調整してもよい。

ステップＳ０１９では、画像処理部１０７は、ステップＳ０１８で得られたぼけ付加画像を出力する。

なお、本実施例ではぼけ付加処理を行うことを前提として画像回復処理（整形処理）を行うので、画像回復処理時にピント位置が決まっていた場合には、劣化成分の非対称性を補正すればよく、ＭＴＦ値を上げなくてもよい。

以上説明したように、本実施例では、視差情報を有する画像に対する再構成処理とぼけ付加処理の前に、結像光学系とレンズアレイの光学特性による被写体形状の変化（劣化）を低減した整形処理を行うことで、良好なぼけ付加画像を生成することができる。

本実施例では、整形処理として画像回復処理を行う場合について説明したが、整形処理には、この後の実施例２で説明する視点画像間での輝度値の調整、輝度飽和領域の輝度値の推定、さらにぼけ付加時における輝度飽和領域の推定輝度値の調整を含めてもよい。

図３には、本発明の実施例２である画像処理装置としての画像処理部２０９を搭載した撮像装置２１９の構成を示している。図３において、実施例１（図１）と共通する構成要素には実施例１と同符号を付して説明に代える。本実施例の撮像装置２１９は、結像光学系と撮像素子をそれぞれ複数有する。また、本実施例では、再構成処理前に、整形処理として、輝度飽和領域の輝度推定処理と複数の視点画像（入力画像）の輝度調整処理とを行う。つまり、再構成処理前に輝度飽和領域の輝度値の推定と複数の視点画像の輝度値の調整とを行って、輝度飽和領域の情報の欠落を改善する。再構成処理前にこの整形処理を行う理由については後述する。

図３において、２０１ａ〜２０１ｃは結像光学系であり、２０２ａ〜２０２ｃは撮像素子（言い換えれば、撮像画素）である。

本実施例では、複数の結像光学系２０１ａ〜２０１ｃの個々の瞳面により形成される開口径を包含した領域を合成開口と定義し、この合成開口を該複数の結像光学系２０１ａ〜２０１ｃの共通の瞳面とする。つまり、本実施例では、被写体空間の同一点からの複数の光線を複数の結像光学系２０１ａ〜２０１ｃの（共通の）瞳面での光線通過領域に応じて異なる撮像画素に入射させる撮像系を構成している。

なお、本実施例では、結像光学系と撮像素子をそれぞれ３つずつ有する場合を示しているが、結像光学系は少なくとも２つで、撮像素子は少なくとも１つあればよい。ただし、結像光学系の数に対して撮像素子の数が少ない場合は、撮像素子に全ての結像光学系からの光線が入射するように配置する。

露出制御部２０８は、結像光学系２０１ａ〜２０１ｃのそれぞれに含まれる絞りを制御して露出量を制御する。記憶部２０７は、被写体面１０１に対して結像光学系２０１ａ〜２０１ｃごとに露出量を変えて取得した複数の入力画像と、結像光学系２０１ａ〜２０１ｃごとの露出量の情報が記憶される。複数の入力画像は、視点が互いに異なる複数の視点画像である。

なお、記憶部２０７には、結像光学系２０１ａ〜２０１ｃの露出量を同じにして該露出量を変化させながらの連写により取得した複数の入力画像と、それら画像に対応する露出量の情報とを記憶させるようにしてもよい。

複数の入力画像に輝度飽和領域が存在する少なくとも１つの入力画像が存在する場合、その輝度飽和領域を含む画像が輝度値を推定する対象画像となる。記憶部２０７で記憶された情報は、画像処理部２０９に送られる。

画像処理部２０９のうち整形処理部２１１は、記憶部２０７から送られた情報を用いて、輝度飽和検出部２１２にて輝度飽和領域を含む入力画像における輝度飽和領域を検出する。そして、輝度飽和推定部２１３にて他の画像における輝度飽和領域に対応する領域の輝度値を推定する。また、輝度レベル調整部２１７にて、複数の入力画像の輝度値を調整する。輝度飽和領域の検出と輝度値の推定の詳細については後述する。さらに、画像処理部２０９のうちぼけ付加処理部１１１は、ぼけ付加処理を行う。

本実施例にて行う入力画像からぼけ付加画像を生成する画像処理（画像処理方法）について、図４に示したフローチャートを用いて説明する。本処理は、コンピュータとしての画像処理部２０９がコンピュータプログラムである画像処理プログラムに従って実行する。

ステップＳ０２１では、画像処理部２０９は、結像光学系２０１ａ〜２０１ｃごとに露出を変えた複数の入力画像（視点画像）を取得する。結像光学系２０１ａ〜２０１ｃの露出量を同じにして該露出量を変化させながらの連写により露出量が異なる複数の入力画像を取得してもよい。

ステップＳ０２２、ステップＳ０２３およびステップＳ０２４は、画像処理部２０９が、整形処理を行う整形工程である。ステップＳ０２２では、画像処理部２０９（輝度飽和検出部２１２）は、ステップＳ０２１で得た複数の入力画像の中で輝度飽和領域が存在する少なくとも１つの画像を選択し、その輝度飽和領域を検出する。図１１には、複数の入力画像の中で輝度飽和領域５が存在する画像（以下、輝度飽和画像という）を示している。

ステップＳ０２３では、画像処理部２０９（輝度飽和推定部２１３）は、ステップＳ０２２にて検出した輝度飽和領域５の本来の輝度値を推定する。ステップＳ０２１で取得した複数の入力画像のうち輝度飽和画像中の輝度飽和領域に対応する領域の輝度値が飽和値以下になっている画像を画像Ｗとする。

図１２を用いて輝度値の推定について説明する。図１２（ａ）は、図１１に示した輝度飽和領域５および画像Ｗにおける対応領域を示している。図１２（ｂ）は、図１２（ａ）中のＳ−Ｅ断面における輝度分布を示している。輝度飽和していない画像Ｗから、輝度飽和画像の輝度値を推定するために以下の式（４）を用いる。すなわち、画像Ｗの輝度分布に、輝度飽和画像の露出量と画像Ｗの露出量の比を乗じることによって、図１２（ｂ）中に実線で示すように飽和値以上となっている輝度分布を推定することができる。

なお、輝度値を推定する方法として、輝度飽和画像と画像Ｗとの輝度飽和していない領域を比較する方法を用いてもよい。

ステップＳ０２４では、画像処理部２０９（輝度レベル調整部２１７）は、推定した輝度値と各入力画像（視点画像）を取得した際の露出量とに基づいて、複数の入力画像の輝度値（輝度レベル）を合わせる。具体的には、入力画像の中で任意の画像を選択し、他の画像の輝度値（推定輝度値を含む）を参照しつつ、選択した画像の露出量と該他の画像の露出量との比を該他の画像に乗じて輝度値を合わせる。

ここで、本実施例において、再構成処理前に輝度飽和領域の輝度値の推定と複数の入力画像（視点画像）間での輝度値の調整とを行う理由について説明する。まず、再構成処理時に視差のある複数の入力画像の輝度値を同等に揃えておかないと、異なる露出の画像を用いて再構成処理したことになり不自然な再構成画像が生成される。また、再構成処理前に輝度飽和領域を含まない画像に輝度値を合わせる場合には、輝度飽和画像の輝度飽和領域の輝度値を推定してから輝度を合わせる必要がある。このため、再構成処理前に輝度飽和領域の輝度値の推定を行って、複数の入力画像の輝度値を同等にするよう調整する必要がある。

図４において、ステップＳ０２５では、画像処理部２０９（画像再構成部１０９）は、輝度値を調整した複数の視点画像を再構成して１つの視点画像としての中間画像を生成する。

次にステップＳ０２６では、画像処理部２０９（ぼけ付加処理部１１１）は、実施例１と同様にぼけ関数を生成する。そして、ステップＳ０２７では、実施例１と同様に、ぼけ関数の情報を持つぼけフィルタを中間画像にかけてぼけ付加画像を生成する。最後に、ステップＳ０２８では、画像処理部２０９は、ぼけ付加画像を出力する。

なお、実施例１にて説明した画像回復処理に、本実施例で推定した輝度値を利用することがより好ましい。図１９（ａ）に示すように輝度飽和領域の輝度値は本来の輝度分布とは異なり、飽和値で一定である。この状態で画像回復処理を行うと正確な回復画像が得られない。そこで、輝度飽和領域の本来の輝度値を推定した上で画像回復処理を行うことによって、正確な回復画像が得られる。

本実施例によれば、再構成処理前に輝度飽和領域での輝度値の推定と複数の視点画像間での輝度値の調整とを行うことで、再構成処理時とぼけ付加時に問題となる輝度飽和領域の情報の欠落を改善することができる。

図５には、本発明の実施例３である画像処理装置３０７とこれとは別の撮像装置２１９の構成を示している。図５において、実施例１（図１）または実施例２（図３）と共通する構成要素には実施例１と同符号を付して説明に代える。本実施例では、実施例２と同様に再構成処理（およびぼけ付加処理）の前に輝度飽和領域の輝度推定処理を行うが、輝度レベル調整処理は再構成処理の後に行う。再構成処理の前に輝度飽和領域の輝度値の推定を行う理由は実施例２で述べた通りであり、再構成処理の後に輝度レベルの調整を行う理由については後述する。

図５において、レンズアレイ３０３は、結像光学系１０２の被写体面１０１に対する像側共役面３０５よりも物体側に配置されている。レンズアレイ３０３により、像側共役面３０５と撮像素子３０４とが共役関係になっている。被写体面１０１からの光線は、結像光学系１０２およびレンズアレイ３０３を通過した後、該光線の被写体面１０１上での位置と角度に応じて撮像素子３０４の異なる画素（撮像画素）に入射する。これにより、光線の強度分布と方向（角度）の情報が取得される。この情報を取得する際に、光学系制御部１１５と露出制御部２０８により結像光学系１０２の露出量が制御されている。

本実施例では、複数回の撮像により露出量が異なる複数の入力画像を取得する。ただし、１回の撮像で異なる露出の複数の入力画像を取得してもよい。この場合、露出制御部２０８は、レンズアレイ３０３の各マイクロレンズに対応した光透過率が異なるフィルタとして機能する。そして、撮像素子３０４により、視点が異なる複数の小画像が並んだ画像が取得される。

なお、レンズアレイ３０３を、像側共役面３０５よりも像側に配置し、レンズアレイ３０３によって像側共役面３０５と共役関係となるように撮像素子３０４を配置してもよい。

画像処理装置３０７は、整形処理と再構成処理とぼけ付加処理とを行うコンピュータ機器である。画像処理装置３０７で処理された画像情報は、記録媒体３１８、表示機器３１６および出力機器３１７のうち少なくとも１つに出力される。記録媒体３１８は、半導体メモリ、ハードディスク、ネットワーク上のサーバー等である。表示機器３１６は、液晶ディスプレイやプロジェクタ等である。出力機器３１７は、プリンタ等である。画像処理装置３０７には表示機器３１６が接続され、画像情報が表示機器３１６へ転送される。ユーザーは、表示機器３１６を介して画像を確認しながら作業を行うことができる。

画像処理装置３０７内に設けられた記憶部３１４には、撮像装置３１９の結像光学系１０２とレンズアレイ３０３の光学特性、撮像条件および撮像装置３１９から取得した入力画像が記憶される。画像処理装置３０７には、実施例１で説明した距離情報取得部１０８と、実施例２で説明した整形処理部２１１（ただし、再構成処理の後に輝度レベルの調整を行う）も設けられている。

本実施例にて行う入力画像からぼけを付加した画像（ぼけ付加画像）を生成する画像処理（画像処理方法）について、図６に示したフローチャートを用いて説明する。本処理は、コンピュータ機器としての画像処理装置３０７がコンピュータプログラムである画像処理プログラムに従って実行する。

ステップＳ０３１では、画像処理装置３０７は、撮像装置３１９にて生成された、同一の撮像範囲を異なる露出での撮像により生成された複数の入力画像を取得する。

次にステップＳ０３２では、画像処理装置３０７（距離情報取得部１０８）は、実施例１にて説明したように、複数の入力画像が持つ視差情報を用いて又は他の方法により被写体の距離情報を取得する。

ステップＳ０３３およびステップＳ０３４は、画像処理装置３０７が、整形処理を行う整形工程である。ステップＳ０３３では、画像処理装置３０７（輝度飽和検出部２１２）は、ステップＳ０３１で取得した複数の入力画像のうち輝度飽和画像における輝度飽和領域を検出する。

次にステップＳ０３４では、画像処理装置３０７（輝度飽和推定部２１３）は、実施例２で説明したように輝度飽和領域の本来の輝度値を推定する。次にステップＳ０３５では、画像処理装置３０７（輝度飽和推定部２１３）は、推定した輝度値を輝度飽和画像の輝度飽和領域に与えた上で、角度成分のエイリアシングの出る距離に対して、距離に応じたローパスフィルタをかける。

次にステップＳ０３６では、画像処理装置３０７（画像再構成部１０９）は、ローパスフィルタ処理された入力画像を用いて中間画像の再構成処理を行う。

続いてステップＳ０３７では、画像処理装置３０７（ぼけ付加処理部１１１）は、実施例１と同様に、ステップＳ０３２で取得した被写体の距離情報に基づいてぼけフィルタを生成する。

さらにステップＳ０３８では、画像処理装置３０７（輝度レベル調整部２１７）は、中間画像において輝度飽和領域の輝度レベルの調整を行うとともに、中間画像に対してぼけフィルタをかける。輝度レベルを調整する処理とぼけフィルタをかける処理の順番は、望ましくは輝度レベルの調整処理を行った後にぼけフィルタをかける処理を行うとよい。これは、ぼけを付加した後に輝度の調整をしても正確にＦ値の小さい結像光学系の輝度飽和領域のぼけを再現することはできないからである。輝度レベルの調整後にぼけフィルタをかける場合、推定した輝度値を輝度飽和領域の輝度値に反映させた上でぼけフィルタをかけることができる。これにより、ぼけフィルタをコンボリューションした後、飽和値より大きい輝度値は飽和値として輝度値に反映される。

一方、ぼけフィルタをかけた後に輝度レベルを調整する場合は、まず中間画像に対してぼけフィルタのコンボリューションを行う。そして、ぼけが付加された画像に対して、ぼけの付加前の輝度飽和領域の輝度値と推定した輝度値との比で、ぼけ付加前の輝度飽和領域の輝度を比例倍する。

ただし、輝度レベル調整はこれに限定されたものでなく、より大きい輝度値や小さい輝度値に調整してもよい。また、輝度レベルの調整は、再構成処理後に行うことが望ましい。これは、輝度レベルを任意に調整したい場合、再構成処理を毎回行う必要がないので、処理を軽減できるからである。

最後に、ステップＳ０３９では、画像処理装置３０７は、ぼけ付加画像を出力する。

本実施例によれば、実施例２と同様に再構成処理時とぼけ付加時に問題となる輝度飽和領域の情報の欠落を改善することができ、また輝度レベルを調整してＦ値の小さい結像光学系によるぼけを再現することができる。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

光線情報を用いて画像を再構成する場合に、良好なぼけを付加することができる画像処理装置や撮像装置を提供できる。

１０２，２０１ａ〜２０１ｃ 結像光学系
１０３ レンズアレイ
１０４，２０２ａ〜２０２ｃ 撮像素子
１０７ 画像処理部
１０９ 画像再構成部
１１０ 画像回復処理部
１１１ ぼけ付加処理部
２１２ 輝度飽和検出部
２１３ 輝度飽和推定部
２１７ 輝度レベル調整部

Claims (9)

1. 被写体空間の同一点からの複数の光線を少なくとも１つの結像光学系の瞳面での光線通過領域に応じて異なる撮像画素に入射させる撮像系によって生成された入力画像を取得するステップと、
   前記入力画像の生成時の撮像条件に応じた前記撮像系の光学伝達関数に基づく画像回復処理および複数の前記入力画像のうち輝度飽和領域を含む入力画像の輝度飽和領域の輝度値を輝度飽和領域を含まない入力画像を用いて推定する輝度推定処理のうち少なくとも一方を含む整形処理を行うステップと、
   前記入力画像とは異なる画像を再構成する再構成処理を行うステップと、
   画像ぼけ成分を付加するぼけ付加処理を行うステップとを有し、
   前記入力画像に対して前記整形処理を行った後に、前記再構成処理および前記ぼけ付加処理を行うことを特徴とする画像処理方法。
2. 前記整形処理は、前記輝度推定処理により推定された前記輝度値を用いて、前記複数の入力画像または前記入力画像から生成した複数の視点画像の輝度値を調整する輝度調整処理を含むことを特徴とする請求項１に記載の画像処理方法。
3. 前記整形処理において、前記被写体空間の距離情報を用いて前記画像回復処理を行うことを特徴とする請求項１または２に記載の画像処理方法。
4. 前記再構成処理は、前記被写体空間の距離情報を用いて行われることを特徴とする特徴とする請求項１から３のいずれか一項に記載の画像処理方法。
5. 前記ぼけ付加処理は、前記被写体空間の距離情報を用いて行われることを特徴とする特徴とする請求項１から４のいずれか一項に記載の画像処理方法。
6. 前記再構成処理の後に前記ぼけ付加処理を行うことを特徴とする請求項１から５のいずれか一項に記載の画像処理方法。
7. コンピュータに、
   被写体空間の同一点からの複数の光線を少なくとも１つの結像光学系の瞳面での光線通過領域に応じて異なる撮像画素に入射させる撮像系によって生成された入力画像を取得するステップと、
   前記入力画像の生成時の撮像条件に応じた前記撮像系の光学伝達関数に基づく画像回復処理および複数の前記入力画像のうち輝度飽和領域を含む入力画像の輝度飽和領域の輝度値を輝度飽和領域を含まない入力画像を用いて推定する輝度推定処理のうち少なくとも一方を含む整形処理を行うステップと、
   前記入力画像とは異なる画像を再構成する再構成処理を行うステップと、
   画像ぼけ成分を付加するぼけ付加処理を行うステップとを含む処理を実行させるコンピュータプログラムであって、
   前記コンピュータに、前記入力画像に対して前記整形処理を行わせた後に、前記再構成処理および前記ぼけ付加処理を行わせることを特徴とする画像処理プログラム。
8. 被写体空間の同一点からの複数の光線を少なくとも１つの結像光学系の瞳面での光線通過領域に応じて異なる撮像画素に入射させる撮像系によって生成された入力画像に対する画像処理を行う画像処理装置であって、
   前記入力画像の生成時の撮像条件に応じた前記撮像系の光学伝達関数に基づく画像回復処理および複数の前記入力画像のうち輝度飽和領域を含む入力画像の輝度飽和領域の輝度値を輝度飽和領域を含まない入力画像を用いて推定する輝度推定処理のうち少なくとも一方を含む整形処理と、
   前記入力画像とは異なる画像を再構成する再構成処理と、
   画像ぼけ成分を付加するぼけ付加処理とを行い、
   前記入力画像に対して前記整形処理を行った後に、前記再構成処理および前記ぼけ付加処理を行うことを特徴とする画像処理装置。
9. 被写体空間の同一点からの複数の光線を少なくとも１つの結像光学系の瞳面での光線通過領域に応じて異なる撮像画素に入射させる撮像系と、
   請求項８に記載の画像処理装置とを有することを特徴とする撮像装置。