JPWO2013168667A1 - 画像処理装置及び方法並びに撮像装置 - Google Patents

Abstract

単眼３Ｄ画像の左目画像１００Ｌ及び右目画像１００Ｒを周波数成分データに変換し、これらの周波数成分データと周波数フィルタＧＬ、ＧＲとを乗算し、周波数空間上で視差量とぼかし量とが連動して調整された所望の単眼３Ｄ画像の左目画像１２０Ｌ及び右目画像１２０Ｒの周波数成分データを作成する。これらの周波数成分データを実空間上のデータに変換し、所望の単眼３Ｄ画像の左目画像１２０Ｌ及び右目画像１２０Ｒを生成する。

Description

本発明は画像処理装置及び方法並びに撮像装置に係り、特に単一の撮影レンズを介して撮像される視差を有する立体視用の画像の視差を調整する技術に関する。

従来、単一の撮影レンズの左右方向の異なる領域を通過した被写体像が瞳分割されてそれぞれ結像される位相差ＣＣＤにより、各領域を通過した被写体像がそれぞれ光電変換され、ピントずれ量に応じて互いに位相差をもった左目画像及び右目画像（単眼３Ｄ画像）を取得する単眼３Ｄ撮像装置が知られている（特許文献１）。特許文献１に記載の立体撮像装置は、単眼３Ｄの左目画像と右目画像の視差の調整を絞りのＦ値により行っている。

特許文献２に記載の画像処理装置は、左右の視点画像間で互いに対応する画素間の視差量を算出し、視差量の分布を示す初期の視差マップを生成し、予め定められた外形形状及び視差量分布を示す複数の視差テンプレートのうちから、視差マップ内の部分領域と視差テンプレートとを比較する。これにより、特許文献２に記載の画像処理装置は、前記部分領域に対応する視差テンプレートを選択し、選択された視差テンプレートで置き換えられた視差マップに基づいて、左右の視点画像よりも視点数が多い多視点画像を生成している。また、特許文献２の段落［００４８］には、特許文献２に記載の技術は、単眼３Ｄ画像にも適用できる記載がある。

特許文献３には、複眼撮像装置により撮像された視差のある左目画像と右目画像とを互いにシフトすることにより、左目画像と右目画像の視差を調整する技術が記載されている。

特開２０１１−１９９５０２号公報 特開２０１１−２１１５５１号公報 特開２０１１−２９７００号公報

特許文献１に記載の単眼３Ｄ撮像装置は、絞りのＦ値を調整することにより単眼３Ｄ画像の視差の調整を行っている。しかしながら、この視差の調整は、単眼３Ｄ撮像装置での撮像時にしか行うことができない。即ち、特許文献１に記載の単眼３Ｄ撮像装置は、単眼３Ｄ画像を画像処理することにより、視差（Ｆ値）の異なる単眼３Ｄ画像を生成することができない。

特許文献２に記載の発明は、単眼３Ｄ画像を画像処理することにより、視差の異なる左目画像及び右目画像を生成することができる。しかしながら、生成後の左目画像及び右目画像は、単眼３Ｄ画像にはならない。

ここで、単眼３Ｄ画像は、視差が大きくなると、ぼけも大きくなる画像である。その利点の一つとして、３Ｄテレビで３Ｄ専用眼鏡を外して鑑賞しても、二重像が殆ど発生しないという利点（２Ｄ画像として鑑賞できる利点）が挙げられる。

特許文献３に記載の左目画像と右目画像は、複眼撮像装置により撮像された画像であり、単眼３Ｄ画像ではない。また、左目画像と右目画像とを互いにシフトすることにより視差が調整された画像も単眼３Ｄ画像ではない。

本発明はこのような事情に鑑みてなされたもので、単眼３Ｄ画像装置により撮像された単眼３Ｄ画像から、視差量とぼかし量とが連動して調整された所望の立体視用の画像を生成することができる画像処理装置及び方法並びに撮像装置を提供することを目的とする。

前記目的を達成するために本発明の一の態様に係る画像処理装置は、単一の撮影光学系を介して撮像され、瞳分割手段により瞳分割された互いに視差を有する第１の画像及び第２の画像を取得する画像取得手段と、取得した第１の画像と第２の画像との対応する画素間の視差を取得する視差取得手段と、取得した第１の画像の画像データ及び第２の画像の画像データの処理の対象画素毎に、対象画素を基準とする所定領域をそれぞれ第１の周波数成分データ及び第２の周波数成分データに変換する第１のデータ変換手段と、変換した第１の周波数成分データ及び第２の周波数成分データをそれぞれ周波数空間で変換し、取得した第１の画像及び第２の画像の有する視差量及びぼけ量を変更した第３の画像及び第４の画像に変換するための第１の周波数フィルタ群及び第２の周波数フィルタ群であって、取得した第１の画像及び第２の画像の周波数成分データごとに、視差取得手段により取得した対象画素の視差に対応する第１の周波数フィルタ及び第２の周波数フィルタを使用して乗算処理を行う演算処理手段と、演算処理手段により算出された第３の画像及び第４の画像に対応する第３の周波数成分データ及び第４の周波数成分データを実空間上のデータに変換し、対象画素に対応する位置の画素をそれぞれ第３の画像及び第４の画像の１画素として選択する第２のデータ変換手段と、を備えている。

本発明の一の態様によれば、第１の画像の画像データ及び第２の画像の画像データの処理の対象画素毎に、対象画素を基準とする所定領域をそれぞれ第１の周波数成分データ及び第２の周波数成分データに変換する。これらの第１の周波数成分データ及び第２の周波数成分データと、対象画素の視差に応じた第１の周波数フィルタ及び第２の周波数フィルタとを乗算し、乗算結果を実空間上のデータに変換する。そして、対象画素に対応する位置の画素をそれぞれ第３の画像及び第４の画像の１画素として選択することにより、第１、第２の画像から視差量とぼけ量の両方を連動して調整した第３、第４の画像を得るようにしている。

本発明の他の態様に係る画像処理装置において、演算処理手段は、視差取得手段により取得した対象画素の視差が大きいほどぼけ量を大きくする第１の周波数フィルタ及び第２の周波数フィルタを使用することが好ましい。これにより、第３、第４の画像は、３Ｄディスプレイにより立体視することができる。また、３Ｄ専用眼鏡を外して鑑賞しても二重像が殆ど発生しないものになる。

本発明の更に他の態様に係る画像処理装置において、単一の撮影光学系に入射する光から第１の画像及び第２の画像に変換されるまでの変換特性に対応する、視差毎の第１のデジタルフィルタ群及び第２のデジタルフィルタ群を記憶するデジタルフィルタ記憶手段と、記憶された第１のデジタルフィルタ群及び第２のデジタルフィルタ群と、単一の撮影光学系に入射する光から第３の画像及び第４の画像に変換されるまでの変換特性に対応する、視差毎の第３のデジタルフィルタ群及び第４のデジタルフィルタ群とに基づいて、第１の周波数フィルタ群及び第２の周波数フィルタ群を算出する周波数フィルタ算出手段と、を備え、演算処理手段は、取得した第１の画像及び第２の画像の画素毎に、視差取得手段により取得した当該画素の視差に基づいて、算出された第１の周波数フィルタ群及び第２の周波数フィルタ群から、視差に対応する第１の周波数フィルタ及び第２の周波数フィルタを選択し、選択した第１の周波数フィルタ及び第２の周波数フィルタを使用して乗算処理を行うようにしている。

デジタルフィルタ記憶手段には、単一の撮影光学系に入射する光から第１の画像及び第２の画像に変換されるまでの変換特性に対応する、視差毎の第１のデジタルフィルタ群及び第２のデジタルフィルタ群が記憶されている。これらの第１のデジタルフィルタ群及び第２のデジタルフィルタ群は、撮影光学系、瞳分割手段及び撮像素子等の特性により予めシミュレーションにより、又は点像の実測により取得することができる。周波数フィルタ算出手段は、第１、第２のデジタルフィルタ群と、第３、第４のデジタルフィルタ群とに基づいて第１、第２の画像を周波数空間上で第３、第４の画像に変換するための第１、第２の周波数フィルタ群を算出するようにしている。

本発明の更に他の態様に係る画像処理装置において、周波数フィルタ算出手段は、デジタルフィルタ記憶手段に記憶された第１のデジタルフィルタ群及び第２のデジタルフィルタ群のうちのいずれか１つのデジタルフィルタをＴ(x,y)、デジタルフィルタＴ(x,y)をフーリエ変換したものをＴ_ｆ(ω_x,ω_y)とし、第３のデジタルフィルタ群及び第４のデジタルフィルタ群のうちのデジタルフィルタＴ(x,y)に対応するデジタルフィルタをＴ_ｗ(x,y)、デジタルフィルタＴ_ｗ(x,y)をフーリエ変換したものをＴ_ｗｆ(ω_x,ω_y)とすると、第１及び第２の周波数フィルタＧ(ω_x,ω_y)を、次式、
Ｇ(ω_x,ω_y)＝Ｔ_ｗｆ(ω_x,ω_y)・Ｔ_ｆ(ω_x,ω_y)^-1
により算出することが好ましい。

本発明の更に他の態様に係る画像処理装置において、変換すべき第３の画像及び第４の画像への変換特性を指定する指定手段と、指定された変換特性に対応する第３のデジタルフィルタ群及び第４のデジタルフィルタ群を算出するデジタルフィルタ算出手段と、を備え、周波数フィルタ算出手段は、デジタルフィルタ記憶手段に記憶された第１のデジタルフィルタ群及び第２のデジタルフィルタ群と、デジタルフィルタ算出手段により算出された第３のデジタルフィルタ群及び第４のデジタルフィルタ群とを使用して第１の周波数フィルタ群及び第２の周波数フィルタ群を算出することが好ましい。

本発明の更に他の態様に係る画像処理装置において、単一の撮影光学系に入射する光から第１の画像及び第２の画像に変換されるまでの変換特性に対応する、視差毎の第１のデジタルフィルタ群及び第２のデジタルフィルタ群と、単一の撮影光学系に入射する光から第３の画像及び第４の画像に変換されるまでの変換特性に対応する、視差毎の第３のデジタルフィルタ群及び第４のデジタルフィルタ群とに基づいて算出された、視差毎の第１の周波数フィルタ群及び第２の周波数フィルタ群を記憶する周波数フィルタ記憶手段を備え、演算処理手段は、取得した第１の画像及び第２の画像の画素毎に、視差取得手段により取得した画素の視差に基づいて、記憶された第１の周波数フィルタ群及び第２の周波数フィルタ群から、視差に対応する第１の周波数フィルタ及び第２の周波数フィルタを読み出し、読み出した第１の周波数フィルタ及び第２の周波数フィルタを使用して乗算処理を行うようにしている。

これによれば、第１、第２の周波数フィルタ群を算出する必要がないため、第１、第２の画像から第３、第４の画像を生成するための演算処理の高速化を図ることができる。一方、予め第３、第４の画像毎に第１、第２の周波数フィルタ群を記憶させておく必要がある。

本発明の更に他の態様に係る画像処理装置において、周波数フィルタ記憶手段は、第１のデジタルフィルタ群及び第２のデジタルフィルタ群のうちのいずれか１つのデジタルフィルタをＴ(x,y)、該デジタルフィルタＴ(x,y)をフーリエ変換したものをＴ_ｆ(ω_x,ω_y)とし、第３のデジタルフィルタ群及び第４のデジタルフィルタ群のうちの前記デジタルフィルタＴ(x,y)に対応するデジタルフィルタをＴ_ｗ(x,y)、デジタルフィルタＴ_ｗ(x,y)をフーリエ変換したものをＴ_ｗｆ(ω_x,ω_y)とすると、次式、
Ｇ(ω_x,ω_y)＝Ｔ_ｗｆ(ω_x,ω_y)・Ｔ_ｆ(ω_x,ω_y)^-1
により算出された第１及び第２の周波数フィルタＧ(ω_x,ω_y)を記憶するようにしている。

本発明の更に他の態様に係る画像処理装置において、変換すべき第３の画像及び第４の画像への変換特性を指定する指定手段を備え、周波数フィルタ記憶手段は、単一の撮影光学系に入射する光から第１の画像及び第２の画像に変換されるまでの変換特性に対応する、視差毎の第１のデジタルフィルタ群及び第２のデジタルフィルタ群と、単一の撮影光学系に入射する光から第３の画像及び第４の画像に変換されるまでの変換特性に対応する、視差毎の第３のデジタルフィルタ群及び第４のデジタルフィルタ群であって、指定手段により指定可能な複数の変換特性に対応する第３のデジタルフィルタ群及び第４のデジタルフィルタ群とに基づいて算出された、変換特性毎の第１の周波数フィルタ群及び第２の周波数フィルタ群を記憶し、演算処理手段は、周波数フィルタ記憶手段から指定手段により指定された変換特性に応じた第１の周波数フィルタ群及び第２の周波数フィルタ群を読み出して使用するようにしている。

本発明の更に他の態様に係る画像処理装置において、単一の撮影光学系に入射する光から第１の画像又は第２の画像に変換されるまでの変換特性に対応する、視差毎の第１のデジタルフィルタ群又は第２のデジタルフィルタ群の周波数成分データの逆フィルタである第１の逆フィルタ群及び第２の逆フィルタ群を記憶する逆フィルタ記憶手段を備え、演算処理手段は、第１の周波数フィルタ群及び第２の周波数フィルタ群として、記憶された第１及び第２の逆フィルタ群と、単一の撮影光学系に入射する光から第３の画像及び第４の画像に変換されるまでの変換特性に対応する、視差毎の第３のデジタルフィルタ群及び第４のデジタルフィルタ群の周波数成分データである第３の周波数フィルタ群及び第４の周波数フィルタ群とを使用するようにしている。

第１の画像又は第２の画像の画素毎に、画素の視差毎の逆フィルタを掛けることにより、周波数空間上で視差量とぼけ量がキャンセルされた画像を生成する。そして、その画像に対して、視差毎の第３のデジタルフィルタ及び第４のデジタルフィルタの周波数成分データを掛ける。これにより、周波数空間上で視差量とぼけが強調された第３の画像及び第４の画像を得ることができる。

本発明の更に他の態様に係る画像処理装置において、変換すべき第３の画像及び第４の画像への変換特性を指定する指定手段と、指定された変換特性に対応する第３のデジタルフィルタ群及び第４のデジタルフィルタ群を算出するデジタルフィルタ算出手段と、を備え、演算処理手段は、デジタルフィルタ算出手段により算出された第３のデジタルフィルタ群及び第４のデジタルフィルタ群を使用するようにしている。

本発明の更に他の態様に係る画像処理装置において、指定手段により指定される第３の画像及び第４の画像への変換特性は、第１の画像及び第２の画像とは異なる撮影光学系の焦点距離、絞り値、撮像素子のサイズ、及び感度特性のうちの少なくとも１つである。

これにより、実際には第３、第４の画像は撮像されていないが、第１、第２の画像を撮像したときの焦点距離、絞り値、撮像素子のサイズ、及び感度特性のうちの少なくとも１つを変更した場合に得られる、第３、第４の画像を生成することができる。

本発明の更に他の態様に係る画像処理装置において、第３のデジタルフィルタ群及び第４のデジタルフィルタ群は、第１のデジタルフィルタ群及び第２のデジタルフィルタ群を相似形に拡縮したものであることが好ましい。これらの第３のデジタルフィルタ群及び第４のデジタルフィルタ群に基づいてそれぞれ変換される第３、第４の画像は、３Ｄディスプレイにより立体視することができ、また、３Ｄ専用眼鏡を外して鑑賞しても二重像が殆ど発生しないもの（単眼３Ｄ画像装置により撮像される単眼３Ｄ画像）になる。

本発明の更に他の態様に係る画像処理装置において、第３のデジタルフィルタ群及び第４のデジタルフィルタ群は、それぞれ円形で、点対称のフィルタ係数を有するデジタルフィルタ群としてもよい。この場合には、３Ｄ専用眼鏡を外して鑑賞すると、二重像になるが、ぼけが大きい場合など、人間の目では、画素同士の対応がとりづらい場合（立体視しにくい場合）でも、立体視が容易な第３、第４の画像を生成することができる。

本発明の更に他の態様に係る画像処理装置において、演算処理手段は、複数の変換特性の第３の画像及び第４の画像を取得する際に、取得した第１の画像又は第２の画像の画素毎に、画素毎の視差に対応する第１のデジタルフィルタ又は第２のデジタルフィルタの周波数成分データの逆フィルタを掛ける第１の演算を行い、第１の演算結果に、それぞれ複数の変換特性の第３の画像及び第４の画像に対応する第３のデジタルフィルタ及び第４のデジタルフィルタの周波数成分データを掛けることが好ましい。

第１の演算により周波数空間上で視差及びぼけがキャンセルされた画像が生成される。そして、この画像の各画素に対して、それぞれ複数の変換特性の第３の画像及び第４の画像に対応する第３のデジタルフィルタ及び第４のデジタルフィルタの周波数成分データを掛けて第３の画像及び第４の画像を生成する。これにより、第１の演算は１回で済み、計算時間の短縮を図ることができる。

本発明の更に他の態様に係る画像処理装置において、第１のデジタルフィルタ群及び第２のデジタルフィルタ群は、画像の中心で互いに左右対称となり、瞳分割方向の像高に応じて左右対称性が変化するものを使用することが好ましい。

ここで、第１、第２のデジタルフィルタ群は、単一の撮影光学系に入射する光から第１、第２の画像に変換されるまでの変換特性に対応する視差毎のフィルタである。第１、第２の画像にどのようなフィルタがかかっているかを正確に把握することが、適切な第１、第２の周波数フィルタ（所望の第３、第４の画像）を得るために重要である。そして、瞳分割されて取得される第１、第２の画像における感度は入射角により異なる。このため、第１、第２のデジタルフィルタは、画像の中心では互いに左右対称を有するが、瞳分割方向の像高に応じて左右対称性が変化する。したがって、第１、第２のデジタルフィルタは、像高に応じて異なるものを使用することが好ましい。

本発明の更に他の態様に係る画像処理装置において、第１のデジタルフィルタ群及び第２のデジタルフィルタ群は、第１の画像及び第２の画像の取得時における、撮影光学系に含まれる絞りの開口形状を分割した形状を有するものを使用することが好ましい。

第１、第２のデジタルフィルタ群は、それぞれ点像のぼけ像（視差に応じて異なるぼけ像）を瞳分割したものに相当し、レンズの絞りの開口形状を分割した形状を有する。第１、第２のデジタルフィルタ群は、例えば、絞り開口が円形の場合には、それを２分割した形状を有し、絞り開口が多角形の場合には、それを２分割した形状を有する。したがって、第１、第２のデジタルフィルタ群は、単眼３Ｄ画像の撮像時の絞りの開口形状に合わせることが好ましい。

本発明の更に他の態様に係る画像処理装置において、第１の画像及び第２の画像は、カラー撮像素子から出力される３原色のカラー画像であり、第１のデジタルフィルタ群及び第２のデジタルフィルタ群は、カラー撮像素子の色毎の感度特性に対応して色毎に異なるものを使用することが好ましい。

カラー撮像素子に入射する光の入射角に対する第１、第２の感度は、３原色の色毎に異なっている。したがって、これらの感度に基づいて設計される第１、第２のデジタルフィルタは、色毎に設計することが好ましい。

本発明の更に他の態様に係る画像処理装置において、第３のデジタルフィルタ群及び第４のデジタルフィルタ群は、３原色のカラー画像のうちの特定の色に対応するものを使用することが好ましい。これにより、色毎の像の形状違いの影響をなくし、画質の改善を図ることができる。

本発明の更に他の態様に係る画像処理装置において、第１の画像及び第２の画像は、カラー撮像素子から出力される３原色のカラー画像であり、視差取得手段は、取得した第１の画像と第２の画像との対応する画素間の視差を色毎に算出し、演算処理手段は、取得した第１の画像と第２の画像に対する演算処理を色毎に行うことが好ましい。

レンズは色収差を持っているため、色毎にぼけ（視差）が異なる。したがって、第１、第２の画像の対応する画素間の視差は色毎に取得し、第１、第２の画像から第３、第４への画像の変換は、色毎に異なる視差に基づいて行うことが好ましい。これにより、３原色の色収差の影響をなくし、画質の改善を図ることができる。

本発明の更に他の態様に係る撮像装置は、単一の撮影光学系と、撮影光学系の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、撮像素子から出力される第１の画像及び第２の画像を取得する画像取得手段と、上述のいずれかの画像処理装置と、を備えている。

本発明の更に他の態様に係る画像処理方法は、単一の撮影光学系を介して撮像され、瞳分割手段により瞳分割された互いに視差を有する第１の画像及び第２の画像を取得する画像取得工程と、取得した第１の画像と第２の画像との対応する画素間の視差を取得する視差取得工程と、取得した第１の画像の画像データ及び第２の画像の画像データの処理の対象画素毎に、対象画素を基準とする所定領域をそれぞれ第１の周波数成分データ及び第２の周波数成分データに変換する第１のデータ変換工程と、変換した第１の周波数成分データ及び第２の周波数成分データをそれぞれ周波数空間で変換する、取得した第１の画像及び第２の画像の有する視差量及びぼけ量を変更した第３の画像及び第４の画像に変換するための第１の周波数フィルタ群及び第２の周波数フィルタ群であって、取得した第１の画像及び第２の画像の周波数成分データごとに、視差取得工程により取得した対象画素の視差に対応する第１の周波数フィルタ及び第２の周波数フィルタを使用して乗算処理を行う演算処理工程と、演算処理工程により算出された第３の画像及び第４の画像に対応する第３の周波数成分データ及び第４の周波数成分データを実空間上のデータに変換し、対象画素に対応する位置の画素をそれぞれ第３の画像及び第４の画像の１画素として選択する第２のデータ変換工程と、を含み、第１のデータ変換工程、演算処理工程及び第２のデータ変換工程を、対象画素の位置をずらしながら１画素ずつ繰り返し実行するようにしている。

本発明の更に他の態様に係る画像処理方法において、単一の撮影光学系に入射する光から第１の画像及び第２の画像に変換されるまでの変換特性に対応する、視差毎の第１のデジタルフィルタ群及び第２のデジタルフィルタ群を記憶するデジタルフィルタ記憶手段を準備する工程と、記憶された第１のデジタルフィルタ群及び第２のデジタルフィルタ群と、単一の撮影光学系に入射する光から第３の画像及び第４の画像に変換されるまでの変換特性に対応する、視差毎の第３のデジタルフィルタ群及び第４のデジタルフィルタ群とに基づいて、第１の周波数フィルタ群及び第２の周波数フィルタ群を算出する周波数フィルタ算出工程と、を更に含み、演算処理工程は、取得した第１の画像及び第２の画像の画素毎に、視差取得工程により取得した画素の視差に基づいて、算出された第１の周波数フィルタ群及び第２の周波数フィルタ群から、視差に対応する第１の周波数フィルタ及び第２の周波数フィルタを選択し、選択した第１の周波数フィルタ及び第２の周波数フィルタを使用して乗算処理を行うようにしている。

本発明の更に他の態様に係る画像処理方法において、単一の撮影光学系に入射する光から第１の画像及び第２の画像に変換されるまでの変換特性に対応する、視差毎の第１のデジタルフィルタ群及び第２のデジタルフィルタ群と、単一の撮影光学系に入射する光から第３の画像及び第４の画像に変換されるまでの変換特性に対応する、視差毎の第３のデジタルフィルタ群及び第４のデジタルフィルタ群とに基づいて算出された、視差毎の第１の周波数フィルタ群及び第２の周波数フィルタ群を記憶する周波数フィルタ記憶手段を準備する工程を更に含み、演算処理工程は、取得した第１の画像及び第２の画像の画素毎に、視差取得工程により取得した画素の視差に基づいて、記憶された第１の周波数フィルタ群及び第２の周波数フィルタ群から、視差に対応する第１の周波数フィルタ及び第２の周波数フィルタを読み出し、読み出した第１の周波数フィルタ及び第２の周波数フィルタを使用して乗算処理を行うようにしている。

本発明の更に他の態様に係る画像処理方法において、単一の撮影光学系に入射する光から第１の画像又は第２の画像に変換されるまでの変換特性に対応する、視差毎の第１のデジタルフィルタ群又は第２のデジタルフィルタ群の周波数成分データの逆フィルタ群である第１の逆フィルタ群及び第２の逆フィルタ群を記憶する逆フィルタ記憶手段を準備する工程を更に含み、演算処理工程は、第１の周波数フィルタ群及び第２の周波数フィルタ群として、記憶された逆フィルタ群と、単一の撮影光学系に入射する光から第３の画像及び第４の画像に変換されるまでの変換特性に対応する、視差毎の第３のデジタルフィルタ群及び第４のデジタルフィルタ群の周波数成分データである第３の周波数フィルタ群及び第４の周波数フィルタ群とを使用するようにしている。

本発明によれば、単一の撮影光学系を介して撮像され、瞳分割手段により瞳分割された互いに視差を有する第１の画像及び第２の画像（単眼３Ｄ画像）から、視差量とぼかし量とが連動して調整された所望の立体視用の第３、第４の画像を生成することができる。また、所望の第３、第４の画像として、第１、第２の画像とは異なる撮影光学系の焦点距離、絞り値、撮像素子のサイズ、又は感度特性のうちの少なくとも１つを指定することにより、実際には第３、第４の画像は撮像されていないが、第１、第２の画像を撮像したときの焦点距離、絞り値、撮像素子のサイズ、及び感度特性のうちの少なくとも１つを変更した場合に得られる、第３、第４の画像を生成することができる。

本発明に係る撮像装置の実施形態を示す斜視図 図１に示した撮像装置の背面図 図１に示した撮像装置の内部構成の実施形態を示すブロック図 通常の撮像素子により撮像される画像と、単眼３Ｄ用の撮像素子により撮像される左目画像及び右目画像とを説明するために用いた図 通常の撮像素子により撮像される画像と、単眼３Ｄ用の撮像素子により撮像される左目画像及び右目画像とを説明するために用いた図 通常の撮像素子により撮像される画像と、単眼３Ｄ用の撮像素子により撮像される左目画像及び右目画像とを説明するために用いた図 単眼３Ｄ用の撮像素子の感度特性と、その感度特性に対応して作成される半月フィルタとを示す図 単眼３Ｄ用の撮像素子の感度特性と、その感度特性に対応して作成される半月フィルタとを示す図 単眼３Ｄ用の撮像素子の感度特性と、その感度特性に対応して作成される半月フィルタとを示す図 単眼３Ｄ用の撮像素子の感度特性と、その感度特性に対応して作成される半月フィルタとを示す図 半月フィルタの作成方法を説明するために用いた図 図６の要部拡大図と半月フィルタとを示す図 図６の要部拡大図であり、撮像素子上の座標と入射角との関係を示す図 オリジナルの単眼３Ｄ画像の左目画像にかかっている第１の半月フィルタの一例を示す図 オリジナルの単眼３Ｄ画像の右目画像にかかっている第２の半月フィルタの一例を示す図 所望の単眼３Ｄ画像を生成する際に実空間で畳み込むべきフィルタを説明するために用いた図 所望の単眼３Ｄ画像にかかるべき半月フィルタの一例を説明するために用いた図 所望の単眼３Ｄ画像にかかるべき半月フィルタの一例を説明するために用いた図 所望の単眼３Ｄ画像にかかるべき半月フィルタの他の例を説明するために用いた図 所望の単眼３Ｄ画像にかかるべき半月フィルタの他の例を説明するために用いた図 所望の単眼３Ｄ画像にかかるべき半月フィルタの更に他の例を説明するために用いた図 所望の単眼３Ｄ画像にかかるべき半月フィルタの更に他の例を説明するために用いた図 所望の単眼３Ｄ画像を指定するためのユーザインターフェースを説明するために用いた図 所望の単眼３Ｄ画像を指定するためのユーザインターフェースを説明するために用いた図 本発明に係る画像処理装置の第１の実施形態を示す要部ブロック図 本発明に係る画像処理装置の第２の実施形態を示す要部ブロック図 本発明に係る画像処理装置の第３の実施形態を示す要部ブロック図 所望の単眼３Ｄ画像にかかるべき半月フィルタの更に他の例を説明するために用いた図 所望の単眼３Ｄ画像にかかるべき半月フィルタの更に他の例を説明するために用いた図 所望の３Ｄ画像にかかるべきフィルタの更に他の例を説明するために用いた図 第１の単眼３Ｄ画像から複数の第２の単眼３Ｄ画像を生成する場合の通常プロセスと計算時間短縮版プロセスを示す概念図 第１の単眼３Ｄ画像から複数の第２の単眼３Ｄ画像を生成する場合の通常プロセスと計算時間短縮版プロセスを示す概念図 所望の単眼３Ｄ画像を生成する際に周波数空間で乗算すべき周波数フィルタを説明するために用いた図 本発明に係る画像処理装置の第４の実施形態を示す要部ブロック図 本発明に係る画像処理装置の第５の実施形態を示す要部ブロック図 本発明に係る画像処理装置の第６の実施形態を示す要部ブロック図 像高に応じた第１、第２の半月フィルタを説明するために用いた図 画面内の位置に応じた入射角特性の違いを説明するために用いた図 画面内の位置に応じた入射角特性の違いを説明するために用いた図 図２６Ａ及び図２６Ｂに示した入射角特性の違いによる半月フィルタの違いを示す図 レンズの絞りの開口形状の一例を示す図 レンズの絞りの開口形状の一例を示す図 レンズの絞りの開口形状の一例を示す図 レンズの絞りの開口形状の一例を示す図 単眼３Ｄ用の撮像素子に入射する光のｘ方向の角度［°］に対する左目画像及び右目画像の感度の一例を示すグラフ 単眼３Ｄ用の撮像素子に入射する光のｙ方向の角度［°］に対する左目画像及び右目画像の感度の一例を示すグラフ ＲＧＢ毎の色収差の一例を示す図 撮像装置の他の実施形態であるスマートフォンの外観図 スマートフォンの要部構成を示すブロック図

以下、添付図面に従って本発明に係る画像処理装置及び方法並びに撮像装置の実施の形態について説明する。

［撮像装置］
図１及び図２はそれぞれ本発明に係る撮像装置の実施形態を示す斜視図及び背面図である。この撮像装置１０は、レンズを通った光を撮像素子で受け、デジタル信号に変換して記録メディアに記録するデジタルカメラであり、単眼３Ｄ画像及び２Ｄ画像を撮像することができる単眼３Ｄ画像装置である。

図１に示すように、撮像装置１０は、その正面に撮影レンズ（撮影光学系）１２、フラッシュ発光部１等が配設され、上面にはシャッタボタン２、電源／モードスイッチ３、モードダイヤル４等が配設されている。一方、図２に示すように、撮像装置１０の背面には、３Ｄ表示用の３Ｄ液晶モニタ３０、ズームボタン５、十字ボタン６、ＭＥＮＵ／ＯＫボタン７、再生ボタン８、ＢＡＣＫボタン９等が配設されている。

撮影レンズ１２は、沈胴式のズームレンズで構成されており、電源／モードスイッチ３によってカメラのモードを撮影モードに設定することにより、カメラ本体から繰り出される。フラッシュ発光部１は、主要被写体に向けて光を照射するものである。

シャッタボタン２は、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。撮像装置１０は、撮影モードで駆動しているときは、このシャッタボタン２が「半押し」されることにより、撮影準備処理（ＡＥ（Automatic Exposure）、ＡＦ（Automatic Focus）等）を実行し、「全押し」されることにより、撮影を実行する。また、撮像装置１０は、撮影モードで駆動しているときは、このシャッタボタン２が「全押し」されることにより、撮影を実行する。

電源／モードスイッチ３は、撮像装置１０の電源をＯＮ／ＯＦＦする電源スイッチとしての機能と、撮像装置１０のモードを設定するモードスイッチとしての機能とを併せ持っており、「ＯＦＦ位置」と「再生位置」と「撮影位置」との間をスライド自在に配設されている。撮像装置１０は、電源／モードスイッチ３をスライドさせて、「再生位置」又は「撮影位置」に合わせることにより、電源がＯＮになり、「ＯＦＦ位置」に合わせることにより、電源がＯＦＦになる。そして、電源／モードスイッチ３をスライドさせて、「再生位置」に合わせることにより、「再生モード」に設定され、「撮影位置」に合わせることにより、「撮影モード」に設定される。

モードダイヤル４は、撮像装置１０の撮影モードを設定する撮影モード設定手段として機能し、このモードダイヤルの設定位置により、撮像装置１０の撮影モードが様々なモードに設定される。例えば、平面画像（２Ｄ画像）の撮影を行う「平面画像撮影モード」、立体画像（３Ｄ画像）の撮影を行う「立体画像撮影モード」、動画撮影を行う「動画撮影モード」等である。

３Ｄ液晶モニタ（ＬＣＤ：Liquid Crystal Display）３０は、立体視画像（左目画像及び右目画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できる立体表示手段である。立体視画像が３Ｄ液晶モニタ３０に入力された場合には、３Ｄ液晶モニタ３０のパララックスバリア表示層に光透過部と光遮蔽部とが交互に所定のピッチで並んだパターンからなるパララックスバリアを発生させるとともに、その下層の画像表示面に左右の像を示す短冊状の画像断片が交互に配列して表示される。平面画像やユーザインターフェース表示パネルとして利用される場合には、パララックスバリア表示層には何も表示せず、その下層の画像表示面に１枚の画像をそのまま表示する。尚、３Ｄ液晶モニタ３０の形態はこれに限らず、左目画像及び右目画像を立体画像として認識可能に表示させるものであれば、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで左目画像と右目画像とを個別に見ることができるものでもよい。

ズームボタン５は、ズームを指示するズーム指示手段として機能する。ズームボタン５は、望遠側へのズームを指示するテレボタン５Ｔと、広角側へのズームを指示するワイドボタン５Ｗとからなる。撮像装置１０は、撮影モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、撮影レンズ１２の焦点距離が変化する。また、再生モード時に、このテレボタン５Ｔとワイドボタン５Ｗとが操作されることにより、再生中の画像が拡大、縮小する。

十字ボタン６は、上下左右の４方向の指示を入力する操作部であり、メニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示したりするボタン（カーソル移動操作手段）として機能する。左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。

ＭＥＮＵ／ＯＫボタン７は、３Ｄ液晶モニタ３０の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作キーである。

再生ボタン８は、撮影記録した立体画像（３Ｄ画像）、平面画像（２Ｄ画像）の静止画又は動画を３Ｄ液晶モニタ３０に表示させる再生モードに切り替えるためのボタンである。

ＢＡＣＫボタン９は、入力操作のキャンセルや一つ前の操作状態に戻すことを指示するボタンとして機能する。

［撮像装置の内部構成］
図３は上記撮像装置１０の内部構成の実施形態を示すブロック図である。この撮像装置１０は、撮像した画像をメモリカード５４に記録するもので、装置全体の動作は、中央処理装置（ＣＰＵ）４０によって統括制御される。

撮像装置１０には、シャッタボタン２、電源／モードスイッチ３、モードダイヤル４、再生ボタン８、ＭＥＮＵ／ＯＫボタン７、十字ボタン６、ズームボタン５、ＢＡＣＫボタン９を含む操作部３８が設けられている。この操作部３８からの信号はＣＰＵ４０に入力される。ＣＰＵ４０は入力信号に基づいて撮像装置１０の各回路を制御し、例えば、レンズ駆動制御、絞り駆動制御、撮影動作制御、画像処理制御、画像データの記録／再生制御、３Ｄ液晶モニタ３０の表示制御などを行う。

電源／モードスイッチ３により撮像装置１０の電源がＯＮされると、図示しない電源部から各ブロックへ給電され、撮像装置１０の駆動が開始される。

撮影レンズ１２、絞り１４等を通過した光束は、位相差イメージセンサである撮像素子１６（撮像手段、画像取得手段）に結像され、撮像素子１６には信号電荷が蓄積される。

ここで、撮像素子１６は、デフォーカス量に応じて視差の異なる左目画像及び右目画像（単眼３Ｄ画像）を取得することができるものである。撮像素子１６は、左目画像と右目画像とを加算することにより、２Ｄ画像も取得することができる。尚、撮像素子１６の詳細については後述する。また、この実施の形態の撮像素子１６は、ＣＣＤ（Charge Coupled Device）イメージセンサであるが、これに限らず、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型のイメージセンサでもよい。

撮像素子１６に蓄積された左目画像及び右目画像の信号電荷は、タイミングジェネレータ（不図示）から加えられる読み出し信号に基づいて信号電荷に応じた電圧信号として読み出される。撮像素子１６から読み出された電圧信号は、アナログ信号処理部１８に加えられる。ＣＣＤ制御部３２は、撮像素子１６からの画像信号の読み出し制御を行う。

アナログ信号処理部１８は、撮像素子１６から出力された電圧信号に対して相関二重サンプリング処理（撮像素子の出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、撮像素子の１画素毎の出力信号に含まれるフィードスルー成分レベルと画素信号成分レベルとの差をとることにより正確な画素データを得る処理）により各画素ごとのＲ（Red）、Ｇ（Green）、Ｂ（Blue）信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力するＲ、Ｇ、Ｂ信号をデジタルのＲ、Ｇ、Ｂ信号に変換して画像入力コントローラ２２に出力する。

デジタル信号処理部２４は、画像入力コントローラ２２を介して入力するデジタルの画像信号に対して、オフセット処理、ホワイトバランス補正、感度補正を含むゲイン・コントロール処理、ガンマ補正処理、デモザイク処理、ＹＣ処理、エッジ強調処理等の所定の信号処理を行う。

また、デジタル信号処理部２４は、左目画像と右目画像との対応する画素間の視差を取得する視差取得手段、取得した視差から視差マップを作成する視差マップ取得手段、取得した左目画像と右目画像（第１の単眼３Ｄ画像）及び視差マップから、単眼３Ｄ画像の視差量とぼけ量の両方を連動させて変更させ、所望の左目画像と右目画像（第２の単眼３Ｄ画像）を生成するフィルタ処理手段等を備えている。尚、撮像時に取得した第１の単眼３Ｄ画像から所望の第２の単眼３Ｄ画像を生成する画像処理方法の詳細については、後述する。

デジタル信号処理部２４により処理された２Ｄ又は３Ｄの画像データは、ＶＲＡＭ（Video Random Access Memory）５０に入力される。ＶＲＡＭ５０には、それぞれが１コマ分の２Ｄ又は３Ｄの画像を表す画像データを記録するＡ領域とＢ領域とが含まれている。ＶＲＡＭ５０において１コマ分の２Ｄ又は３Ｄの画像を表す画像データがＡ領域とＢ領域とで交互に書き換えられる。ＶＲＡＭ５０のＡ領域及びＢ領域のうち、画像データが書き換えられている方の領域以外の領域から、書き込まれている画像データが読み出される。

ＶＲＡＭ５０から読み出された２Ｄ又は３Ｄの画像データは、ビデオエンコーダ２８においてエンコーディングされ、カメラ背面に設けられている３Ｄ液晶モニタ３０に出力される。これにより、２Ｄ又は３Ｄの被写体像が連続的に３Ｄ液晶モニタ３０の表示画面上に表示される。

操作部３８のシャッタボタン２の第１段階の押下（半押し）があると、ＣＰＵ４０は、ＡＦ動作及びＡＥ動作を開始させ、レンズ駆動部３６を介して撮影レンズ１２のフォーカスレンズを光軸方向に移動させ、フォーカスレンズが合焦位置にくるように制御する。

ＡＦ処理部４２は、コントラストＡＦ処理又は位相差ＡＦ処理を行う部分である。コントラストＡＦ処理を行う場合には、左目画像及び右目画像の少なくとも一方の画像のうちの所定のフォーカス領域内の画像の高周波成分を抽出し、この高周波成分を積分することにより合焦状態を示すＡＦ評価値を算出する。このＡＦ評価値が極大となるレンズ位置に撮影レンズ１２内のフォーカスレンズを移動させることによりＡＦ制御（コントラストＡＦ）が行われる。

ＣＰＵ４０は、ズームボタン５からのズーム指令に応じてレンズ駆動部３６を介してズームレンズを光軸方向に進退動作させ、焦点距離を変更させる。

また、シャッタボタン２の半押し時にＡ／Ｄ変換器２０から出力される画像データは、ＡＥ検出部４４に取り込まれる。

ＡＥ検出部４４では、画面全体のＧ信号を積算し、又は画面中央部と周辺部とで異なる重みづけをしたＧ信号を積算し、その積算値をＣＰＵ４０に出力する。ＣＰＵ４０は、ＡＥ検出部４４から入力する積算値より被写体の明るさ（撮影Ｅｖ値）を算出する。ＣＰＵ４０は、絞り駆動部３４を制御して、この撮影Ｅｖ値に基づいて絞り１４のＦ値及び撮像素子１６の電子シャッタ（シャッタ速度）を所定のプログラム線図にしたがって決定する。

尚、図３において、４６は、撮影画角内の人物の顔を検出し、その顔を含むエリアをＡＦエリア、ＡＥエリアとして設定するための公知の顔検出回路である（例えば、特開平９−１０１５７９号公報）。

また、４７は、カメラ制御プログラム、撮像素子１６の欠陥情報、画像処理等に使用する各種のパラメータやテーブルの他に、本発明に係る第２の単眼３Ｄ画像を生成するための画像処理プログラム、第２の単眼３Ｄ画像を生成するために使用する第１及び第２の半月フィルタ群（第１、第２のデジタルフィルタ群）、第１の単眼３Ｄ画像を第２の単眼３Ｄ画像に変換するための第１、第２の変換フィルタ群、第１及び第２の半月フィルタ群の逆フィルタである第１、第２の逆フィルタ群等が記憶されているＲＯＭ（ＥＥＰＲＯＭ：Electronically Erasable and Programmable Read Only Memory）（デジタルフィルタ記憶手段、変換フィルタ記憶手段、逆フィルタ記憶手段）である。尚、本発明に係る画像処理プログラム、フィルタ群等の詳細については後述する。

シャッタボタン２の半押しによりＡＥ動作及びＡＦ動作が終了し、シャッタボタンの第２段階の押下（全押し）があると、その押下に応答してＡ／Ｄ変換器２０から出力される画像データが画像入力コントローラ２２からメモリ（ＳＤＲＡＭ：Synchronous Dynamic Random Access Memory）４８に入力し、一時的に記憶される。

メモリ４８に一時的に記憶された画像データは、デジタル信号処理部２４により適宜読み出される。そして、メモリ４８から読み出された画像データは、デジタル信号処理部２４において、デモザイク処理（単板式のカラー撮像素子におけるカラーフィルタ配列に対応したモザイク画像から画素ごとのすべての色情報を算出する処理。本実施形態では、画素ごとにＲＧＢすべての色情報を算出する処理）、エッジ強調の画像処理、及びＹＣ処理（画像データの輝度データ及び色差データの生成処理）を含む所定の信号処理が行われ、ＹＣ処理された画像データ（ＹＣデータ）は、再びメモリ４８に記憶される。

メモリ４８に記憶されたＹＣデータは、圧縮伸張処理部２６に出力され、ＪＰＥＧ（Joint Photographic Experts Group）などの所定の圧縮処理が実行されたのち、再びメモリ４８に記憶される。メモリ４８に記憶されたＹＣデータ（圧縮データ）から画像ファイルが生成される。その画像ファイルは、メディア・コントローラ５２により読み出され、メモリカード５４に記録される。

上記構成の撮像装置１０は、３Ｄ画像の撮像又は再生時に、撮像された３Ｄ画像（第１の単眼３Ｄ画像）から所望の３Ｄ画像（第２の単眼３Ｄ画像）を生成する画像処理機能を備えているが、その他の部分は従来のものと同じである。

［第１、第２のデジタルフィルタ群（第１、第２の半月フィルタ群）］
次に、本発明に係る画像処理方法が適用される単眼３Ｄ画像、及び第１、第２のデジタルフィルタ群（第１、第２の半月フィルタ群）について、図４Ａから図４Ｃ及び図５を参照して説明する。

図４Ａから図４Ｃは、レンズが物体ａの前面にピント調整された状態で、ピント位置よりも手前の物体（点光源）がどのように撮影されるかを示す図である。図４Ｂには、通常の撮像素子２００により撮像される画像が示されている。図４Ｃには、特殊な撮像素子（単眼３Ｄ用の撮像素子）１６により撮像される左目画像及び右目画像が示されている。尚、図４Ｂ及び図４Ｃの撮像素子２００及び１６は、それぞれ被写体側から見た受光面を示している。

図４Ｂに示す撮像素子２００は、それぞれマトリクス状に配列された奇数列の画素（主画素、Ａ面画素ともいう）と、偶数列の画素（副画素、Ｂ面画素ともいう）とが、水平垂直方向にそれぞれ半ピッチずつずれて配置されている。Ａ面画素からなる画像（Ａ面画像）と、Ｂ面画素からなる画像（Ｂ面画像）とは、それぞれベイヤー配列のカラーフィルタを有している。これらのＡ面画像とＢ面画像とから１枚の高解像度の画像を生成することができる。尚、撮像素子２００のＡ面画素、Ｂ面画素に対応して設けられた、光が入射する開口は、各画素の中央に形成されている。また、各画素上には、図示しないマイクロレンズが設けられている。

撮像素子２００から得られるピント位置よりも手前の点光源の画像は、後ピンとなり、そのぼけ量に相当する直径の円になる。

一方、図４Ｃに示す撮像素子１６は、Ａ面画素に形成された開口と、Ｂ面画素に形成された開口とが、それぞれ左右方向に偏倚している。Ａ面画素には、レンズの左側の領域を通過する光が入射し、Ｂ面画素には、レンズの右側の領域を通過する光が入射するようになっている。

上記構成の単眼３Ｄ用の撮像素子１６のＡ面画素からなる画像（Ａ面画像）は、左目画像となり、Ｂ面画素からなる画像（Ｂ面画像）は、右目画像となる。

撮像素子１６から得られるピント位置よりも手前の点光源の画像は、後ピンとなり、左目画像及び右目画像は、それぞれそのぼけ量に相当する直径を有する半月状になる。そして、半月状の左目画像の重心と右目画像の重心とのずれ量が、点光源の画像の視差量になる。即ち、ピント位置よりも手前の点光源の画像は、撮像素子１６の特性（角度ごとの感度）などが既知であれば、点光源に対してどのような左目用及び右目用のフィルタ（前述した第１のデジタルフィルタ及び第２のデジタルフィルタ）が畳み込まれているかがわかる。尚、上記第１のデジタルフィルタ及び第２のデジタルフィルタは、半月状となるため、以後「第１の半月フィルタ及び第２の半月フィルタ」という。

さて、図４Ｃに示したレンズを介して単眼３Ｄ用の撮像素子１６に入射する光のｘ方向の角度［°］に対する左目画像及び右目画像の感度の一例を、図５Ａに示し、ｙ方向の角度［°］に対する左目画像及び右目画像の感度の一例を、図５Ｂに示す。

図５Ａに示すように、ｘ方向の角度［°］に対する左目画像及び右目画像の感度は、角度ゼロを中心にして略対称になるとともに、感度のピーク位置がずれる。また、図５Ｂに示すように、ｙ方向の角度［°］に対する左目画像及び右目画像の感度は一致し、角度ゼロに感度のピーク位置がくる。

図５Ａ及び図５Ｂに示したｘ方向及びｙ方向の感度特性を掛け合わせると、図５Ｃに示すように撮像素子１６に入射する光のｘ方向及びｙ方向の角度毎の感度特性が得られる。尚、図５Ｃは、撮像素子１６の左目画像に対応する感度特性を示している。

次に、図５Ｄに示すように、点像のぼけ量に応じた、ある直径Ｒの範囲のみ光が撮像素子１６に当たると仮定して、角度を撮像素子１６のｘ軸（横方向）、ｙ軸（縦方向）の座標に換算する。この場合、左右の半月フィルタの重心間距離（即ち、視差ΔＤ）と、半月フィルタの直径Ｒは、それぞれ次式で表すことができる。

ここで、［数１］式及び［数２］式において、図６に示すように実焦点距離をf[mm]、絞り値をF、ジャスピン位置までの合焦距離をLo[mm]、被写体までの距離をL[mm]としている。また、ΔＤは、Ｆの関数ρ(F)を用いて、Ｒに対する所定の比で表すことができる。よって、ΔＤが分かれば、Ｒの値や、現在どのような半径・分布の半月フィルタがかかっているかが分かる。

図７の（ａ）部及び（ｂ）部は、それぞれ半月フィルタ、及び図６の撮像面近傍の拡大図である。尚、図６及び図７中に示した数式は、レンズの公式、及び幾何的な関係から導き出すことができる。

また、半月フィルタのフィルタ係数を算出する場合には、図８に示すように、ある座標を(P_x,P_y)、その座標(P_x,P_y)への光の入射角を(θ_ｘ,θ_ｙ)とすると、以下の［数３］式に示す（x,y）について、［数４］式に示す(θ_ｘ,θ_ｙ)を求める。

［数４］式で求めた入射角(θ_ｘ,θ_ｙ)に基づいて、図５Ｃに示した角度毎の感度特性を代入することにより、半月フィルタのフィルタ係数を算出する。このとき、フィルタ係数の総和で各フィルタ係数を除算することにより、フィルタ係数を正規化することが好ましい。

上記のようにして視差ΔＤごとに左右の半月フィルタを作成し、視差ΔＤに関連付けてＲＯＭ（ＥＥＰＲＯＭ）４７に記憶させる。半月フィルタの作成は、予め外部で行い、作成した半月フィルタをＲＯＭ４７に記憶させることが好ましいが、デジタル信号処理部２４内で作成し、ＲＯＭ４７に記憶させるようにしてもよい。

また、［数１］式では、視差ΔＤが絶対値で表されているが、合焦距離合Loよりも手前の物体の視差と合焦距離合Loよりも奥側の物体の視差とは、視差方向（符号）が逆になる。したがって、視差の大きさ及び視差方向ごとに左右の半月フィルタを作成し、ＲＯＭ４７に記憶させる。

図９Ａ及び図９Ｂは、それぞれＲＯＭ４７に記憶させる、左目画像及び右目画像にかかっている視差ΔＤ毎の半月フィルタ（第１、第２の半月フィルタ群）の一例を示している。

［変換フィルタ］
次に、撮像装置１０により撮像された視差を有する左目画像及び右目画像（第１の単眼３Ｄ画像）を、所望の左目画像及び右目画像（第２の単眼３Ｄ画像）に変換するための、変換フィルタについて説明する。

図１０に示すように、第１の単眼３Ｄ画像の撮像時の焦点距離がｆの場合において、第２の単眼３Ｄ画像として、焦点距離ｆのｎ倍の焦点距離（ｎ×ｆ）の撮影レンズで撮像された場合に得られるものとする。

予めＲＯＭ４７に記憶されている半月フィルタ（焦点距離ｆに対応する第１、第２の半月フィルタ）と焦点距離（ｎ×ｆ）とに基づいて、前記［数１］式及び［数２］式に示した視差ΔＤ及び直径Ｒが、それぞれｎの２乗倍となる、第２の単眼３Ｄ画像に対応する半月フィルタ（第３、第４の半月フィルタ）を算出する。即ち、第１、第２の半月フィルタのｎの２乗倍の相似形の第３、第４の半月フィルタを算出する。

ここで、図１０に示すように第１の単眼３Ｄ画像の左目画像にかかっている第１の半月フィルタをＴ_Ｌ(x,y)、第１の半月フィルタＴ_Ｌ(x,y)をフーリエ変換したものをＴ_Ｌｆ(ω_x,ω_y)とする。一方、第２の単眼３Ｄ画像の左目画像にかかるべき第３の半月フィルタをＴ_ＬＷ(x,y)、第３の半月フィルタをＴ_ＬＷ(x,y)をフーリエ変換したものをＴ_ＬＷｆ(ω_x,ω_y)とすると、視差ΔＤの左目画像の画素毎に、実空間で畳み込むべきフィルタ（以下、「変換フィルタ」という）を、次式、
［数５］
Ｆ^-1(Ｔ_Ｌｆ(ω_x,ω_y)^-1・Ｔ_ＬＷｆ(ω_x,ω_y))の振幅成分
ただし、Ｆ^-1：フーリエ逆変換
より算出する。この変換フィルタ（第１の変換フィルタ）は、視差毎に記憶されている第１の半月フィルタに対応して算出される。第２の単眼３Ｄ画像の右目画像の変換に使用される第２の変換フィルタも同様にして算出する。

尚、所望の第２の単眼３Ｄ画像が決定されると、予め視差に応じて第１、第２の半月フィルタ群に対応する、第１、第２の変換フィルタ群を算出することが好ましい。

このようにして算出した第１、第２の変換フィルタ群を使用して、第１の単眼３Ｄ画像を第２の単眼３Ｄ画像に変換する。即ち、第１の単眼３Ｄ画像の左目画像、右目画像の画素毎に、当該画素の視差ΔＤに対応する第１の変換フィルタ及び第２の変換フィルタを使用してフィルタ処理を行う。これにより、第１の単眼３Ｄ画像の画素間の視差毎に、その視差量とぼけ量の両方が連動して変換された第２の単眼３Ｄ画像が生成される。

＜本発明により設計される半月フィルタの実施形態＞
第１の単眼３Ｄ画像にどのような半月フィルタがかかっているときに、所望の第２の単眼３Ｄ画像にかかるべき半月フィルタをどのように設計するかについては、様々な指針がある。以下に示す実施形態では、焦点距離を２倍にした場合、絞りのＦ値を半分にした場合、撮像素子サイズを１．５倍にした場合の視差量とぼけ量に相当するような、半月フィルタを設計する。

［焦点距離を２倍にしたときの半月フィルタ］
図１１Ａは、ある視差ΔＤの第１の単眼３Ｄ画像の左目画素にかかっている第１の半月フィルタを示している。図１１Ｂは、撮影レンズの焦点距離ｆを２倍した場合に得られる第２の単眼３Ｄ画像の、前記第１の半月フィルタに対応する第３の半月フィルタを示している。

図１１Ｂに示すように、第３の半月フィルタは、視差ΔＤ及び直径Ｒが、それぞれ４倍になる、第１の半月フィルタと相似形のフィルタとして設計される。これは、［数１］式及び［数２］式中のｆに、２ｆを代入することにより、視差ΔＤ及び直径Ｒは、それぞれ４（＝２×２）倍になるからである。

これにより、所望の第２の単眼３Ｄ画像は、視差ΔＤが４倍に拡大され、同時に視差に応じたぼけ量（直径Ｒ）も４倍に拡大される。

［絞りのＦ値を半分（１／２）にしたときの半月フィルタ］
図１２Ａは、ある視差ΔＤの第１の単眼３Ｄ画像の左目画素にかかっている第１の半月フィルタを示し、図１２Ｂは、絞り１４のＦ値を半分にした場合に得られる第２の単眼３Ｄ画像の、前記第１の半月フィルタに対応する第３の半月フィルタを示している。

図１２Ｂに示すように、第３の半月フィルタは、Ｆ値の関数ρ(F)で表されている視差ΔＤが、ρ(0.5F)／ρ(F)倍となり、直径Ｒが２倍になる。

これにより、所望の第２の単眼３Ｄ画像は、視差ΔＤがρ(0.5F)／ρ(F)倍に拡大され、同時に視差に応じたぼけ量（直径Ｒ）は２倍に拡大される。

［撮像素子サイズを１．５倍したときの半月フィルタ］
図１３Ａは、ある視差ΔＤの第１の単眼３Ｄ画像の左目画素にかかっている第１の半月フィルタを示し、図１３Ｂは、撮像素子サイズを１．５倍にした場合に得られる第２の単眼３Ｄ画像の、前記第１の半月フィルタに対応する第３の半月フィルタを示している。

図１３Ｂに示すように、第３の半月フィルタは、視差ΔＤ及び直径Ｒが、それぞれ２．２５倍になる、第１の半月フィルタと相似形のフィルタとして設計される。撮像素子サイズが１．５倍になると、実質的に焦点距離ｆが１．５倍になったことに相当する。したがって、［数１］式及び［数２］式中のｆに、１．５ｆを代入することにより、視差ΔＤ及び直径Ｒは、それぞれ２．２５（＝１．５×１．５）倍になる。

これにより、所望の第２の単眼３Ｄ画像は、視差ΔＤが２．２５倍に拡大され、同時に視差に応じたぼけ量（直径Ｒ）も２．２５倍に拡大される。

［所望の単眼３Ｄ画像（第２の単眼３Ｄ画像）の指定手段］
次に、実際に撮像された第１の単眼３Ｄ画像から所望の第２の単眼３Ｄ画像を生成する場合の、所望の第２の単眼３Ｄ画像を指示する指示手段（ユーザインターフェース）について説明する。

単眼３Ｄ画像の撮像又は再生時に、実際に撮像された第１の単眼３Ｄ画像から所望の第２の単眼３Ｄ画像を生成する際に、撮像装置１０のＭＥＮＵ／ＯＫボタン７等を操作し、３Ｄ液晶モニタ３０のメニュー設定画面上で、本発明による第１の単眼３Ｄ画像から第２の単眼３Ｄ画像を生成する機能を選択する。

この機能の選択により、３Ｄ液晶モニタ３０の画面は、図１４Ａに示すように焦点距離、Ｆ値、又は撮像素子サイズを選択する画面に遷移する。ここで、十字ボタン６の上下キーを操作することにより、焦点距離、Ｆ値、又は撮像素子サイズのいずれかを選択することができる。

焦点距離、Ｆ値、又は撮像素子サイズのいずれかを選択した後、ＭＥＮＵ／ＯＫボタン７を操作すると、３Ｄ液晶モニタ３０の画面は、図１４Ｂに示すように選択した項目の倍率を設定する画面に遷移する。尚、図１４Ｂには、第１の単眼３Ｄ画像の撮像時の焦点距離ｆに対して、その焦点距離ｆを何倍にするかを設定する画面が示されている。

この画面表示時に、十字ボタン６の上下キーを操作し、数字をアップダウンさせることにより、任意の倍率を選択することができる。倍率の選択後、ＭＥＮＵ／ＯＫボタン７を操作すると、選択された倍率が確定するとともに、図１４Ａに示す画面に遷移する。

このように焦点距離、Ｆ値、又は撮像素子サイズのいずれか１つ、又は複数を倍率の設定を行うことにより、第１の単眼３Ｄ画像から生成する所望の第２の単眼３Ｄ画像を指定することができる。

尚、所望の第２の単眼３Ｄ画像を指定するユーザインターフェースとしては、この実施形態に限らず、種々のものが考えられる。例えば、３Ｄ液晶モニタ３０がタッチ操作による指示入力を受け付けるタッチパネルを有する場合には、タッチパネルでの操作により所望の単眼３Ｄ画像を指定するようにしてもよい。

＜画像処理装置＞
次に、撮像装置１０により撮影されたオリジナルの第１の単眼３Ｄ画像、又はメモリカード５４から読み出されたオリジナルの第１の単眼３Ｄ画像から、所望の第２の単眼３Ｄ画像を生成する画像処理装置（主としてデジタル信号処理部２４、ＣＰＵ４０、ＲＯＭ４７が相当する）について説明する。

以下に示す第１の実施形態から第３の実施形態は、それぞれ第１の単眼３Ｄ画像から生成される第２の単眼３Ｄ画像は同一であるが、予め記憶しているフィルタの種類及び演算内容が相違する。

［第１の実施形態］
図１５は本発明に係る画像処理装置の第１の実施形態を示す要部ブロック図である。

図１５において、撮像装置１０のデジタル信号処理部２４は、フィルタ処理部２４０−１を有している。フィルタ処理部２４０−１は、畳み込み演算部２４２、２４４、変換フィルタ算出部２４６、及び半月フィルタ算出部２４８を備えている。

オリジナルの第１の単眼３Ｄ画像の左目画像１００Ｌ、右目画像１００Ｒは、それぞれ畳み込み演算部２４２、２４４に加えられる。畳み込み演算部２４２、２４４の他の入力には、変換フィルタ算出部２４６により算出された第１の変換フィルタＦ_Ｌ，第２の変換フィルタＦ_Ｒがそれぞれ加えられるようになっている。畳み込み演算部２４２、２４４は、それぞれ２入力の畳み込み演算を行うことにより、左目画像１００Ｌ、右目画像１００Ｒの対応する２つの画素の視差量及びぼかし量を連動させて変更した、所望の第２の単眼３Ｄ画像の左目画像１２０Ｌ，右目画像１２０Ｒの対応する２つの画素をそれぞれ生成する。

ここで、変換フィルタ算出部２４６は、以下に示すように左目画像１００Ｌ、右目画像１００Ｒの対応する２つの画素の視差量に対応する第１の単眼３Ｄ画像にかけられている半月フィルタ、及び第２の単眼３Ｄ画像にかける設計された半月フィルタに基づいて第１の変換フィルタＦ_Ｌ，第２の変換フィルタＦ_Ｒを算出し、これらを畳み込み演算部２４２、２４４に出力する。

ＣＰＵ４０は、オリジナルの第１の単眼３Ｄ画像の左目画像１００Ｌと右目画像１００Ｒとの対応点同士の画素のずれ（視差）を画面全体にわたって算出し、画面位置に応じた視差を示す視差マップ１３０を作成する。

左目画像１００Ｌと右目画像１００Ｒとの対応点（特徴点）は、左目画像１００Ｌと右目画像１００Ｒの画像間でその特徴が一意に特定できるすべての点をとることが望ましい。

左目画像１００Ｌと右目画像１００Ｒの画像間で特徴が一致する特徴点の検出には、例えば、ブロックマッチング法を適用することができる。ブロックマッチング法では、左目画像１００Ｌと右目画像１００Ｒのうちの一方の画像（左目画像１００Ｌ）から任意の画素を基準に切り出した所定のブロックサイズのブロックと、他方の画像（右目画像１００Ｒ）のブロックとの一致度を評価する。そして、ブロック間の一致度が最大となるときの右目画像１００Ｒのブロックの基準の画素を、左目画像１００Ｌの任意の画素に対応する右目画像１００Ｒの画素とする。

ブロックマッチング法でのブロック間の一致度を評価する関数として、例えば各ブロック内の画素の輝度差の２乗和（ＳＳＤ）を使用するものがある（ＳＳＤブロックマッチング法）。

そして、右目画像１００Ｒの画素の位置と、右目画像１００Ｒ上の対応する画素との画素間のずれ量及びずれ方向を示す視差（ずれ方向は正負で表すことができる）を求めることにより、視差マップ１３０を作成することができる。尚、視差マップ１３０の作成は、デジタル信号処理部２４で行ってもよい。

半月フィルタ記憶部４７０は、オリジナルの左目画像１００Ｌ、右目画像１００Ｒにかかっている、視差に応じた第１の半月フィルタ、第２の半月フィルタ（図９等に示した第１、第２の半月フィルタ群）を記憶する部分である。半月フィルタ記憶部４７０は、ＲＯＭ４７の一部の記憶部に対応する。

半月フィルタ算出部２４８は、所望の第２の単眼３Ｄ画像の左目画像１２０Ｌ，右目画像１２０Ｒにかけるための第３、第４の半月フィルタ群を算出するものである。半月フィルタ算出部２４８は、半月フィルタ記憶部４７０から第１、第２の半月フィルタ群を入力するとともに、操作部３８を含むユーザインターフェースにより指示された所望の第２の単眼３Ｄ画像への変換特性に対応する情報（第１の単眼３Ｄ画像の撮像時の焦点距離ｆ，Ｆ値、又は撮像素子サイズに対する、第２の単眼３Ｄ画像の焦点距離ｆ、Ｆ値、又は撮像素子サイズの倍率）を入力する。半月フィルタ算出部２４８は、これらの入力した第１、第２の半月フィルタ群と、第２の単眼３Ｄ画像への変換特性にかかわる情報とに基づいて、第３、第４の半月フィルタ群を算出する（図１１Ａ〜図１３Ｂ参照）。

変換フィルタ算出部２４６は、半月フィルタ記憶部４７０から入力する第１、第２の半月フィルタ群と、半月フィルタ算出部２４８により算出された第３、第４の半月フィルタ群とに基づいて、前述した［数５］式により視差ΔＤ毎に第１、第２の変換フィルタを算出する。ここで、算出した視差ΔＤ毎の第１、第２の変換フィルタ（第１、第２の変換フィルタ群）は、図示しない内部メモリに一時記憶しておくことが好ましい。

変換フィルタ算出部２４６は、左目画像１００Ｌの任意の画素とその画素に対応する右目画像１００Ｒの画素との視差を視差マップ１３０から取得する。変換フィルタ算出部２４６は、この取得した視差に対応する第１、２の変換フィルタを、予め算出して記憶した第１、第２の変換フィルタ群から取得する。変換フィルタ算出部２４６は、第１、第２の変換フィルタをそれぞれ畳み込み演算部２４２、２４４に出力する。

畳み込み演算部２４２は、左目画像１００Ｌの任意の画素を基準にした、第１の変換フィルタと同じカーネルサイズの複数の画素と第１の変換フィルタとの畳み込み演算を行うことにより、任意の画素に対応する左目画像１２０Ｌ上の画素を算出する。同様に、畳み込み演算部２４４は、左目画像１００Ｌの任意の画素に対応する右目画像１００Ｒの対応画素を基準にした、第２の変換フィルタと同じカーネルサイズの複数の画素と第２の変換フィルタとの畳み込み演算を行うことにより、右目画像１００Ｒの対応画素の左目画像１２０Ｌ上の画素を算出する。

オリジナルの第１の単眼３Ｄ画像の左目画像１００Ｌ、右目画像１００Ｒの全ての対応画素について、上記フィルタ処理を行うことにより、第２の単眼３Ｄ画像の左目画像１２０Ｌ，右目画像１２０Ｒを生成することができる。

［第２の実施形態］
図１６は本発明に係る画像処理装置の第２の実施形態を示す要部ブロック図である。

尚、図１６において、図１５と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１６において、撮像装置１０のデジタル信号処理部２４は、フィルタ処理部２４０−２を有している。フィルタ処理部２４０−２は、畳み込み演算部２４２、２４４、及び変換フィルタ読出部２５０を備えている。

変換フィルタ記憶部４７２は、第１の実施形態の変換フィルタ算出部２４６により算出される第１、第２の変換フィルタ群と同じ第１、第２の変換フィルタ群を記憶する部分である。変換フィルタ記憶部４７２は、ＲＯＭ４７の一部の記憶部に対応する。この変換フィルタ記憶部４７２は、予め複数の種類（ユーザインターフェースにより指定可能な所望の第２の単眼３Ｄ画像への変換特性に対応する情報別の複数の種類）の第１、第２の変換フィルタ群を記憶していることが好ましい。また、これらの第１、第２の変換フィルタ群は、第１の実施形態の変換フィルタ算出部２４６に相当する外部機器等により算出し、その算出結果を変換フィルタ記憶部４７２に記憶させることができる。

変換フィルタ読出部２５０は、変換フィルタ記憶部４７２から適宜の第１、第２の変換フィルタＦ_Ｌ、Ｆ_Ｒを読み出し、それぞれ畳み込み演算部２４２、２４４に出力するものである。変換フィルタ読出部２５０は、操作部３８を含むユーザインターフェースにより指示された所望の第２の単眼３Ｄ画像への変換特性に対応する情報を入力するとともに、視差マップ１３０から視差を入力する。

変換フィルタ読出部２５０は、所望の第２の単眼３Ｄ画像への変換特性に対応する情報に基づいて変換フィルタ記憶部４７２に記憶されている複数の種類の第１、第２の変換フィルタ群から使用する第１、第２のフィルタ群を決定する。一方、変換フィルタ読出部２５０は、左目画像１００Ｌの任意の画素とその画素に対応する右目画像１００Ｒの画素との視差を視差マップ１３０から取得する。変換フィルタ読出部２５０は、この取得した視差に対応する第１、２の変換フィルタを、前記決定した第１、第２のフィルタ群から読み出す。変換フィルタ読出部２５０は、読み出した第１、第２の変換フィルタをそれぞれ畳み込み演算部２４２、２４４に出力する。

第２の実施形態によれば、予め変換フィルタ記憶部４７２に複数の種類の第１、第２の変換フィルタ群を記憶させるようにした。このため、第１、第２の変換フィルタ群を算出するための演算処理を省略することができるが、変換フィルタ記憶部４７２として記憶容量の大きなものが必要になる。

［第３の実施形態］
図１７は本発明に係る画像処理装置の第３の実施形態を示す要部ブロック図である。

尚、図１７において、図１５と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図１７において、撮像装置１０のデジタル信号処理部２４は、フィルタ処理部２４０−３を有している。フィルタ処理部２４０−３は、畳み込み演算を行う第１演算部２６０、２６２、第２演算部２６４、２６６、逆フィルタ読出部２６８、及び半月フィルタ算出部２４８を備えている。

変換フィルタは、［数５］式に示したように、Ｆ^-1(Ｔ_Ｌｆ(ω_x,ω_y)^-1・Ｔ_ＬＷｆ(ω_x,ω_y))の振幅成分のフィルタ係数を有するものである。この変換フィルタによるフィルタ処理は、Ｆ^-1(Ｔ_Ｌｆ(ω_x,ω_y)^-1)による畳み込み演算と、Ｆ^-1(Ｔ_ＬＷｆ(ω_x,ω_y))による畳み込み演算とに分けることができる。

前者のＦ^-1(Ｔ_Ｌｆ(ω_x,ω_y)^-1)は、第１の半月フィルタの逆フィルタである。後者のＦ^-1(Ｔ_ＬＷｆ(ω_x,ω_y))は、第３の半月フィルタである。

第３の実施形態では、左目画像１００Ｌ、右目画像１００Ｒの対応する画素毎に、視差に応じた第１、第２の逆フィルタをかける第１の演算を行い、その演算結果に対して第３、第４の半月フィルタをかける第２の演算を行う。第１の演算は、オリジナルの第１の単眼３Ｄ画像の視差及びぼけがキャンセルされたぼけキャンセル画像を生成する。第２の演算は、ぼけキャンセル画像に対して、撮影レンズ１２に入射する光から所望の第２の単眼３Ｄ画像に変換されるまでの変換特性に対応する、視差毎の第３、第４の半月フィルタをかけることにより左目画像１２０Ｌ、右目画像１２０Ｒを生成することを意味する。

逆フィルタ記憶部４７４は、半月フィルタ記憶部４７０に記憶されている第１、第２の半月フィルタ群から算出された第１、第２の逆フィルタ群を記憶する部分である。逆フィルタ記憶部４７４は、ＲＯＭ４７の一部の記憶部に対応する。第１、第２の逆フィルタ群は、第１、第２の半月フィルタ群から外部機器等により算出し、その算出結果を逆フィルタ記憶部４７４に記憶させることができる。

逆フィルタ読出部２６８は、左目画像１００Ｌの任意の画素とその画素に対応する右目画像１００Ｒの画素との視差を視差マップ１３０から取得する。逆フィルタ読出部２６８は、この取得した視差に対応する第１、第２の半月フィルタの逆フィルタである第１、２の逆フィルタを、逆フィルタ記憶部４７４から読み出し、それぞれ第１演算部２６０、２６２に出力する。

第１演算部２６０は、左目画像１００Ｌの任意の画素を基準にした、第１の逆フィルタと同じカーネルサイズの複数の画素と第１の逆フィルタとの畳み込み演算を行う。同様に、第１演算部２６２は、左目画像１００Ｌの任意の画素に対応する右目画像１００Ｒの対応画素を基準にした、第２の逆フィルタと同じカーネルサイズの複数の画素と第２の逆フィルタとの畳み込み演算を行う。第１演算部２６０、２６２は、これらの演算結果（ぼけ等をキャンセルしたぼけキャンセル画像）をそれぞれ第２演算部２６４、２６６にそれぞれ出力する。

第２演算部２６４、２６６の他の入力には、半月フィルタ算出部２４８により算出された第３、第４の半月フィルタ群のうち、視差マップ１３０から得られる現在の視差に対応する第３、第４の半月フィルタが加えられている。第２演算部２６４、２６６は、それぞれ、第１演算部２６０、２６２により算出されたぼけキャンセル画像と第３、第４の半月フィルタとの畳み込み演算を行うことにより、左目画像１２０Ｌ、右目画像１２０Ｒ上の各画素を算出する。

第３の実施形態によれば、第１の実施形態に比べて第１、第２の変換フィルタ群の算出が不要であるため、演算処理の高速化が可能である。また、第１、第２の逆フィルタ群を記憶する必要があるが、複数の種類の第１、第２の変換フィルタ群を記憶させる必要がある第２の実施形態に比べて、逆フィルタ記憶部４７４の記憶容量を小さいものとすることができる。

尚、第１演算部２６０、２６２により算出されるぼけキャンセル画像は同一のものになる。このため、左目画像１００Ｌ，右目画像１００Ｒのいずれか一方のみを使用してぼけキャンセル画像を生成し、生成したぼけキャンセル画像をそれぞれ第２演算部２６４、２６６に出力することが好ましい。

［第３、第４の半月フィルタの他の実施形態］
図１１Ａから図１３Ｂに示した実施形態では、第１の単眼３Ｄ画像にかかっている第１、第２の半月フィルタを相似形に拡縮して所望の第２の単眼３Ｄ画像に対応する第３、第４の半月フィルタを設計するようにしたが、第３、第４の半月フィルタは、第１、第２の半月フィルタとは無関係に設計することが可能である。

図１８Ａは、ある視差ΔＤの第１の単眼３Ｄ画像の左目画素にかかっている第１の半月フィルタを示している。図１８Ｂは、単眼３Ｄ用の撮像素子の感度特性が変わったときに得られる第２の単眼３Ｄ画像の、前記第１の半月フィルタに対応する第３の半月フィルタを示している。

図１８Ｂに示すように、第３の半月フィルタは、第１の半月フィルタと比較して、ぼけ量（直径Ｒ）は変化していない。第３の半月フィルタは、感度特性が異なる撮像素子に対応するため、Ｆの関数ρ(F)が関数ρ'(F)に変化する。その結果、第３の半月フィルタには、第１の半月フィルタとはぼけ量（直径Ｒ）が同じでも異なる視差ΔＤを付与することができる。

また、感度特性が異なる撮像素子としては、理想的な撮像素子を仮定することができる。例えば、図５Ａに示した左目画像と右目画像の感度特性によれば、入射角に応じたクロストークが発生しているが、クロストークのない感度特性を有する撮像素子に対応する第３、第４の半月フィルタを設計することができる。

図１９の（ａ）部は、ある視差ΔＤの第１の単眼３Ｄ画像の左目画素にかかっている第１、第２の半月フィルタを示している。図１９の（ｂ）部は、第１、第２の半月フィルタに対応する第３、第４のフィルタを示している。

図１１Ａ、図１１Ｂ、図１２Ａ、図１２Ｂ、図１３Ａ、図１３Ｂ及び図１８Ａ、図１８Ｂに示す実施形態では、二重像発生を回避すべく、目標とするフィルタを半月フィルタとした。しかしながら、ぼけが大きい場合など、人間の目では、画素同士の対応がとりづらい場合（立体視しにくい場合）には、二重像発生回避よりも人間の目に自然に見えることを優先させることが好ましい。

図１９の（ｂ）部に示す第３、第４のフィルタは、それぞれ円形で、その中心のフィルタ係数が最も高い点対称のフィルタ係数を有している。

図１９の（ｂ）部に示すように、円形の第３、第４のフィルタを目標とするフィルタにすることにより、ぼけを円形にすることができ、ぼけの口径が大きい場合などでも自然な立体視可能な画像を生成することができる。尚、計算方法などは、目標とするフィルタが半月フィルタのときと同様である。

［１つの第１の単眼３Ｄ画像から複数の第２の単眼３Ｄ画像を生成する手法］
次に、１つのオリジナルの第１の単眼３Ｄ画像から複数の第２の単眼３Ｄ画像を生成する場合の実施形態について説明する。

図２０Ａ及び図２０Ｂは、それぞれオリジナルの第１の単眼３Ｄ画像から複数の第２の単眼３Ｄ画像を生成する場合の２通りのプロセス（通常プロセスと計算時間短縮版プロセス）を示す概念図である。

図２０Ａに示す通常プロセスは、図１５に示した第１の実施形態に相当する。通常プロセスでは、視差強調等の程度が異なる第２の単眼３Ｄ画像を生成する毎に、第１の単眼３Ｄ画像に対して実空間で畳み込む変換フィルタの算出処理（［数５］式に示す演算）を行うようにしている。この通常のプロセスでは、複数の所望の第２の単眼３Ｄ画像に対応してそれぞれ変換フィルタを算出する。このため、通常プロセスでは、変換フィルタの算出処理を複数回行う必要があり、計算量が多くなる。

図２０Ｂに示す計算時間短縮版プロセスは、図１７に示した第３の実施形態に相当する。計算時間短縮版プロセスでは、まず、オリジナルの第１の単眼３Ｄ画像から視差とぼけをキャンセルしたぼけキャンセル画像を生成する。このぼけキャンセル画像は、第１の単眼３Ｄ画像の左目画像又は右目画像に、第１の半月フィルタ又は第２の半月フィルタの逆フィルタである、第１の逆フィルタ又は第２の逆フィルタをかけることにより生成することができる。

第１の逆フィルタは、［数５］式中の前段のＦ^-1(Ｔ_Ｌｆ(ω_x,ω_y)^-1)の振幅成分をフィルタ係数とするものである。この逆フィルタの算出演算は、１回だけでよい。尚、逆フィルタは、第１の単眼３Ｄ画像に固有のものであるため、予め演算して記憶しておくことにより、逆フィルタの算出演算を省略することができる。

続いて、１つのぼけキャンセル画像に対して、複数の第２の単眼３Ｄ画像にそれぞれ対応する第３、第４の半月フィルタをかける。第３の半月フィルタは、［数５］式中の後段のＦ^-1(Ｔ_ＬＷｆ(ω_x,ω_y))の振幅成分をフィルタ係数とするもので、第１の半月フィルタを相似形に拡大することにより得られるものである。

図２０Ｂに示す計算時間短縮版プロセスによれば、図２０Ａに示した通常プロセスに比べて変換フィルタの算出が不要となり、計算時間を短縮することができる。特に視差が連続的に変化する多数の第２の単眼３Ｄ画像を生成し、視差が連続的に変化する３Ｄ動画として表示させる場合に有効である。

＜周波数フィルタリング＞
上記第１の実施形態から第３の実施形態では、実空間での空間フィルタリングを行うことにより、オリジナルの第１の単眼３Ｄ画像の左目画像１００Ｌ、右目画像１００Ｒから所望の第２の単眼３Ｄ画像の左目画像１２０Ｌ，右目画像１２０Ｒを生成するようにしているが、本発明はこれに限定されるものではない。例えば、周波数空間における周波数フィルタリングを行うことにより、オリジナルの第１の単眼３Ｄ画像の左目画像１００Ｌ、右目画像１００Ｒから所望の第２の単眼３Ｄ画像の左目画像１２０Ｌ，右目画像１２０Ｒを生成するようにしてもよい。

図２１に示すように、第１の単眼３Ｄ画像の左目画像にかかっている第１の半月フィルタをＴ_Ｌ(x,y)、第１の半月フィルタＴ_Ｌ(x,y)をフーリエ変換したものをＴ_Ｌｆ(ω_x,ω_y)とする。一方、第２の単眼３Ｄ画像の左目画像にかかるべき第３の半月フィルタをＴ_ＬＷ(x,y)、第３の半月フィルタをＴ_ＬＷ(x,y)をフーリエ変換したものをＴ_ＬＷｆ(ω_x,ω_y)とする。このとき、視差ΔＤの左目画像の画素毎に、フィルタ処理対象の画素（対象画素）を基準とする所定領域の周波数成分データＵ_Ｌ(ω_x,ω_y)と周波数空間で乗算するフィルタであって、第２の単眼３Ｄ画像の左目画像の前記所定領域に対応する領域の周波数成分データに変換するフィルタ（以下、「周波数フィルタ」という）Ｇ(ω_x,ω_y)を、次式、
［数６］
Ｇ(ω_x,ω_y)＝Ｔ_Ｌｗｆ(ω_x,ω_y)・Ｔ_Ｌｆ(ω_x,ω_y)^-1
ただし、Ｔ_Ｌｆ(ω_x,ω_y)^-1：Ｔ_Ｌｆ(ω_x,ω_y)の逆フィルタ
より算出する。この周波数フィルタ（第１の周波数フィルタ）は、視差毎に記憶されている第１の半月フィルタに対応して算出される。第２の単眼３Ｄ画像の右目画像の周波数空間での変換に使用される第２の周波数フィルタも同様にして算出する。

尚、所望の第２の単眼３Ｄ画像が決定されると、予め視差に応じて第１、第２の半月フィルタ群に対応する、第１、第２の周波数フィルタ群を算出することが好ましい。

このようにして算出した第１、第２の周波数フィルタ群を使用して、第１の単眼３Ｄ画像の周波数成分データを周波数空間で第２の単眼３Ｄ画像の周波数成分データに変換する。そして、第２の単眼３Ｄ画像の周波数成分データを実空間上のデータに変換する。これにより、第１の単眼３Ｄ画像の画素間の視差毎に、その視差量とぼけ量の両方が連動して変換された第２の単眼３Ｄ画像が生成される。

＜画像処理装置＞
次に、撮像装置１０により撮影されたオリジナルの第１の単眼３Ｄ画像、又はメモリカード５４から読み出されたオリジナルの第１の単眼３Ｄ画像から、所望の第２の単眼３Ｄ画像を生成する画像処理装置（主としてデジタル信号処理部２４、ＣＰＵ４０、ＲＯＭ４７が相当する）について説明する。

以下に示す第４〜第６の実施形態は、それぞれ前述した第１〜第３の実施形態に対応する実施形態である。主として第１〜第３の実施形態が実空間での空間フィルタリングを行っているのに対し、第４〜第６の実施形態は周波数空間における周波数フィルタリングを行う点で相違する。

［第４の実施形態］
図２２は本発明に係る画像処理装置の第４の実施形態を示す要部ブロック図である。尚、図１５に示した第１の実施形態と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図２２において、撮像装置１０のデジタル信号処理部２４は、フィルタ処理部２４０−４を有している。フィルタ処理部２４０−４は、フーリエ変換部２７１、２７２、乗算部２７３、２７４、逆フーリエ変換部２７５、２７６、周波数フィルタ算出部２７７、及び半月フィルタ算出部２４８を備えている。

オリジナルの第１の単眼３Ｄ画像の左目画像１００Ｌ、右目画像１００Ｒは、それぞれフーリエ変換部２７１、２７２に加えられる。フーリエ変換部２７１、２７２は、それぞれ左目画像１００Ｌ、右目画像１００Ｒの対応する２つの画素（フィルタ処理の２つの対象画素）を基準とする所定領域（例えば、16×16画素の領域）を抽出する。フーリエ変換部２７１、２７２は、これらの所定領域（Ｕ_Ｌ(x,y)、Ｕ_Ｒ(x,y)）をフーリエ変換し、第１及び第２の周波数成分データ（16×16のフーリエ係数）にそれぞれ変換する。これらの第１及び第２の周波数成分データ（Ｕ_Ｌｆ(ω_x,ω_y)，Ｕ_Ｒｆ(ω_x,ω_y)）は、それぞれ乗算部２７３、２７４に加えられる。

乗算部２７３、２７４の他の入力には、周波数フィルタ算出部２７７により算出された第１の周波数フィルタＧ_Ｌ(ω_x,ω_y)，第２の周波数フィルタＧ_Ｒ(ω_x,ω_y)が加えられるようになっている。乗算部２７３、２７４は、それぞれ２入力を乗算することにより、第３及び第４の周波数成分データ（Ｖ_Ｌｆ(ω_x,ω_y)，Ｖ_Ｒｆ(ω_x,ω_y)）を算出する。

即ち、乗算部２７３、２７４は、次式により第３及び第４の周波数成分データ（Ｖ_Ｌｆ(ω_x,ω_y)，Ｖ_Ｒｆ(ω_x,ω_y)）を算出する。

［数７］
Ｖ_Ｌｆ(ω_x,ω_y)＝Ｕ_Ｌｆ(ω_x,ω_y)・Ｇ_Ｌ(ω_x,ω_y)
Ｖ_Ｒｆ(ω_x,ω_y)＝Ｕ_Ｒｆ(ω_x,ω_y)・Ｇ_Ｒ(ω_x,ω_y)
上記のようにして算出される第３及び第４の周波数成分データは、左目画像１００Ｌ、右目画像１００Ｒの対応する２つの画素の視差量及びぼかし量を連動させて変更した、所望の第２の単眼３Ｄ画像の左目画像１２０Ｌ，右目画像１２０Ｒの対応する２つの画素を含む所定領域をフーリエ変換した周波数成分データである。

ここで、周波数フィルタ算出部２７７は、左目画像１００Ｌ、右目画像１００Ｒの対応する２つの画素の視差量に対応する第１の単眼３Ｄ画像にかけられている半月フィルタを半月フィルタ記憶部２７０から取得する。周波数フィルタ算出部２７７は、半月フィルタ算出部２４８から第２の単眼３Ｄ画像にかける設計された半月フィルタを取得する。周波数フィルタ算出部２７７は、図２１で説明したように取得した半月フィルタをそれぞれフーリエ変換する。周波数フィルタ算出部２７７は、フーリエ変換した結果を使用して前述した［数６］式により、周波数空間でかけるべき周波数フィルタＧ_Ｌ、Ｇ_Ｒを算出する。

尚、周波数フィルタＧ_Ｌ、Ｇ_Ｒは、第１及び第２の周波数成分データと同じ個数のフーリエ係数（16×16）から構成されている。また、周波数フィルタ算出部２７７は、視差ΔＤ毎に第１、第２の周波数フィルタを算出することが好ましい。算出した視差ΔＤ毎の第１、第２の周波数フィルタ（第１、第２の変換フィルタ群）は、図示しない内部メモリに一時記憶しておくことが好ましい。

周波数フィルタ算出部２７７は、左目画像１００Ｌの任意の対象画素とその対象画素に対応する右目画像１００Ｒの対象画素との視差を視差マップ１３０から取得する。周波数フィルタ算出部２７７は、この取得した視差に対応する第１、２の周波数フィルタを、予め算出して記憶した第１、第２の周波数フィルタ群から取得し、第１、第２の周波数フィルタをそれぞれ乗算部２７３、２７４に出力する。

逆フーリエ変換部２７５、２７６は、それぞれ乗算部２７３、２７４により算出された第３及び第４の周波数成分データ（Ｖ_Ｌｆ(ω_x,ω_y)，Ｖ_Ｒｆ(ω_x,ω_y)）を、次式に示すように逆フーリエ変換し、実空間上のデータ（Ｖ_Ｌ(x,y)，Ｖ_Ｒ(x,y)）を算出する。

［数８］
Ｖ_Ｌ(x,y)＝Ｆ^−１(Ｖ_Ｌｆ(ω_x,ω_y))
Ｖ_Ｒ(x,y)＝Ｆ^−１(Ｖ_Ｒｆ(ω_x,ω_y))
逆フーリエ変換部２７５、２７６により実空間上に変換されたデータ（Ｖ_Ｌ(x,y)，Ｖ_Ｒ(x,y)）は、フーリエ変換部２７１、２７２でフーリエ変換された所定領域（16×16画素）と同じサイズの画像になる。実空間上に変換されたデータ（Ｖ_Ｌ(x,y)，Ｖ_Ｒ(x,y)）のうち、対象画素と同じ位置の画素のみを選択し、選択した画素を左目画像１２０Ｌ，右目画像１２０Ｒの画素として出力する。

そして、上記の左目画像１００Ｌ，右目画像１００Ｒから左目画像１２０Ｌ，右目画像１２０Ｒへの変換処理は、最初は画像上の位置(0,0)から所定領域（16×16領域）を切り取って処理し、次に位置(0,1)から16×16領域を切り取って処理し、次に(0,2)から、…というように、1画素1画素、16×16領域をスキャンしながら処理を繰り返す。これにより、第２の単眼３Ｄ画像の左目画像１２０Ｌ，右目画像１２０Ｒを生成する。

［第５の実施形態］
図２３は本発明に係る画像処理装置の第５の実施形態を示す要部ブロック図である。

尚、図２３において、図２２と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図２３において、撮像装置１０のデジタル信号処理部２４は、フィルタ処理部２４０−５を有している。フィルタ処理部２４０−５は、フーリエ変換部２７１、２７２、乗算部２７３、２７４、逆フーリエ変換部２７５、２７６、及び周波数フィルタ読出部２８０を備えている。

周波数フィルタ記憶部４７６は、第４の実施形態の周波数フィルタ算出部２７７により算出される第１、第２の周波数フィルタ群と同じ第１、第２の周波数フィルタ群を記憶する部分である。周波数フィルタ記憶部４７６は、ＲＯＭ４７の一部の記憶部に対応する。この周波数フィルタ記憶部４７６は、予め複数の種類（ユーザインターフェースにより指定可能な所望の第２の単眼３Ｄ画像への変換特性に対応する情報別の複数の種類）の第１、第２の周波数フィルタ群を記憶していることが好ましい。また、これらの第１、第２の周波数フィルタ群は、第４の実施形態の周波数フィルタ算出部２７７に相当する外部機器等により算出し、その算出結果を周波数フィルタ記憶部４７６に記憶させることができる。

周波数フィルタ読出部２８０は、周波数フィルタ記憶部４７６から適宜の第１、第２の周波数フィルタＧ_Ｌ、Ｇ_Ｒを読み出し、それぞれ乗算部２７３、２７４に出力する。周波数フィルタ読出部２８０は、操作部３８を含むユーザインターフェースにより指示された所望の第２の単眼３Ｄ画像への変換特性に対応する情報を入力するとともに、視差マップ１３０から視差を入力する。

周波数フィルタ読出部２８０は、所望の第２の単眼３Ｄ画像への変換特性に対応する情報に基づいて周波数フィルタ記憶部４７６に記憶されている複数の種類の第１、第２の周波数フィルタ群から使用する第１、第２の周波数フィルタ群を決定する。一方、周波数フィルタ読出部２８０は、左目画像１００Ｌの任意の対象画素とその対象画素に対応する右目画像１００Ｒの対象画素との視差を視差マップ１３０から取得する。周波数フィルタ読出部２８０は、この取得した視差に対応する第１、第２の周波数フィルタを、前記決定した第１、第２の周波数フィルタ群から読み出す。周波数フィルタ読出部２８０は、読み出した第１、第２の周波数フィルタをそれぞれ乗算部２７３、２７４に出力する。

第２の実施形態によれば、予め周波数フィルタ記憶部４７６に複数の種類の第１、第２の周波数フィルタ群を記憶させるようにした。このため、第１、第２の周波数フィルタ群を算出するための演算処理を省略することができるが、周波数フィルタ記憶部４７６として記憶容量の大きなものが必要になる。

［第６の実施形態］
図２４は本発明に係る画像処理装置の第６の実施形態を示す要部ブロック図である。

尚、図２４において、図２２と共通する部分には同一の符号を付し、その詳細な説明は省略する。

図２４において、撮像装置１０のデジタル信号処理部２４は、フィルタ処理部２４０−６を有している。フィルタ処理部２４０−６は、フーリエ変換部２７１、２７２、第１乗算部２９１、２９２、第２乗算部２９３、２９４、逆フーリエ変換部２７５、２７６、逆フィルタ読出部２９５、半月フィルタ算出部２４８、及びフーリエ変換部２９６を備えている。

周波数フィルタＧは、［数６］式に示したように、Ｔ_Ｌｆ(ω_x,ω_y)^-1・Ｔ_ＬＷｆ(ω_x,ω_y)の周波数空間のフーリエ係数を有するものである。この周波数フィルタによるフィルタ処理は、Ｔ_Ｌｆ(ω_x,ω_y)^-1による乗算と、Ｔ_ＬＷｆ(ω_x,ω_y)による乗算とに分けることができる。

前者のＴ_Ｌｆ(ω_x,ω_y)^-1は、第１の半月フィルタの周波数成分データの逆フィルタである。後者のＴ_ＬＷｆ(ω_x,ω_y)は、第３の半月フィルタの周波数成分データである。

第６の実施形態では、左目画像１００Ｌ、右目画像１００Ｒの対応する画素毎に、視差に応じた第１、第２の半月フィルタの周波数成分データの第１、第２の逆フィルタをかける第１の演算を行う。そして、その演算結果に対して第３、第４の半月フィルタの周波数成分データをかける第２の演算を行う。第１の演算では、オリジナルの第１の単眼３Ｄ画像の視差及びぼけが、周波数空間上でキャンセルされたぼけキャンセル画像を生成する。第２の演算では、ぼけキャンセル画像に対して、撮影レンズ１２に入射する光から所望の第２の単眼３Ｄ画像に変換されるまでの変換特性に対応する、視差毎の第３、第４の半月フィルタの周波数成分データをかけることにより、周波数空間上の左目画像１２０Ｌ、右目画像１２０Ｒを生成する。

逆フィルタ記憶部４７８は、半月フィルタ記憶部４７０に記憶されている第１、第２の半月フィルタ群から算出可能な周波数成分データの逆フィルタである第１、第２の逆フィルタ群を記憶する部分である。逆フィルタ記憶部４７８は、ＲＯＭ４７の一部の記憶部に対応する。第１、第２の逆フィルタ群は、第１、第２の半月フィルタ群から外部機器等により算出し、その算出結果を逆フィルタ記憶部４７８に記憶させることができる。

逆フィルタ読出部２９５は、左目画像１００Ｌの任意の対象画素とその対象画素に対応する右目画像１００Ｒの対象画素との視差を視差マップ１３０から取得する。逆フィルタ読出部２９５は、この取得した視差に対応する第１、第２の半月フィルタの周波数成分データの逆フィルタである第１、２の逆フィルタを、逆フィルタ記憶部４７８から読み出し、それぞれ第１乗算部２９１、２９２に出力する。

第１乗算部２９１は、左目画像１００Ｌの対象画素を基準にした所定領域（例えば、16×16画素）の周波数成分データＵ_Ｌｆ(ω_x,ω_y)と第１の逆フィルタＴ_Ｌｆ(ω_x,ω_y)^-1とを乗算する。同様に、第１乗算部２９２は、左目画像１００Ｌの任意の画素に対応する右目画像１００Ｒの対応画素を基準にした所定領域（例えば、16×16画素）の周波数成分データＵ_Ｒｆ(ω_x,ω_y)と第２の逆フィルタＴ_Ｒｆ(ω_x,ω_y)^-1とを乗算する。第１乗算部２９１、２９２は、これらの演算結果（周波数空間上でぼけ等をキャンセルしたぼけキャンセル画像）をそれぞれ第２乗算部２９３、２９４に出力する。

フーリエ変換部２９６は、半月フィルタ算出部２４８により算出された第３、第４の半月フィルタ群のうち、視差マップ１３０から得られる現在の視差に対応する実空間領域の第３、第４の半月フィルタを周波数空間の周波数成分データ（Ｔ_ＬＷｆ(ω_x,ω_y)、Ｔ_ＲＷｆ(ω_x,ω_y)）に変換する。フーリエ変換部２９６は、これらの周波数成分データをそれぞれ第２乗算部２９３、２９４の他の入力に出力する。

第２乗算部２９３、２９４は、２入力を乗算し、乗算結果をそれぞれ逆フーリエ変換部２７５、２７６に出力する。第２乗算部２９３、２９４から出力される乗算結果は、第４の実施形態の乗算部２７３、２７４と同様に第３及び第４の周波数成分データ（Ｖ_Ｌｆ(ω_x,ω_y)，Ｖ_Ｒｆ(ω_x,ω_y)）になる。

第６の実施形態によれば、第４の実施形態に比べて第１、第２の周波数フィルタ群の算出が不要であるため、演算処理の高速化が可能である。また、第１、第２の逆フィルタ群を記憶する必要があるが、複数の種類の第１、第２の周波数フィルタ群を記憶させる必要がある第５の実施形態に比べて、逆フィルタ記憶部４７８の記憶容量を小さいものとすることができる。

尚、第１乗算部２９１、２９２により算出される、周波数空間上のぼけキャンセル画像は同一のものになる。このため、左目画像１００Ｌ，右目画像１００Ｒのいずれか一方のみを使用してぼけキャンセル画像を生成し、生成したぼけキャンセル画像をそれぞれ第２乗算部２９３、２９４に出力することが好ましい。

＜第１、第２の半月フィルタの正確な把握＞
オリジナルの単眼３Ｄ画像にかかっている第１、第２の半月フィルタは、図９Ａ及び図９Ｂに示したように視差に応じてフィルタサイズが異なっているが、視差以外に種々のパラメータに依存している。

以下に示す実施形態では、第１、第２の半月フィルタを正確に把握し、それを元に生成される所望の画像の画質の改善を図る。

［像高に応じた第１、第２の半月フィルタ］
図２５に示すように半月フィルタの形状は、像高に応じて異なる。即ち、オリジナルの単眼３Ｄ画像にかかっている第１、第２の半月フィルタは、像高ゼロ（画像中心）では、撮像素子の感度特性が左右対称であれば、図９Ａ及び図９Ｂに示したように左右対称となる。瞳分割方向における像高が高い位置では、第１、第２の半月フィルタの左右対称性が変化し、第１、第２の半月フィルタの形状は、例えば、円の中心から左右方向にずれた位置を通る直線により円を２つに分割した形状になる。

以下、像高により第１、第２の半月フィルタが変化する理由について説明する。

図２６Ａ及び図２６Ｂに示すように、画面中央の物体における入射角と、画面端の物体における入射角は異なる。例えば、画面中央の物体における入射角が、−１５°〜１５°であるのに対し、画面端の物体における入射角は、−７°〜２３°となる。

これにより、図２７に示すように画面中央の物体における左目画像と右目画像の入射角特性は、左右対称となるのに対し、画面端の物体における左目画像と右目画像の入射角特性は、左右対称にならない。その結果、画面中央（像高ゼロ）の物体における第１、第２の半月フィルタは、左右対称になるのに対し、画面端（像高が高い位置）の物体における第１、第２の半月フィルタは、形状に差異が生じる。

したがって、像高に応じた第１、第２の半月フィルタを求めておくことが好ましい。そして、オリジナルの第１の単眼３Ｄ画像から所望の第２の単眼３Ｄ画像への変換時に、フィルタ処理の対象の画素の像高に対応した第１、第２の半月フィルタを使用する。

これにより、像高による像の形状違いの影響をなくし、画質の改善を図ることができる。

［絞りの開口形状に応じた第１、第２の半月フィルタ］
図２８Ａ及び図２８Ｂは、４枚の絞り羽根からなるレンズの絞りを示し、図２８Ｃ及び図２８Ｄは、６枚の絞り羽根からなるレンズの絞りを示している。

図２８Ａ及び図２８Ｃは、それぞれレンズの絞りを全開にした開放絞りの状態を示しており、その絞り開口の形状は円形になっている。そして、図２８Ａに示したレンズの絞りを開放絞りから絞っていくと、図２８Ｂに示すように絞り開口が四角形になる。図２８Ｃに示したレンズの絞りを開放絞りから絞っていくと、図２８Ｄに示すように絞り開口が六角形になる。

ぼけの形は、絞りの形に依存する。開放絞りのように絞り開口が円形の場合には、点像は円形にぼけ、これが左右に瞳分割されている単眼３Ｄ画像上では半月状にぼける（図４参照）。

したがって、第１、第２の半月フィルタは、単眼３Ｄ画像の撮像時の絞りの開口形状に合わせることが好ましい。即ち、図２８Ａ及び図２８Ｃに示すように絞り開口の形状が円形の場合には、第１、第２の半月フィルタは半月状にする。図２８Ｂに示すように絞り開口の形状が四角形の場合には、第１、第２の半月フィルタは三角形にする。図２８Ｄに示すように絞り開口の形状が六角形の場合には、六角形を左右２分割にした形状にする。

即ち、絞り段数毎に絞りの形状を把握し、第１、第２の半月フィルタは、単眼３Ｄ画像の撮像時の絞りの開口形状に合ったものを適用する。尚、レンズの絞りの開口形状は、この実施形態に限らず種々のものがあり、星型の絞りになることもある。

このように絞りの開口形状に合った第１、第２の半月フィルタを使用することにより、絞りの開口形状による像の形状違いの影響をなくし、画質の改善を図ることができる。

［３原色の色に応じた第１、第２の半月フィルタ］
図２９Ａは、単眼３Ｄ用の撮像素子に入射する光のｘ方向の角度［°］に対する左目画像及び右目画像の感度の一例を示すグラフである。図２９Ｂは、単眼３Ｄ用の撮像素子に入射する光のｙ方向の角度［°］に対する左目画像及び右目画像の感度の一例を示すグラフである。

ｘ方向の角度［°］に対する左目画像及び右目画像の感度は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色の色毎に異なっている。

図５Ａから図５Ｄで説明したように、第１、第２の半月フィルタは、単眼３Ｄ用の撮像素子に入射する光の角度に対する左目画像及び右目画像の感度に応じて求めている。ＲＧＢ毎に感度が異なるため、第１、第２の半月フィルタは、ＲＧＢ毎に求めることが好ましい。

デジタル信号処理部２４（フィルタ処理部）では、オリジナルの単眼３Ｄ画像を、それぞれＲＧＢ毎に求めた第１、第２の半月フィルタを使用し、ＲＧＢ毎に所望の単眼３Ｄ画像を生成する。上記ＲＧＢ毎のフィルタ処理は、撮像素子１６のカラーフィルタ配列に対応するＲＧＢデータ（ＲＡＷデータ）の段階で行ってもよいし、デモザイク処理後のＲＧＢデータに対して行うようにしてもよい。

これにより、ＲＧＢ毎の像の形状違いの影響をなくし、画質の改善を図ることができる。

また、上記のようにオリジナルの単眼３Ｄ画像にかかっている第１、第２の半月フィルタをＲＧＢ毎に求める場合、所望の単眼３Ｄ画像にかかるべき第３、第４の半月フィルタは、ＲＧＢ毎の第１、第２の半月フィルタを相似形に拡大したものではなく、ＲＧＢ共通（例えば、Ｇ画素用）の第３、第４の半月フィルタとすることが好ましい。

これにより、各色の重心ずれ（視差）を補正することができる。更に、ＲＧＢ毎の像の形状違いの影響をなくし、画質の改善を図ることができる。

［色収差に応じた画像処理］
レンズは一般的に軸上色収差という収差を持っている。図３０はＲＧＢ毎の色収差の一例を示している。

この色収差が大きいレンズの場合、ＲＧＢの特定の一色、又はＲＧＢ信号から生成される輝度信号からオリジナルの単眼３Ｄ画像の視差ΔＤを算出すると、同一距離上の被写体のはずが、色毎に視差ΔＤが異なる結果になってしまう。

そこで、ＲＧＢ毎に視差ΔＤを把握し、ＲＧＢ毎の視差マップを作成する。デジタル信号処理部２４（フィルタ処理部）では、オリジナルの単眼３Ｄ画像を、それぞれＲＧＢの色信号毎に処理を行う。視差を拡大する所望の単眼３Ｄ画像を生成する際に使用する視差マップとしては、色ごとに生成した視差マップを使用する。そして、ＲＧＢ毎に対応する視差マップを使用して所望の単眼３Ｄ画像を生成する。

これにより、所望の単眼３Ｄ画像の生成時にＲＧＢ毎の色収差の影響をなくし、画質の改善を図ることができる。

また、オリジナルの単眼３Ｄ画像を、それぞれＲＧＢの色信号毎に処理を行う際に、前述したようにＲＧＢ毎の第１、第２の半月フィルタを使用することが好ましい。所望の単眼３Ｄ画像にかかるべき第３、第４の半月フィルタは、ＲＧＢ共通（例えば、Ｇ画素用）の第３、第４の半月フィルタとすることが好ましい。

撮像装置１０の他の実施形態としては、例えば、カメラ機能を有する携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。

＜スマートフォンの構成＞
図３１は、撮像装置１０の他の実施形態であるスマートフォン５００の外観を示すものである。図３１に示すスマートフォン５００は、平板状の筐体５０２を有し、筐体５０２の一方の面に表示部としての表示パネル５２１と、入力部としての操作パネル５２２とが一体となった表示入力部５２０を備えている。また、筐体５０２は、スピーカ５３１と、マイクロホン５３２、操作部５４０と、カメラ部５４１とを備えている。なお、筐体５０２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用することもできる。

図３２は、図３１に示すスマートフォン５００の構成を示すブロック図である。図３２に示すように、スマートフォン５００は、無線通信部５１０と、表示入力部５２０と、通話部５３０と、操作部５４０と、カメラ部５４１と、記憶部５５０と、外部入出力部５６０と、ＧＰＳ（Global Positioning System）受信部５７０と、モーションセンサ部５８０と、電源部５９０と、主制御部５０１とを備える。また、スマートフォン５００の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。

無線通信部５１０は、主制御部５０１の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。

表示入力部５２０は、主制御部５０１の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル５２１と、操作パネル５２２とを備える。生成された３Ｄ画像を鑑賞する場合には、表示パネル５２１は、３Ｄ表示パネルであることが好ましい。

表示パネル５２１は、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル５２２は、表示パネル５２１の表示面上に表示される画像を視認可能に載置される。操作パネル５２２は、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作パネル５２２は操作に起因して発生する検出信号を主制御部５０１に出力する。次いで、主制御部５０１は、受信した検出信号に基づいて、表示パネル５２１上の操作位置（座標）を検出する。

図３１に示すように、スマートフォン５００の表示パネル５２１と操作パネル５２２とは一体となって表示入力部５２０を構成しており、操作パネル５２２が表示パネル５２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル５２２は、表示パネル５２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル５２２は、表示パネル５２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル５２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。

尚、表示領域の大きさと表示パネル５２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル５２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体５０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル５２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。

通話部５３０は、スピーカ５３１やマイクロホン５３２を備える。通話部５３０は、マイクロホン５３２を通じて入力されたユーザの音声を主制御部５０１にて処理可能な音声データに変換して主制御部５０１に出力したり、無線通信部５１０あるいは外部入出力部５６０により受信された音声データを復号してスピーカ５３１から出力するものである。また、図３１に示すように、例えば、スピーカ５３１を表示入力部５２０が設けられた面と同じ面に搭載し、マイクロホン５３２を筐体５０２の側面に搭載することができる。

操作部５４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図３２に示すように、操作部５４０は、スマートフォン５００の筐体５０２の表示部の下部、下側面に搭載される。操作部５４０は、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。

記憶部５５０は、主制御部５０１の制御プログラムや制御データ、本発明に係る視差を拡縮した所望の単眼３Ｄ画像を生成するための画像処理プログラムを含むアプリケーションソフトウェア、第１、第２の半月フィルタ群、第１、第２の変換フィルタ群、第１、第２の周波数フィルタ群、第１、第２の逆フィルタ群（実空間及び周波数空間上の逆フィルタ群）、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部５５０は、スマートフォン５００の内蔵の内部記憶部５５１と着脱自在な外部メモリスロットを有する外部記憶部５５２により構成される。なお、記憶部５５０を構成するそれぞれの内部記憶部５５１と外部記憶部５５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。

外部入出力部５６０は、スマートフォン５００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。

スマートフォン５００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部５６０は、このような外部機器から伝送を受けたデータをスマートフォン５００の内部の各構成要素に伝達することや、スマートフォン５００の内部のデータが外部機器に伝送されるようにすることができる。

ＧＰＳ受信部５７０は、主制御部５０１の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン５００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部５７０は、無線通信部５１０や外部入出力部５６０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。

モーションセンサ部５８０は、例えば、３軸の加速度センサなどを備える。モーションセンサ部５８０は、主制御部５０１の指示にしたがって、スマートフォン５００の物理的な動きを検出する。スマートフォン５００の物理的な動きを検出することにより、スマートフォン５００の動く方向や加速度が検出される。この検出結果は、主制御部５０１に出力されるものである。

電源部５９０は、主制御部５０１の指示にしたがって、スマートフォン５００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。

主制御部５０１は、マイクロプロセッサを備え、記憶部５５０が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン５００の各部を統括して制御するものである。また、主制御部５０１は、無線通信部５１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。

アプリケーション処理機能は、記憶部５５０が記憶するアプリケーションソフトウェアにしたがって主制御部５０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部５６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能、本発明に係る２Ｄ画像から３Ｄ画像を生成する機能などがある。

また、主制御部５０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部５２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部５０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部５２０に表示する機能のことをいう。

更に、主制御部５０１は、表示パネル５２１に対する表示制御と、操作部５４０、操作パネル５２２を通じたユーザ操作を検出する操作検出制御を実行する。

表示制御の実行により、主制御部５０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル５２１の表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。

また、操作検出制御の実行により、主制御部５０１は、操作部５４０を通じたユーザ操作を検出したり、操作パネル５２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。

更に、操作検出制御の実行により主制御部５０１は、操作パネル５２２に対する操作位置が、表示パネル５２１に重なる重畳部分（表示領域）か、それ以外の表示パネル５２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル５２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。

また、主制御部５０１は、操作パネル５２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。

カメラ部５４１は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラであり、図３のブロック図に示した機能と同等の機能を備えている。また、カメラ部５４１は、主制御部５０１の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することができる。図３１に示すにスマートフォン５００において、カメラ部５４１は表示入力部５２０と同じ面に搭載されているが、カメラ部５４１の搭載位置はこれに限定されるものではない。カメラ部５４１は、表示入力部５２０の背面に搭載されてもよいし、あるいは、複数のカメラ部５４１が搭載されてもよい。なお、複数のカメラ部５４１が搭載されている場合には、撮影に供するカメラ部５４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部５４１を同時に使用して撮影することもできる。

また、カメラ部５４１はスマートフォン５００の各種機能に利用することができる。例えば、表示パネル５２１にカメラ部５４１で取得した画像を表示することや、操作パネル５２２の操作入力の一つとして、カメラ部５４１の画像を利用することができる。また、ＧＰＳ受信部５７０が位置を検出する際に、カメラ部５４１からの画像を参照して位置を検出することもできる。更には、カメラ部５４１からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン５００のカメラ部５４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部５４１からの画像をアプリケーションソフトウェア内で利用することもできる。

その他、静止画又は動画の画像データにＧＰＳ受信部５７０により取得した位置情報、マイクロホン５３２により取得した音声情報（主制御部５０１等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部５８０により取得した姿勢情報等などを付加して記憶部５５０に記録したり、外部入出力部５６０や無線通信部５１０を通じて出力することもできる。

［その他］
本発明は、オリジナルの単眼３Ｄ画像の静止画から所望の３Ｄの静止画を作成する場合に限らず、単眼３Ｄ画像の動画から所望の３Ｄの動画を生成する場合にも適用できる。

また、撮像装置１０、スマートフォン５００は、２Ｄ画像、単眼３Ｄ画像を撮像するとともに、実際に撮像したオリジナルの単眼３Ｄ画像から所望の３Ｄ画像を生成する本発明に係る画像処理装置を含んでいるが、本発明はこれに限定されるものではない。オリジナルの単眼３Ｄ画像は、外部機器や通信により取得し、取得した単眼３Ｄ画像から所望の３Ｄ画像を生成する、画像処理装置（例えば、パソコン、タブレットＰＣ等）にも本発明は適用できる。この場合、オリジナルの単眼３Ｄ画像にかかっている第１、第２の半月フィルタ群の情報等は別途取得する必要がある。

更に、本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。

１０…撮像装置、１２…撮影レンズ、１４…絞り、１６…撮像素子、２４…デジタル信号処理部、３０…３Ｄ液晶モニタ、４０…中央処理装置（ＣＰＵ）、４７…ＲＯＭ（ＥＥＰＲＯＭ）、４８…メモリ、１００Ｌ，１２０Ｌ…左目画像、１００Ｒ、１２０Ｒ…右目画像、１３０…視差マップ、２４０−４〜２４０−６…フィルタ処理部、２４８…半月フィルタ算出部、２７１、２７２、２９６…フーリエ変換部、２７３、２７４…乗算部、２７５、２７６…逆フーリエ変換部、２７７…周波数フィルタ算出部、２８０…周波数フィルタ読出部、２９１、２９２…第１演算部、２９３、２９４…第２演算部、２９５…逆フィルタ読出部、４７０…半月フィルタ記憶部、４７６…周波数フィルタ記憶部、４７８…逆フィルタ記憶部、５００…スマートフォン

Claims (24)

1. 単一の撮影光学系を介して撮像され、瞳分割手段により瞳分割された互いに視差を有する第１の画像及び第２の画像を取得する画像取得手段と、
   前記取得した第１の画像と第２の画像との対応する画素間の視差を取得する視差取得手段と、
   前記取得した第１の画像の画像データ及び第２の画像の画像データの処理の対象画素毎に、当該対象画素を基準とする所定領域をそれぞれ第１の周波数成分データ及び第２の周波数成分データに変換する第１のデータ変換手段と、
   前記変換した第１の周波数成分データ及び第２の周波数成分データをそれぞれ周波数空間で変換する、前記取得した第１の画像及び第２の画像の有する視差量及びぼけ量を変更した第３の画像及び第４の画像にそれぞれ変換するための第１の周波数フィルタ群及び第２の周波数フィルタ群であって、前記取得した第１の画像及び第２の画像の周波数成分データごとに、前記視差取得手段により取得した前記対象画素の視差に対応する第１の周波数フィルタ及び第２の周波数フィルタを使用して乗算処理を行う演算処理手段と、
   前記演算処理手段により算出された前記第３の画像及び第４の画像にそれぞれ対応する第３の周波数成分データ及び第４の周波数成分データを実空間上のデータに変換し、前記対象画素に対応する位置の画素をそれぞれ前記第３の画像及び第４の画像の１画素として選択する第２のデータ変換手段と、
   を備えた画像処理装置。
2. 前記演算処理手段は、前記視差取得手段により取得した前記対象画素の視差が大きいほどぼけ量を大きくする第１の周波数フィルタ及び第２の周波数フィルタを使用する請求項１に記載の画像処理装置。
3. 前記単一の撮影光学系に入射する光から前記第１の画像及び第２の画像に変換されるまでの変換特性にそれぞれ対応する、視差毎の第１のデジタルフィルタ群及び第２のデジタルフィルタ群を記憶するデジタルフィルタ記憶手段と、
   前記記憶された第１のデジタルフィルタ群及び第２のデジタルフィルタ群と、単一の撮影光学系に入射する光から前記第３の画像及び第４の画像に変換されるまでの変換特性にそれぞれ対応する、視差毎の第３のデジタルフィルタ群及び第４のデジタルフィルタ群とに基づいて、前記第１の周波数フィルタ群及び第２の周波数フィルタ群を算出する周波数フィルタ算出手段と、を備え、
   前記演算処理手段は、前記取得した第１の画像及び第２の画像の画素毎に、前記視差取得手段により取得した当該画素の視差に基づいて、前記算出された第１の周波数フィルタ群及び第２の周波数フィルタ群から、視差に対応する第１の周波数フィルタ及び第２の周波数フィルタをそれぞれ選択し、選択した第１の周波数フィルタ及び第２の周波数フィルタを使用して乗算処理を行う請求項１又は２に記載の画像処理装置。
4. 前記周波数フィルタ算出手段は、前記デジタルフィルタ記憶手段に記憶された第１のデジタルフィルタ群及び第２のデジタルフィルタ群のうちのいずれか１つのデジタルフィルタをＴ(x,y)、該デジタルフィルタＴ(x,y)をフーリエ変換したものをＴ_ｆ(ω_x,ω_y)とし、前記第３のデジタルフィルタ群及び第４のデジタルフィルタ群のうちの前記デジタルフィルタＴ(x,y)に対応するデジタルフィルタをＴ_ｗ(x,y)、該デジタルフィルタＴ_ｗ(x,y)をフーリエ変換したものをＴ_ｗｆ(ω_x,ω_y)とすると、前記第１及び第２の周波数フィルタＧ(ω_x,ω_y)を、次式、
   Ｇ(ω_x,ω_y)＝Ｔ_ｗｆ(ω_x,ω_y)・Ｔ_ｆ(ω_x,ω_y)^-1
   により算出する請求項３に記載の画像処理装置。
5. 前記変換すべき第３の画像及び第４の画像への変換特性を指定する指定手段と、
   前記指定された変換特性に対応する第３のデジタルフィルタ群及び第４のデジタルフィルタ群を算出するデジタルフィルタ算出手段と、を備え、
   前記周波数フィルタ算出手段は、前記デジタルフィルタ記憶手段に記憶された第１のデジタルフィルタ群及び第２のデジタルフィルタ群と、前記デジタルフィルタ算出手段により算出された第３のデジタルフィルタ群及び第４のデジタルフィルタ群とを使用して前記第１の周波数フィルタ群及び第２の周波数フィルタ群を算出する請求項３又は４に記載の画像処理装置。
6. 前記単一の撮影光学系に入射する光から前記第１の画像及び第２の画像に変換されるまでの変換特性にそれぞれ対応する、視差毎の第１のデジタルフィルタ群及び第２のデジタルフィルタ群と、単一の撮影光学系に入射する光から前記第３の画像及び第４の画像に変換されるまでの変換特性にそれぞれ対応する、視差毎の第３のデジタルフィルタ群及び第４のデジタルフィルタ群とに基づいて算出された、視差毎の前記第１の周波数フィルタ群及び第２の周波数フィルタ群を記憶する周波数フィルタ記憶手段を備え、
   前記演算処理手段は、前記取得した第１の画像及び第２の画像の画素毎に、前記視差取得手段により取得した当該画素の視差に基づいて、前記記憶された第１の周波数フィルタ群及び第２の周波数フィルタ群から、視差に対応する第１の周波数フィルタ及び第２の周波数フィルタを読み出し、読み出した第１の周波数フィルタ及び第２の周波数フィルタを使用して乗算処理を行う請求項１又は２に記載の画像処理装置。
7. 前記周波数フィルタ記憶手段は、前記第１のデジタルフィルタ群及び第２のデジタルフィルタ群のうちのいずれか１つのデジタルフィルタをＴ(x,y)、該デジタルフィルタＴ(x,y)をフーリエ変換したものをＴ_ｆ(ω_x,ω_y)とし、前記第３のデジタルフィルタ群及び第４のデジタルフィルタ群のうちの前記デジタルフィルタＴ(x,y)に対応するデジタルフィルタをＴ_ｗ(x,y)、該デジタルフィルタＴ_ｗ(x,y)をフーリエ変換したものをＴ_ｗｆ(ω_x,ω_y)とすると、次式、
   Ｇ(ω_x,ω_y)＝Ｔ_ｗｆ(ω_x,ω_y)・Ｔ_ｆ(ω_x,ω_y)^-1
   により算出された第１及び第２の周波数フィルタＧ(ω_x,ω_y)を記憶する請求項６に記載の画像処理装置。
8. 前記変換すべき第３の画像及び第４の画像への変換特性を指定する指定手段を備え、
   前記周波数フィルタ記憶手段は、前記単一の撮影光学系に入射する光から前記第１の画像及び第２の画像に変換されるまでの変換特性に対応する、視差毎の第１のデジタルフィルタ群及び第２のデジタルフィルタ群と、単一の撮影光学系に入射する光から前記第３の画像及び第４の画像に変換されるまでの変換特性に対応する、視差毎の第３のデジタルフィルタ群及び第４のデジタルフィルタ群であって、前記指定手段により指定可能な複数の変換特性に対応する第３のデジタルフィルタ群及び第４のデジタルフィルタ群とに基づいて算出された、変換特性毎の第１の周波数フィルタ群及び第２の周波数フィルタ群を記憶し、
   前記演算処理手段は、前記周波数フィルタ記憶手段から前記指定手段により指定された変換特性に応じた第１の周波数フィルタ群及び第２の周波数フィルタ群を読み出して使用する請求項６又は７に記載の画像処理装置。
9. 前記単一の撮影光学系に入射する光から前記第１の画像又は第２の画像に変換されるまでの変換特性にそれぞれ対応する、視差毎の第１のデジタルフィルタ群又は第２のデジタルフィルタ群の周波数成分データの逆フィルタである第１の逆フィルタ群及び第２の逆フィルタ群を記憶する逆フィルタ記憶手段を備え、
   前記演算処理手段は、前記第１の周波数フィルタ群及び第２の周波数フィルタ群として、前記記憶された第１及び第２の逆フィルタ群と、単一の撮影光学系に入射する光から前記第３の画像及び第４の画像に変換されるまでの変換特性にそれぞれ対応する、視差毎の第３のデジタルフィルタ群及び第４のデジタルフィルタ群の周波数成分データである第３の周波数フィルタ群及び第４の周波数フィルタ群とを使用する請求項１又は２に記載の画像処理装置。
10. 前記変換すべき第３の画像及び第４の画像への変換特性を指定する指定手段と、
    前記指定された変換特性に対応する第３のデジタルフィルタ群及び第４のデジタルフィルタ群を算出するデジタルフィルタ算出手段と、を備え、
    前記演算処理手段は、前記デジタルフィルタ算出手段により算出された第３のデジタルフィルタ群及び第４のデジタルフィルタ群を使用する請求項９に記載の画像処理装置。
11. 前記指定手段により指定される第３の画像及び第４の画像への変換特性は、前記第１の画像及び第２の画像とは異なる撮影光学系の焦点距離、絞り値、撮像素子のサイズ、及び感度特性のうちの少なくとも１つである請求項５、８及び１０のいずれか１項に記載の画像処理装置。
12. 前記第３のデジタルフィルタ群及び第４のデジタルフィルタ群は、前記第１のデジタルフィルタ群及び第２のデジタルフィルタ群を相似形に拡縮したものである請求項５、８、１０及び１１のいずれか１項に記載の画像処理装置。
13. 前記第３のデジタルフィルタ群及び第４のデジタルフィルタ群は、それぞれ円形で、点対称のフィルタ係数を有するデジタルフィルタ群である請求項３から１２のいずれか１項に記載の画像処理装置。
14. 前記演算処理手段は、複数の変換特性の第３の画像及び第４の画像を取得する際に、前記取得した第１の画像又は第２の画像の画素毎に、該画素毎の視差に対応する第１のデジタルフィルタ又は第２のデジタルフィルタの周波数成分データの逆フィルタを掛ける第１の演算を行い、該第１の演算の結果に、それぞれ複数の変換特性の第３の画像及び第４の画像に対応する第３のデジタルフィルタ及び第４のデジタルフィルタの周波数成分データを掛ける請求項９に記載の画像処理装置。
15. 前記第１のデジタルフィルタ群及び第２のデジタルフィルタ群は、画像の中心で互いに左右対称となり、瞳分割方向の像高に応じて左右対称性が変化するものを使用する請求項３から１４のいずれか１項に記載の画像処理装置。
16. 前記第１のデジタルフィルタ群及び第２のデジタルフィルタ群は、前記第１の画像及び第２の画像の取得時における、前記撮影光学系に含まれる絞りの開口形状を分割した形状を有するものを使用する請求項３から１５のいずれか１項に記載の画像処理装置。
17. 前記第１の画像及び第２の画像は、カラー撮像素子から出力される３原色のカラー画像であり、
    前記第１のデジタルフィルタ群及び第２のデジタルフィルタ群は、前記カラー撮像素子の色毎の感度特性に対応して色毎に異なるものを使用する請求項３から１６のいずれか１項に記載の画像処理装置。
18. 前記第３のデジタルフィルタ群及び第４のデジタルフィルタ群は、３原色のカラー画像のうちの特定の色に対応するものを使用する請求項１７に記載の画像処理装置。
19. 前記第１の画像及び第２の画像は、カラー撮像素子から出力される３原色のカラー画像であり、
    前記視差取得手段は、前記取得した第１の画像と第２の画像との対応する画素間の視差を色毎に算出し、
    前記演算処理手段は、前記取得した第１の画像と第２の画像に対する演算処理を色毎に行う請求項１から１８のいずれか１項に記載の画像処理装置。
20. 単一の撮影光学系と、
    前記撮影光学系の異なる第１、第２の領域を通過した被写体像が瞳分割されてそれぞれ結像される撮像素子であって、前記第１、第２の領域を通過した被写体像をそれぞれ光電変換して第１の画像及び第２の画像を出力する撮像素子と、
    前記撮像素子から出力される第１の画像及び第２の画像を取得する前記画像取得手段と、
    請求項１から１９のいずれか１項に記載の画像処理装置と、
    を備えた撮像装置。
21. 単一の撮影光学系を介して撮像され、瞳分割手段により瞳分割された互いに視差を有する第１の画像及び第２の画像を取得する画像取得工程と、
    前記取得した第１の画像と第２の画像との対応する画素間の視差を取得する視差取得工程と、
    前記取得した第１の画像の画像データ及び第２の画像の画像データの処理の対象画素毎に、当該対象画素を基準とする所定領域をそれぞれ第１の周波数成分データ及び第２の周波数成分データに変換する第１のデータ変換工程と、
    前記変換した第１の周波数成分データ及び第２の周波数成分データをそれぞれ周波数空間で変換し、前記取得した第１の画像及び第２の画像の有する視差量及びぼけ量を変更した第３の画像及び第４の画像にそれぞれ変換するための第１の周波数フィルタ群及び第２の周波数フィルタ群であって、前記取得した第１の画像及び第２の画像の周波数成分データごとに、前記視差取得工程により取得した前記対象画素の視差に対応する第１の周波数フィルタ及び第２の周波数フィルタを使用して乗算処理を行う演算処理工程と、
    前記演算処理工程により算出された前記第３の画像及び第４の画像にそれぞれ対応する第３の周波数成分データ及び第４の周波数成分データを実空間上のデータに変換し、前記対象画素に対応する位置の画素をそれぞれ前記第３の画像及び第４の画像の１画素として選択する第２のデータ変換工程と、を含み、
    前記第１のデータ変換工程、前記演算処理工程及び前記第２のデータ変換工程を、前記対象画素の位置をずらしながら１画素ずつ繰り返し実行する画像処理方法。
22. 前記単一の撮影光学系に入射する光から前記第１の画像及び第２の画像に変換されるまでの変換特性にそれぞれ対応する、視差毎の第１のデジタルフィルタ群及び第２のデジタルフィルタ群を記憶するデジタルフィルタ記憶手段を準備する工程と、
    前記記憶された第１のデジタルフィルタ群及び第２のデジタルフィルタ群と、単一の撮影光学系に入射する光から前記第３の画像及び第４の画像に変換されるまでの変換特性にそれぞれ対応する、視差毎の第３のデジタルフィルタ群及び第４のデジタルフィルタ群とに基づいて、前記第１の周波数フィルタ群及び第２の周波数フィルタ群を算出する周波数フィルタ算出工程と、を更に含み、
    前記演算処理工程は、前記取得した第１の画像及び第２の画像の画素毎に、前記視差取得工程により取得した当該画素の視差に基づいて、前記算出された第１の周波数フィルタ群及び第２の周波数フィルタ群から、視差に対応する第１の周波数フィルタ及び第２の周波数フィルタをそれぞれ選択し、選択した第１の周波数フィルタ及び第２の周波数フィルタを使用して乗算処理を行う請求項２１に記載の画像処理方法。
23. 前記単一の撮影光学系に入射する光から前記第１の画像及び第２の画像に変換されるまでの変換特性にそれぞれ対応する、視差毎の第１のデジタルフィルタ群及び第２のデジタルフィルタ群と、単一の撮影光学系に入射する光から前記第３の画像及び第４の画像に変換されるまでの変換特性にそれぞれ対応する、視差毎の第３のデジタルフィルタ群及び第４のデジタルフィルタ群とに基づいて算出された、視差毎の前記第１の周波数フィルタ群及び第２の周波数フィルタ群を記憶する周波数フィルタ記憶手段を準備する工程を更に含み、
    前記演算処理工程は、前記取得した第１の画像及び第２の画像の画素毎に、前記視差取得工程により取得した当該画素の視差に基づいて、前記記憶された第１の周波数フィルタ群及び第２の周波数フィルタ群から、視差に対応する第１の周波数フィルタ及び第２の周波数フィルタを読み出し、読み出した第１の周波数フィルタ及び第２の周波数フィルタを使用して乗算処理を行う請求項２１に記載の画像処理方法。
24. 前記単一の撮影光学系に入射する光から前記第１の画像又は第２の画像に変換されるまでの変換特性にそれぞれ対応する、視差毎の第１のデジタルフィルタ群又は第２のデジタルフィルタ群の周波数成分データの逆フィルタ群である第１の逆フィルタ群及び第２の逆フィルタ群を記憶する逆フィルタ記憶手段を準備する工程を更に含み、
    前記演算処理工程は、前記第１の周波数フィルタ群及び第２の周波数フィルタ群として、前記記憶された逆フィルタ群と、単一の撮影光学系に入射する光から前記第３の画像及び第４の画像に変換されるまでの変換特性にそれぞれ対応する、視差毎の第３のデジタルフィルタ群及び第４のデジタルフィルタ群の周波数成分データである第３の周波数フィルタ群及び第４の周波数フィルタ群とを使用する請求項２１に記載の画像処理方法。