JP6773903B2 - 画像処理装置、撮像システム、画像処理方法、及び記録媒体 - Google Patents

Description

本発明は画像処理装置、撮像システム、画像処理方法、及び記録媒体に関し、特にレンズなしで被写体の画像を取得する技術に関する。

被写体の画像を取得する技術としてはレンズを用いて被写体の光学像を結像させるタイプが一般的であるが、近年レンズなしで被写体の画像を取得する技術が開発されている。例えば下記非特許文献１では、撮像素子にフレネルゾーンプレートを近接して配置し、被写体からの光により撮像素子上に形成される投影像とフレネルゾーンプレートに対応する投影パターンとを重ね合わせて生じたモアレ縞をフーリエ変換することによりレンズなしで被写体の像を取得することができ、装置の小型化等の効果が期待される。なお、非特許文献１の技術について非特許文献２により技術報告がなされている。

また、非特許文献１，２と同様にフレネルゾーンプレートをマスクパターンに用いるレンズレスイメージング技術が知られている（特許文献１を参照）。特許文献１では、対向して配置された２つの格子パターン（フレネルゾーンプレート）に被写体からの光が入射して形成されたモアレ縞をフーリエ変換することによって、被写体の像を再構成している。

"動画撮影後に容易にピント調整ができるレンズレスカメラ技術を開発"、[online]、２０１６年１１月１５日、株式会社日立製作所、［２０１７年５月８日検索］、インターネット（http://www.hitachi.co.jp/New/cnews/month/2016/11/1115.html） "Lensless Light-field Imaging with Fresnel Zone Plate"、映像情報メディア学会技術報告、ｖｏｌ．４０，ｎｏ．４０，ＩＳＴ２０１６−５１，ｐｐ．７−８，２０１６年１１月

ＷＯ２０１６／２０３５７３号公報

上述した従来技術のように、画像の再構成において、撮影に使用したフレネルゾーンプレートに対し１つのフレネルゾーンパターンを乗算して投影像を取得する手法では、フーリエ変換により得られる解は２つ（中心に関して対称）であり、いずれの解が真の解であるのか、すなわち被写体がどちらの方向に存在するのかを特定することができない。この点について以下説明する。図１７は、無限遠方に存在する点光源の光が斜め方向からフレネルゾーンプレートに入射した場合の画像の再構成の様子を示す図である。この場合形成される投影像は図１７の（ａ）部分に示すようになり、この投影像を（ｂ）部分に示すフレネルゾーンパターンを乗算すると、乗算後の画像は（ｃ）部分に示すように縦方向のモアレ縞と同心円状のノイズ成分が重畳された状態になる。簡単のため１次元で考えると、（ｃ）部分に示す画像においてＸ方向の信号強度は例えば（ｄ）部分のようになる。これをフーリエ変換すると（ｅ）部分に示すように中心に対して対称な位置に２つの解が得られてしまい、いずれの解が真の解であるのか特定することができない。

図１８は、撮影に使用したフレネルゾーンプレートに対し１つのフレネルゾーンパターンを乗算して投影像を取得する手法によって、再構成する画像のシミュレーション結果を示す図である。（ａ）部分は被写体を示し、この被写体を上述のように再構成すると（ｂ）部分に示す画像が得られる。図１８（ｂ）に示すように、再構成により得られる画像は２つの被写体像が重なった不鮮明な画像になってしまう。この問題に対し（ｃ）部分に示すように被写体の右半分を隠す（写らないようにする）ことによって被写体像が重ならないようにすれば、再構成結果は（ｄ）部分に示すようになり、撮影範囲が狭くなってしまう。特許文献１においても、再構成した画像を半分に切り出して表示することによって像の重なりを避けているが、再構成画像の一部を切り出すことによって画角（撮影範囲）が狭くなり、再構成画像の画質が低下する可能性がある。さらに特許文献１では、２つのパターンに対応するプレート（基板）を保持するため、装置の大型化、製作コストの増加、特性のばらつき（製造時のばらつき、経時変化、温度変化を含む）による画質の劣化等の問題があった。

このように、従来の技術はレンズなしで画像を取得する場合に広い画角且鮮明な画像が得られるものではなかった。

本発明はこのような事情に鑑みてなされたもので、レンズを用いずに広い画角且鮮明な画像が得られる画像処理装置、撮像システム、画像処理方法、及び記録媒体を提供することを目的とする。

上述した目的を達成するため、本発明の第１の態様に係る画像処理装置は、被写体からの光がフレネルゾーンプレートに入射して形成された投影像を入力する投影像入力部と、第１のフレネルゾーンパターンと、第１のフレネルゾーンパターンとは各領域における局所的な空間周波数が同一であり、かつ局所的な空間周波数の位相が異なる第２のフレネルゾーンパターンと、を投影像にそれぞれ乗算して、実部の画像と虚部の画像とからなる複素画像を生成する複素画像生成部と、複素画像を２次元複素フーリエ変換することにより空間領域の画像を再構成するフーリエ変換部と、を備える。

第１の態様では、局所的な空間周波数の位相が異なる第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンを投影像にそれぞれ乗算して得られた実部の画像と虚部の画像とからなる複素画像を２次元複素フーリエ変換することにより空間領域の画像を再構成する。これによりノイズ成分を除去してモアレ縞の信号成分から被写体の位置を特定することができ、被写体像の重なりがない鮮明な画像をレンズなしで得ることができる。また、被写体の一部を隠す必要がないので広い画角において画像を得ることができる。さらに、第１，第２のフレネルゾーンパターンは電子データとして保持すればよいので、上述した特許文献１のように２つのパターンに対応するプレート（基板）を保持することに起因する装置の大型化等の問題もない。

なお、第１の態様及び以下の各態様において、「フレネルゾーンプレート」は被写体光の透過率が中心からの距離に応じて連続的に変化するゾーンプレート、及びゾーンプレートを入射する被写体光の透過率のしきい値を設けて透過率が不連続に（透過または不透過）変化するゾーンプレートを含む。また、画像の再構成に使用する投影像は、フレネルゾーンプレート及びイメージセンサを有する撮像部で取得してもよいし、別途記録された投影像を記録媒体、ネットワーク経由で取得してもよい。

第２の態様に係る画像処理装置は第１の態様において、第１のフレネルゾーンパターンと第２のフレネルゾーンパターンとは７０°以上１１０°以下の範囲において正または負に局所的な空間周波数の位相がずれている。第２の態様は、鮮明な画像を再構成できる位相のずれの範囲を規定したものである。

第３の態様に係る画像処理装置は第１または第２の態様において、第１のフレネルゾーンパターンの局所的な空間周波数の位相または第２のフレネルゾーンパターンの局所的な空間周波数の位相がフレネルゾーンプレートの局所的な空間周波数の位相と同一である。

第４の態様に係る画像処理装置は第１から第３の態様のいずれか１つにおいて、複素画像生成部は、投影像に第１のフレネルゾーンパターンを乗算して実部の画像を生成し、投影像に第２のフレネルゾーンパターンを乗算して虚部の画像を生成する。

第５の態様に係る画像処理装置は第１から第４の態様のいずれか１つにおいて、複素画像生成部は、合焦させる被写体距離に応じて拡大率の異なる第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンを使用して複素画像を生成する。フレネルゾーンプレートにより形成される投影像は被写体の距離に応じて異なる大きさとなるので、乗算するフレネルゾーンパターンの拡大率もこれに応じて異なることが好ましい。第５の態様によれば、合焦させる被写体距離に応じて拡大率の異なる第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンを使用して複素画像を生成することによって、ボケの少ない鮮明な画像を得ることができる。

第６の態様に係る画像処理装置は第１から第５の態様のいずれか１つにおいて、フレネルゾーンプレートの局所的な空間周波数の情報を入力する情報入力部をさらに備え、複素画像生成部は入力した情報に基づく局所的な空間周波数を有する第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンを投影像にそれぞれ乗算する。第６の態様のように撮影に用いたフレネルゾーンプレートの情報に基づくフレネルゾーンパターンを重ね合わせることによって、画像の再構成を高速かつ容易に行うことができる。なお、「局所的な空間周波数の情報」にはフレネルゾーンプレートのピッチの情報が含まれる。例えば、入力したフレネルゾーンプレートのピッチと同一のピッチを有する第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンを用いることができる。

上述した目的を達成するため、本発明の第７の態様に係る撮像システムは、被写体からの光を入射するフレネルゾーンプレートと、フレネルゾーンプレートを透過した光により投影像が形成されるイメージセンサと、を有し、イメージセンサから投影像を取得する撮像部と、第１から第６の態様のいずれか１つに係る画像処理装置と、を備え、投影像入力部は撮像部が取得した投影像を入力する。第７の態様によれば、撮像部で取得した投影像を用いて、第１の態様と同様にレンズを用いずに広い画角において鮮明な画像を得ることができる。

上述した目的を達成するため、本発明の第８の態様に係る画像処理方法は、被写体からの光がフレネルゾーンプレートに入射して形成された投影像を入力するステップと、第１のフレネルゾーンパターンと、第１のフレネルゾーンパターンとは各領域における局所的な空間周波数が同一であり、かつ局所的な空間周波数の位相が異なる第２のフレネルゾーンパターンと、を投影像にそれぞれ乗算して、実部の画像と虚部の画像とからなる複素画像を生成するステップと、複素画像を２次元複素フーリエ変換することにより空間領域の画像を再構成するステップと、を備える。第８の態様によれば、第１，第７の態様と同様にレンズを用いずに広い画角において鮮明な画像を得ることができる。

第９の態様に係る画像処理方法は第８の態様において、第１のフレネルゾーンパターンと第２のフレネルゾーンパターンとは７０°以上１１０°以下の範囲において正または負に局所的な空間周波数の位相がずれている。第９の態様は、第２の態様と同様に鮮明な画像を再構成できる位相のずれの範囲を規定したものである。

第１０の態様に係る画像処理方法は第８または第９の態様において、第１のフレネルゾーンパターンの局所的な空間周波数の位相または第２のフレネルゾーンパターンの局所的な空間周波数の位相がフレネルゾーンプレートの局所的な空間周波数の位相と同一である。

第１１の態様に係る画像処理方法は第８から第１０の態様のいずれか１つにおいて、複素画像を生成するステップでは、投影像に第１のフレネルゾーンパターンを乗算して実部の画像を生成し、投影像に第２のフレネルゾーンパターンを乗算して虚部の画像を生成する。

第１２の態様に係る画像処理方法は第８から第１１の態様のいずれか１つにおいて、複素画像を生成するステップでは、合焦させる被写体距離に応じて拡大率の異なる第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンを使用して複素画像を生成する。第１２の態様によれば、第５の態様と同様にボケの少ない鮮明な画像を得ることができる。

第１３の態様に係る画像処理方法は第８から第１２の態様のいずれか１つにおいて、被写体からの光を入射するフレネルゾーンプレートと、フレネルゾーンプレートを透過した光により投影像が形成されるイメージセンサと、によりイメージセンサから投影像を取得するステップをさらに有し、投影像を入力するステップでは取得した投影像を入力する。

第１４の態様に係る画像処理方法は第８から第１３の態様のいずれか１つにおいて、フレネルゾーンプレートの局所的な空間周波数の情報を入力するステップをさらに有し、複素画像を生成するステップでは入力した情報に基づく局所的な空間周波数を有する第１のフレネルゾーンパターン及び第２のフレネルゾーンパターンを投影像にそれぞれ乗算する。第１４の態様によれば、第６の態様と同様に画像の再構成を高速かつ容易に行うことができる。

上述した目的を達成するため、本発明の第１５の態様に係る記録媒体は、被写体からの光がフレネルゾーンプレートに入射して形成された投影像を入力する機能と、第１のフレネルゾーンパターンと、第１のフレネルゾーンパターンとは各領域における局所的な空間周波数が同一であり、かつ局所的な空間周波数の位相が異なる第２のフレネルゾーンパターンと、を投影像にそれぞれ乗算して、実部の画像と虚部の画像とからなる複素画像を生成する機能と、複素画像を２次元複素フーリエ変換することにより空間領域の画像を再構成する機能と、をコンピュータに実現させる画像処理プログラムのコンピュータ読み取り可能なコードが記録された記録媒体である。第１５の態様によれば、第１，第８の態様と同様にレンズを用いずに広い画角において鮮明な画像を得ることができる。なお、第１５の態様において記録媒体に記録される画像処理プログラムは、第９〜第１４の態様に係る画像処理方法と同様の特徴（機能）をコンピュータにさらに実現させるプログラムであってもよい。

以上説明したように、本発明の画像処理装置、撮像システム、画像処理方法、及び記録媒体によれば、レンズを用いずに広い画角において鮮明な画像を得ることができる。

図１は、本発明における画像の再構成の様子を示す図である。 図２は、本発明における画像の再構成の様子を示す図である。 図３は、斜め光の入射により投影像が平行移動する様子を示す図である。 図４は、第１の実施形態における撮像システムの構成を示すブロック図である。 図５は、画像処理部の構成を示す図である。 図６は、記憶部に記憶される画像及び情報を示す図である。 図７は、フレネルゾーンプレートの例を示す図である。 図８は、位相が異なるフレネルゾーンパターンの例を示す図である。 図９は、第１の実施形態に係る画像処理方法を示すフローチャートである。 図１０は、合焦距離に応じたフレネルゾーンパターンの拡大または縮小を示す図である。 図１１は、実施例の条件を示す図である。 図１２は、位相が異なるフレネルゾーンパターンの例を示す図である。 図１３は、実施例及び比較例の結果を示す図である。 図１４は、実施例及び比較例の結果を示す他の図である。 図１５は、実施例及び比較例の結果を示すさらに他の図である。 図１６は、実施例及び比較例の結果を示すさらに他の図である。 図１７は、従来技術における画像の再構成を示す図である。 図１８は、従来技術における画像の再構成を示す他の図である。

以下、添付図面を参照しつつ、本発明に係る画像処理装置、撮像システム、画像処理方法、及び記録媒体の実施形態について説明する。

＜画像処理の概要＞
図１は、本発明における画像処理の概要を説明するための図である。なお、ここでは簡単のため１次元で距離無限遠の点光源を撮影し、画像を再構成する場合について説明する。図１の（ａ）部分は被写体からの光がフレネルゾーンプレートに入射してイメージセンサに形成された投影像であり、点光源の方向に応じて投影像がシフトしている。この投影像に対し、（ｂ）部分に示す第１のフレネルゾーンパターン（中心における局所的な空間周波数の位相が０°）を乗算して得られた画像が（ｃ）部分に示す画像であり、この画像を実部の画像とする。実部の画像のＸ方向における信号強度を（ｆ）部分に示す。

同様に、（ａ）部分に示す投影像に対し（ｄ）部分に示す第２のフレネルゾーンパターン（第１のフレネルゾーンパターンとは各領域における局所的な空間周波数が同一であり、かつ局所的な空間周波数の位相のずれが９０°であるフレネルゾーンパターン）を乗算して得られた画像が（ｅ）部分に示す画像であり、この画像を虚部の画像とする。（ｇ）部分は、（ｅ）部分に示す画像のＸ方向における信号強度の例である。なお、フレネルゾーンパターンの局所的な空間周波数は、透過領域と遮光領域で構成される縞状のパターンに対応する。縞状の模様の細かさがピッチである。

（ｃ）部分に示す実部の画像及び（ｅ）部分に示す虚部の画像により複素画像が構成される。Ｘ方向に対し、（ｆ）部分に示す実部の画像の信号強度をＹ方向とし、（ｇ）部分に示す虚部の画像の信号強度をＺ方向としてプロットしたグラフを（ｈ）部分に示す。このような複素画像を２次元複素フーリエ変換すると、（ｉ）部分に示すように１つのピークを有する信号が得られる。この信号が空間領域の画像に相当し、ピークの位置が被写体である点光源の位置に相当する。

図１と同様な画像の再構成に関し、点光源以外の被写体（２次元）の場合について説明する。図２の（ａ）部分は文字型の被写体を示し、（ｂ）部分はこの被写体からの光がフレネルゾーンプレートに入射してイメージセンサに形成された投影像である。この投影像に対し（ｃ）部分に示す第１のフレネルゾーンパターン（中心における局所的な空間周波数の位相が０°）を乗算して得られた画像が（ｄ）部分に示す画像であり、この画像を実部の画像とする。また、（ａ）部分に示す投影像に対し（ｅ）部分に示す第２のフレネルゾーンパターン（第１のフレネルゾーンパターンとは各領域における局所的な空間周波数が同一であり、かつ局所的な空間周波数の位相のずれが９０°であるフレネルゾーンパターン）を乗算して得られた画像が（ｆ）部分に示す画像であり、この画像を虚部の画像とする。Ｘ方向に対し、（ｄ）部分に示す実部の画像の信号強度をＹ方向とし、（ｆ）部分に示す虚部の画像の信号強度をＺ方向としてプロットしたグラフを（ｇ）部分に示す。このような複素画像を２次元複素フーリエ変換すると、（ｈ）部分に示すように被写体の画像が再構成される。

図１，２を参照して説明したように、本発明によれば、図１７，１８について上述した従来技術の場合と異なり被写体像の重なりがない鮮明な画像をレンズなしで得られ、また撮影範囲が狭くなることがなく広い画角で画像を取得することができる。

＜画像処理の詳細＞
本発明における画像処理の詳細について、さらに詳細に説明する。

符号化開口（フレネルゾーンプレート）のパターンI(r)は、式（１）によって表現される。

I(r)の値が大きいほど、既定の波長帯域における光の透過率が大きくなっている。ｒはフレネルゾーンプレートの半径、β(＞0)はパターンの細かさ（ピッチ）を決める定数である。以下、マイナスの値を回避するために、式（２）のようにオフセットをつけて０から１の範囲に収めたI2(r)について考える。

この符号化開口（フレネルゾーンプレートＦ）がセンサー面上から距離ｄだけ離れて配置されていると仮定する（図３参照）。このとき、距離無限遠の点光源から入射角θで光（平行光）が入射したと仮定すると、符号化開口（フレネルゾーンプレートＦ）の影ＳＤはΔr(＝d×tanθ)だけ平行移動してセンサー上に映る（図３参照）。平行移動した影S(r)は式（３）により表現される。

I2(r)及びS(r)は本来２次元画像であり、２変数関数であるが、ここでは簡単のため中心と入射光源を含む平面いよって切断した断面上の１次元画像のみに注目して考える。しかし、以下の式（４）のようにして計算すれば容易に2次元の場合に拡張できる。

撮影された影画像（投影像）は、計算機上において画像復元（再構成）されて出力される。画像復元プロセスにおいて、影画像は位置ずれしていないフレネルゾーン開口画像（フレネルゾーンパターン）と乗算される。この内部乗算される関数について、ここでは以下の式（５），（６）により表現される２つの関数の場合を考える。なお、虚数単位をｊとする。

Mr(r)はI(r)と同じ実数関数であるが、オフセット（直流成分）を除去したものである。従来技術（上述した非特許文献１，２及び特許文献１）における画像の再構成は、実数開口の投影像に対して実数関数Mr(r)により表されるフレネルゾーンパターンを乗算する場合に相当する。Mc(r)は複素数関数であり、Mc(r)＝cosβr^２＋ｊ×sinβr^２＝cosβr^２−ｊ×cos(βr^２＋π／２)なので、実部，虚部は位相が（π／２）、すなわち９０°ずれたフレネルゾーンパターンに対応する。Mc(r)の実数部（cosβr^２）はMr(r)と同じである。本発明では、このように複素数関数の実部，虚部にそれぞれ対応し位相が異なる２つのフレネルゾーンパターン（第１，第２のフレネルゾーンパターン）を投影像に乗算して、実部の画像と虚部の画像とからなる複素画像を生成する。

内部乗算後の画像は、それぞれの場合において以下の式（７），（８）により表現される。

内部乗算画像（フレネルゾーンパターン）にMr(r),Mc(r)を利用した場合である乗算後画像Fr(r),Fc(r)のそれぞれについて、第１項はオフセット補正などによって除去可能な成分である。第２項は重ね合わされたフレネルゾーン開口の間の「差の周波数」（２つの開口をcosα，cosφによって表した場合、cos(α−φ)に対応する）が抽出されたモアレ干渉縞であり、これはフーリエ変換の基底と一致しているため、フーリエ変換を適用することによってデルタ関数に変換されて「点」となり結像に寄与する成分となる。第３項は「和の周波数」（cos(α＋φ)に対応する）に相当し、これはフーリエ変換しても結像に寄与せずノイズとして働いてしまう成分となる。

Fr(r),Fc(r)に対してそれぞれ適切にオフセット補正を適用し、第１項が消去された状態の画像をFr2(r), Fc2(r)とする。これらに対して実際にフーリエ変換を適用すると、Fr(r),Fc(r)のフーリエ変換をfr(k),fc(k)として、式（９），（１０）により表現される。

ここで、ξ(k,β,Δr)は実数の多項式である。これらに対して複素数の絶対値をとることにより復元画像が得られるが、fr(k)の場合（従来技術の場合）、第１項と第２項は原点に対称な２点を生じてしまうため、点対称に重なった復元画像となってしまう欠点がある（図１７，１８の例を参照）。これに対してfc(k)の場合（本発明の場合）、このような問題は起こらず正常に画像が再構成される。両者に共通しているのが、fr(r)の第３項とfc(r)の第２項はノイズとして作用する点であり、この項にもたらす影響によって光学系の伝達関数MTF（Modulation Transfer Function）は100%とはなり得ない（これはセンサーによるノイズが存在しなくともMTFが100%とならないことを意味する）。ただし、このノイズはβの値を大きくすると小さくなるため、βの値を大きくする（細かいパターンにする）ことによって影響を軽減させることは可能である。

fc(k)（本発明の場合）の第１項について、位相は光の入射角に依存して回転してしまうが、これに対して複素数の絶対値をとると、無限遠光の到来に対応してデルタ関数（点）に結像することが確認できる。入射光の角度スペクトルから結像画像までの演算は全て線形であるため、重ね合わせが成り立ち、これによって画像の結像が説明できる。

なお、２次元の場合について計算すると、周辺光量は（cosθ）^４となり、ディストージョンは2×β×d×tanθとなる（θは画角）。

＜第１の実施形態＞
＜撮像システムの構成＞
図４は第１の実施形態に係る撮像システム１０（撮像システム）の構成を示すブロック図である。撮像システム１０は、撮像モジュール１００（撮像部）と撮像装置本体２００（画像処理装置）とを備える。撮像システム１０はデジタルカメラの他、スマートフォン、タブレット端末、監視カメラ等に適用できる。

＜撮像モジュールの構成＞
撮像モジュール１００は、フレネルゾーンプレート１１０（フレネルゾーンプレート）と撮像素子１２０（イメージセンサ）とを備え、被写体からの光がフレネルゾーンプレート１１０を透過して形成された投影像を撮像素子１２０により取得する。フレネルゾーンプレート１１０は、中心が撮像素子１２０の中心と一致し、かつ撮像素子１２０の受光面と平行な状態で撮像素子１２０の受光面側に配置される。撮像モジュール１００を撮像装置本体２００に対し交換可能にしてもよい。また、撮像モジュール１００に対しフレネルゾーンプレート１１０を交換可能にしてもよい。このように、特性（大きさ、ピッチ、位相、イメージセンサとの距離等）の異なるフレネルゾーンプレートを使い分けることで、取得する投影像の特性（画角、深度（距離測定精度）等）を制御し、所望の特性の画像を再構成することができる。なお、以下の説明においてフレネルゾーンプレート１１０を“ＦＺＰ”（Fresnel Zone Plate）と記載することがある。

＜フレネルゾーンプレートの構成＞
図７の（ａ）部分は、フレネルゾーンプレート１１０の例であるＦＺＰ１を示す図である。ＦＺＰ１では、入射する光の透過率が中心からの距離に応じて連続的に変化しており、白色に近い領域（透過領域）ほど光の透過率が高く、黒色に近い領域（遮光領域）ほど光の透過率が低い。全体としては透過領域と遮光領域とが交互に同心円状に配置された状態となっており、これら透過領域及び遮光領域がフレネルゾーンプレートを構成する。同心円の間隔は、ＦＺＰ１の中心から周辺に向かうにつれて狭くなる。このような同心円状のパターン（局所的な空間周波数の変化）は上述した式（１），（２），（６）等により表され、これらの式における同心円の細かさを「ピッチ」と呼ぶ。ピッチは上述したβの値によって定まり、βが小さいと粗いパターンになり、βが大きいと細かいパターンになる。撮像モジュール１００にメモリを設けてピッチの情報（βの値）を記憶しておき、画像処理部２１０（情報入力部：図５参照）がこの情報を取得して使用してもよい。

フレネルゾーンプレート１１０の光軸Ｌ（図１参照）は、ＦＺＰ及び撮像素子１２０の中心を通りＦＺＰ及び撮像素子１２０の受光面と垂直な軸である。ＦＺＰは撮像素子１２０に近接（例えば、１ｍｍ程度）して配置されるが、撮像素子１２０との距離によっては光の回折により投影像がぼけるので、離しすぎないことが好ましい。

図７の（ｂ）部分は、フレネルゾーンプレートの他の例であるＦＺＰ２を示す図である。ＦＺＰ２は、ＦＺＰ１に対して透過率にしきい値を設定して、透過率がしきい値を超える領域は透過率１００％の透過領域（白色の部分）、しきい値以下の領域は透過率０％の遮光領域（黒色の部分）としたものであり、透過率が中心からの距離に応じて不連続的に（０％または１００％の２段階に）変化する。全体としては透過領域と遮光領域とが交互に同心円状に配置された状態となっており、これら透過領域及び遮光領域がフレネルゾーンプレートを構成する。このように、本発明における「フレネルゾーンプレート」はＦＺＰ１のような態様及びＦＺＰ２のような態様を含み、またこれに対応して、本発明における「フレネルゾーンパターン」も透過率が連続的に変化するパターン及び透過率が不連続に変化するパターンを含む。なお、図７に示すようなフレネルゾーンプレートの周辺部分に遮光部（遮光領域と同様に、光が透過しない領域）を設けて、撮像素子１２０の周辺部分に不要な光が入射するのを防止してもよい。

＜撮像素子の構成＞
撮像素子１２０は、２次元方向に（二次元状に）に配列された光電変換素子により構成される複数の画素を有するイメージセンサである。各画素にマイクロレンズを設けて集光効率を上げてもよい。また、各画素にカラーフィルタ（例えば赤色、青色、及び緑色）を配設してカラー画像を再構成できるようにしてもよい。この場合、第１，第２の投影像の取得に際しては、通常のデジタルカメラにおけるカラー画像生成の際のデモザイク処理（同時化処理ともいう）と同様に、カラーフィルタの配列パターンに応じた補間処理が行われる。これにより各画素（受光素子）で不足した色の信号が生成され、全画素において各色（例えば赤色、青色、及び緑色）の信号が得られる。このような処理は、例えば画像処理部２１０（投影像入力部２１０Ａ）により行うことができる。

＜撮像装置本体の構成＞
撮像装置本体２００は画像処理部２１０と、記憶部２２０と、表示部２３０と、操作部２４０とを備え、撮像モジュール１００が取得した投影像に基づく被写体の画像復元等を行う。

図５は画像処理部２１０の構成を示す図である。画像処理部２１０は、投影像入力部２１０Ａ（投影像入力部）と、複素画像生成部２１０Ｂ（複素画像生成部）と、フーリエ変換部２１０Ｃ（フーリエ変換部）と、情報入力部２１０Ｄ（情報入力部）と、表示制御部２１０Ｅと、を有する。投影像入力部２１０Ａは、撮像モジュール１００を制御して、被写体からの光がＦＺＰに入射して撮像素子１２０に形成された投影像を撮像素子１２０から取得する。複素画像生成部２１０Ｂは、局所的な空間周波数が同一であり、かつ局所的な空間周波数の位相が異なる複数のフレネルゾーンパターン（第１，第２のフレネルゾーンパターン）を投影像に乗算して、実部の画像と虚部の画像とからなる複素画像を生成する。フーリエ変換部２１０Ｃは、複素画像を２次元複素フーリエ変換することにより空間領域の画像を再構成する。情報入力部２１０Ｄは、投影像の取得に用いたフレネルゾーンプレート１１０の情報（ピッチの情報）を取得する。表示制御部２１０Ｅは、投影像、複素画像、再構成画像等の表示部２３０への表示制御を行う。ＲＯＭ２１０Ｆ（Read Only Memory）（非一時的記録媒体）には、本発明に係る画像処理方法を実行するための画像処理プログラム等、撮像システム１０が動作するための各種プログラムのコンピュータ（プロセッサ）読み取り可能なコードが記録される。

上述した画像処理部２１０の機能は、各種のプロセッサ（processor）を用いて実現できる。各種のプロセッサには、例えばソフトウェア（プログラム）を実行して各種の機能を実現する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）が含まれる。
また、上述した各種のプロセッサには、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）も含まれる。さらに、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路なども上述した各種のプロセッサに含まれる。

各部の機能は１つのプロセッサにより実現されてもよいし、複数のプロセッサを組み合わせて実現されてもよい。また、複数の機能を１つのプロセッサで実現してもよい。複数の機能を１つのプロセッサで構成する例としては、第１に、クライアント、サーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能として実現する形態がある。第２に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、システム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能は、ハードウェア的な構造として、上述した各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。

上述したプロセッサ（あるいは電気回路）がソフトウェア（プログラム）を実行する際は、実行するソフトウェア（本発明に係る画像処理プログラムを含む）のコンピュータ読み取り可能なコードをＲＯＭ２１０Ｆ（図５を参照）等の非一時的記録媒体に記憶しておき、プロセッサがそのソフトウェアを参照する。ソフトウェアを用いた処理の際には例えばＲＡＭ（Random Access Memory）が一時的記憶領域として用いられ、また例えばＥＥＰＲＯＭ（Electronically Erasable and Programmable Read Only Memory）に記憶されたデータが参照される。なお、図５ではＲＡＭ，ＥＥＰＲＯＭ等のデバイスの図示は省略する。

＜記憶部の構成＞
記憶部２２０はＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）、ハードディスク（Hard Disk）、各種半導体メモリ等の非一時的記録媒体により構成され、図６に示す画像及び情報を互いに関連づけて記憶する。投影像２２０Ａは、撮像モジュール１００から取得した投影像である。フレネルゾーンプレート情報２２０Ｂはフレネルゾーンプレート１１０の局所的な空間周波数の情報（βの値等のピッチ情報を含む）である。フレネルゾーンプレート情報２２０Ｂは撮像モジュール１００から取得した情報でもよいし、操作部２４０を介して入力した情報でもよい。フレネルゾーンパターン情報２２０Ｃはフレネルゾーンパターンを示す情報であり、局所的な空間周波数の位相が異なる複数のフレネルゾーンパターンについて記録することが好ましい。複素画像２２０Ｄは、フレネルゾーンパターン情報２２０Ｃが示すフレネルゾーンパターン（第１，第２のフレネルゾーンパターン）を投影像に乗算して得られた、実部の画像と虚部の画像とからなる複素画像である。再構成画像２２０Ｅは、複素画像２２０Ｄを２次元複素フーリエ変換して得られた空間領域の画像である。

＜表示部及び操作部の構成＞
表示部２３０は図示せぬ液晶ディスプレイ等の表示装置を含んで構成され、投影像、複素画像、再構成画像等を表示するとともに、操作部２４０を介した指示入力時のＵＩ（User Interface）用の画面表示にも用いられる。操作部２４０は図示せぬキーボード、マウス、ボタン等のデバイスにより構成され、ユーザはこれらデバイスにより投影像取得指示、画像再構成指示、合焦距離の条件、局所的な空間周波数の情報（ピッチ、位相）等を入力することができる。なお、表示部２３０の表示装置をタッチパネルにより構成し、画像表示の他に操作部２４０として用いてもよい。

＜撮像システムによる画像処理＞
上述した構成の撮像システム１０による画像処理について説明する。図９は本実施形態に係る画像処理方法の手順を示すフローチャートである。

＜投影像の入力＞
ステップＳ１００では、画像処理部２１０（投影像入力部２１０Ａ）が撮像モジュール１００を制御して、撮像素子１２０から被写体の投影像を取得する。取得する投影像は、被写体からの光がフレネルゾーンプレート１１０に入射して撮像素子１２０に形成された投影像である。

＜局所的な空間周波数の情報＞
ステップＳ１１０では、画像処理部２１０（情報入力部２１０Ｄ）が投影像取得に用いたフレネルゾーンプレート１１０の局所的な空間周波数の情報（フレネルゾーンプレート１１０のピッチ）を入力する。この情報は撮像モジュール１００の図示せぬメモリから入力してもよいし、操作部２４０に対するユーザの操作に応じて入力してもよい。また、ステップＳ１００で取得した投影像を情報入力部２１０Ｄが解析して入力してもよい。ピッチは上述した式（１）〜（３），（６）等におけるβの値により定まるので、具体的にはβの値を入力すればよい。なお、既知の被写体（例えば、距離無限遠の点光源）を撮影した場合は、撮影画像を解析することによりピッチ（βの値）を取得することができる。また、ピッチ（βの値）を変えながら画像の再構成を繰り返し、鮮明な画像が得られる値を求めてもよい。

＜複素画像の生成＞
ステップＳ１２０では、画像処理部２１０（複素画像生成部２１０Ｂ）が投影像に第１，第２のフレネルゾーンパターンをそれぞれ乗算して、実部の画像と虚部の画像とからなる複素画像を生成する。ステップＳ１２０で乗算されるフレネルゾーンパターンは、記憶部２２０に記憶されたパターン（フレネルゾーンパターン情報２２０Ｃ）のうちステップＳ１１０で入力したピッチ（βの値）に応じて選択したパターンを用いることができる。また、記憶部２２０に記憶されたパターンをピッチ（βの値）に応じて変化（必要に応じて拡大または縮小してよい）させたパターンを用いることもできる。画像処理部２１０（複素画像生成部２１０Ｂ）は、生成した複素画像を複素画像２２０Ｄとして記憶部２２０に記憶する。

＜フレネルゾーンパターンの位相＞
第１のフレネルゾーンパターンは例えば図８の（ａ）部分に示すパターン（中心における位相が０°。なお、「°」は角度の単位の「度」を表す。）とすることができ、これを投影像に乗算することにより実部の画像が得られる。また、第２のフレネルゾーンパターンは例えば図８の（ｂ）部分に示すパターン（第１のフレネルゾーンパターンとピッチが同じ、位相が９０°ずれている）とすることができ、これを投影像に乗算することにより虚部の画像が得られる。式（６）等について上述したように第１，第２のフレネルゾーンパターンの位相ずれは９０°であることが好ましいが、後述する実施例から分かるように、正または負に７０°以上１１０°以下の範囲であれば鮮明な画像を再構成することができる。第１のフレネルゾーンパターンまたは第２のフレネルゾーンパターンの局所的な空間周波数の位相を、フレネルゾーンプレート１１０の位相と同一にしてもよい。

フレネルゾーンパターンを用いるに際しては、位相の異なる複数のフレネルゾーンパターンのデータをフレネルゾーンパターン情報２２０Ｃとして記憶部２２０に記憶しておき所望のパターンを選択して用いることができる。また、画像処理部２１０（複素画像生成部２１０Ｂ）がピッチ及び位相の情報に基づいて所望のパターンを生成してもよい（各位相のフレネルゾーンパターンは、図１２を参照）。このようなフレネルゾーンパターンは電子データであるフレネルゾーンパターン情報２２０Ｃとして記憶部２２０に記憶されるので、所望のパターンの選択及び生成を迅速かつ容易に行うことができる。また、上述した特許文献１のように、複数のパターンに対応するプレート（基板）を有体物として保持することによる装置の大型化、製作コストの増加、複数のパターン間での特性のばらつき（製造時のばらつき、経時変化、温度変化を含む）による画質の劣化等の問題がない。

＜フレネルゾーンパターンの拡大率＞
被写体（光源）が無限遠方に存在する場合は、フレネルゾーンプレート１１０には平行光が入射し、撮像素子１２０に形成される投影像はフレネルゾーンプレート１１０と同じ大きさになるが、被写体が有限距離に存在する場合は広がりを持った光が入射し、距離が近いほど投影像が大きくなる。したがって、合焦させる被写体距離に応じて拡大率が異なるパターンを第１，第２のフレネルゾーンパターンとして使用することにより、所望の距離に合焦した画像を得ることができる。例えば、被写体距離に応じた複数のパターンをフレネルゾーンパターン情報２２０Ｃとして記憶部２２０に記憶しておき、これを読み出して使用することができる。また、１つのフレネルゾーンパターンを基準パターンとして記憶しておき、被写体距離に応じて異なる拡大率で拡大してもよい。この場合、距離無限大に対応しフレネルゾーンプレートと同じ大きさになるパターンを基準とすることができる。図１０は、被写体距離に応じてフレネルゾーンパターンの拡大率が異なる様子を示す図である。

なお、拡大率を変えながら複素画像の生成（ステップＳ１２０）及び画像の再構成（ステップＳ１３０）を繰り返し、再構成した画像の合焦評価値（例えば、画像中に設定した焦点評価領域における輝度信号の積分値）が最大になるようにすることで鮮明な画像を取得してもよい。

＜画像の再構成＞
ステップＳ１３０では、画像処理部２１０（フーリエ変換部２１０Ｃ）が、上述した式（１０）のように複素画像を２次元複素フーリエ変換して被写体の画像（空間領域の画像）を再構成する。画像処理部２１０（表示制御部２１０Ｅ）は、再構成した画像を表示部２３０に表示する（ステップＳ１４０）。また、画像処理部２１０（フーリエ変換部２１０Ｃ）は、再構成した画像を再構成画像２２０Ｅとして記憶部２２０に記憶する。

＜実施例及び比較例＞
上述した第１，第２のフレネルゾーンパターンの位相ずれの好ましい範囲を、実施例及び比較例を参照して具体的に説明する。図１１は、投影像取得用のフレネルゾーンプレートの位相、及び複素画像取得用のフレネルゾーンパターンの位相（「実部」と記載されている列が第１のフレネルゾーンパターンの位相、「虚部」と記載されている列が第２のフレネルゾーンパターンの位相）を示す表である。条件８（実施例１）〜条件１４（実施例７）、及び条件２２（実施例８）〜条件２５（実施例１１）が、本発明における第１，第２のフレネルゾーンパターンの位相ずれの好ましい数値範囲を示す。

図１２は、位相が異なるフレネルゾーンパターンを示す図である。図１２の１行目は、左から順に中心における位相がそれぞれ０°，１０°，２０°，３０°，４０°，５０°のフレネルゾーンパターンを示す。以下、２行目は、中心での位相がそれぞれ６０°，７０°，７５°，８０°，９０°，１００°のフレネルゾーンパターンを示す。３行目は、中心での位相がそれぞれ１０５°，１１０°，１２０°，１３０°，１４０°，１５０°のフレネルゾーンパターンを示す。４行目は、中心での位相がそれぞれ１６０°，１７０°，１８０°，１９０°，２００°，２１０°のフレネルゾーンパターンを示す。５行目は、中心での位相がそれぞれ２２０°，２３０°，２４０°，２５０°，２６０°，２７０°のフレネルゾーンパターンを示す。６行目は中心での位相がそれぞれ２８０°，２９０°，３００°，３１０°，３２０°，３３０°のフレネルゾーンパターンを示す。７行目は、中心での位相がそれぞれ３４０°，３５０°，３６０°のフレネルゾーンパターンを示す。

図１３〜１６は、上述した条件により再構成された画像を示す図である。図１３において、（ａ）部分〜（ｇ）部分が条件１〜７にそれぞれ対応する。図１４において、（ａ）部分〜（ｇ）部分が条件８〜１４（位相ずれの好ましい数値範囲）にそれぞれ対応する。図１５において、（ａ）部分〜（ｇ）部分が条件１５〜２１にそれぞれ対応する。図１６において、（ａ）部分〜（ｄ）部分が条件２２〜２５（位相ずれの好ましい数値範囲）にそれぞれ対応する。図１６の（ｅ）部分は条件２６（従来技術）に対応する。

＜実施例の評価＞
本発明における第１，第２のフレネルゾーンパターンの好ましい位相ずれ（７０°〜１１０°）の範囲を満たす条件８（実施例１）〜条件１４（実施例７）、及び条件２２（実施例８）〜条件２５（実施例１１）では、再構成された画像に像の重なりがまったく、あるいはほとんどなく、鮮明な画像が得られる。また、上述した従来技術のように、鮮明な画像を得るために画角を制限する必要もない。これらの実施例の中でも、条件１１（位相ずれが９０°）の場合に最も鮮明な画像が得られる。これに対して、位相ずれの値が上述した好ましい範囲を外れる条件１〜７（比較例１〜７）及び条件１５〜２１（比較例８〜１４）では、位相ずれの値が好ましい範囲を大きく外れるほど像の重なりが大きく不鮮明な画像になってしまう。また、投影像に対し１つのフレネルゾーンパターンを乗算する条件２６（従来技術）においても、図１６の（ｅ）部分に示すように像の重なりが大きく不鮮明な画像になってしまう。

条件１７（比較例１０）と条件２２（実施例８）とを比較検討する。撮影用フレネルゾーンプレートの位相と第１のフレネルゾーンパターン（実部の画像用）の位相とが等しく、位相ずれの値が好ましい範囲を外れる条件１７では像の重なりが発生している。これに対し、撮影用フレネルゾーンプレートの位相と第１のフレネルゾーンパターンの位相（実部の画像用）とが異なり位相ずれの範囲が好ましい範囲である条件２２では像の重なりが生じていない。したがって、撮影用フレネルゾーンプレートの位相と第１のフレネルゾーンパターンの位相とが同じである必要はなく、上述の条件８〜１４（実施例１〜７）のように、また条件２２（実施例８）のように、第１，第２のフレネルゾーンパターンの位相ずれが９０°程度（７０°以上１１０°以下）であれば良いことが分かる。

また、条件２２〜２４（実施例８〜１０）を比較すると、これらの条件では位相ずれの値（９０°）が好ましい範囲（７０°以上１１０°以下）に入っており撮影用のフレネルゾーンプレートの位相のみが異なるが、いずれの条件においても像の重なりが生じていない。したがって撮影用のフレネルゾーンプレートの位相は０°でなくてもよい（任意の位相でよい）ことが分かる。

また、条件１１（実施例４）と条件２５（実施例１１）とを比較すると、第２のフレネルゾーンパターン（虚部の画像の生成用）の位相を第１のフレネルゾーンパターン（実部の画像の生成用）の位相と−９０°（＝＋２７０°）ずらすと、像が回転することが分かる。これにより、必要に応じて位相をずらすことで回転した画像が得られることが分かる。

＜その他＞
以上で本発明の実施形態及び実施例に関して説明してきたが、本発明は上述した実施形態及び実施例に限定されず、本発明の精神を逸脱しない範囲において種々の変形が可能である。

１０ 撮像システム
１００ 撮像モジュール
１１０ フレネルゾーンプレート
１２０ 撮像素子
２００ 撮像装置本体
２１０ 画像処理部
２１０Ａ 投影像入力部
２１０Ｂ 複素画像生成部
２１０Ｃ フーリエ変換部
２１０Ｄ 情報入力部
２１０Ｅ 表示制御部
２１０Ｆ ＲＯＭ
２２０ 記憶部
２２０Ａ 投影像
２２０Ｂ フレネルゾーンプレート情報
２２０Ｃ フレネルゾーンパターン情報
２２０Ｄ 複素画像
２２０Ｅ 再構成画像
２３０ 表示部
２４０ 操作部
Ｆ フレネルゾーンプレート
ＦＺＰ１ フレネルゾーンプレート
ＦＺＰ２ フレネルゾーンプレート
Ｌ 光軸
ＳＤ 影
Ｓ１００〜Ｓ１４０ 画像処理方法の各ステップ
ｄ 距離
θ 入射角

Claims (17)

1. 被写体からの光が単一のフレネルゾーンプレートに入射して形成された投影像を入力する投影像入力部と、
   第１のフレネルゾーンパターンと、前記第１のフレネルゾーンパターンとは各領域における局所的な空間周波数が同一であり、かつ前記局所的な空間周波数の位相が異なる第２のフレネルゾーンパターンと、を前記投影像にそれぞれ乗算して、実部の画像と虚部の画像とからなる複素画像を生成する複素画像生成部と、
   前記複素画像を２次元複素フーリエ変換することにより空間領域の画像を再構成するフーリエ変換部と、
   を備える画像処理装置。
2. 前記投影像と、前記複素画像と、前記空間領域の画像と、前記第１のフレネルゾーンパターンを示す情報と、前記第２のフレネルゾーンパターンを示す情報と、を記憶する記憶部をさらに備える請求項１に記載の画像処理装置。
3. 前記複素画像生成部は、前記投影像に前記第１のフレネルゾーンパターンを示す情報を乗算して前記実部の画像を生成し、前記投影像に前記第２のフレネルゾーンパターンを示す情報を乗算して前記虚部の画像を生成する請求項２に記載の画像処理装置。
4. 前記第１のフレネルゾーンパターンと前記第２のフレネルゾーンパターンとは７０°以上１１０°以下の範囲において正または負に前記局所的な空間周波数の位相がずれている請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記第１のフレネルゾーンパターンの前記局所的な空間周波数の位相または前記第２のフレネルゾーンパターンの前記局所的な空間周波数の位相が前記フレネルゾーンプレートの局所的な空間周波数の位相と同一である請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記複素画像生成部は、合焦させる被写体距離に応じて拡大率の異なる前記第１のフレネルゾーンパターン及び前記第２のフレネルゾーンパターンを使用して前記複素画像を生成する請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記フレネルゾーンプレートの局所的な空間周波数の情報を入力する情報入力部をさらに備え、
   前記複素画像生成部は前記入力した情報に基づく局所的な空間周波数を有する前記第１のフレネルゾーンパターン及び前記第２のフレネルゾーンパターンを前記投影像にそれぞれ乗算する請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記被写体からの光を入射する前記単一のフレネルゾーンプレートと、前記フレネルゾーンプレートを透過した前記光により前記投影像が形成されるイメージセンサと、を有し、前記イメージセンサから前記投影像を取得する撮像部と、
   請求項１から７のいずれか１項に記載の画像処理装置と、
   を備え、
   前記投影像入力部は前記撮像部が取得した前記投影像を入力する撮像システム。
9. 被写体からの光が単一のフレネルゾーンプレートに入射して形成された投影像を入力するステップと、
   第１のフレネルゾーンパターンと、前記第１のフレネルゾーンパターンとは各領域における局所的な空間周波数が同一であり、かつ前記局所的な空間周波数の位相が異なる第２のフレネルゾーンパターンと、を前記投影像にそれぞれ乗算して、実部の画像と虚部の画像とからなる複素画像を生成するステップと、
   前記複素画像を２次元複素フーリエ変換することにより空間領域の画像を再構成するステップと、
   を備える画像処理方法。
10. 前記複素画像を生成するステップでは、前記投影像に、画像処理装置の記憶部に記憶された前記第１のフレネルゾーンパターンを示す情報を乗算して前記実部の画像を生成し、前記投影像に、前記記憶部に記憶された前記第２のフレネルゾーンパターンを示す情報を乗算して前記虚部の画像を生成する請求項９に記載の画像処理方法。
11. 前記第１のフレネルゾーンパターンと前記第２のフレネルゾーンパターンとは７０°以上１１０°以下の範囲において正または負に前記局所的な空間周波数の位相がずれている請求項９または１０に記載の画像処理方法。
12. 前記第１のフレネルゾーンパターンの前記局所的な空間周波数の位相または前記第２のフレネルゾーンパターンの前記局所的な空間周波数の位相が前記単一のフレネルゾーンプレートの局所的な空間周波数の位相と同一である請求項９から１１のいずれか１項に記載の画像処理方法。
13. 前記複素画像を生成するステップでは、合焦させる被写体距離に応じて拡大率の異なる前記第１のフレネルゾーンパターン及び前記第２のフレネルゾーンパターンを使用して前記複素画像を生成する請求項９から１２のいずれか１項に記載の画像処理方法。
14. 前記被写体からの光を入射する前記フレネルゾーンプレートと、前記単一のフレネルゾーンプレートを透過した前記光により前記投影像が形成されるイメージセンサと、により前記イメージセンサから前記投影像を取得するステップをさらに有し、
    前記投影像を入力するステップでは前記取得した前記投影像を入力する請求項９から１３のいずれか１項に記載の画像処理方法。
15. 前記単一のフレネルゾーンプレートの局所的な空間周波数の情報を入力するステップをさらに有し、
    前記複素画像を生成するステップでは前記入力した情報に基づく局所的な空間周波数を有する前記第１のフレネルゾーンパターン及び前記第２のフレネルゾーンパターンを前記投影像にそれぞれ乗算する請求項９から１４のいずれか１項に記載の画像処理方法。
16. 被写体からの光が単一のフレネルゾーンプレートに入射して形成された投影像を入力する機能と、
    第１のフレネルゾーンパターンと、前記第１のフレネルゾーンパターンとは各領域における局所的な空間周波数が同一であり、かつ前記局所的な空間周波数の位相が異なる第２のフレネルゾーンパターンと、を前記投影像にそれぞれ乗算して、実部の画像と虚部の画像とからなる複素画像を生成する機能と、
    前記複素画像を２次元複素フーリエ変換することにより空間領域の画像を再構成する機能と、
    をコンピュータに実現させる画像処理プログラムのコンピュータ読み取り可能なコードが記録された記録媒体。
17. 前記複素画像を生成する機能は、画像処理装置の記憶部に記憶された前記第１のフレネルゾーンパターンを示す情報を前記投影像に乗算して前記実部の画像を生成し、前記記憶部に記憶された前記第２のフレネルゾーンパターンを示す情報を前記投影像に乗算して前記実部の画像を生成する請求項１６に記載の記録媒体。