JP2011071981A - モジュレータ、モジュレータを利用した光場データの取得装置、モジュレータを利用した光場データの処理装置及び方法 - Google Patents

Abstract

【課題】 モジュレータ、モジュレータを利用した光場データの取得装置、モジュレータを利用した光場データの処理装置及び方法を提供する。
【解決手段】 複数の画像について光場のデータを取得して処理する技術が開示される。１側面による光場のデータの取得装置は、ある画像の４次元の光場を空間変調する減衰パターンを含むモジュレータと、空間変調された４次元の光場の２次元信号を取得するセンサーとを含む。モジュレータの減衰パターンによって低い角周波数領域の空間データが高い角周波数領域の空間データに比べて多く取得される。
【選択図】 図１

Description

本発明は、映像処理に係り、より詳細には、周波数領域で４次元（４Ｄ）光場を空間的に変調するモジュレータを用いて光場データを取得し、該取得された光場データの処理に関する。

現在、商用化された画像形成システムは、一つの画像において捕捉されたピクチャを示す。しかし、最近、画像をリフォーカスするプレノプティックカメラ（ｐｌｅｎｏｐｔｉｃ ｃａｍｅｒａ）が研究されている。プレノプティックカメラは、オプティカルフィールドカメラと呼ばれ、マイクロレンズアレイ（通常、レンチキュラーレンズアレイ）を用いて画像に対する４次元（４Ｄ）の光場の情報を取得する。このようなプレノプティックカメラは、撮影後、画像の焦点面が調節されるのを可能にする、画像をリフォーカスする機能と、異なる視野角で画像のバリエーションを見る機能をユーザに提供する。

しかし、このような光場のデータの取得方法によれば、センサーピクセルの個数に対応する空間データだけではなく、光の方向に該当する角度データも同時に取得するので、角度データほどの解像度低下が発生する。したがって、既存の光場の画像形成は、高解像度画像を生成することができない。なぜならば、４Ｄデータは、２次元（２Ｄ）センサーから受信される２次元（２Ｄ）空間データと２Ｄ角度データとの和であるので、空間データの解像度は、角度データの量ほど低下するためである。例えば、メインレンズの方向分解能の大きさ、すなわち、角度データが１２×１２（すなわち、１４４個）が必要な場合、取得される解像度は、全体センサーピクセルに該当する解像度に比べて１／１４４倍になる。

また、既存の光場システムは、空間データに対する均一なサンプリングを適用する。光場システムは、マイクロレンズアレイ又は光モジュレータを利用する。マイクロレンズアレイは、同じサイズを有するマイクロレンズが配列されている構造によって均一なサンプリングを経る。同様に、光モジュレータの場合に、空間及び角度帯域幅が均一に割り当てられるという仮定下で均一なサンプリングが利用される。

すなわち、光場を空間的に変調する既存のモジュレータは、周波数領域で方位データの各バンドに対して空間データが同一の帯域幅を有するという仮定下で設計された。したがって、そのような既存のモジュレータによって生成された周波数応答は、空間データに対して均一な間隔で表われる。

しかし、光場のデータの画像情報が、周波数領域に変換される時、さらに高い周波数領域には、空間データがさらに少なくなる現象が起きる。

本発明が解決しようとする課題は、光場のデータを用いて高解像度の映像を生成する映像処理装置及び方法を提供することである。

一側面による画像を生成する光場（optical field）のデータを取得する装置は、４次元の光場の画像を空間変調する減衰パターンを含むモジュレータと、空間変調された４次元の光場の２Ｄ信号を取得するセンサーとを含む。ここで、減衰パターンは、周波数領域における空間変調により、位置に依存して、２次元信号の周波数応答を生成する。

モジュレータは、透明層と、透明層上に設けられるメタル層とを含み、メタル層は、減衰パターンを形成して透明層を通過した光を異なる大きさに減衰させる。減衰パターンは、減衰パターンを形成するユニットパターンを複数のセクションに分割する時、該分割された複数のセクションを遮蔽した程度によって複数のグレイスケールの値を形成するように構成することができる。

他の側面による画像を生成する光場のデータの処理装置は、４次元の光場の画像を空間変調する減衰パターンを含むモジュレータと、空間変調された４次元の光場の２次元信号を取得するセンサーと、２次元信号を用いて４次元の光場のデータを復元するデータ処理部とを含む。

データ処理部は、センサーによって感知された２次元信号にフーリエ変換を適用して２次元のタイルを取得し、２次元のタイルの大きさが均一になるように、２次元のタイルの少なくとも一つにゼロパディングを行い、ゼロパディングが行われた２次元のタイルを４次元のタイルスタックに再構成し、該再構成された４次元のタイルスタックに逆フーリエ変換を適用して４次元の光場のデータを復元することができる。データ処理部は、２次元のタイルの大きさが均一になるように、２次元のタイルの少なくとも一つにゼロパディングを行う時、２次元のタイルが、２次元のタイルのうちで最も大きなタイルの大きさを有するようにゼロパディングを行うことができる。

データ処理部は、復元された４次元の光場のデータを用いて画像を少なくとも一つの角度から見たビュー画像、相異なる深さでのリフォーカス画像及び高解像度画像のうち少なくとも一つを生成することができる。

また、他の側面による画像を生成する光場のデータの処理装置による光場のデータを処理する方法は、４次元の光場の画像を空間変調する減衰パターンを含むモジュレータを用いて空間変調された４次元の光場の２次元信号を取得する段階と、２次元信号を用いて４次元の光場のデータを復元する段階とを含む。

光場のデータの処理方法は、感知された２次元信号にフーリエ変換を適用して２次元のタイルを取得する段階と、２次元のタイルの大きさが均一になるように、２次元のタイルの少なくとも一つにゼロパディングを行う段階と、ゼロパディングが行われた２次元のタイルを４次元のタイルスタックに再構成する段階と、該再構成された４次元のタイルスタックに逆フーリエ変換を適用して４次元の光場のデータを復元する段階とをさらに含みうる。

光場のデータの処理方法は、ゼロパディングを行う段階で、２次元のタイルが、２次元のタイルのうちで最も大きなタイルの大きさを有するようにゼロパディングを行うことができる。

光場のデータの処理方法は、復元された４次元の光場のデータを用いて画像を少なくとも一つの角度から見たビュー画像、相異なる深さでのリフォーカス画像及び高解像度画像のうち少なくとも一つを生成する段階をさらに含みうる。

また、他の側面による光を空間変調するモジュレータは、透明層と、透明層上に設けられ、透明層を通過した光を相異なる大きさに減衰させる減衰パターンを形成するメタル層とを含む。

メタル層は、減衰パターンを形成するユニットパターンを複数のセクションに分割する時、該分割された複数のセクションを遮蔽した程度によって複数のグレイスケールを形成しうる。

減衰パターンは、低い角周波数領域の空間データを高い角周波数領域の空間データに比べて相対的に多く取得するように構成することができる。

また、他の側面による画像処理装置は、４次元の光場の画像を受信し、周波数領域で空間変調を通じて複数の不均一な２次元の周波数応答信号を生成するデータ取得部と、複数の感知された不均一な２次元の周波数応答信号を処理して４次元の光場の画像データを生成するプロセッサとを含みうる。

データ取得部は、通過する光を複数の不均一な２次元の周波数応答信号に減衰させるように構成された非調和（non-harmonic）減衰パターンを含むモジュレータを含みうる。

データ取得部は、不均一な周波数応答信号を感知するように構成されたレンズ及び複数個のセンサーをさらに含み、モジュレータは、レンズと複数個のセンサーとの間に位置されうる。

複数のセンサーは、セクションに分割され、各セクションは、複数のユニットを含み、非調和減衰パターンは、あるセクションの一以上のユニットを遮断して、そのセクションのグレイスケールを生成するように構成することができる。非調和パターンは、非調和特性を有する和を有する２以上の余弦信号を組み合わせて設計されうる。

非調和パターンは、非調和特性を有する和を有する２以上の正弦信号を組み合わせて設計されうる。非調和パターンは、非調和特性を有する和を有する余弦信号及び正弦信号を組み合わせて設計されうる。

減衰パターンは、多くの空間データが存在する場合に低い角周波数領域における空間データを多く取得し、少ない空間データが存在する場合に高い角周波数領域における空間データを少なく取得するように構成することができる。

プロセッサは、感知された不均一な２次元の周波数応答信号にフーリエ変換を適用して２次元のタイルを取得することができる。プロセッサは、２次元のタイルの大きさが均一になるように、２次元のタイルの少なくとも一つにゼロパディングを行うことができる。プロセッサは、ゼロパディングが行われた２次元のタイルを４次元のタイルスタックに再構成し、該再構成された４次元のタイルスタックに逆フーリエ変換を適用して４次元の光場の画像を生成することができる。

ゼロパディングの結果、２次元のタイルが、２次元のタイルのうち最も大きなタイルの大きさを有しうる。

また、他の側面による４次元の画像の処理で利用するための光マスクは、透明層と、透明層に付着され、減衰パターンを含むメタル層とを含み、減衰パターンは、４次元の光場の画像を受信し、通過する４次元の光場の画像を周波数領域における空間変調により複数の不均一な２次元の周波数応答信号に減衰させるメタル層を含みうる。

減衰パターンは、複数のユニットを含む複数のセクションを含み、各ユニットは、おおよそ０．１μｍないし１０μｍの範囲で離隔することができる。

あるセクションの１以上のユニットは、通過する光を遮断して、その領域のグレイスケールを生成することができる。

減衰パターンは、２次元の非調和パターンを含みうる。非調和パターンは、非調和特性を有する和を有する２以上の余弦信号を組み合わせて設計されうる。非調和パターンは、非調和特性を有する和を有する２以上の正弦信号を組み合わせて設計されうる。非調和パターンは、非調和特性を有する和を有する正弦信号及び余弦信号を組み合わせて設計されうる。

減衰パターンは、低い角周波数領域における空間データを多く取得し、高い角周波数領域における空間データを少なく取得するように構成することができる。

光場のデータの処理装置の構成の一例を示す図である。 非調和モジュレータの一例を示す図である。 非調和モジュレータの一つのユニットパターンでグレイスケールを調整する構成の一例を示す図である。 非調和モジュレータの構成の一例を示す図である。 非調和モジュレータによって形成される周波数応答のスペクトルレプリカを示す図である。 光場のデータの処理装置により取得された２次元信号にフーリエ変換を適用して得た画像の一例を示す図である。 光場のスペクトルを復調して光場のデータを復元する過程を示す図である。 図６の画像に対してゼロパディングが行われた画像の一例を示す図である。

以下、添付した図面を参照して、本発明の一実施形態を詳しく説明する。本発明を説明するに当たって、関連した公知機能または構成についての具体的な説明が、本発明の要旨を不明にする恐れがあると判断される場合には、その詳細な説明を省略する。また、後述する用語は、本発明での機能を考慮して定義された用語であって、これは、ユーザ、運用者の意図又は慣例などによって変わりうる。したがって、その定義は、本明細書全般に亘った内容に基づいて下さなければならない。記述された段階及び／又は動作の進行は、例示的なものであって、段階及び／又は動作が、これに記述されたものに制限されず、特定の順序で必ず起こさせる段階及び／又は動作を除き、当該技術分野に知られたように変更されうる。

図１は、光場のデータの処理装置の構成の一例を示す図である。

光場データ処理装置１００は、レンズ１１０、モジュレータ１２０、センサー１３０及びデータ処理部１４０を含みうる。光場データ処理装置１００は、カメラ、又はカメラを含む各種電子製品、例えば、個人用コンピュータ、移動端末などとして具現可能である。

レンズ１１０のような光学装置を通過した物体１０５（又は、物体を含む場面）の画像は、モジュレータ１２０を経てセンサー１３０で物体１０５に対する光場データとして取得される。

モジュレータ１２０は、一種のマスクであって、センサー１３０による物体１０５の４次元（４Ｄ）光場を空間的に変調する減衰パターンを含む。減衰パターンは、周波数領域における空間変調により、位置に依存して２次元（２Ｄ）信号の周波数応答を生成することができる。モジュレータ１２０は、光軸に沿って配列されうる。モジュレータ１２０は、レンズ１００とセンサー１３０との間に配置される。モジュレータ１２０は、センサー１３０上に設けられることもある。

センサー１３０は、複数個のピクセルエレメントを含んで構成することができる。センサー１３０は、空間変調された４Ｄ光場の２Ｄ信号を取得する。該取得された光場信号は、所定の保存空間（図示せず）に保存することができる。

モジュレータ１２０を通じて光場が空間変調されて、センサー１３０で得た画像にフーリエ変換を適用すれば、画像情報が周波数領域に変換される。光場を空間変調してセンサー１３０で画像を取得し、該取得された画像を処理して元の光場データが復元されうる。

このような原理は、通信及び無線システムで幅広く利用される次の原理と類似している。この原理で、ベースバンド信号がキャリア信号を用いて高周波数に変調され、該変調された信号がエネルギー損失なしに遠距離に伝送された後、受信器は、受信された信号を復調してベースバンド信号を復元する。光場データ処理装置１００は、このような原理を光学領域で適用したものと理解されうる。

既存の光場を空間変調するモジュレータは、周波数領域で方向データの帯域別に空間データの帯域の大きさを同一であるという仮定下で設計された。既存のモジュレータによって生成される周波数応答は、空間データを表わすグラフ軸に対して均一な間隔で位置される。

しかし、周波数領域に変換された光場データの画像情報から高い角周波数領域に行くほど低い角周波数領域に比べて空間データが相対的に少なく取得されるということが分かる。このような点を考慮して、一実施形態によるモジュレータ１２０は、モジュレータ１２０によって生成される２Ｄ信号に対する周波数応答の位置を不均一にさせて、空間データの取得が低下する高い角周波数領域の空間分解能を減らし、空間データを多く取得することができる低い角周波数領域の空間分解能を増加させるように設計されうる。

このために、モジュレータ１２０は、２Ｄ非調和パターンを有するように構成される。２Ｄ非調和パターンは、例えば、２以上の余弦信号を和が非調和特性を有するように組み合わせて設計されうる。モジュレータ１２０の構成の詳細は、図２ないし図４を参照して後述する。

一方、図１で、レンズ１１０、モジュレータ１２０及びセンサー１３０を含む構成は、光場のデータの取得装置で構成することができる。

データ処理部１４０は、２Ｄ信号を用いて４Ｄの光場データを復元する。詳細には、データ処理部１４０は、センサー１３０によって感知された２Ｄ信号にフーリエ変換を適用して２Ｄのタイルを取得し、２Ｄタイルの大きさが均一になるように、２Ｄタイルの少なくとも一つにゼロパディングを行う。その後、データ処理部１４０は、ゼロパディングが行われた２Ｄタイルを４Ｄのタイルスタックに再構成し、該再構成された４Ｄタイルスタックに逆フーリエ変換を適用して４Ｄの光場データを復元することができる。

データ処理部１４０は、ゼロパディングを行う時、２Ｄタイルが、２Ｄタイルのうちで最も大きなタイルの大きさを有するようにゼロパディングを行うことができる。最も大きなタイルは、光場データで最も多い情報が集中された低い角周波数領域の空間データに対応することができる。

データ処理部１４０は、復元された４Ｄ光場データを用いて既存の４Ｄ光場データの処理方式によって画像を少なくとも一つの角度から見たビュー画像を生成することができ、相異なる深さでのリフォーカス画像を生成することができ、復元された４Ｄ光場データを用いて高解像度画像を生成することができる。また、データ処理部１４０は、ビュー画像を収集して３Ｄ立体画像を生成することができるなど多様な形態の画像処理を行うことができる。

光場データ処理装置１００は、データ処理部１４０によって処理された画像を表示する表示装置、画像を他の電子機器に伝送する通信装置などをさらに含んで構成することができる。

図２は、非調和モジュレータの一例を示す図である。

図２で、左側部分１２１は、モジュレータ１２０の非調和パターンを１Ｄ形態で表わし、右側部分１２２は、モジュレータ１２０の非調和パターンを２Ｄ形態で表わしたものである。一実施形態によれば、複数個の余弦信号、例えば、４個の余弦信号を合わせて非調和モジュレータ１２０を形成しうる。他の実施形態によれば、非調和モジュレータは、複数個の正弦信号を組み合わせて生成されうる。また、他の実施形態によれば、非調和モジュレータは、余弦信号及び正弦信号を組み合わせて生成されうる。

図３は、非調和モジュレータ１２０の一つのユニットパターンでグレイスケールを調整する構成の一例を示す図である。

従来には、減衰パターンを形成するために、フィルムに化学溶液を利用した。しかし、パターン形成にフィルム及び化学溶液を用いる場合には、例えば、μｍ単位の微細なパターンを正確に形成しにくい。

より正確な階調表現とパターンを有する減衰パターンとを含むモジュレータ１２０を製作するために、ナノ工程を用いて製作されるメタルマスクを利用できる。ここで、減衰パターン又はマスクは、ナノメーター（ｎａｎｏｍｅｔｅｒｓ）で互いに離隔したユニットを含んで、画像の空間解像度を増加させることができる。例えば、ユニットは、０．０５μｍ、０．５μｍ、５μｍ、１０μｍ、２５μｍ、又は他の所望の距離量ほど互いに離隔することができる。例えば、ユニットは、約０．１μｍないし１０μｍの範囲で離隔することができる。

減衰パターンは、減衰パターンを形成するユニットパターンを複数のセクションに分割する時、該分割された複数のセクションを遮蔽した程度によって複数のグレイスケールを形成するように構成することができる。例えば、ユニットパターンは、一つ以上のピクセル又はセンサー、例えば、２個のセンサー、５個のセンサー、１５個のセンサー、２５個のセンサー、５０個のセンサーなどを含みうる。各セクションは、複数のユニット、例えば、２個のユニット、５個のユニット、１５個のユニット、３０個のユニット、６０個のユニットなどを含みうる。グレイスケールを生成するために、ユニットの一部は遮断され、ユニットの他の一部は、光を透過するように許容することができる。

図３は、３個の相異なる階調を有する領域（又はユニットパターン）３１０、３２０、３３０を表わす。図３に示されたように、領域３１０のあらゆる領域を遮蔽して、おおよそ“０”のグレイスケールを作り、領域３２０の半分に該当する領域を遮蔽して、おおよそ“０．５”のグレイスケールを作り、ユニットパターン３３０を遮蔽しない方式で、おおよそ“１”のグレイスケールを作ることができる。

領域３２０に示されたように、センサー領域は、多数個のユニットを有する領域に分割されうる。この例において、領域は、２５個のユニットを含む。グレイスケールを生成するために、マスクは、光が透過することを阻むために、一つ以上のユニットを遮断することができる。例えば、マスクは、２５個のユニットのうちから１３個を遮断して、おおよそ“０．５”の値を生成することができる。おおよそ“０．５”の値は、例示的な目的として認識されなければならず、グレイスケールは、所望の値に調整されうる。

図４は、非調和モジュレータ１２０の構成の一例を示す図である。

モジュレータ１２０は、透明層１２１及び透明層１２１上に配されるメタル層１２２を含みうる。メタル層１２２は、減衰パターンを形成して透明層を通過した光を相異なる大きさに減衰させる。このように、ナノ工程によって製作されたモジュレータ１２０を用いてモジュレータ１２０の性能を向上させることで、正確な光場データを取得することができる。

図５は、非調和モジュレータ１２０によって形成される周波数応答のスペクトルレプリカを示す図である。

図５は、一つの空間の次元ｘ及び一つの角度の次元θを有する２Ｄ光場空間と１次元（１Ｄ）センサーを仮定した場合の非調和モジュレータ１２０によって形成されるスペクトラルレプリカを表わす。ｆxは、空間の次元xに対して周波数空間での大きさを表わし、ｆθは、角度の次元θに対する周波数空間での大きさを表わす。

ｆx及びｆθに対して、それぞれ帯域幅が制限されると仮定すれば、ｆx軸に沿って配されたスライス（点線で表示されたボックス）５１０は、センサー１３０で感知された画像に対応する。ここで、モジュレータ１２０の光場の空間変調による周波数応答が、図５に示されたように、インパルスと仮定する。

光場が、モジュレータ１２０によって空間変調されれば、これらインパルスのそれぞれは、その中心周波数で光場のスペクトルレプリカを生成する。したがって、図５に示されたように、光場の多様なスペクトルレプリカが、斜線５０１に沿って配列される。

変調された光場のスペクトルのスライス５１０は、元の光場でのあらゆる情報を含む。ｆx軸に対する斜線５０１の角度は、θ及びｘ次元で要求される周波数分解能と入来する光場の帯域幅に基づいて設計されうる。

図５で、各タイルは、光場データを表わす。非調和モジュレータ１２０を用いて光場を変調すれば、図５に示されたように、モジュレータ１２０の２Ｄ信号に対する周波数応答は、位置に依存する。これに応じて、空間データの帯域幅も不均一になる。モジュレータ１２０を用いてさらに低い角周波数領域の空間データを相対的にさらに多く取得し、残りのさらに高い角周波数領域の空間データを相対的にさらに少なく取得するように光場データを取得することができる。

図６は、光場データ処理装置で得た２次元信号にフーリエ変換を適用して得た画像の一例を示す図である。

図６は、センサー１３０で感知された２Ｄ信号にフーリエ変換を適用して得た画像６１０を示す。図６に示されたように、画像６１０は、非調和モジュレータ１２０を用いて、中間部分に表われる低い角周波数領域の空間データを多く取得し、画像６１０の高い角周波数領域を表わすエッジ部分に行くほど空間データを少なく取得したということを表わす。

図７は、光場スペクトルを復調して光場データを復元する過程を示す図である。

図５に示されたように、１Ｄのセンサーと２Ｄ光場データとを仮定する時、光場スペクトルの復調は、感知された１Ｄ信号のエネルギーを２Ｄの光場の空間に再分配する過程である。

図７の点線で表示されたボックス７１０は、図５に示されたスライス５１０にゼロパディングを適用した結果を表わす。

復調過程（矢印で表示）は、センサーの周波数応答を再配列して、帯域制限された光場データ７２０を復元する。このような光場データの復元過程は、２Ｄセンサーで感知された２Ｄ信号を４Ｄ光場データに復元する過程に同様に適用可能である。

高い角周波数領域の空間データをゼロパディングによって低い角周波数領域の空間データと大きさとを有するようにして、４Ｄ光場データに復調することができる。このように、復調された信号に逆フーリエ変換を適用して、全体的な空間分解能が向上した画像が得られる。

図８は、図６の画像に対してゼロパディングが行われた画像の一例を示す図である。２Ｄセンサーで、図６に示されたように、得た信号に対してゼロパディングを行えば、図８に示されたような信号が得られる。

周波数領域で、空間変調による２Ｄ信号に対する周波数応答の位置を不均一にさせる非調和パターンを用いて、光場を空間変調するモジュレータを用いて光場データを取得することによって、空間解像度が向上した画像を生成することができる。前述した例は、静止画像と関連する。しかし、非調和モジュレータは、動画にも適用可能である。また、モジュレータの減衰パターンは、多視点画像及び動画像に適用されて３Ｄピクチャを生成するのに適用可能である。

前述したように、光場は、非調和減衰パターン、例えば、メタルマスクによって減衰される。したがって、画像の不均一なサンプリング、不要なデータを放棄してセンサーの活用度を改善し、画像の空間解像度の品質を高めるように行われる。ナノメーターで離隔したユニットを含むメタルマスクのように、ナノレベルの解像度を用いて、従来のフィルム又はＬＣＤ画面の限界が克服されうる。

本発明の一態様は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現しうる。前記のプログラムを具現するコード及びコードセグメントは、当該分野のコンピュータプログラマーによって容易に推論されうる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取れるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光ディスクなどを含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードとして保存されて実行可能である。

ここに説明された移動装置は、携帯電話、パーソナル・デジタル・アシスタント（ＰＤＡ）、デジタルカメラ、ポータブルゲームコンソール、ＭＰ３プレーヤー、携帯／パーソナルマルチメディアプレーヤー（ＰＭＰ）、ハンドヘルド電子ブック、携帯用ラップトップ及び／又はタブレットパーソナルコンピュータ（ＰＣ）、グローバル・ポジショニング・システム（ＧＰＳ）ナビゲーション、デスクトップＰＣ、高画質テレビ（ＨＤＴＶ）、光ディスクプレーヤー、セットトップボックスなどのように、無線通信又はネットワーク通信ができるデバイスであり得る。

コンピュータシステム又はコンピュータは、バス、ユーザインターフェース及びメモリコントローラと電気的に連結されるマイクロプロセッサとを含みうる。コンピュータシステム又はコンピュータは、またフラッシュメモリ装置をさらに含みうる。フラッシュメモリは、メモリコントローラを通じてＮビットデータを保存することができる。Ｎビットデータは、マイクロプロセッサによって処理されるか、処理され、ここで、Ｎは、１又は複数の整数であり得る。コンピュータシステム又はコンピュータが移動装置である時、コンピュータシステム又はコンピュータに電源を供給するために、バッテリーが付加的に提供されることがある。

コンピュータシステム又はコンピュータが、アプリケーションチップセット、ＣＩＳ（ｃａｍｅｒａ ｉｍａｇｅ ｐｒｏｃｅｓｓｏｒ）、ＤＲＡＭ（ｄｙｎａｍｉｃ ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）などをさらに含みうるということは当業者には明白である。メモリコントローラ及びフラッシュメモリ装置は、データを保存するのに不揮発性メモリを利用するＳＳＤ（ｓｏｌｉｄ ｓｔａｔｅ ｄｒｉｖｅｒ／ｄｉｓｋ）を構成することができる。

ここに利用される“ピクセル”は、光子を電気的電荷に変換する少なくとも一つの光センサーを含む光−素子単位を表わす。各ピクセルの検出器又はフォトセンサーは、例えば、ピンドフォトダイオード、ｐ−ｎ接合フォトダイオード、ショットキーフォトダイオード、光ゲート、他の適当な光変換装置又は光電荷を蓄積して保存することができる装置であり得る。

以上の説明は、本発明の一実施形態に過ぎず、当業者は、本発明の本質的特性から外れない範囲で変形された形態で具現することができる。したがって、本発明の範囲は、前述した実施形態に限定されず、特許請求の範囲に記載の内容と同等な範囲内にある多様な実施形態が含まれるように解析されなければならない。

本発明は、モジュレータ、モジュレータを利用した光場データの取得装置、モジュレータを利用した光場データの処理装置及び方法に関連の技術分野に適用可能である。

１００ 光場データ処理装置
１０５ 物体
１１０ レンズ
１２０ モジュレータ
１３０ センサー
１４０ データ処理部
３１０、３２０、３３０ 領域
５０１ 斜線
５１０ スライス
６１０ 画像
７１０ ボックス
７２０ 光場データ

Claims (38)

1. 光場のデータを取得して画像を生成する装置であって、
   周波数領域において４次元の光場の画像を空間変調するための減衰パターンを含むモジュレータと、
   前記空間変調された４次元光場の２次元信号を取得するセンサーとを含み、
   前記減衰パターンは、前記周波数領域における空間変調により、位置に依存して前記２次元信号の周波数応答を生成する、
   ことを特徴とする光場データの取得装置。
2. 前記モジュレータは、
   透明層と、
   前記透明層上に設けられるメタル層であって、前記減衰パターンを形成し、前記透明層を通過した光を異なる程度に減衰させるメタル層と、
   を含むことを特徴とする請求項１記載の光場データの取得装置。
3. 前記減衰パターンは、前記減衰パターンを形成するユニットパターンを、それぞれが複数のユニットを有する複数のセクションに分割し、それぞれのセクションの１以上のユニットを遮断して、それぞれのセクションのグレイスケールを生成することで、複数のグレイスケールの値を形成する、
   ことを特徴とする請求項１記載の光場データの取得装置。
4. 前記減衰パターンは、低い角周波数領域の空間データが、高い角周波数領域の空間データに比べて多く取得されるように構成される、
   ことを特徴とする請求項１記載の光場データの取得装置。
5. 光場のデータを処理して画像を生成する装置であって、
   ４次元の光場の画像を空間変調するための減衰パターンを含むモジュレータと、
   前記空間変調された４次元の光場の２次元信号を取得するセンサーと、
   前記２次元信号を用いて４次元の光場のデータを復元するデータ処理部とを含み、
   前記減衰パターンは、周波数領域における空間変調により、位置に依存して、前記２次元信号の周波数応答を生成する、
   ことを特徴とする光場データの処理装置。
6. 前記モジュレータは、
   透明層と、
   前記透明層上に設けられるメタル層であって、前記減衰パターンを形成し、前記透明層を通過した光を異なる程度に減衰させるメタル層と、
   を含むことを特徴とする請求項５記載の光場データの処理装置。
7. 前記減衰パターンは、前記減衰パターンを形成するユニットパターンを、それぞれが複数のユニットを有する複数のセクションに分割し、それぞれのセクションの１以上のユニットを遮断して、それぞれのセクションのグレイスケールを生成することで、複数のグレイスケールの値を形成するように構成される、
   ことを特徴とする請求項５記載の光場データの処理装置。
8. 前記減衰パターンは、低い角周波数領域の空間データが、高い角周波数領域の空間データに比べて多く取得されるように構成される、
   ことを特徴とする請求項５記載の光場データの処理装置。
9. 前記データ処理部は、
   前記センサーによって感知された２次元信号にフーリエ変換を適用して２次元のタイルを生成し、前記２次元のタイルの大きさが均一になるように、前記２次元のタイルの少なくとも一つにゼロパディングを行い、前記ゼロパディングが行われた２次元のタイルを４次元のタイルスタックに再構成し、前記再構成された４次元のタイルスタックに逆フーリエ変換を適用して４次元の光場のデータを復元する、
   ことを特徴とする請求項５記載の光場データの処理装置。
10. 前記データ処理部は、前記２次元のタイルの大きさが均一になるように、前記２次元のタイルの少なくとも一つにゼロパディングを行う時、前記２次元のタイルが、前記２次元のタイルのうち最も大きなタイルの大きさを有するようにゼロパディングを行う、
    ことを特徴とする請求項９記載の光場データの処理装置。
11. 前記データ処理部は、前記復元された４次元の光場のデータを用いて、前記少なくとも一つの角度から見た画像、異なる深さでのリフォーカス画像、及び高解像度画像のうちから少なくとも一つを生成する、
    ことを特徴とする請求項５記載の光場データの処理装置。
12. 光場のデータを処理する装置により実行される光場のデータを処理する方法であって、
    減衰パターンを含むモジュレータを用いて４次元の光場の画像を空間変調し、前記空間変調された４次元の光場の２次元信号を取得する段階と、
    前記２次元信号を用いて４次元の光場のデータを復元する段階とを含み、
    前記減衰パターンは、前記周波数領域における空間変調により、位置に依存して、前記２次元信号の周波数応答を生成する、
    ことを特徴とする光場のデータの処理方法。
13. 前記４次元の光場のデータを復元する段階は、
    前記感知された２次元信号にフーリエ変換を適用して２次元のタイルを取得する段階と、
    前記２次元のタイルの大きさが均一になるように、前記２次元のタイルの少なくとも一つにゼロパディングを行う段階と、
    前記ゼロパディングが行われた２次元のタイルを４次元のタイルスタックに再構成する段階と、
    前記再構成された４次元のタイルスタックに逆フーリエ変換を適用して４次元の光場のデータを復元する段階と、
    を含むことを特徴とする請求項１２記載の光場データの処理方法。
14. 前記ゼロパディングを行う段階は、前記２次元のタイルが、前記２次元のタイルのうち最も大きなタイルの大きさを有するようにゼロパディングを行う、
    ことを特徴とする請求項１３記載の光場データの処理方法。
15. 前記復元された４次元の光場のデータを用いて、少なくとも一つの角度から見た画像、異なる深さでのリフォーカス画像、及び高解像度画像のうち少なくとも一つを生成する段階をさらに含む、
    ことを特徴とする請求項１２記載の光場データの処理方法。
16. 光を空間的に変調するモジュレータであって、
    透明層と、
    前記透明層上に設けられるメタル層であって、前記減衰パターンを形成し、前記透明層を通過した光を異なる程度に減衰させるメタル層とを含み、
    前記減衰パターンは、前記周波数領域における空間変調により、位置に依存して、前記２次元信号の周波数応答を生成する、
    ことを特徴とするモジュレータ。
17. 前記メタル層は、前記減衰パターンを形成するユニットパターンを、それぞれが複数のユニットを有する複数のセクションに分割し、それぞれのセクションの１以上のユニットを遮断して、それぞれのセクションのグレイスケールを生成することで、複数のグレイスケールの値を形成する、
    ことを特徴とする請求項１６記載のモジュレータ。
18. 前記減衰パターンは、低い角周波数領域の空間データが、高い角周波数領域の空間データに比べて多く取得されるように構成される、
    ことを特徴とする請求項１６記載のモジュレータ。
19. ４次元の光場の画像を受信し、周波数領域における空間変調により、複数の不均一な２次元の周波数応答信号を生成するデータ取得部と、
    複数の感知された不均一な２次元の周波数応答信号を処理して４次元の光場のデータを生成するプロセッサと、
    を含むことを特徴とする画像処理装置。
20. 前記データ取得部は、通過する光を複数の不均一な２次元の周波数応答信号に減衰させるように構成された非調和減衰パターンを含むモジュレータを有する、
    ことを特徴とする請求項１９記載の画像処理装置。
21. 前記データ取得部は、前記不均一な周波数応答信号を感知するレンズ及び複数のセンサーをさらに含み、
    前記モジュレータは、前記レンズと前記複数のセンサーとの間に位置される、
    ことを特徴とする請求項２０記載の画像処理装置。
22. 前記複数のセンサーは、複数のセクションに分割され、
    それぞれのセクションは、複数のユニットを含み、
    前記非調和減衰パターンは、あるセクションの１以上のユニットを遮断して、そのセクションのグレイスケールの値を生成する、
    ように構成されることを特徴とする請求項２１記載の画像処理装置。
23. 前記非調和パターンは、非調和特性を有する和を有する２以上の余弦信号を組み合わせることで設計される、
    ことを特徴とする請求項２０記載の画像処理装置。
24. 前記非調和パターンは、非調和特性を有する和を有する２以上の正弦信号を組み合わせることで設計される、
    ことを特徴とする請求項２０記載の画像処理装置。
25. 前記非調和パターンは、非調和特性を有する和を有する余弦信号及び正弦信号を組み合わせることで設計される、
    ことを特徴とする請求項２０記載の画像処理装置。
26. 前記減衰パターンは、多くの空間データが存在する場合に低い角周波数領域における空間データが多く取得され、少ない空間データが存在する場合に高い角周波数領域における空間データが少なく取得されるように構成される、
    ことを特徴とする請求項２０記載の画像処理装置。
27. 前記プロセッサは、前記感知された不均一な２次元の周波数応答信号にフーリエ変換を適用して２次元のタイルを取得する、
    ことを特徴とする請求項１９記載の画像処理装置。
28. 前記プロセッサは、前記２次元のタイルの大きさが均一になるように、前記２次元のタイルの少なくとも一つにゼロパディングを行う、
    ことを特徴とする請求項２７記載の画像処理装置。
29. 前記プロセッサは、前記ゼロパディングが行われた２次元のタイルを４次元のタイルスタックに再構成し、前記再構成された４次元のタイルスタックに逆フーリエ変換を適用して、４次元の光場の画像を生成する、
    ことを特徴とする請求項２８記載の画像処理装置。
30. 前記ゼロパディングにより、前記２次元のタイルは、前記２次元のタイルのうちで最も大きなタイルの大きさを有する、
    ことを特徴とする請求項２８記載の画像処理装置。
31. ４次元画像の処理で使用される光マスクであって、
    透明層と、
    前記透明層に設けられ、前記減衰パターンを含むメタル層とを含み、
    前記減衰パターンは、４次元の光場の画像を受信し、周波数領域における空間変調により、通過する４次元の光場の画像を複数の不均一な２次元の周波数応答信号に減衰させる、
    ことを特徴とする光マスク。
32. 前記減衰パターンは、複数のユニットを含む複数のセクションを含み、
    それぞれのユニットは、約０．１μｍ〜１０μｍの範囲で離れて配置される、
    ことを特徴とする請求項３１記載の光マスク。
33. あるセクションの１以上のユニットは、通過する光を遮断し、そのセクションのグレイスケールの値を生成する、
    ことを特徴とする請求項３２記載の光マスク。
34. 前記減衰パターンは、２次元の非調和パターンを含む、
    ことを特徴とする請求項３１記載の光マスク。
35. 前記非調和パターンは、非調和特性を有する和を有する２以上の余弦信号を組み合わせることで設計される、
    ことを特徴とする請求項３４記載の光マスク。
36. 前記非調和パターンは、非調和特性を有する和を有する２以上の正弦信号を組み合わせることで設計される、
    ことを特徴とする請求項３４記載の光マスク。
37. 前記非調和パターンは、非調和特性を有する和を有する正弦信号及び余弦信号を組み合わせることで設計される、
    ことを特徴とする請求項３４記載の光マスク。
38. 前記減衰パターンは、低い角周波数領域の空間データが、高い角周波数領域の空間データよりも多く取得されるように構成される、
    ことを特徴とする請求項３１記載の光マスク。