JP5328165B2 - シーンの４ｄライトフィールドを取得する装置及び方法 - Google Patents

シーンの４ｄライトフィールドを取得する装置及び方法 Download PDF

Info

Publication number
JP5328165B2
JP5328165B2 JP2008015276A JP2008015276A JP5328165B2 JP 5328165 B2 JP5328165 B2 JP 5328165B2 JP 2008015276 A JP2008015276 A JP 2008015276A JP 2008015276 A JP2008015276 A JP 2008015276A JP 5328165 B2 JP5328165 B2 JP 5328165B2
Authority
JP
Japan
Prior art keywords
light field
mask
sensor
image
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008015276A
Other languages
English (en)
Other versions
JP2008191661A (ja
Inventor
ラメッシュ・ラスカー
アミット・クマール・アグラワル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Research Laboratories Inc
Original Assignee
Mitsubishi Electric Research Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Research Laboratories Inc filed Critical Mitsubishi Electric Research Laboratories Inc
Publication of JP2008191661A publication Critical patent/JP2008191661A/ja
Application granted granted Critical
Publication of JP5328165B2 publication Critical patent/JP5328165B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)
  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Image Analysis (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、包括的には画像処理及びコンピュータフォトグラフィに関し、特に、シーンの４Ｄライトフィールドをカメラにより取得することに関する。
画像処理及びコンピュータフォトグラフィの傾向は、画像の取得時に付加的な光学的情報を得ることである。これにより、ぼけ補正、リフォーカス、及び新たな画像等の取得後の画像処理用途が広がる。
鍵となる発想は、レンズを通してカメラに入り、カメラセンサに入射する４Ｄライトフィールド全体を取得することである。ライトフィールドは、空間内の全ての点を通って全方向に向かう光量を記述する関数である（Gershun著「ライトフィールド（The Light Field）」（Moon他訳、Journal of Mathematics and Physics, Vol. XVIII, MIT, 1939, pp. 51-151, 1939））。従来のカメラにおいて、検知される２Ｄ画像は４Ｄライトフィールドの単なる２Ｄ投影である。したがって、４Ｄライトフィールド全体を再構成することはできない。したがって、従来の画像を有意義な形で変更することのできる方法は非常に限られている。
光学要素、例えば、複数のレンズ、ミラー、ビームスプリッタ及び／又はセンサの複雑な配置を用いる場合、２Ｄセンサを用いて４Ｄ光線をリビニングして取得することができる（Georgiev他著「インテグラルフォトグラフィにおける空間角度分解能のトレードオフ（Spatio-angular resolution trade-offs in integral photography）」（EGSR, pp. 263-272, 2006））。そこでは、複数の光路を有するレンズアレイがライトフィールドの２平面パラメータ化の光学的実施を行う（Levoy他著「ライトフィールドレンダリング（Light field rendering）」（SIGGRAPH 96, pp. 31-42, 1996）、及びGortler他著「ルミグラフ（The lumigraph）」（SIGGRAPH, pp. 43-54, 1996）を参照）。しかし、光線の光学的リビニングは、レンズアレイにより空間分解能と角度分解能との間の固定的で永久的なトレードオフを強いる。
ライトフィールドの取得：インテグラルフォトグラフィ
各到来方向を別個に測定して全体的な４Ｄライトフィールド関数を推定する代わりに、ライトフィールドの取得が約１世紀前に初めて、４Ｄフィルム又はセンサ平面上の１点に到来する全ての光線の方向積分を「やり直す」ように記載された。当初の積分カメラ及びその変形の概観がOkano他著「インテグラルフォトグラフィに基づく３次元映像システム（Three dimensional video system based on integral photography）」（Optical Engineering 38, pp. 1072-1077, 1999）に記載されている。
自由空間内の全ての光線の表現としての４Ｄライトフィールドの概念は、Levoy他及びGortler他により記載されている。両者とも仮想視点から画像を作成したが、Levoy他は、仮想開口による画像の計算も記載した。しかし、そのような画像を計算する実用的な方法は、Isaksen他著「動的に再パラメータ化されるライトフィールド（Dynamically reparameterized light fields）」（SIGGRAPH, pp. 297-306, 2000）の４Ｄ補間及びフィルタリングの詳細な研究まで示されなかった。同様の方法が合成開口フォトグラフィとも呼ばれている（Vaish他著「密なカメラアレイの較正のための平面＋視差の使用（Using plane + parallax for calibrating dense camera arrays）」（Proc. Conf. Computer Vision and Pattern Recognition, pp. 2-9, 2004））。
４Ｄライトフィールドを２Ｄセンサにより取得するには、以下の２つの技法が最もよく用いられる。第１の技法は、レンズアレイを用いて、視点グリッドからシーンのライトフィールドを取得する。各レンズの後方で形成される画像は、角度サンプルの規則的なグリッドを与えて、インテグラルフォトグラフィに似た結果を与える。固定レンズアレイの代わりに、個々のカメラの光学的に等価な構成も用いることができる。その場合、正のレンズアレイは、プリズムを用いて従来のカメラの正面に配置される。
第２の技法は、１枚の大型レンズをマイクロレンズアレイの正面に配置し、各マイクロレンズを空間サンプル用に処理する。それらのプレノプティックカメラは、マイクロレンズアレイ上に画像を形成し、各マイクロレンズが、その点における放射輝度の角分布をサンプリングする画像を生成する。この技法は、像平面上の空間サンプル及び角度サンプルの配置を入れ替える。
上記の技法はいずれも、角度差を解消することができる代償として空間分解能を犠牲にする。それらの技法は、センサに対するマイクロレンズ及び光路の非常に正確な位置合わせを要求する。明らかに、それらの技法は、レンズ、開口及びセンサのみを備える単純な従来の（デジタル）カメラには適さない。
符号化結像法
天文学では、ピンホールカメラの制約を克服するために符号化開口結像法が用いられている（Skinner著「符号化マスクを用いるＸ線撮像（X-Ray Imaging with Coded Masks）」（Scientific American 259 p. 84, August 1988））。改良均一冗長アレイ（ＭＵＲＡ）が遠くの星の光分布を符号化するために用いられている。しかし、開口結像法は、従来のカメラに用いられているようなレンズの使用を除外する。
符号化露出カメラは、モーションブラー画像において高空間周波数を保存し、ぼけ補正プロセスを良好に行わせることができる（Raskar他著「符号化露出写真撮影：フラッタシャッターを用いるモーションブラー補正（Coded exposure photography: motion deblurring using fluttered shutter）」（ACM Trans. Graph. 25, 3, pp. 795-804, 2006）及びRaskarにより２００６年５月８日付で出願された米国特許出願第１１／４３０，２３３号「画像のぼけ補正方法及びぼけ補正装置（Method and Apparatus for Deblurring Images）」を参照、両文献を参照により本明細書中に援用する）。その技法は、時間変調を用いて画像中のモーションブラーを最小化する。
レンズ及び符号化マスクを含む従来技術の光学システムはかなり限られている。或るシステムは、４つのピンホールを有するマスクを主レンズの正面に配置し、４枚の画像を取り込むことによって焦点外れから深度を推定する（Hiura他著「多焦点カメラによる深度測定（Depth measurement by the multi-focus camera）」（CVPR '98: Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, IEEE Computer Society, Washington, DC, USA, p. 953, 1998））。しかし、ライトフィールドの取得には１枚の画像のみを用いることが望ましい。
非球面レンズを用いてぼけが深度に依存しない画像を生成する被写界深度（ＤＯＦ）を深くする別の技法に波面符号化がある（Dowski他著「波面符号化：高性能及び／又は低コストの撮像システムを達成する現代的方法（Wavefront coding: A modern method of achieving high performance and/or low cost imaging systems）」（SPIE Annual Meeting, 1999））。Dowski他の結果は画像の被写界深度を深めるが、そのデザインはライトフィールドを提供することができない。
本発明の実施の形態は、シーンの４Ｄライトフィールドを取得して再構成する方法及び装置を提供する。ライトフィールドは、シーンに関してカメラの２Ｄデジタルセンサにより、カメラのレンズとセンサとの間の光路内にパターン平面マスクを配置して取得される。この透過マスクは、検知される前の４Ｄライトフィールドを空間変調する。４Ｄライトフィールドは、２Ｄセンサ画像から再構成することができる。
従来技術のライトフィールドカメラは、複数のレンズ、（及び／又は）複数のセンサ、（及び／又は）複数の画像、又は複数の光路を必要とする。
マスクは、高周波パターン又は広帯域パターンを有し得る。パターンマスクは、カメラ内の光線を、従来技術のライトフィールドカメラにおいて行われるように曲げるのではなく、部分的に減衰させる。減衰は、４Ｄライトフィールドを２Ｄセンサ上に２Ｄ入力画像として再構成可能に変調及び符号化する。カメラは、従来の２Ｄ画像をフルセンサ分解能で取得するために用いられる従来のカメラと全く同様に焦点を合わせることができる。すなわち、カメラは、「静止」ショット、又は映像を取得することができる。
本発明の実施の形態によるカメラでは、ピクセル輝度も変調４Ｄライトフィールドを分解することができる。ライトフィールドは、センサピクセル値の２Ｄフーリエ変換のタイルを４Ｄ平面に並べ替え、逆フーリエ変換を求めて４Ｄライトフィールドを復調することによって再構成することができる。
広帯域マスクをレンズの近く、例えば開口内に配置すると、本方法は、層状ランベルトシーンの画像に関してフルセンサ分解能でリフォーカスすることができる。４Ｄライトフィールドのこの部分的変調及び符号化は、不要な遮蔽物を削除、又は抑制するための深度による画像コンテンツの編集を可能にする。
本発明の実施の形態は、容易に調整可能なハイブリッド型撮像／ライトフィールドカメラデザインを用いる。ユーザは単に、レンズアレイではなく単一の減衰マスクを変更することができる。
本発明は、光線を一次結合することができるという事実を利用する。自ピクセルセンサ上の各４Ｄ光線を検知する代わりに、本発明のデザインは、光線の一次独立加重和の検知を可能にする。光線は、次に符号化画像内に結合することができる。符号化画像は、次に復号又は復調されて、４Ｄライトフィールドの光線を再構成することができる。これらの操作は、光線空間ではなくフーリエ領域で行うことができる。
４Ｄ光線空間から２Ｄセンサアレイへのマッピングは、周波数領域において最も良好に記述されるヘテロダイン処理法も利用することができる。変調理論及び畳み込み理論を周波数領域において利用することによって、単純な減衰マスクを求めることができる。このマスクは、カメラの光路内に配置して、フーリエ領域のリマッピングを達成することができる。追加レンズは必要なく、復号光線は必要に応じてソフトウェアにより計算することができる。
本発明は、それ以外は従来通りのカメラの光路内に配置されて、カメラにより取得された画像に対する異なるタイプの計算による改良を可能にする符号化マスクを提供する。本発明では、細かい狭帯域マスクをセンサの正面近くに配置することができる。すると、カメラレンズに入る４Ｄライトフィールドを計算により再構成することができる。マスクは、カメラが画像の集束部分をセンサのフル分解能で取り込む機能を、４Ｄライトフィールドを取り込むために用いられるのと同一の露光で保存する。
代替的に、本発明では、粗い広帯域マスクをレンズ開口に配置する。すると、焦点の外れた画像をフル分解能で計算によりリフォーカスすることができる。このリフォーカスはデコンボリューションに依存しているため、一定の又は一枚毎の平面集束を必要とする画像の集束を補正することができる。他のマスク位置及び空間周波数も可能である。
本明細書では、４Ｄライトフィールドの有用な部分を符号化及び操作する方法を記載する。４Ｄ光線空間のフーリエ変換を２Ｄセンサ上にリマッピングする一種の４Ｄカメラを特定する。従来の４Ｄライトフィールドカメラは、２Ｄレンズアレイを用いて、光線のフーリエ変換ではなく４Ｄ光線空間自体を投影する。本発明では、この周波数領域リマッピングを、単一の透過マスクを用いて達成し、本発明の方法は、従来の４Ｄライトフィールドカメラのようにレンズアレイ等の追加の光学要素を必要としない。
ヘテロダインライトフィールドカメラデザインは、４Ｄ周波数領域における変調理論に基づく。本発明では、無線の「ヘテロダイン処理」として知られる方法の４Ｄ版を用いてライトフィールドを取得する。高周波正弦波パターンをカメラのレンズとセンサとの間に配置することにより、４Ｄ周波数領域においてライトフィールドのスペクトルタイルを生成する。４Ｄライトフィールドを再構成するために、２Ｄ検知信号のフーリエ変換を取り、２Ｄタイルを４Ｄ平面群にリアセンブルし、逆フーリエ変換を取る。
レンズアレイに依存する従来の４Ｄカメラとは対照的に、本発明のハイブリッド型撮像／ライトフィールドデザインは、シーンの焦点の合った部分に対して分解能のトレードオフを強いない。マスクは、シーンからセンサへと移動する光線を曲げず、光線を細かい影のようなパターンで単に減衰させる。この影付けを補償すれば、シーンのフル分解能２Ｄ画像、及びフーリエ領域での復号により再構成する低分解能４Ｄライトフィールドが保持される。
符号化ぼけカメラデザインは、周波数領域における畳み込み理論に基づく。広帯域マスクをそれ以外は従来通りの２Ｄカメラの開口内に配置することにより、本発明では、焦点外れによりぼけを符号化して、高空間周波数を保存し、これをその後、画像のぼけ補正により再構成することができる。本明細書では、フル分解能画像を層状ランベルトシーンの様々な深度で計算によりリフォーカスする方法を示す。この計算されたリフォーカスは、４Ｄライトフィールド全体の測定を必要とせず、その膨大な分解能ペナルティを回避することを可能にする、周波数領域における４Ｄリマッピングの特別な場合である。両デザインに関して、本明細書では、マスクパターンの最適性基準を記載すると共に、高効率マスクを計算する方法を記載する。
本発明のマスクベースのハイブリッド型撮像／ライトフィールドカメラは、以前の方法に勝るいくつかの利点を提供する。減衰マスクは、複数のカメラ又はレンズアレイよりも遥かに単純で低コストであり、球面、色収差、コマ収差、及び位置ずれ等の誤差を回避する。より単純な高周波結合器及びフレキシブルマスクは、ユーザが選択可能なマスクを提供するカメラデザインを可能にする。撮影者は、角度対空間分解能のあらゆる所望のトレードオフを選択することができる。
ライトフィールドカメラ
図１及び図２に示すように、本発明の実施形態は、シーン１０２の４Ｄライトフィールド１０１を取得して再構成するカメラ１００及び２００を提供する。カメラ１００は、従来のレンズ１１０と、従来の開口１１５と、従来のセンサ１２０とを備える。レンズは、複合レンズのように、視差、コマ収差及び歪みを補正するために複数の要素を含み得る。しかし、光路１０３は１つしかないことを理解すべきである。スキャナはＣＣＤラインスキャナとすることができる。
カメラはまた、本明細書中で説明する方法を実施するために用いることができるマイクロプロセッサ（μＰ）１４０を備える。基本的に、マイクロプロセッサは、４Ｄライトフィールドを符号化する２Ｄ入力画像１０１を受け取り、ライトフィールドの再構成である出力画像１０４を生成することができる。出力画像１０４は入力画像の復調である。
入力画像はライトフィールドを符号化するため、出力画像は、より小さな開口又はピンホール開口を用いたかのように、異なるか又はより深い被写界深度にリフォーカスすることができる。出力画像１０４は、ぼけ補正されるか、又は新たな画像とすることができる（図１３及び図１４を参照）。
カメラはまた、レンズとセンサとの間の直線光路内に配置されるパターンマスク１３０を備える。パターンはライトフィールドを部分的に減衰させる。パターンは、空間的に低周波数又は空間的に高周波数、又はその中間とすることができる。事実上、パターンは、センサ１２０によりシーン１０２に関して取得された４Ｄライトフィールドを空間変調する。パターンはまた、解析２Ｄ関数、２値関数、又は連続２Ｄ関数であり得る。光路内に複数のマスクを配置することができることも理解すべきである。
カメラ１００において、空間的に連続した高周波２Ｄマスク１３０（図１１Ａを参照）は、レンズからセンサへの光路１０３内に配置される。図１のカメラ１００に関して図示されるように、マスク１３０は、センサ１２０の前面又はその近くに配置されて、ヘテロダインライトフィールド１０１を生成する。図２のカメラは、レンズの近く又は開口１１５内に配置される空間的に連続した低周波マスク２３０（図１１Ｃを参照）を有する。これらのカメラは、マスク及びマイクロプロセッサ内で動作する方法を除けば従来通りである。
減衰された４Ｄ光がセンサ１２０により検出されれば、本発明の基本的な目的は達成される。センサ、すなわち、センサ素子又はピクセルは今や、入射４Ｄライトフィールドを再構成するのに十分な４Ｄライトフィールドの変調２Ｄ「画像」を蓄えている。
本発明の実施形態はまた、取得された４Ｄライトフィールドの各部分を符号化及び操作する方法を説明する。本発明では、４Ｄ光線空間のフーリエ変換を２Ｄセンサ上にリマッピングする一種の４Ｄライトフィールドカメラを説明する。
対照的に、従来技術の４Ｄカメラは、２Ｄレンズアレイを用いて、弧線空間のフーリエ変換ではなく４Ｄ光線空間そのものを投影していた。
本発明では、この周波数領域でのリマッピングを単一の透過マスクを用いて達成し、本発明の方法は、従来技術のようにレンズアレイ等の追加の光学要素を必要としない。言い換えれば、本発明のカメラ内の直線の単一の光路は完全に従来通りである。
本発明の分析は、２つのカメラデザインにつながる。図１は、ヘテロダインライトフィールドカメラ１００を示す。このデザインは、４Ｄ周波数領域における変調理論に基づく（Fessenden著「ワイヤレステレフォニー（Wireless telephony）」（Trans. American Institute of Electrical engineers 27, pp. 553-629, 1908、参照により本明細書中に援用される）を参照）。
本発明では、無線シグナリングにおいて「ヘテロダイン処理」として知られる方法の光学４Ｄ光学版を用いてライトフィールドを取得する。ヘテロダイン処理は、２つ以上の信号を非線形的に混合することにより新たな周波数を生成する。２周波数の混合は、２周波数の和である第１の周波数と、差である第２の周波数とを生じる。本発明のカメラにおけるヘテロダイン処理は、透過マスク１３０により生成される。本発明では、カメラのレンズとセンサとの間の光路内に配置されたマスク１３０（図１１Ａを参照）上に高周波正弦波パターンを形成することによって４Ｄ周波数領域のライトフィールドのスペクトルタイルを生成する。
４Ｄライトフィールド（図５〜図７を参照）を再構成するために、本発明では、センサにより検知される２Ｄ信号のフーリエ変換を計算し、２Ｄタイルを４Ｄ平面群内にリアセンブルし、平面群に逆フーリエ変換を適用する。
レンズアレイに依存する従来技術の４Ｄライトフィールドカメラとは異なり、本発明のハイブリッド型撮像／ライトフィールドカメラは、シーン１０２の焦点の合った部分に対して分解能のトレードオフを強いない。マスクは、シーンからセンサへの直線光路に沿って移動する光線を曲げない。マスクは、光線を影のようなパターンで減衰させるだけである。減衰は、ライトフィールドの空間変調を行う。この影を補償すると、シーンのフル分解能２Ｄ画像を保持することになる。さらに、本発明では、フーリエ領域での復号又は復調によって４Ｄライトフィールドを再構成することができる。
図２に示すカメラ２００は、周波数領域における畳み込み理論に基づく（Oppenheim他著「離散時間信号処理（Discrete-Time Signal Processing）」（Prentice-Hall, 1999、参照により本明細書中に援用される））。低周波マスク２３０を、それ以外は従来通りの２Ｄカメラのレンズ開口１１５の近く又はレンズ開口１１５内に配置することによって、焦点外れによるぼけを符号化して、高空間周波数を保存する。高空間周波数はその後、画像ぼけ補正技法（図１３及び図１４を参照）によって再構成することができる。
本発明では、フル分解能画像を層状ランベルトシーンの様々な深度で計算によりリフォーカスする方法を説明する。この計算されたリフォーカスは、４Ｄライトフィールド全体の測定を必要としない周波数領域における４Ｄリマッピングの特別な場合である。これにより、分解能のペナルティが回避される。
両方のカメラデザインに関して、マスク１３０及び２３０の最適性デザイン基準を説明すると共に、効率の高いマスクを生成する方法を説明する。
ライトフィールド
図３及び図８は、本発明の実施形態の基本的な動作を示す。図３は、符号化ぼけカメラ２００の光学素子を示す。図８は、ヘテロダインライトフィールドカメラ１００の光学素子を示す。
光線空間において、シーン点３１０からの４Ｄライトフィールドの焦点の合ったシーン光線（ｌ）は、レンズ及びマスクを通じてセンサ１２０上の点（ピクセル）３２０に収束する。焦点の外れた光線は、センサ画像上にマスクパターンを刻印する。
図４に示すようなフーリエ領域において、ランベルトシーンのライトフィールド４１０には角度寸法θの変化がなく、水平スペクトルを形成する。開口に配置されたマスクにはｘ平面の変化がなく、垂直スペクトルを形成する。変調ライトフィールド４３０のスペクトルは、マスク変調関数４２０により、２つのスペクトルの畳み込みとなる。焦点の合ったセンサは、焦点が外れると傾斜する水平スペクトルスライスを測定する。
本発明では、一空間次元がｘ平面３０１にあり、一角度次元がθ平面３０２にある２Ｄライトフィールド空間（ＬＳ）と、光学的に、位置Ｓｎｅａｒ、Ｓ０（焦点が合っている）、及びＳｆａｒへの焦点に応じて移動するとみなすことができる１Ｄセンサ１２０とを考慮する。本発明では、変数を下付き文字で示し、それらに対応するフーリエ領域表現を上付き文字で示す。ｌ（ｘ，θ）が図３に示すような、双平面パラメータ化された２Ｄライトフィールドを示すものとする。θ平面３０２は、主レンズ、又は複合レンズを有するカメラの場合には開口の平面となるように選択される。平面ランベルトシーンの場合、ｘ平面３０１はシーン平面と一致するものと仮定する。
光学要素がライトフィールドに及ぼす影響
次に、本明細書中でフーリエ領域ライトフィールド空間（ＦＬＳ）と呼ぶ周波数領域の２Ｄライトフィールドに対する、センサ、レンズ及び開口等の様々な光学要素の効果を論じる。（ｘ，θ）空間を一次領域と呼ぶ。
センサ：１Ｄ（２Ｄ）センサ上に形成される画像は、カメラに入る２Ｄ（４Ｄ）ライトフィールドの１Ｄ（２Ｄ）投影であり、フーリエ空間のライトフィールドのスライス４４０にも対応する（図４を参照）。様々な焦点設定（図３を参照）に関して、得られた画像は、様々な角度／軌跡のスライスに対応する。
レンズ：薄型レンズが、ライトフィールドのｘ平面を、薄型レンズの式：１／ｘ＋１／ｖ＝１／ｆにより得られる共役平面にシフトする。ここで、ｘはシーンからレンズの中心までの距離であり、ｖはレンズの中心からセンサまでの距離であり、ｆはレンズの焦点距離である。レンズはまた、ライトフィールドのｘ平面を反転させる。
開口：カメラの開口は光制限器として働き、開口を通過する光線のみをカメラに入れる。開口を通過したライトフィールドｌは次式によって与えられる。
Figure 0005328165
ここで、α（ｘ，θ）は、α（ｘ，θ）＝ｒｅｃｔ（θ／２θ０）により得られる開口（矩形）変調関数であり、２θ０は開口のサイズである。
式（１）から、開口の後のライトフィールドのフーリエ変換は次式により与えられる。
Figure 0005328165
ここで、○×は畳み込みを示す（なお、○×は、○と×が重複したテンソル積又はクロネッカー積を表す）。Ｌ及びＡはそれぞれ、（開口の前の）ライトフィールドのフーリエ変換及び開口変調関数である。（ｘ，θ）はｒｅｃｔ関数であるため、次式が成り立つ。
Figure 0005328165
ＦＬＳ及びライトフィールド中の情報コンテンツ
ライトフィールドは、自由空間における光線の４Ｄ表現である。２Ｄセンサは、このライトフィールドの１つの２Ｄスライスしかサンプリングすることができない。シーンに応じて、ライトフィールド中の情報コンテンツは、ライトフィールドの様々な部分に集中する。
平面ランベルトシーン
撮像されるシーンが、ｘ平面３０１において平面ランベルトシーン４１０を含むものと仮定する。ランベルトシーンからの光線の放射照度には角度変化がないため、そのライトフィールド４１０の情報コンテンツは、ｆｘ軸に沿ったものに制限される。したがって、全ての０でないｆθに関してＬ（ｆｘ，ｆθ）＝０である。Ｌ（ｆｘ，ｆθ）はｆθに依存せず、Ａ（ｆｘ，ｆθ）はｆｘに依存しないため、式（２）及び（３）から次式が得られる。
Figure 0005328165
検知される画像は、この変調ライトフィールド４３０のスライス４４０である（図４を参照）。
センサの焦点が合っている時（図３の（Ｓ０））、シーン点からの全ての光線がセンサピクセルに収束する。したがって、焦点の合った画像は、ｆｘ（ｆθ＝０）に沿ったＬＡ（ｆｘ，ｆθ）のスライスに対応する。ｙ（ｓ）及びＹ（ｆｓ）がそれぞれ、センサ観測値及びそのフーリエ変換を示すものとする。焦点の合ったセンサに関して、次式が成り立つ。
Figure 0005328165
したがって、ランベルト平面に焦点が合っている場合、失われる情報はない。したがって、次式が成り立つ。
Figure 0005328165
したがって、焦点の外れた設定の場合（Ｓｎｅａｒ及びＳｆａｒ）、ライトフィールドは、開いた開口のサインカーディナル（シンク）関数であるマスク変調関数４２０の周波数変換により減衰される。これは、シーンの焦点が外れている時に取得される信号における高空間周波数の減衰を説明する。
したがって、結果として得られる開口変調関数４２０が広帯域周波数応答を持つように開口を修正し、画像の焦点が外れている時にライトフィールドの高空間周波数が確実に保存されるようにする。
ちなみに、ピンホールカメラの場合、開口関数はＤｉｒａｃデルタ関数であり、開口変調関数はｆθにおいて広帯域である。これは、ピンホールカメラにより取得される画像は常に焦点が合っている理由を説明する。しかし、極めて小さな開口を有するピンホールカメラは、光を著しく損失し、画像の信号対雑音比（ＳＮＲ）を下げる。
注意深く選択されたマスクを用いて、ｆθにおけるライトフィールドの広帯域変調器の機能を行い、後述するように、ピンホールカメラと比較して取り込まれる光量を増やしながら、ランベルトシーンのより高い自由度を実現することができる。
帯域制限ライトフィールド
一般のシーンに関して、ライトフィールドは、図５に示すようにｆｘ０及びｆθ０に帯域制限されているものと仮定する。
全ての｜ｆｘ｜≧ｆｘ０，｜ｆθ｜≧ｆθ０に関して、Ｌ（ｆｘ，ｆθ）＝０
従来のカメラは、２Ｄ（４Ｄ）ライトフィールドの１Ｄ（２Ｄ）スライスしか撮影することができない。ライトフィールドの情報コンテンツ全体を再構成するために、到来ライトフィールドを、４Ｄ ＦＬＳ空間からのエネルギーを２Ｄセンサ空間に再分配するように変調する。
図５は、ヘテロダインライトフィールドカメラ１００におけるスペクトルスライシングを示す。フーリエ領域において、センサは、水平軸（ｆθ＝０）のみに沿ってスペクトルを測定する。マスクなしの場合、センサ１２０は２Ｄライトフィールドスペクトル全体を取得することができない。マスクスペクトルは、角度αだけ傾斜したインパルス列を形成する。
本発明の変調理論に従って図６に示されるように、センサライトフィールド及びマスクスペクトルは畳み込まれて、スペクトルレプリカを形成し、ライトフィールドスペクトルスライスをセンサの広いｆθ＝０平面に沿って配置する。
図７に示すように、ライトフィールドスペクトルを再構成するために、センサスライスを復調することによってセンサスペクトルセグメントを、矢印によって示されるように平行移動させて元のｆｘ位置及びｆθ位置に戻し、ライトフィールド１０１を再構成する。
ヘテロダインライトフィールドカメラ
要求される変調は、図８に示すようなレンズとセンサとの間の適切な位置に配置された、適切に選択された２Ｄマスクを使用することによって周波数領域において達成することができる。このマスクは２Ｄ変調器にすぎない。しかし、驚くべきことに、レンズ１１０と並行して、所望の４Ｄ変調を達成することができる。
本発明者らは、本発明の実施形態によるカメラが、追加のレンズ又は他の光線を曲げる光学装置を一切使用しない「単一スナップショット」ライトフィールドカメラの最初のデザインであると考える。
変調理論及びその示唆
Oppenheim他による変調理論は、広帯域信号ｓ（ｘ）が周波数ｆ０のコサインで変調されると、その結果はその周波数における信号のレプリカとなると述べている。
Figure 0005328165
ここで、Ｆ（ｆｘ）はｓ（ｘ）のフーリエ変換を示す。この原則は、電気通信システム及び無線システムにおいて広く用いられている。そこでは、ベースバンド信号が、遥かに高い周波数の搬送波周波数を用いて変調され、ベースバンド信号を大幅なエネルギーの損失なく長距離送信できるようになっている。受信機は、受信した信号を復調して、ベースバンド信号を再構成する。本質的に、本発明では同様の結果を光学領域で達成したい。
ライトフィールドの角度変化（ｆθ周波数）における情報をｆｘのより高い周波数に変調して、高分解能センサ１２０がこの情報を検出できるようにしたい。
図５は、周波数領域における所望の帯域制限ライトフィールド５０１を示す。簡略化のために、ｘ平面を共役平面であると仮定し、センサ画像がｆｘに沿ったスライス、すなわち水平スライスに対応するようにする。ここで、図５及び図６に示すような、周波数応答が斜線５０３上に配置されるインパルスから成る変調関数５０２を考える。
ライトフィールドがそのような変調関数によって変調される場合、これらのインパルスの各々は、その中心周波数においてライトフィールドのスペクトルレプリカを生成する。したがって、この畳み込みの結果は、斜線に沿った所望のライトフィールドのいくつかのスペクトルレプリカとなる（図６を参照）。
この特定の変調の優雅さは、変調ライトフィールドスペクトルの水平スライス６１０（破線枠）がここで、元のライトフィールドの全ての情報を取り込んでいることである。なお、角度α５０３は、θ次元及びｘ次元の必要な周波数分解能、並びに到来ライトフィールドの帯域幅に基づいてデザインされる。
電気通信におけるヘテロダイン受信機は、到来信号を復調してベースバンド信号を再構成する。図７に示すような本発明の場合、復調はまた、１Ｄ信号を２Ｄライトフィールド空間に再分配する。この復調プロセスは、センサの周波数応答Ｙ（ｆｓ）を並べ替えて、図７に示すように帯域制限ライトフィールドＬ（ｆｘ，ｆθ）１０１を再構成する。
マスクベースのヘテロダイン処理
図５及び図６に示す変調は、適切に選択された減衰マスクをレンズとセンサとの間の光路に配置することによって達成することができる。
ライトフィールド変調器としてのマスク
図８に示すように、本発明のマスクは本質的に、レンズとセンサとの間の光路に配置される特別な１Ｄ符号ｃ（ｙ）（４Ｄライトフィールド４１０の場合は２Ｄ）である。このマスクは１Ｄであるが、その変調関数４２０は２Ｄである。本発明のヘテロダインライトフィールドカメラ用の構成を図９及び図１０に示す。光線空間において、ｄにおけるコサインマスクは、図８に示すようにセンサに柔らかな影を落とす。
図１０に示すフーリエ領域において、インパルスから成るマスクスペクトルと畳み込まれるシーンスペクトルは、ずれたスペクトルタイル９１０を生成する。マスクスペクトルのインパルスは、ｄ＝０において水平であり、ｄ＝ｖにおいて垂直であるか、又は傾斜している。
マスクは、カメラ内の光路に沿って配置される場所に応じて、ライトフィールドに異なる影響を及ぼす。マスクが開口１１５、すなわちθ平面に配置される場合、マスクの影響は、開口変調関数にマスク変調関数４１０を掛けるものとなる。マスク変調関数ｍ（ｘ，θ）は、ｍ（ｘ，θ）＝ｃ（ｙ＝θ）により与えられる。すなわち、変調関数はｘに依存しない。θ平面に配置されると、マスクは、光線の起点であるシーン点に関係なく、角度θにある全ての光線に同様に影響を及ぼす。
マスクが共役平面に配置される場合、マスクは、θに関係なく、同じｘに関して全ての光線を均等に減衰させる。これは、共役平面では、焦点面上の一点を起点とする全ての光線が単一点に収束するためである。したがって、マスク変調関数はｍ（ｘ，θ）＝ｃ（ｙ＝ｘ）に変わる。
したがって、開口及び共役平面における同一のａｓｋ符号は、２Ｄライトフィールド空間における９０度の回転により関連付けられる。さらに、１Ｄ符号が開口平面からセンサ平面へ移動されるため、結果として得られるマスク変調関数は、図示のように２Ｄで回転している。周波数領域において、マスクｃ（ｖ）が共役平面から距離ｄに配置される場合、マスク変調関数は次式により与えられる。
Figure 0005328165
ここで、Ｃは１Ｄマスクのフーリエ変換を示し、ｖは、レンズ１１０の焦点距離に依存する開口と共役平面との間の距離である。
回転角αは次式により与えられる。
Figure 0005328165
言い換えれば、マスク変調関数は、全てのエネルギーを２Ｄ ＦＬＳ空間内の線上に集中させる。ｆｘ軸に対する線５０３の角度αは、マスクの位置に依存する。マスクが共役平面（ｄ＝０）に配置されると、角度αは０となる。マスクが共役平面から開口の方へ離れるほど、この角度は、図１０に示すような開口平面における９０度まで線形に大きくなる。
ヘテロダイン処理のための最適なマスク位置
２Ｄライトフィールドを取得するために、変調関数Ｍ（ｆｘ，ｆθ）は、次式により与えられる、角度αにおける一連のインパルスである。
Figure 0005328165
ここで、ｆｘ０はｆｘ軸のライトフィールドの帯域幅であり、ｆθＲは、図６に示すようなｆθ軸の所望の周波数分解能を表す。
例えば、図６において、周波数分解能は、ｆθＲ＝（２／５）ｆθ０に等しいものとして示されている。ここで、ｆθ０はｆθ軸のライトフィールドの帯域幅である。したがって、所与の帯域幅のライトフィールドを取得するために、マスクの物理的位置を式（１２）及び（１１）から求めることができる。
実際には、空間分解能が角度分解能よりも遥かに高いため、角度αは非常に小さく、よって、マスクは、ヘテロダインライトフィールドカメラのセンサの近くに配置されることになる。
最適なマスクパターン
Ｍ（ｆｘ，ｆθ）を傾斜した２Ｄ線の一組の１Ｄインパルスとして達成するために、１Ｄマスクのフーリエ変換Ｃ（ｆ）は一組のインパルスでなければならない。２ｐ＋１をＭ（ｆｘ，ｆθ）におけるインパルス数とする。すると、１Ｄマスクのフーリエ変換は次式により与えられる。
Figure 0005328165
ここで、基本周波数は次のように表される。
Figure 0005328165
図５から、（２ｐ＋１）ｆθＲ＝２ｆθ０である。ｆθにおける帯域幅はｆθＲによって打ち切られる。したがって、ライトフィールドにおいて得られる角度サンプルの数は次式に等しい。
Figure 0005328165
最適なマスクのフーリエ変換は（ＤＣと共に）一組の対称なＤｉｒａｃデルタ関数であるため、これは、物理マスクが所与の基本周波数ｆ０及びその高調波のコサインの集合の和であることを示唆する。必要な高調波の数は実際にはｐであり、ｆθ軸のライトフィールドの帯域幅及び所望の周波数分解能ｆθＲに依存する。
２Ｄライトフィールドの再構成
２Ｄライトフィールドを１Ｄセンサ画像から再構成するために、センサ画像のフーリエ変換を求め、１Ｄフーリエ変換を図７に示すように２Ｄに再整形し、逆フーリエ変換を求める。したがって、次式が成り立つ。
Figure 0005328165
ここで、ＦＴ及びＩＦＴはフーリエ変換及び逆フーリエ変換を示し、ｙ（ｓ）は観測センサ画像である。
４Ｄライトフィールドの取り込みに関する注意
ライトフィールドの取得のためのマスクベースのヘテロダイン処理の解析及び構造は、２Ｄライトフィールドに関して明らかにされているが、その手順は、２Ｄセンサによる４Ｄライトフィールドの取得でも同一である。４Ｄの場合への拡張は単純である。
４Ｄライトフィールドの場合、４Ｄライトフィールドの情報コンテンツは、レンズとセンサとの間に配置される２Ｄマスクにより２Ｄセンサ空間にヘテロダイン処理される。２Ｄマスクのフーリエ変換は、２Ｄ平面上の一組のインパルスを含む。
Figure 0005328165
本発明では、マスク内に要求される通りの負の値を実現することができないため、Ｃ（ｆ１，ｆ２）のＤＣ成分を増強して、マスク全体を正にするようにする。
図１１Ａは、大きく拡大した拡大高周波２Ｄコサインマスクを示す。この２Ｄマスクは、両次元において４つの高調波を有し（ｐ１＝４，ｐ２＝４）、基本周波数ｆ０１及びｆ０２は１サイクル／ｍｍである。これにより、４Ｄライトフィールドにおける９×９の角度分解能が可能になる。
図７に示すような４Ｄライトフィールドを再構成するために、復調は、４Ｄでのセンサフーリエ変換の再整形を含む。ライトフィールドの角度サンプルの数は以下の通りである。
ｔ１＝２ｐ１＋１、及びｔ２＝２ｐ２＋１
２Ｄセンサ画像はＮ×Ｎピクセルを有する。本発明ではまず、センサ画像の２Ｄ ＦＦＴを求める。次に、２Ｄフーリエ変換のｔ１×ｔ２個のタイルを４Ｄ平面に並べ替えて、（Ｎ／ｔ１）×（Ｎ／ｔ２）×ｔ１×ｔ２ ４Ｄフーリエ変換を得る。この４Ｄフーリエ変換の逆ＦＦＴが４Ｄライトフィールドを与える。
ライトフィールドカメラの応用
ライトフィールドに基づくデジタルリフォーカス
適切なスライスを撮影することによってライトフィールドの再構成フーリエ変換からリフォーカス画像を得ることができる（参照により本明細書中に援用される上記Ng, 2005を参照）。再構成ライトフィールド１０１を用いることによって、画像の被写界深度を著しく深くすることができる。再構成ライトフィールドに基づくデジタルリフォーカスは、複雑なシーンの場合にもリフォーカスを可能にする。
さらに、本発明では、再構成ライトフィールド１０１から新たな画像及びビューを合成することができる。例えば、新たな画像は、異なる視点からのものとすることができる。
シーンの焦点の合った部分の高分解能画像の生成
本発明のライトフィールドカメラは、追加の利点を有する。本発明では、焦点の合ったシーンのランベルト部分の高分解能画像を生成することができる。はっきりと焦点の合ったシーン点を考える。このシーン点からの全ての光線は、同一のセンサピクセルに到達するが、マスクにより様々に減衰される。したがって、センサピクセル値は、シーン放射照度と、そのピクセルに到達する光線の円錐内のマスクの平均値との積である。この減衰γ（ｘ，ｙ）は、ピクセル毎に変化し、解析により求められるか、又は均一強度のランベルトシーンの単一の再構成画像を取得することによって再構成されることができる。
本発明では、焦点の合ったシーン点の高分解能画像Ｉ（ｘ，ｙ）を次のように再構成することができる。
Figure 0005328165
ここで、ｓ（ｘ，ｙ）は取得センサ画像である。焦点の合っていなかったシーンの部分は、Ｉ（ｘ，ｙ）中に空間的に変化するぼけを有する。本発明では、均一強度のランベルトライトボックスの画像をγとして用いる。
符号化ぼけカメラ
上記では、減衰マスクを用いるライトフィールドカメラを説明した。このセクションでは、ライトフィールドの特定の下位分類、例えば、層状ランベルトシーンから得られるライトフィールドを説明する。そのようなシーンの場合、本発明では、開口での低周波数マスクの使用が、フル分解能デジタルリフォーカスを達成する非常に強力な方法であることを示す。
従来のカメラでは、撮影者は被写界深度（ＤＯＦ）を、開口のサイズ（ｆ値）を制御することによってのみ制御することができる。開口サイズが小さくなるにつれ、カメラのＤＯＦは比例して深くなるが、ＳＮＲは光の損失のために比例して下がる。
上記では、開けた開口が焦点の外れた画像における高空間周波数を抑制することを説明している。高空間周波数を保存するために、周波数応答が広帯域である開口に物理マスクを配置する。開口に配置されるマスクの場合、Ｍ（ｆｘ，ｆθ）は、式（１０）からその全エネルギーをｆθ方向に沿って集中させる。したがって、全てのゼロでないｆｘに関してＭ（ｆｘ，ｆθ）＝０である。マスク変調ライトフィールドの周波数変換は次のように表される。
Figure 0005328165
ランベルトシーンの場合、Ｌ（ｆｘ，ｆθ）＝０であるため、上の式は次式に単純化される。
Figure 0005328165
したがって、マスク変調関数にライトフィールドの周波数変換が掛けられる。一次領域において、これはマスク及びシーンの鮮明な画像の畳み込みに等しい。マスクのスケールは焦点外れによるぼけの程度に依存する。鮮明な画像は、スケーリングされたマスクによるぼけ画像のデコンボリューションにより再構成することができる。取り込み画像の光線に基づく解析からも同じ結果に達することができる。
焦点外れによるぼけの符号化に最適なマスク
ライトフィールドの周波数変換にマスク変調関数を掛けるため、最適なマスクは周波数領域において広帯域応答を有する。一般には改良均一冗長アレイ（ＭＵＲＡ）符号としても知られる広帯域マスクは、符号化開口天文学において用いられている。
しかし、本発明のレンズベースの符号化開口は、天文学において用いられる、レンズを用いない従来の符号化開口とは大幅に異なる。従来の符号化開口では、全てのシーン要素がマスクにより巡回畳み込みされる。
本発明のレンズベースの符号化とは対照的に、観測される画像は、鮮明な画像と焦点外れの点拡散関数（ＰＳＦ）との線形畳み込みである。線形畳み込みは、ゼロ埋めカーネルの巡回畳み込みに等しいため、レンズベースの符号化開口の最適なマスクはＭＵＲＡとは異なる。
さらに、天文学の符号化開口は、銀河起源のような点、例えば星に関してのみＳＮＲを上げることができ、領域光源にはピンホールに勝る付加的な利点を与えない。したがって、これらの技法は、自然の地上シーンの写真撮影には適さない。
モーションブラー補正問題に対して、ゼロ埋め符号のＤＦＴの大きさの最小値の最大化に基づき最良の２値符号を探索するための強引な線形探索は、上記Raskar他により記載されている。
ここで、本発明では、連続値符号により、探索時間を大幅に削減するという利点と共に、２値符号に比べて優れた性能を与えることができることを示す。連続符号を求めるために、本発明では、ゼロ埋め符号のＤＦＴの大きさの最小値の最大化に基づく連続値最適化を行う。
ＭＵＲＡ符号等の次善の２値符号を初期推定として提供することができる。図１１Ｂは、１０時間の計算による探索後に得られる従来の７×７の２値マスクを示す。図１１Ｃは、数分の最適化で得られる連続広帯域マスクを示す。ＤＦＴの最小の大きさは連続符号の場合に（１２８へのゼロ埋め後に）０．０１３に等しく、これに対して２値符号では０．００３である。後述するノイズ解析を用いて、連続値符号のデコンボリューションノイズは２値マスクと比べて７．３ｄＢだけ小さい。
ライトフィールドを取り込むために、本発明では、センサの分解能に一致するマスクを用いる。これは、より高分解能を達成するためにピクセルが小さくなっているデジタルカメラの将来の傾向に関して理想的である。ＲＧＢベイヤーモザイクをピクセル分解能、例えば、２５、５０、及び１００ナノメートル分解能で１０２４階調で印刷することが可能である。このような高分解能マスクは、１枚のマスクでヘテロダイン処理及びベイヤーモザイク操作をサポートする。本発明のマスクは、４Ｄ空間において実質的に２Ｄであるが、ホログラムと同様の角度及び位置に配置されて完全な４Ｄ効果を達成するマスクを用いることもできる。本発明の広帯域マスク及びコサインマスクは、カラーであって、偏光効果を用いてシーン特性を推定してもよい。
代替的に、マスクは、マスクの位置及びマスク上のパターンがユーザ又はカメラによって用途又はシーンに応じて変更できるようにアクティブであってもよい。これにより、マスクの空間周波数は連続的に低いものから高いものまで及ぶ。マスクは、図１２に示すような「ズーム」レンズ制御と同様の構成要素により操作することができる。鏡筒制御装置を前後に移動させること（１２０１）により、マスクの位置（ｄ）が連続範囲にわたって変化し、制御装置を回転させること（１２０２）によりマスクの空間周波数が連続範囲にわたって変化する。
マスクがセンサの近くで高周波数である場合、結果は、２Ｄ（４Ｄ）ライトフィールドのフーリエ変換とマスクのフーリエ変換との畳み込みである。マスクのフーリエ変換は常に、２Ｄ（４Ｄ）空間の線（平面）に沿って１Ｄ（２Ｄ）である。マスクがレンズの近くにある場合、線はθ軸に沿い、センサの近くにある場合、ｘ軸に沿う。
マスクがレンズにおいて低周波数である理由は、回折のためである。回折は、センサからの制限開口の距離と共に大きくなる。そのため、マスクがセンサの近くにある時、回折は問題とならず、高周波数マスクを用いることができる。コサインマスクがセンサの近くで用いられる理由は、達成したい特定の変調のためである。
マスクをレンズに置くことには回折の問題があるため、低周波数マスクが好ましい。レンズにおいて広帯域を用いてコサインマスクを用いない理由は、焦点の外れた画像中の高空間周波数を保存して、ぼけ補正及びリフォーカスを行うことを可能にしたいためである。興味深いことに、コサインマスクをレンズの近くに置くと、深度を正確に検知することができる。
デコンボリューションに基づくデジタルリフォーカス
本発明では、画像デコンボリューション技法を用いて、単一の符号化された。焦点外れの画像からフル分解能でのデジタルリフォーカスを達成する。取得画像中の焦点外れによるぼけは、シーンの深度に関連する。焦点外れから深度は既知であるが、単一の焦点外れ画像から深度マップを求めることは、シーンに関する事前知識を仮定するか、又は学習に基づく手法を用いない限り困難である。
対照的に、本発明では、シーン１０２がｎ個の別個の層から成るものと仮定し、ここで、ｎは小さな数であり、各層内の焦点外れ点拡散関数（ＰＳＦ）は空間的に不変である。この仮定は、様々なシーンに対して良好に機能する。本発明ではまた、画像中の最大のぼけ直径はＴピクセルであり得るものと仮定する。
本発明では、リフォーカスを２段階で達成する。最初に、シーンを解析して、層の数及び各層のＰＳＦのスケールを自動的に推定する。次に、取得したぼけ画像を推定ぼけカーネルによりデンコンボリューションすることによりｎ個のぼけ補正画像Ｉ１，．．．，Ｉｎを次に生成する。
層ｉにリフォーカスするには、ｎ−１個の画像（Ｉ１，．．．，Ｉｉ−１，Ｉｉ＋１，．．．，Ｉｎ）に、それらのぼけと層Ｉのぼけとの差に応じて再びぼかしてから、Ｉｉ及び再びぼかした画像を合成して、リフォーカスされた画像を得る。
ＰＳＦ推定
本発明は、画像全体が、焦点外れによるぼけの直径がｋピクセルである単一の層を有するものと仮定する。取得される画像Ｂは、畳み込みにより鮮明な画像Ｉに次のように関連付けられる。
Figure 0005328165
ここで、ηは測定ノイズを示し、ｈｋはスケールｋにおけるＰＳＦである。画像Ｉ及びｈｋが与えられると、尤度誤差を次のように書き表すことができる。
Figure 0005328165
しかし、この誤差自体は、ＢがＩに等しいと仮定することによりｅｌ（ｘ，ｙ）をゼロに等しくすることができるため、Ｉ及びｈｋを一意に求めるには不十分である。
この曖昧さを解消するために、本発明では自然画像の統計値を用いる。実世界の画像は、勾配が裾の厚い分布に従うことが知られている。ぼけ画像では、高勾配が抑制されるため、この分布の裾が抑制される。本発明では、勾配の４次モーメント（尖度）を、勾配分布を特性化するための統計値として用いる。
全てのピクセルにおいて、勾配誤差ｅｇ（ｘ，ｙ）は、そのピクセルの周囲の小近傍Ｒ内の勾配の尖度、例えば、
Figure 0005328165
として定義され、ここで、Ｉｘ、Ｉｙはｘ勾配及びｙ勾配を示す。
しかし、正しいスケールｋよりも高い誤ったスケールにおけるぼけ補正は、ｅｇを低減し得る高周波畳み込みアーティファクトを導入する。なお、ｅｌは低い値のｋに関して小さく、同一ピクセルｐのｅｇはぼけ画像に関して高い。したがって、２つの誤差測度は互いに競合する。正確なスケールを見付けるために、総合誤差ｅ（ｘ，ｙ）＝ｅｌ（ｘ，ｙ）＋βｅｇ（ｘ，ｙ）を用いる。ここで、βは定数である。
複数（ｎ個）の層の存在下で、１ピクセルからＴピクセルまでの様々なサイズのぼけカーネルを用いて画像をぼけ補正する。これらのＴ個のぼけ補正画像の各々に関して、誤差マップｅ（ｘ，ｙ）を求める。正しいスケールｋの層の場合、ｋ番目の誤差マップは、その層に対応する領域に関して最小の値を有する。これは、Ｔ個のラベルによる画素毎の離散ラベル付け問題に等しい。所与のラベルｋに関する各ピクセルのラベル付けコストは、ｋ番目の誤差マップｅｋ（ｘ，ｙ）により与えられる。
本発明では、このラベル付け問題を、アルファ拡張（alpha-expansion）グラフカット手順を適用することによって解く（Boykov他著「グラフカットを用いる高速近似エネルギー最小化（Fast approximate energy minimization using graph cuts）」（IEEE Trans. Pattern Anal. Machine Intell. 23, pp. 1222-1239, 2001、参照により本明細書中に援用される）を参照）。画像中の均質領域はぼけ情報を含まないため、均質領域のデータコストをゼロに設定し、それらの領域がグラフカット最適化中に層毎に埋められるようにする。
対照的に、本発明では、画像中のピクセル総数の１０％未満を有するスプリアス層を除去し、単純なモルフォロジ演算、例えば穴埋めをラベル上で行う。この手順は、層及び対応するスケールの点でシーンの分割を生じる。層間の厳密な境界は取得されないが、層の内部が適切にラベル付けされる。
リフォーカス画像の合成
シーンはｎ個の層を有するため、対応するスケールのｎ個のぼけ補正画像（Ｉ１，．．．，Ｉｎ）のみを考えればよい。本発明では、前のステップからの内部のラベル付けを用いて、対応するぼけ補正画像から層毎（別個に処理されるチャネル毎）にカラーヒストグラムを作成する。また、所与のぼかし画像を用いて、全ての層の外部の均質領域のヒストグラムを作成する。
層ｉにリフォーカスするために、本発明では、ｎ−１個の画像の各々をそれらの層ｉとのスケール差に応じて再びぼかす。リフォーカス画像は、Ｉｉ及びｎ−１個の再びぼかした画像から成る。ここでも、これはラベル付け問題として扱うことができる。本発明では、Agarwala他により記載されている手順を用いて、合成画像を生成する（「対話型デジタルフォトモンタージュ（Interactive digital photomontage）」（ACM Trans. Graph. 23, 3, pp. 294-302, 2004、参照により本明細書中に援用される））。各ピクセルにおけるデータコストは、カラーヒストグラムを用いて「最尤度」として選択され、シーンは、一致する色及び勾配に基づく。
部分的遮蔽物の存在下でのリフォーカス
画像補完及び他の幻覚技法は、画像の欠損領域又は不要な領域を埋めるために用いることができる。しかし、このような技法は、焦点の外れたぼけ画像には機能しない場合がある。幻覚ピクセル値は、焦点外れによるぼけではモデル化されないため、このような画像のぼけ補正はアーティファクトを生じる。
図１３Ａは、前方のフェンスにはっきりと焦点が合っており、フェンスの後方の人物の焦点が外れている、このようなシーンを示す。遮蔽物を考慮に入れずにこの画像をぼけ補正すると、図１３Ｂに示すようなアーティファクトが生じる。しかし、ぼかしは情報を近傍ピクセルに分配するため、ぼけのサイズが遮蔽物のサイズよりも大きい場合に鮮明な画像を回復することができる。
図１３Ｃに示すように、本発明では、局所分散解析を用いて、フェンスにより遮蔽されているピクセルを特定する。次に、次式を解くことによって画像の加重デコンボリューションを行う。
Figure 0005328165
ここで、Ｗは、ぼけ画像の遮蔽ピクセルに対応する重みをゼロに設定する重み行列であり、ｂはベクトル化されたぼけ画像であり、Ａは、２Ｄぼかしを表すブロックトエプリッツ（block-Toeplitz）行列である。焦点の合った画像を取得した後、この焦点の合った画像とフェンスの焦点の合った画像とを合成して、図１３Ｄに示すように人物及びフェンスの両方に焦点を合わせる。なお、遮蔽物のマットは、ぼけが十分に大きい限り過大評価することができる。
空間的に変化するＰＳＦ
図１４Ａ及び図１４Ｂは、傾いた本による空間的に変化する焦点外れによるぼけの一例を示す。焦点の合った画像を得るために、本発明では、ぼけ補正画像Ｉ１，．．．，ＩＴを融合する。本発明では、ぼけ画像上の４点を用いて本のホモグラフィを推定すると共に、端点におけるスケール、及びホモグラフィパラメータを用いて各ピクセルにおけるＰＳＦスケールを推定する。ぼけ補正画像は次に、空間的に変化するスケールに従って合成され、図１４Ｂに示す全ての焦点が合った画像が得られる。なお、「ＡＲＣＨＩＴＥＣＴＵＲＥ」という単語は、図１４Ａに示すぼけ画像では読み取ることができないが、図１４Ｂに示す出力画像では鮮明である。
本発明の広帯域符号化は、例えば、時間［Raskar他（２００６年）］及び空間の両方で符号化することによって、より高次元に適応することができる。レンズと比較した場合のマスクの利点は、波長に依存した集束及び色収差がないことである。この事実は天文学で一般に用いられている。したがって、マスクは高スペクトル撮像に理想的であり得る。浅い被写界深度は、医学的及び科学的顕微鏡検査における深刻な障害である。フル分解能を維持しながらリフォーカスする機能は、大きな利点を持つ。共焦点符号化開口照明と組み合わせて、本発明では、デジタルリフォーカス画像をより少ない増分ステップの焦点面で取り込むことができる。
本発明を好適な実施形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び修正を行うことができることを理解すべきである。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入る変形及び修正を全て網羅することである。
本発明の一実施形態による、シーンの４Ｄライトフィールドを取得するように構成されるカメラの概略側面図である。 本発明の別の実施形態による、シーンの４Ｄライトフィールドを取得するように構成されるカメラの概略側面図である。 図１及び図２のカメラの光路の概略図である。 本発明の一実施形態による、ライトフィールド、マスク変調関数及び変調ライトフィールドの概略図である。 ヘテロダインライトフィールドカメラにおけるスペクトルスライシングの概略図である。 本発明の一実施形態による、畳み込まれてスペクトルレプリカを形成するライトフィールド及びマスクスペクトルの概略図である。 本発明の一実施形態による、センサスライスを復調してライトフィールドを再構成する概略図である。 カメラセンサに対するマスクの配置の概略図である。 センサに柔らかな影を落とすコサインマスクの概略図である。 本発明の一実施形態による、フーリエ領域のスペクトルタイルの概略図である。 本発明の実施形態による高周波マスクの図である。 従来技術の２値マスクの図である。 本発明の実施形態による連続広帯域マスクの図である。 スクコントローラを有するカメラの上面図である。 焦点の合ったフェンス及び焦点の外れた人物を含む入力画像である。 図１３Ａに対応するぼけ補正画像である。 図１３Ａのフェンスのマスクである。 本発明の一実施形態による、フェンス及び人物の両方に焦点の合った出力画像である。 部分的に焦点の外れた、傾いた本の入力画像である。 本発明の一実施形態による、本全体に焦点の合った出力画像である。

Claims (46)

  1. シーンの４Ｄライトフィールドを取得する装置であって、
    レンズと、
    ２Ｄ画像を検知するセンサと、
    前記レンズ及び前記センサの間の直線光路内に配置されるとともに、前記センサの前面に配置されるマスクと
    を備え、
    前記マスクは、高空間周波数を有する減衰パターンを含み、前記センサにより前記シーンが前記２Ｄ画像として検知される前に、前記４Ｄライトフィールドを再構成可能とするように、前記シーンに関して前記減衰パターンを用いて空間変調を行う
    シーンの４Ｄライトフィールドを取得する装置。
  2. 前記マスクは、前記４Ｄライトフィールドをヘテロダイン処理する
    請求項１記載の装置。
  3. 前記センサは、入力画像を生成し、
    前記入力画像から前記４Ｄライトフィールドを再構成する手段をさらに備える
    請求項１記載の装置。
  4. 前記４Ｄライトフィールドは、フーリエ領域の復号により再構成される
    請求項３記載の装置。
  5. 前記センサは、焦点外れによるぼけ入力画像を生成する
    請求項１記載の装置。
  6. 分解能の損失なしにデジタルリフォーカスを達成することができる
    請求項１記載の装置。
  7. 前記減衰パターンは、前記マスクに印刷される
    請求項１記載の装置。
  8. 前記マスクは、アクティブであり、
    前記マスクの位置及び前記減衰パターンの空間周波数を連続的に変更する手段をさらに備える
    請求項１記載の装置。
  9. 分解能の損失なく、前記再構成された４Ｄライトフィールドから前記入力画像をリフォーカスして、焦点の合った出力画像を生成する手段をさらに備える
    請求項３記載の装置。
  10. 前記出力画像は、深い被写界深度を有する
    請求項９記載の装置。
  11. 前記再構成された４Ｄライトフィールドから新たなリフォーカス画像を合成する手段をさらに備える
    請求項３記載の装置。
  12. 前記再構成された４Ｄライトフィールドから高分解能画像を生成する手段をさらに備える
    請求項３記載の装置。
  13. 前記マスクは、前記直線光路に対して或る角度で配置される
    請求項１記載の装置。
  14. 前記マスクは、コサインパターンを有する
    請求項１記載の装置。
  15. 前記入力画像をぼけ補正して焦点外れによるぼけを除去する手段をさらに備える
    請求項５記載の装置。
  16. 前記センサは、前記４Ｄライトフィールドを符号化する入力画像を生成し、
    前記センサに接続され、前記入力画像から出力画像を生成するマイクロプロセッサをさらに備える
    請求項１記載の装置。
  17. 前記センサは、前記シーンの一連の画像を取得する
    請求項１記載の装置。
  18. シーンの４Ｄライトフィールドを取得する方法であって、
    直線光路に沿ってレンズを通ってセンサへ前記４Ｄライトフィールドを通過させるステップと、
    前記レンズ及び前記センサの間の前記直線光路内に配置されるとともに前記センサの前面に配置され、高空間周波数を有する減衰パターンを含むマスクを用いて、前記センサにより前記シーンが検知される前に、前記４Ｄライトフィールドを再構成可能とするように、前記シーンに関して前記減衰パターンを用いて空間変調を行うステップと
    を含む、シーンの４Ｄライトフィールドを取得する方法。
  19. 前記減衰マスクは、前記４Ｄライトフィールドをヘテロダイン処理する
    請求項１８記載の方法。
  20. 前記センサは、入力画像を生成し、
    前記入力画像から前記４Ｄライトフィールドを再構成するステップをさらに含む
    請求項１８記載の方法。
  21. 前記４Ｄライトフィールドは、フーリエ領域の復号により再構成される
    請求項２０記載の方法。
  22. 前記センサは、焦点外れによるぼけ入力画像を生成する
    請求項１８記載の方法。
  23. 前記入力画像をぼけ補正することにより得られるリフォーカス画像は、前記センサのピクセル分解能と同じ分解能を有する
    請求項２２記載の方法。
  24. 前記減衰マスクは、パターンが印刷される
    請求項１８記載の方法。
  25. 前記減衰マスクは、アクティブであり、
    前記減衰マスクの位置及びパターンの空間周波数を連続的に変更するステップをさらに含む
    請求項１８記載の方法。
  26. 前記再構成された４Ｄライトフィールドから前記入力画像をリフォーカスして焦点の合った出力画像を生成するステップをさらに含む
    請求項２０記載の方法。
  27. 前記出力画像は、深い被写界深度を有する
    請求項２６記載の方法。
  28. 前記再構成された４Ｄライトフィールドから新たな画像を合成するステップをさらに含む
    請求項２０記載の方法。
  29. 前記再構成された４Ｄライトフィールドから高分解能画像を生成するステップをさらに含む
    請求項２０記載の方法。
  30. 前記減衰マスクは、前記直線光路に対して或る角度で配置される
    請求項１８記載の方法。
  31. 前記減衰マスクは、コサインパターンを有する
    請求項１８記載の方法。
  32. 前記減衰マスクは、高空間周波数を有すると共に前記レンズの近くに配置されて前記シーン内の深度を正確に検知する
    請求項１８記載の方法。
  33. 前記入力画像をぼけ補正するステップをさらに含む
    請求項２２記載の方法。
  34. 前記センサは、前記４Ｄライトフィールドを符号化する入力画像を生成し、
    前記センサにより生成される入力画像から出力画像を生成するステップをさらに含む
    請求項１８記載の方法。
  35. 前記センサは、前記シーンの一連の画像を取得する
    請求項１８記載の方法。
  36. 前記センサにより検知される２Ｄ信号にフーリエ変換を適用して２Ｄタイルを得るステップと、
    前記２Ｄタイルを４Ｄ平面群にリアセンブルするステップと、
    前記４Ｄ平面群に逆フーリエ変換を適用して前記４Ｄライトフィールドを再構成するステップとをさらに含む
    請求項１８記載の方法。
  37. 開口の通過後の前記４Ｄライトフィールドの前記フーリエ変換は、到来ライトフィールドの前記フーリエ変換の、開口変調関数の前記フーリエ変換による変調により与えられる
    請求項３６記載の方法。
  38. 前記入力画像とは異なる深度におけるリフォーカス画像を求めるステップをさらに含む
    請求項２０記載の方法。
  39. 前記再構成された４Ｄライトフィールドとは異なる視点から新たな画像を合成するステップをさらに含む
    請求項２０記載の方法。
  40. 複数のマスクが前記直線光路内に配置される
    請求項１８記載の方法。
  41. 前記減衰マスクのパターンは、解析２Ｄ関数である
    請求項１８記載の方法。
  42. 前記減衰マスクのパターンは、２値関数である
    請求項１８記載の方法。
  43. 前記減衰マスクのパターンは、連続２Ｄ関数である
    請求項１８記載の方法。
  44. 前記センサは、前記複数のマスクを用いて前記シーンの一連の画像を取得する
    請求項４０記載の方法。
  45. シーンの４Ｄライトフィールドを取得する方法であって、
    レンズ及びセンサの間の直線光路内に配置されるとともに前記センサの前面に配置され、高空間周波数を有する減衰パターンを含むマスクを用いて、前記センサにより前記シーンが検知される前に、前記４Ｄライトフィールドを再構成可能とするように、前記シーンに関して前記減衰パターンを用いて空間変調を行うステップと、
    前記空間変調された前記シーンを前記センサにより検知することで、前記４Ｄライトフィールドを再構成可能とする入力画像を生成するステップと
    を含む、シーンの４Ｄライトフィールドを取得する方法。
  46. 前記入力画像を復調して前記４Ｄライトフィールドを回復するステップをさらに含む
    請求項４５記載の方法。
JP2008015276A 2007-02-06 2008-01-25 シーンの４ｄライトフィールドを取得する装置及び方法 Expired - Fee Related JP5328165B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/671,701 2007-02-06
US11/671,701 US7792423B2 (en) 2007-02-06 2007-02-06 4D light field cameras

Publications (2)

Publication Number Publication Date
JP2008191661A JP2008191661A (ja) 2008-08-21
JP5328165B2 true JP5328165B2 (ja) 2013-10-30

Family

ID=39304659

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008015276A Expired - Fee Related JP5328165B2 (ja) 2007-02-06 2008-01-25 シーンの４ｄライトフィールドを取得する装置及び方法

Country Status (4)

Country Link
US (2) US7792423B2 (ja)
EP (1) EP1956410A3 (ja)
JP (1) JP5328165B2 (ja)
CN (1) CN101430426A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170016943A (ko) 2014-06-05 2017-02-14 가부시키가이샤 리코 촬상 모듈 및 촬상 장치

Families Citing this family (264)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050207486A1 (en) * 2004-03-18 2005-09-22 Sony Corporation Three dimensional acquisition and visualization system for personal electronic devices
US10277290B2 (en) 2004-04-02 2019-04-30 Rearden, Llc Systems and methods to exploit areas of coherence in wireless systems
US9819403B2 (en) 2004-04-02 2017-11-14 Rearden, Llc System and method for managing handoff of a client between different distributed-input-distributed-output (DIDO) networks based on detected velocity of the client
US10425134B2 (en) 2004-04-02 2019-09-24 Rearden, Llc System and methods for planned evolution and obsolescence of multiuser spectrum
US8654815B1 (en) 2004-04-02 2014-02-18 Rearden, Llc System and method for distributed antenna wireless communications
US9826537B2 (en) 2004-04-02 2017-11-21 Rearden, Llc System and method for managing inter-cluster handoff of clients which traverse multiple DIDO clusters
US10148897B2 (en) 2005-07-20 2018-12-04 Rearden, Llc Apparatus and method for capturing still images and video using coded lens imaging techniques
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
US20070189750A1 (en) * 2006-02-16 2007-08-16 Sony Corporation Method of and apparatus for simultaneously capturing and generating multiple blurred images
US7620309B2 (en) * 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
TW200823595A (en) * 2006-11-28 2008-06-01 Univ Nat Taiwan Image capture device using programmable aperture
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US10298834B2 (en) * 2006-12-01 2019-05-21 Google Llc Video refocusing
US8077964B2 (en) * 2007-03-19 2011-12-13 Sony Corporation Two dimensional/three dimensional digital information acquisition and display device
FR2915601B1 (fr) * 2007-04-26 2009-07-03 Datacard Corp Dispositif de comptage de cartes dans des petites series.
US8290358B1 (en) 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
WO2009012255A2 (en) * 2007-07-17 2009-01-22 Hach Company Spatial frequency optical measurement instrument and method
US8019215B2 (en) * 2007-08-06 2011-09-13 Adobe Systems Incorporated Method and apparatus for radiance capture by multiplexing in the frequency domain
US8229294B2 (en) * 2007-12-10 2012-07-24 Mitsubishi Electric Research Laboratories, Inc. Cameras with varying spatio-angular-temporal resolutions
US20090160975A1 (en) * 2007-12-19 2009-06-25 Ncr Corporation Methods and Apparatus for Improved Image Processing to Provide Retroactive Image Focusing and Improved Depth of Field in Retail Imaging Systems
US7962033B2 (en) * 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US8189065B2 (en) 2008-01-23 2012-05-29 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US8155456B2 (en) * 2008-04-29 2012-04-10 Adobe Systems Incorporated Method and apparatus for block-based compression of light-field images
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
EP4336447A1 (en) 2008-05-20 2024-03-13 FotoNation Limited Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8244058B1 (en) 2008-05-30 2012-08-14 Adobe Systems Incorporated Method and apparatus for managing artifacts in frequency domain processing of light-field images
KR101483714B1 (ko) * 2008-06-18 2015-01-16 삼성전자 주식회사 디지털 촬상 장치 및 방법
EP2175632A1 (en) * 2008-10-10 2010-04-14 Samsung Electronics Co., Ltd. Image processing apparatus and method
KR101563729B1 (ko) * 2008-10-10 2015-10-27 삼성전자주식회사 고해상도 영상을 생성하기 위한 영상 처리 장치 및 방법
EP2175416A1 (en) * 2008-10-13 2010-04-14 Sony Corporation Method and system for image deblurring
JP5187145B2 (ja) * 2008-11-07 2013-04-24 株式会社ニコン 画像合成装置および方法
WO2010065344A1 (en) * 2008-11-25 2010-06-10 Refocus Imaging, Inc. System of and method for video refocusing
WO2010077625A1 (en) * 2008-12-08 2010-07-08 Refocus Imaging, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US8315476B1 (en) 2009-01-20 2012-11-20 Adobe Systems Incorporated Super-resolution with the focused plenoptic camera
US8189089B1 (en) 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
KR101563728B1 (ko) 2009-01-30 2015-10-27 삼성전자 주식회사 가변 모듈레이터를 이용한 다중시야 광필드 데이터 획득장치 및 그 방법
US8908058B2 (en) * 2009-04-18 2014-12-09 Lytro, Inc. Storage and transmission of pictures including multiple frames
US8345144B1 (en) 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
CN101964866B (zh) * 2009-07-24 2013-03-20 鸿富锦精密工业（深圳）有限公司 计算摄像型数码相机
US8654234B2 (en) * 2009-07-26 2014-02-18 Massachusetts Institute Of Technology Bi-directional screen
EP2296031A1 (en) * 2009-09-11 2011-03-16 Astrium Limited Detecting electromagnetic radiation
KR101600010B1 (ko) * 2009-09-22 2016-03-04 삼성전자주식회사 모듈레이터, 모듈레이터를 이용한 광 필드 데이터 획득 장치, 모듈레이터를 이용한 광 필드 데이터 처리 장치 및 방법
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8970619B2 (en) 2009-11-24 2015-03-03 Microsoft Technology Licensing, Llc Parallelized generation of substantially seamless image mosaics
WO2011066275A2 (en) * 2009-11-25 2011-06-03 Massachusetts Institute Of Technology Actively addressable aperture light field camera
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
JP5446834B2 (ja) * 2009-12-18 2014-03-19 ソニー株式会社 撮像装置および撮像方法
CN102823242B (zh) * 2010-01-22 2016-08-10 汤姆森特许公司 基于取样超分辨率视频编码和解码的方法和装置
KR101791919B1 (ko) 2010-01-22 2017-11-02 톰슨 라이센싱 예시-기반의 초 해상도를 이용하여 비디오 압축을 위한 데이터 프루닝
US10178290B2 (en) * 2010-02-17 2019-01-08 Sri International Method and apparatus for automatically acquiring facial, ocular, and iris images from moving subjects at long-range
US8749620B1 (en) 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
US8817015B2 (en) 2010-03-03 2014-08-26 Adobe Systems Incorporated Methods, apparatus, and computer-readable storage media for depth-based rendering of focused plenoptic camera data
WO2011132280A1 (ja) * 2010-04-21 2011-10-27 富士通株式会社 撮像装置及び撮像方法
KR101756910B1 (ko) * 2010-05-11 2017-07-26 삼성전자주식회사 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법
JP5848754B2 (ja) 2010-05-12 2016-01-27 ペリカン イメージング コーポレイション 撮像装置アレイおよびアレイカメラのためのアーキテクチャ
US8358366B1 (en) 2010-05-28 2013-01-22 Adobe Systems Incorporate Methods and apparatus for high-speed digital imaging
JP5671842B2 (ja) * 2010-06-03 2015-02-18 株式会社ニコン 画像処理装置および撮像装置
EP2395369A1 (en) 2010-06-09 2011-12-14 Thomson Licensing Time-of-flight imager.
DE102010023344A1 (de) * 2010-06-10 2012-01-19 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Kameraobjektiv und Kamerasystem
US20120200673A1 (en) * 2010-06-15 2012-08-09 Junichi Tagawa Imaging apparatus and imaging method
EP2601785A4 (en) * 2010-08-03 2017-12-13 Cornell University Angle sensitive pixel (asp)-based image processing system, method, and applications
US8749694B2 (en) 2010-08-27 2014-06-10 Adobe Systems Incorporated Methods and apparatus for rendering focused plenoptic camera data using super-resolved demosaicing
US8724000B2 (en) 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
US8665341B2 (en) 2010-08-27 2014-03-04 Adobe Systems Incorporated Methods and apparatus for rendering output images with simulated artistic effects from focused plenoptic camera data
US8803918B2 (en) 2010-08-27 2014-08-12 Adobe Systems Incorporated Methods and apparatus for calibrating focused plenoptic camera data
WO2012033970A1 (en) 2010-09-10 2012-03-15 Thomson Licensing Encoding of a picture in a video sequence by example - based data pruning using intra- frame patch similarity
US9544598B2 (en) 2010-09-10 2017-01-10 Thomson Licensing Methods and apparatus for pruning decision optimization in example-based data pruning compression
WO2012061797A2 (en) 2010-11-07 2012-05-10 Council For Scientific And Industrial Research On-chip 4d lightfield microscope
US8803994B2 (en) 2010-11-18 2014-08-12 Canon Kabushiki Kaisha Adaptive spatial sampling using an imaging assembly having a tunable spectral response
US9146403B2 (en) * 2010-12-01 2015-09-29 Massachusetts Institute Of Technology Content-adaptive parallax barriers for automultiscopic display
US9124881B2 (en) * 2010-12-03 2015-09-01 Fly's Eye Imaging LLC Method of displaying an enhanced three-dimensional images
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US8405763B2 (en) * 2010-12-23 2013-03-26 Mitsubishi Electric Research Laboratories, Inc. Video camera for reconstructing varying spatio-temporal resolution videos
US8768102B1 (en) 2011-02-09 2014-07-01 Lytro, Inc. Downsampling light field images
US9197798B2 (en) 2011-03-25 2015-11-24 Adobe Systems Incorporated Thin plenoptic cameras using microspheres
US8619179B2 (en) 2011-03-28 2013-12-31 Canon Kabushiki Kaisha Multi-modal image capture apparatus with a tunable spectral response
EP2708019B1 (en) 2011-05-11 2019-10-16 FotoNation Limited Systems and methods for transmitting and receiving array camera image data
US8531581B2 (en) * 2011-05-23 2013-09-10 Ricoh Co., Ltd. Focusing and focus metrics for a plenoptic imaging system
WO2012171185A1 (en) * 2011-06-15 2012-12-20 Microsoft Corporation High resolution multispectral image capture
EP2535681B1 (en) * 2011-06-17 2016-01-06 Thomson Licensing Device for estimating the depth of elements of a 3D scene
US8605199B2 (en) 2011-06-28 2013-12-10 Canon Kabushiki Kaisha Adjustment of imaging properties for an imaging assembly having light-field optics
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
US8670609B2 (en) 2011-07-22 2014-03-11 Canon Kabushiki Kaisha Systems and methods for evaluating images
US9184199B2 (en) 2011-08-01 2015-11-10 Lytro, Inc. Optical assembly including plenoptic microlens array
JP2013046209A (ja) * 2011-08-24 2013-03-04 Sony Corp 画像処理装置、および、画像処理装置の制御方法ならびに当該方法をコンピュータに実行させるためのプログラム
EP2563007A1 (en) * 2011-08-26 2013-02-27 Sony Ericsson Mobile Communications AB Image focusing
US9491441B2 (en) * 2011-08-30 2016-11-08 Microsoft Technology Licensing, Llc Method to extend laser depth map range
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US8593564B2 (en) * 2011-09-22 2013-11-26 Apple Inc. Digital camera including refocusable imaging mode adaptor
IN2014CN02708A (ja) 2011-09-28 2015-08-07 Pelican Imaging Corp
WO2013058735A1 (en) 2011-10-18 2013-04-25 Hewlett-Packard Development Company, L.P. Depth mask assisted video stabilization
US9172928B2 (en) 2011-10-21 2015-10-27 Hewlett-Packard Development Company, L.P. Color image capture system and method for light modulation
KR101705605B1 (ko) * 2011-11-14 2017-02-23 삼성전자주식회사 코드화된 조명을 이용하는 촬상 장치 및 이미지 처리 장치와 그 방법
JP5913934B2 (ja) * 2011-11-30 2016-05-11 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム、および画像処理装置を有する撮像装置
US8928969B2 (en) 2011-12-06 2015-01-06 Ostendo Technologies, Inc. Spatio-optical directional light modulator
US8854724B2 (en) 2012-03-27 2014-10-07 Ostendo Technologies, Inc. Spatio-temporal directional light modulator
US9222767B2 (en) * 2012-01-03 2015-12-29 Samsung Electronics Co., Ltd. Display apparatus and method for estimating depth
JP5986386B2 (ja) * 2012-01-26 2016-09-06 キヤノン株式会社 撮像装置及びその制御方法
US9137441B2 (en) 2012-02-16 2015-09-15 Ricoh Co., Ltd. Spatial reconstruction of plenoptic images
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US10600235B2 (en) 2012-02-23 2020-03-24 Charles D. Huston System and method for capturing and sharing a location based experience
US10937239B2 (en) 2012-02-23 2021-03-02 Charles D. Huston System and method for creating an environment and for sharing an event
KR102038856B1 (ko) 2012-02-23 2019-10-31 찰스 디. 휴스턴 환경을 생성하고 환경내 위치기반 경험을 공유하는 시스템 및 방법
US9386297B2 (en) * 2012-02-24 2016-07-05 Casio Computer Co., Ltd. Image generating apparatus generating reconstructed image, method, and computer-readable recording medium
JP5310890B2 (ja) * 2012-02-24 2013-10-09 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
JP5310895B2 (ja) * 2012-03-19 2013-10-09 カシオ計算機株式会社 画像生成装置、画像生成方法及びプログラム
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US9420276B2 (en) 2012-02-28 2016-08-16 Lytro, Inc. Calibration of light-field camera geometry via robust fitting
US8831377B2 (en) 2012-02-28 2014-09-09 Lytro, Inc. Compensating for variation in microlens position during light-field image processing
US8948545B2 (en) 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
US8811769B1 (en) 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
US9160900B2 (en) 2012-02-29 2015-10-13 Canon Kabushiki Kaisha Systems and methods for compressive light sensing using multiple spatial light modulators
US9707892B2 (en) 2012-04-25 2017-07-18 Gentex Corporation Multi-focus optical system
US9550455B2 (en) 2012-04-25 2017-01-24 Gentex Corporation Multi-focus optical system
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
JP5958837B2 (ja) * 2012-05-28 2016-08-02 パナソニックＩｐマネジメント株式会社 奥行き推定撮像装置
US9179126B2 (en) * 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
WO2013184088A1 (en) * 2012-06-04 2013-12-12 Empire Technology Development Llc Integrated raman spectroscopy detector
US10129524B2 (en) 2012-06-26 2018-11-13 Google Llc Depth-assigned content for depth-enhanced virtual reality images
US9607424B2 (en) 2012-06-26 2017-03-28 Lytro, Inc. Depth-assigned content for depth-enhanced pictures
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
JP2015534734A (ja) 2012-06-28 2015-12-03 ペリカン イメージング コーポレイション 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US9838618B2 (en) * 2012-07-12 2017-12-05 Nikon Corporation Image processing device configured to correct output data based upon a point spread function
SG11201500910RA (en) 2012-08-21 2015-03-30 Pelican Imaging Corp Systems and methods for parallax detection and correction in images captured using array cameras
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US9036080B2 (en) 2012-09-04 2015-05-19 Canon Kabushiki Kaisha Apparatus and method for acquiring information about light-field data
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
KR101944911B1 (ko) 2012-10-31 2019-02-07 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치
US8997021B2 (en) 2012-11-06 2015-03-31 Lytro, Inc. Parallax and/or three-dimensional effects for thumbnail image displays
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US11189917B2 (en) 2014-04-16 2021-11-30 Rearden, Llc Systems and methods for distributing radioheads
CN103856706A (zh) * 2012-12-03 2014-06-11 北京大学 一种通过光路遮挡方式获得图像附加深度相关信息的装置
US9001226B1 (en) 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
US9217665B2 (en) 2013-01-31 2015-12-22 Hewlett Packard Enterprise Development Lp Viewing-angle imaging using lenslet array
KR101871034B1 (ko) * 2013-02-13 2018-07-19 유니버시타트 데스 사를란데스 플렌옵틱 이미징 장치
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
US8978984B2 (en) 2013-02-28 2015-03-17 Hand Held Products, Inc. Indicia reading terminals and methods for decoding decodable indicia employing light field imaging
WO2014138695A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
US9923657B2 (en) 2013-03-12 2018-03-20 Rearden, Llc Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology
US10488535B2 (en) 2013-03-12 2019-11-26 Rearden, Llc Apparatus and method for capturing still images and video using diffraction coded imaging techniques
US9973246B2 (en) 2013-03-12 2018-05-15 Rearden, Llc Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497370B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Array camera architecture implementing quantum dot color filters
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10057498B1 (en) 2013-03-15 2018-08-21 Cognex Corporation Light field vision system camera and methods for using the same
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
RU2767777C2 (ru) 2013-03-15 2022-03-21 Риарден, Ллк Системы и способы радиочастотной калибровки с использованием принципа взаимности каналов в беспроводной связи с распределенным входом - распределенным выходом
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
MX357325B (es) * 2013-09-11 2018-07-05 Halliburton Energy Services Inc Metodo y aparato para alinear componentes de sensores opticos integrados.
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9185276B2 (en) 2013-11-07 2015-11-10 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
US10203399B2 (en) 2013-11-12 2019-02-12 Big Sky Financial Corporation Methods and apparatus for array based LiDAR systems with reduced interference
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
US9503660B2 (en) 2013-11-26 2016-11-22 Raytheon Company Coordinated simultaneous real and Fourier plane imaging system and methods
US9538075B2 (en) 2013-12-30 2017-01-03 Indiana University Research And Technology Corporation Frequency domain processing techniques for plenoptic images
JP2015133594A (ja) 2014-01-10 2015-07-23 株式会社リコー 撮像モジュール及び撮像装置
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
US9360554B2 (en) 2014-04-11 2016-06-07 Facet Technology Corp. Methods and apparatus for object detection and identification in a multiple detector lidar array
US9712820B2 (en) * 2014-04-24 2017-07-18 Lytro, Inc. Predictive light field compression
US9414087B2 (en) * 2014-04-24 2016-08-09 Lytro, Inc. Compression of light field images
US20150350530A1 (en) * 2014-06-02 2015-12-03 Nokia Corporation Light Field Imaging
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
WO2015198331A1 (en) * 2014-06-25 2015-12-30 Ramot At Tel-Aviv University Ltd. System and method for light-field imaging
JP6536877B2 (ja) * 2014-07-31 2019-07-03 パナソニックＩｐマネジメント株式会社 撮像装置および撮像システム
JP2017526507A (ja) 2014-08-31 2017-09-14 ベレシュトカ，ジョン 目を解析するためのシステム及び方法
EP3001672A1 (en) 2014-09-25 2016-03-30 Thomson Licensing Plenoptic camera comprising a spatial light modulator
EP3467776A1 (en) 2014-09-29 2019-04-10 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
EP3026628A1 (en) * 2014-11-26 2016-06-01 Thomson Licensing Method and apparatus for estimating depth of unfocused plenoptic data
US9516200B2 (en) 2014-12-29 2016-12-06 Samsung Electronics Co., Ltd. Integrated extended depth of field (EDOF) and light field photography
US11178349B2 (en) 2015-01-29 2021-11-16 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers
US10036801B2 (en) 2015-03-05 2018-07-31 Big Sky Financial Corporation Methods and apparatus for increased precision and improved range in a multiple detector LiDAR array
US10605916B2 (en) 2015-03-17 2020-03-31 Cornell University Depth field imaging apparatus, methods, and applications
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
EP3286916A1 (en) 2015-04-23 2018-02-28 Ostendo Technologies, Inc. Methods and apparatus for full parallax light field display systems
EP3094076A1 (en) 2015-05-13 2016-11-16 Thomson Licensing Method for obtaining a refocused image from a 4D raw light field data using a shift correction parameter
EP3098778A1 (en) 2015-05-29 2016-11-30 Thomson Licensing Method for obtaining a refocused image from 4d raw light field data
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
CN105208373B (zh) * 2015-09-16 2017-04-12 西安建筑科技大学 一种基于光场压缩采样的通用集成成像记录装置
EP3145191A1 (en) 2015-09-17 2017-03-22 Thomson Licensing Method for encoding a light field content
WO2017046272A1 (en) 2015-09-17 2017-03-23 Thomson Licensing Method for encoding a light field content
EP3144886A1 (en) 2015-09-17 2017-03-22 Thomson Licensing Method for encoding a light field content
EP3145194A1 (en) 2015-09-17 2017-03-22 Thomson Licensing Method for encoding 4d light field data comprising discretizing a first and a second plane used in a light field parametrization
EP3145192A1 (en) 2015-09-17 2017-03-22 Thomson Licensing Method for displaying 4d light field data
EP3145193A1 (en) 2015-09-17 2017-03-22 Thomson Licensing Method for encoding light field content
EP3145190A1 (en) 2015-09-17 2017-03-22 Thomson Licensing Method for delivering a set of images from a light field content
EP3360012A4 (en) 2015-10-09 2019-05-29 Visby Camera Corporation HOLOGRAPHIC LIGHT FIELD IMAGING DEVICE AND METHOD OF USE THEREOF
EP3166073A1 (en) 2015-11-06 2017-05-10 Thomson Licensing Method for obtaining a refocused image from 4d raw light field data
US10448030B2 (en) * 2015-11-16 2019-10-15 Ostendo Technologies, Inc. Content adaptive light field compression
CL2015003495A1 (es) 2015-11-30 2016-07-15 Univ Concepcion Un proceso que permite eliminar el ruido de patrón fijo en imágenes efectivas formadas por arreglos de sensores electromagnéticos de un campo de luz mediante un reenfoque digital.
US9955057B2 (en) * 2015-12-21 2018-04-24 Qualcomm Incorporated Method and apparatus for computational scheimpflug camera
EP3249607A1 (en) 2016-01-28 2017-11-29 Thomson Licensing Method for obtaining a position of a main lens optical center of a plenoptic camera
US9866816B2 (en) 2016-03-03 2018-01-09 4D Intellectual Properties, Llc Methods and apparatus for an active pulsed 4D camera for image acquisition and analysis
US10453431B2 (en) 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
US20190257987A1 (en) * 2016-06-07 2019-08-22 Airy3D Inc. Light Field Imaging Device and Method for Depth Acquisition and Three-Dimensional Imaging
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
EP3485322A4 (en) * 2016-07-15 2020-08-19 Light Field Lab, Inc. SELECTIVE PROPAGATION OF ENERGY IN A LUMINOUS FIELD AND HOLOGRAPHIC WAVE GUIDE NETWORKS
US20190208109A1 (en) * 2016-10-26 2019-07-04 Sony Corporation Image processing apparatus, image processing method, and program
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US9900510B1 (en) * 2016-12-08 2018-02-20 Lytro, Inc. Motion blur for light-field images
US10593718B2 (en) 2017-03-28 2020-03-17 Mitutoyo Corporation Surface profiling and imaging system including optical channels providing distance-dependent image offsets
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
IL251636B (en) * 2017-04-06 2018-02-28 Yoav Berlatzky A system and method for a coherent camera
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
EP3416381A1 (en) 2017-06-12 2018-12-19 Thomson Licensing Method and apparatus for providing information to a user observing a multi view content
EP3416371A1 (en) * 2017-06-12 2018-12-19 Thomson Licensing Method for displaying, on a 2d display device, a content derived from light field data
CN107392234A (zh) * 2017-07-05 2017-11-24 北京航空航天大学 一种基于单张4d光场图像的物体表面材质类型识别方法
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
JP6934072B2 (ja) 2017-12-26 2021-09-08 富士フイルム株式会社 撮像装置
KR20200116942A (ko) 2018-01-14 2020-10-13 라이트 필드 랩 인코포레이티드 3d 환경에서 데이터를 렌더링하는 시스템 및 방법
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US10740876B1 (en) * 2018-01-23 2020-08-11 Facebook Technologies, Llc Systems and methods for generating defocus blur effects
CN108459417B (zh) * 2018-02-05 2020-06-26 华侨大学 一种单目窄带多光谱立体视觉***及其使用方法
JP2020067625A (ja) * 2018-10-26 2020-04-30 国立大学法人九州工業大学 光学装置
CN109932852B (zh) * 2019-04-28 2021-02-05 清华大学深圳研究生院 一种使光场相机传感器利用率最大化的方法
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
CA3157197A1 (en) 2019-10-07 2021-04-15 Boston Polarimetrics, Inc. Systems and methods for surface normals sensing with polarization
WO2021077078A1 (en) * 2019-10-18 2021-04-22 Looking Glass Factory, Inc. System and method for lightfield capture
KR102558903B1 (ko) 2019-11-30 2023-07-24 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템 및 방법
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
CN111459004B (zh) * 2020-04-14 2021-09-14 清华大学 双光路合成孔径全息图拼接方法
US11595575B2 (en) 2020-05-11 2023-02-28 Samsung Electronics Co., Ltd. Image sensor
WO2021237065A1 (en) 2020-05-21 2021-11-25 Looking Glass Factory, Inc. System and method for holographic image display
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
WO2021262860A1 (en) 2020-06-23 2021-12-30 Looking Glass Factory, Inc. System and method for holographic communication
WO2022119940A1 (en) 2020-12-01 2022-06-09 Looking Glass Factory, Inc. System and method for processing three dimensional images
CN112945141B (zh) * 2021-01-29 2023-03-14 中北大学 基于微透镜阵列的结构光快速成像方法及***
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
CN115091744B (zh) * 2022-06-20 2023-06-27 厦门大学 一种控制剪切流诱导取向4d打印装置及其方法
CN116070687B (zh) * 2023-03-06 2023-07-04 浙江优众新材料科技有限公司 一种基于全局光线空间仿射变换的神经网络光场表示方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1935471A (en) * 1930-08-07 1933-11-14 Clarence W Kanolt Production of stereoscopic pictures
US3903531A (en) * 1973-02-14 1975-09-02 Personal Communications Inc Color micro optic apparatus
GB2282505A (en) * 1993-09-23 1995-04-05 Sharp Kk Three dimensional imaging apparatus
US6097394A (en) * 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
US6842297B2 (en) * 2001-08-31 2005-01-11 Cdm Optics, Inc. Wavefront coding optics
US7260251B2 (en) * 2003-03-31 2007-08-21 Cdm Optics, Inc. Systems and methods for minimizing aberrating effects in imaging systems
EP1494077A3 (en) * 2003-07-02 2006-12-27 Fuji Photo Film Co., Ltd. Image forming apparatus and image forming method
US7232990B2 (en) * 2004-06-30 2007-06-19 Siemens Medical Solutions Usa, Inc. Peak detection calibration for gamma camera using non-uniform pinhole aperture grid mask
JP4752031B2 (ja) * 2004-10-01 2011-08-17 ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティ 撮像の装置と方法
US20060204861A1 (en) * 2005-03-14 2006-09-14 Eyal Ben-Eliezer Optical mask for all-optical extended depth-of-field for imaging systems under incoherent illumination
US7723662B2 (en) * 2005-10-07 2010-05-25 The Board Of Trustees Of The Leland Stanford Junior University Microscopy arrangements and approaches
KR100746221B1 (ko) * 2005-12-23 2007-08-03 삼성전자주식회사 사입사 조명장치, 노광장비 및 사입사 조명방법
EP1986222A4 (en) * 2006-02-16 2010-09-01 Nikon Corp EXPOSURE DEVICE, EXPOSURE METHOD AND COMPONENT MANUFACTURING METHOD
US7756407B2 (en) 2006-05-08 2010-07-13 Mitsubishi Electric Research Laboratories, Inc. Method and apparatus for deblurring images
US20080075444A1 (en) * 2006-09-25 2008-03-27 Murali Subbarao Blur equalization for auto-focusing

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170016943A (ko) 2014-06-05 2017-02-14 가부시키가이샤 리코 촬상 모듈 및 촬상 장치
US9912854B2 (en) 2014-06-05 2018-03-06 Ricoh Company, Ltd. Imaging module and imaging apparatus

Also Published As

Publication number Publication date
US20100265386A1 (en) 2010-10-21
US7792423B2 (en) 2010-09-07
EP1956410A3 (en) 2009-04-01
EP1956410A2 (en) 2008-08-13
JP2008191661A (ja) 2008-08-21
US20080187305A1 (en) 2008-08-07
US7965936B2 (en) 2011-06-21
CN101430426A (zh) 2009-05-13

Similar Documents

Publication Publication Date Title
JP5328165B2 (ja) シーンの４ｄライトフィールドを取得する装置及び方法
Veeraraghavan et al. Dappled photography: Mask enhanced cameras for heterodyned light fields and coded aperture refocusing
US7646549B2 (en) Imaging system and method for providing extended depth of focus, range extraction and super resolved imaging
JP4679662B2 (ja) シーンの画像におけるぶれを低減する方法及びシーンの画像のぶれを除去する装置
JP4672060B2 (ja) シーンの画像におけるぶれを低減する方法及びシーンの画像のぶれを除去する方法
TWI521961B (zh) 相機、包含相機的系統、操作相機的方法及解迴旋記錄影像
JP4565192B2 (ja) 画像システムにおける収差を生じる影響を最小化するための、システムおよび方法
CN102369722B (zh) 摄像装置以及摄像方法、和用于所述摄像装置的图像处理方法
EP1789830A2 (en) Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and centrally obscured aperture
JP2014103475A (ja) 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
CN108227187B (zh) 一种扩展光学成像景深的方法及***
CN107077722B (zh) 图像记录设备及用于记录图像的方法
JP2013531268A (ja) 符号化開口を使用した距離の測定
JP2017526964A (ja) 画像を記録するための装置および方法
WO2009108050A9 (en) Image reconstructor
JP2017208641A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
CN107395933B (zh) 一种基于lcos空间光调制器的可编程孔径成像***及超分辨方法
CN115546285B (zh) 基于点扩散函数解算的大景深条纹投影三维测量方法
Matsui et al. Half-sweep imaging for depth from defocus
KR20160004912A (ko) 영상 획득 및 동시의 깊이 추출을 위한 장치 및 방법
CN106663312B (zh) 用于改善计算成像的***和方法
Tang et al. Utilizing optical aberrations for extended-depth-of-field panoramas
JP2017208642A (ja) 圧縮センシングを用いた撮像装置、撮像方法および撮像プログラム
Masia et al. Coded apertures for defocus deblurring
KR20110042936A (ko) 광 필드 데이터를 이용한 영상 처리 장치 및 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130514

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130625

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130723

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees