JP2008511859A - 球面収差範囲が制御され中央を掩蔽した絞りを有する多焦点距離レンズを使用した拡張焦点深度 - Google Patents
球面収差範囲が制御され中央を掩蔽した絞りを有する多焦点距離レンズを使用した拡張焦点深度 Download PDFInfo
- Publication number
- JP2008511859A JP2008511859A JP2007529820A JP2007529820A JP2008511859A JP 2008511859 A JP2008511859 A JP 2008511859A JP 2007529820 A JP2007529820 A JP 2007529820A JP 2007529820 A JP2007529820 A JP 2007529820A JP 2008511859 A JP2008511859 A JP 2008511859A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- multifocal
- image
- spherical aberration
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000004075 alteration Effects 0.000 title claims abstract description 170
- 238000003384 imaging method Methods 0.000 claims abstract description 254
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 53
- 238000012545 processing Methods 0.000 claims abstract description 46
- 238000000034 method Methods 0.000 claims description 65
- 238000013461 design Methods 0.000 claims description 42
- 230000004044 response Effects 0.000 claims description 37
- 230000000694 effects Effects 0.000 claims description 22
- 238000012546 transfer Methods 0.000 claims description 19
- 230000008859 change Effects 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 4
- 238000012937 correction Methods 0.000 claims description 3
- 238000012986 modification Methods 0.000 claims description 3
- 230000004048 modification Effects 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 2
- 230000010354 integration Effects 0.000 claims 2
- 230000003190 augmentative effect Effects 0.000 claims 1
- 230000007480 spreading Effects 0.000 claims 1
- 238000011084 recovery Methods 0.000 description 25
- 239000011159 matrix material Substances 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 7
- 241000282376 Panthera tigris Species 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000005286 illumination Methods 0.000 description 5
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 230000004438 eyesight Effects 0.000 description 2
- 238000005316 response function Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 241000283086 Equidae Species 0.000 description 1
- 241000283070 Equus zebra Species 0.000 description 1
- 230000001594 aberrant effect Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B13/00—Optical objectives specially designed for the purposes specified below
- G02B13/18—Optical objectives specially designed for the purposes specified below with lenses having one or more non-spherical faces, e.g. for reducing geometrical aberration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
- H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Lenses (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Microscoopes, Condenser (AREA)
Abstract
拡張された被写界深度は、拡張された被写界深度を有する回復画像を生成するデジタル処理サブシステムと、意図的にぼかされた中間画像を生成する多焦点撮像サブシステムとを結合するコンピュータ撮像装置により達成される。多焦点撮像サブシステムは、意図的なぼかしの優位な特徴として球面収差を示すのが好ましい。多焦点撮像サブシステムの中央掩蔽部は、被写体距離の範囲にわたり、被写体点の点拡がり関数をより均一にする。中間画像を回復画像に変換する反復デジタルデコンボリューションアルゴリズムは、収束を速め、停滞を防止し、画像品質を高める距離パラメータを含む。
Description
本発明は、拡張焦点深度を有する回復画像を生成するデジタル処理と、ぼかされた中間画像とを組み合わせることにより合焦可能な光景又は別の被写体を撮像することに関する。本発明は、パターン認識、検出、顕微鏡検査、マシンビジョン、及び光測定にも有用であるが、特に写真への応用が有用である。
従来の撮像サブシステムにより撮像される被写体は、回折制限撮像に関する撮像装置の絞り数の面積に反比例する、被写界深度として知られる限られた距離にわたり鋭く合焦する。現代のカメラは、種々の被写体距離において特定光景の高品質な画像を提供するため、自動システムを含む機械的な合焦手段を有する。それらの手段を有しても、広い範囲の距離にわたり被写体をくっきりと撮影するのは困難である。広い焦点深度を有するカメラは、明らかに優れた写真を提供するであろう。
画素ごとの撮像データのデジタル処理は、光学的に撮影された光景を改良し修正することに関し、より多くの機会を提供している。それらの改良の幾つかは、被写界深度を増すことに関する。例えば、デジタル処理は、拡張された被写界深度を有するコンポジット画像を提供するため、異なる焦点深度にて撮影された同じ光景の画像を組み合わせるのに使用されている。多数の画像は、収集するのに時間を要し、処理するのが困難であり、変更をかける光景に関して一般的に不満足なものである。
また、振幅変調フィルタが被写界深度を拡張するのに使用されている。振幅変調フィルタは、一般的に、撮像装置の絞り内に位置し、複数の内径をクリアにするが、外部環を減衰させる。しかしながら、上記フィルタは、多量の光損失を招き、こればその応用を限定する。
撮像された被写体に関する少なくとも幾つかの情報が焦点位置範囲を通して維持され、非理想的なインパルス応答関数が非合焦範囲にわたり実質的に変化せずに残るように、組織的な方法にて、中間画像を故意にぼかすというより有望な試みがなされている。点拡がり関数を効果的に解析するデジタル処理は、拡張された被写界深度を通して、画像をより認識可能な被写体の画像に修復する。
そのような一つの例は、それ以後、距離不変伝達関数を生成するため、撮像装置の絞り内にキュービックフェーズマスクを配置する。デジタル処理は、ぼけを除去する。被写界深度における重要な改善はなされているが、キュービックフェーズマスクは、回転対称ではなく、高価となることが立証されており、製造が困難である。
そのような別の例は、被写界深度を拡張するため、円形に対称で対数的な非球面レンズを配置する。これは、より経済的に製造される。しかしながら、上記対数−非球面レンズに関し、インパルス応答は、動作の全範囲にわたり完全に均一ではなく、その結果、回復画像の画像品質が低下する。
そのような中間画像のぼけを除去するための改造アルゴリズムは、それらの結果の品質及び効率に関する問題への課題である。非線形な処理アルゴリズムは、遅い収束又は停滞という欠点があり、高空間周波数にてコントラストが低下した画像を生成する。
我々の発明は、一若しくは複数の好ましい実施形態において、焦点深度の範囲にわたりより均一なインパルス応答を提供するために、制御された球面収差量を導入することにより、被写体の中間画像を意図的にぼかす多焦点撮像サブシステムを組み込む。3次球面収差は、意図的なぼかしの好ましい顕著な特徴である。デジタル処理サブシステムは、拡張された被写界深度により焦点が合っている被写体の画像を生成するより均一なインパルス応答を通して複雑な画像を回復する。意図的に中間画像をぼかす多焦点撮像サブシステムは、中央掩蔽絞りを有し、好ましくは円形対称であり、上記中央掩蔽絞りは、インパルス応答を減じ、より多くの非合焦に関するコントラストの反転のような状態を避ける。合わせて、制御された球面収差及び中央掩蔽絞りは、伝統的な制限をはるかに超えた拡張範囲にわたり回折を制限された能力を達成するため、十分に狭く及び不変であるインパルス応答を、拡張された焦点深度にわたり提供する。伝統的な制限の6〜10倍まで増加された被写界深度にわたり回折を制限した能力が達成可能である。上記撮像サブシステムにおける円形対称構造は、製造を簡素化し全体のコストを削減する。
拡張被写界深度を有し画像生成に関する発明による統合化コンピュータ撮像装置の一例は、意図的にぼかした中間画像を生成するための多焦点撮像サブシステムを含む。該多焦点撮像サブシステムは、意図的なぼかしの主な特徴としての球面収差を示す。中央の掩蔽は、球面収差と協働して、非合焦位置範囲を通してのぼかし効果内の変化を減じる。デジタル処理サブシステムは、多焦点撮像サブシステムにより生成された中間画像のぼけを除き、拡張された被写界深度を有する回復画像を計算する。
多焦点撮像サブシステムの全体の収差は、撮像光の規格波長における位相遅延関数として表現可能であり、球面収差は、好ましくは1.8〜6波長の位相遅延に寄与する。球面収差の制御された分量は、主に3次が好ましく、照明の波長、焦点長、及び最良焦点対象距離に独立している。
多焦点撮像サブシステムの絞りは、中央掩蔽部の外側範囲及び環状絞りの内側範囲を規定する最小半径δR、及び環状絞りの外側範囲を規定する最大半径Rを有する、円形対称が好ましい。好ましくは、δR/R比は、光損失が過大とならない0.3若しくはそれを超える。
多焦点撮像サブシステムの少なくとも一つのレンズは、実質的に球面収差無く設計可能であり、位相板は、意図的なぼかしの主な特徴を形成する球面収差を生成するように設計可能である。しばしば、位相板は、多焦点撮像サブシステムの絞りの多焦点撮像サブシステムの画像面側に取り付けることができる。又、多焦点撮像サブシステムは、意図的なぼかしの主な特徴を形成し、インパルス応答変化を減じる適宜な範囲内における球面収差を生成するために変更された表面を有する少なくとも一つのレンズエレメントを含むことができる。球面収差は、また、設計の柔軟性を増すため、一つを超えるレンズエレメント内で分割することができる。δR及びRでの絞り内で生成される位相遅延は、指定された被写体範囲の中央に関するものに少なくともほぼ等しいのが好ましい。
拡張被写界深度撮像システムとしての本発明の別の例は、被写体距離の範囲を通して合焦及び非合焦の効果をつり合わせる、理想の画像コンポーネントと球面収差コンポーネントとの組み合わせとして設計される多焦点撮像サブシステムを含む。中間画像検出装置は、被写体距離の範囲を通してつり合った合焦及び非合焦の効果を示す撮像サブシステムにより形成された画像を検出する。コンピュータ処理装置は、被写体距離の範囲を通してつり合った合焦及び非合焦の効果の修正に基づく拡張された被写界深度を有する回復画像を計算する。
理想の画像コンポーネントは、規定の被写体距離で被写体を撮像することを提供するのが好ましく、球面収差コンポーネントが合焦及び非合焦の効果をつり合わせる被写体距離の範囲は、規定の被写体距離を含む。例えば、多焦点撮像サブシステムは、理想の画像コンポーネントに寄与するように設計されたレンズと、球面収差コンポーネントに寄与するように設計された位相板を含むことができる。位相板は、多焦点撮像サブシステムの絞り内でレンズと中間画像検出装置との間に位置決めすることができる。
また本発明は、統合化コンピュータ撮像サブシステムの一部として多焦点撮像サブシステムの設計方法として実施することもできる。多焦点撮像サブシステムの第1コンポーネントは、規定の被写体距離での撮像用の理想の画像コンポーネントとして設計される。多焦点撮像サブシステムの第2コンポーネントは、被写体距離の範囲を通して合焦及び非合焦の効果をつり合わせるための球面収差器として設計される。多焦点撮像サブシステムの第1及び第2のコンポーネントの組み合わせは、意図的にぼけさせる中間画像を生成する。多焦点撮像サブシステムの第2コンポーネントは、意図的なぼかしの主な特徴である非球面収差に寄与する。中間画像及び意図的なぼかしに関する情報は、拡張された被写界深度を有する回復画像を生成するデジタル処理装置に供給される。
球面収差コンポーネントが合焦及び非合焦の効果をつり合わせるところの被写体距離の範囲は、規定の被写体距離を含むのが好ましい。さらに、球面収差コンポーネントが合焦及び非合焦の効果をつり合わせるところの被写体距離の範囲は、第1コンポーネントが回折制限画像を生成する被写体距離よりも少なくとも6倍大きい。多焦点撮像サブシステムの絞りは、被写体距離の範囲を通して合焦及び非合焦の効果をさらにつり合わせるために多焦点撮像サブシステムの第2コンポーネントと協働するように大きさが決められた中央掩蔽部とともに配列されるのが好ましい。
本発明による統合化コンピュータ撮像装置の別の例は、中間画像を意図的にぼかすための規定された収差コンポーネント及び理想の画像コンポーネントを組み合わせた被写体の中間画像を生成する多焦点撮像サブシステムを含む。多焦点撮像サブシステムの中央掩蔽部は、被写体距離の範囲にわたり、意図的なぼかしにより生成された被写体点の点拡がり関数をより均一にする。デジタル処理サブシステムは、多焦点撮像サブシステムにより生成された中間画像のぼけを除き、拡張された被写界深度を有する回復画像を計算する。
被写体点の点拡がり関数のそれぞれは、中央のピーク及び振動する環状構造を有するのが好ましく、中央掩蔽部は、設計に依存して、点に近い距離若しくは被写体点の距離に関する平均点拡がり関数を狭めることを提供する。特に、中央掩蔽部は、中央ピークの幅及び振動環状構造の両方を被写体点の間でより均一化する。
多焦点撮像サブシステムの意図的なぼかしは、被写体距離の範囲にわたり被写体点の点拡がり関数をより均一化するための出発点であるのが好ましい。中央掩蔽部は、被写体点間、特に撮像サブシステムの中央部分に対応する被写体距離での平均点拡がり関数の中央ピークを狭めるため、意図的なぼかしにより生成される点拡がり関数の異なるコンポーネントを除去するのが好ましい。デジタル処理サブシステムは、平均点拡がり関数に基づき回復画像を計算するのが好ましい。中央掩蔽部に関連する動作の増加は、理想の撮像装置における中央掩蔽部の使用に伴うかもしれない被写界深度の直接の増加からよりもむしろ被写体距離の設計範囲にわたる点拡がり関数の類似物によるものと考えられる。特に、被写界深度における、特に距離が近いものに関する関連改良点は、平均点拡がり関数のより狭い中央ピーク、及び設計被写体範囲にわたる点拡がり関数の類似の振動環状構造の両方によるものと主に考えられる。それらの2つのファクターは、被写体距離とともに点拡がり関数の変化を少なくし、デジタル処理にて使用される平均点拡がり関数は、十分に改善された出力を供給可能である。
拡張された被写界深度を有する画像を生成する統合化コンピュータ撮像装置としての本発明のさらに別の例は、被写体の中間画像を生成する撮像サブシステム、及び拡張された被写界深度に寄与する3次球面収差の所定量を使用する中間画像の意図的なぼかしを生成する手段を含む。デジタル処理サブシステムは、多焦点撮像サブシステムにより生成され、拡張された被写界深度を有する回復画像を計算する中間画像のぼかしを取り除く。
多焦点撮像サブシステムとしての本発明の例は、拡張された被写界深度に寄与する3次球面収差により意図的にぼかされる多数のレンズエレメントシステムを含む。3次球面収差は、多数のレンズエレメント間に分配され、上記システムの主な単色収差を形成する。好ましくは、中央掩蔽部は、拡張された被写界深度にわたり意図的なぼかしにおける変化を減じる3次球面収差と協働する。多数のレンズエレメントは、少なくとも2つの対数非球面を含むことができる。
拡張された被写界深度撮像に関する本発明による多焦点レンズシステムを設計する方法は、回折制限画像用に配列された理想の撮像コンポーネントと、3次球面収差により支配される収差コンポーネントとの組み合わせとしての撮像装置を系統立てること(formulating)を含む。3次球面収差量は、拡張された被写界深度にわたりインパルス応答内の変化を減じるように決定される。好ましくは、3次球面収差量は、拡張された被写界深度にわたりインパルス応答のより均一な組み合わせを特定するために、一つの量から別の量へ3次球面収差量を調整することにより決定される。
拡張された被写界深度撮像に関する本発明による多焦点レンズシステムを設計する別の方法は、3次球面収差量をレンズ設計に組み込むことにより理想のレンズ設計を修正することを含む。修正されたレンズ設計の実行は、焦点位置の範囲にわたりテストされる。3次球面収差量は、焦点位置の範囲にわたり変化が少ない点拡がり関数を生成するために調整される。中央掩蔽部は、好ましくは、例えばβ設計に関する近接距離での点拡がり関数を狭めるため設計に組み込まれる。
拡張された被写界深度を有する画像を生成するための本発明による統合化コンピュータ撮像装置を設計する方法は、ぼかされた中間画像を生成するための3次球面収差により支配される収差コンポーネントを有する撮像装置を系統立てることを含む。3次球面収差量は、焦点位置の範囲にわたりインパルス応答内の変化を減じるように決定される。計算されたインパルス応答は、拡張された被写界深度にわたりインパルス応答を不均一に重み付けするため、焦点位置の範囲にわたりインパルス応答の算術平均から外れる。計算されたインパルス応答は、多焦点撮像サブシステムにより生成された中間画像のぼけを除くため、及び拡張された被写界深度を有する回復画像を計算するためのデジタル処理アルゴリズムに組み込まれる。
したがって、円形対称、球面的に収差された、中央掩蔽部絞りを有する多焦点撮像システムは、中間画像に関する本発明により使用可能である。その結果、インパルス応答は、焦点深度範囲にわたり合焦を維持する画像を回復するためのデジタル処理を支持するため、被写体深度の範囲にわたり十分に不変である。光強度において過大な損失無しに、この組み合わされたシステムは、従来のレンズシステムにより得られるものの10倍の拡張された被写界深度にわたり回折制限された解像を生成可能である。被写界深度を拡張する以前のアプローチは、この能力を持っていない。新しい撮像装置は、また、円形対称とできるので、経済的に製造される。
また本発明は、中間画像に基づき画像を回復する方法として実施可能であり、光景の中間画像に近づくこと、及び最大エントロピーアルゴリズムを使用する中間画像の反復デジタルデコンボリューションを実行することを含む。最大エントロピーアルゴリズムを使用して、新しい画像は、方位画像の組み合わせを含むように評価される。それらの方位画像は、停滞点を避けながら回復画像側への収束を促進するため距離のパラメータを使用して独特に変更される。
上記距離パラメータは、0及び1の距離パラメータにて従来の最大エントロピーアルゴリズムを調和する。距離パラメータの値は、異なる画素値の重みを都合良く調整するため、0と1との間で好んで選択される。好ましくは、距離パラメータは、0.2と0.6との間の値である。距離パラメータの適切な選択は、ナイキスト限界に近づく高空間周波数にてコントラストを増す形状を有する変調伝達関数に寄与する。
中間画像は、非球面レンズのような多焦点撮像システムを使用して製造可能である。そのようなレンズの典型的な点拡がり関数は、画像コントラストを減じる振動ベースを有する。距離パラメータは、その好ましい範囲がぼかされた画像に見られるサイドローブ振動を著しく減じる範囲内で調整可能である。
我々は、デジタル画像処理に広い応用可能性を有することが期待される「距離パラメータ最大エントロピーアルゴリズム」即ちMPMEアルゴリズムとして、この新しい非線形デジタル処理形式を述べる。速い収束及び停滞回避の特性は、画像の再構成、回復、フィルタリング、及び映像処理に関して一般的に有益となることができる。
円形対称の多焦点レンズの我々の研究は、制御された球面収差量が、優れた被写界深度撮像となる所望距離不変ぼかしを提供することを表している。被写界深度を拡張する我々の好ましい多焦点レンズは、高次球面収差はもちろん3次球面収差を組み込み修正された標準撮像装置に基づくことができる。そのような標準撮像装置は、ペッツヴァルレンズ、クックレンズ、及び二重ガウスレンズを含む。
さらに、我々の研究は、被写界深度撮像、特に拡張された被写界深度中の回折制限解像での改良が、近接距離(β設計)又は遠距離(Y設計)に関してインパルス応答を狭めるために、多焦点撮像サブシステムの絞りの中央部を掩蔽することにより実現可能であることを見いだした。このことは、インパルス応答が不変であるところの距離の範囲を増す。多焦点撮像サブシステムの中央部は、距離とともにインパルス応答における変化への主な貢献部になることができる。正確に設計された多焦点撮像を有する中央掩蔽部(central obscuration)の組み合わせは、被写界深度をさらに拡張すること、又は拡張された被写界深度を通した高解像度撮像を支持することに使用可能である。
図1を参照して、拡張された被写界深度撮像用の統合化コンピュータ撮像装置10は、多焦点撮像サブシステム12、中間画像検出部14、デジタル処理サブシステム16、及びディスプレイ18を含む。
多焦点撮像サブシステム12は、一つ若しくは複数のエレメントレンズ22と、位相板24とを含む。レンズ22は、理想の撮像用に配置された少なくとも一つの球面表面を有する従来のレンズであるのが好ましく、位相板24は、規定の球面収差量に貢献するように配列されるのが好ましい。中央掩蔽部26は、動作をさらに改善するために多焦点撮像サブシステム12の絞り28内に配置することができる。位相板24は、図示するように、レンズ22と分離して作製可能であり、レンズ22とともに整列可能であり、又は、位相板の光学寄与は、対数レンズの形態のように、レンズ22の表面に組み込むことができる。レンズ22及び位相板24は、光を通過可能なものであるが、レンズ22及び位相板24のいずれか又は両方は、望遠鏡の写真応用におけるように、反射面として形成することもできる。中央掩蔽部26は、絞り28内に中央阻止(central stop)を加えることにより、又は中央に暗さを有する照明の環状パターンを配列することによるように、異なった方法で実現することもできる。既設の中央阻止は、望遠鏡の第2ミラーのように、本発明の目的のために使用することもできる。
本発明により企画される他の撮像装置は、色収差又は他の撮像要求を扱うためのような複数のレンズエレメントを含む。本発明は、複数のレンズエレメント間で所望の球面収差量を分配するため、そのような多数のレンズエレメント設計内で柔軟性を増すことを提供する。例えば、少なくとも2つのレンズエレメントは、対数非球面として形成可能であり、その各々は、所望の球面収差部分に組み込まれる。
画像検出部14は、被写体20の一般的にぼけている中間画像を集め、画素に分解されたCCD(電荷結合素子)、CMOS(相補型金属酸化膜半導体)、又は光感受デバイスとして形成可能である。検出器の画素は、2次元アレイ又は1次元アレイとして、若しくは単一の検出器画素としても配列可能である。2次元を除いていずれの画素結合も、2次元の中間画像30を完成するのに十分な情報を集めるために走査されるのが好ましい。しかしながら、1次元の撮像も特殊な応用のために使用可能である。
デジタル処理サブシステム16は、画像処理の目的のため、ハードウエアとソフトウエアとの組み合わせを有するコンピュータ処理部を含むのが好ましい。デジタル処理サブシステム16は、多焦点撮像サブシステム12をも含むカメラシステムに組み込まれることができ、又は、デジタル処理サブシステム16は、スタンドアロンの画像処理コンピュータとして配置されてもよい。デジタル処理サブシステム16の第1の目的は、中間画像30をシャープにすることである。この目的のために、反転フィルタ、又はその改良物、例えばウイナーフィルタが使用可能である。好ましくは、反復最大エントロピーアルゴリズムのような非線形アルゴリズムが中間画像30をシャープにするのに使用される。もし最大エントロピーアルゴリズムが使用されたならば、光加速ファクター、距離パラメータが速度及び収束を最適化するのに選択可能である。
回復された画像32として参照されるデジタル的に処理された画像は、CRT(ブラウン管)、LCD(液晶表示器)、又は効果を表示するのに適切な他の表示装置が可能であるディスプレイ装置18に出力される。又は、ディスプレイ装置18は、省略可能であり、回復画像32は、他の機能的なハードウエア/ソフトウエアに入力可能である。例えば、回復画像32は、パターン認識装置又はマシンビジョン装置に入力可能である。もし回復画像32がそれら後者の目的のために使用されるならば、デジタル処理サブシステムは、パターン認識装置又はビジョン装置に組み込むことができる。デジタル処理部は、中間画像におけるぼかし量に依存して任意とすることが可能である。
統合化コンピュータ撮像装置10は、バイナリー若しくはグレースケール、又はカラー撮像に適用可能である。それは、また、赤外線撮像を含む異なる波長の範囲にも適用可能である。
中間画像30を生成するための、改善された多焦点撮像サブシステム12の光学図は、位相板24の規定の球面収差を有するレンズ22の理想的な撮像を結合する対数非球面34の使用に基づいて図2に示されている。被写体面Iで対数非球面34から距離S0にて離れたところで光軸36に沿って位置する点源Sは、対数非球面34の反対側で、光軸36に沿って距離tの画像面IIにてぼかされた中間点画像Pとして撮像される。対数非球面34は、δRからRまでの半径を有する環状(又は円形状)の絞り28内に装填される。ここで、0≦δR<R である。光軸36からδRまでの、絞り28の中央部は、円盤状の閉鎖の形態における中央掩蔽部26により遮られている。一方、δR=0は、本発明の特別の実施形態に一致する、絞り全開の特別な場合として扱われる。
ここで、位相遅延φは、ラジアンで測定され、kは2π/λ0に等しく、ここでλ0は照明の平均波長、及び、Wはマイクロメートルでの光路差(O.P.D)である。
ここで、位相遅延φidealは、完全回折制限レンズに関しラジアンで測定され、rは平面Iにおけるラジアル座標、s0は合焦された被写***置、k=2π/λ0である。
式(3)は非近軸領域において有効である。
式(5)又は(7)のべき級数展開から、追加の球面収差は、導かれている、意図的なぼかしの主な特徴であるという本発明の目的を正しく認識することができる。これは、幾つかの特別の実施形態の記述内でより明らかにされる。
式(4)〜(8)に基づく設計を完成するため、所望の被写界深度範囲s1、s2が値t、R、δR、s0、λ0とともに選択可能である。その後、変数aβ、Aβ、φpβ(又は、aγ、Aγ、及びφpγ)が計算可能である。それらから、式(4)が収差Wを計算するのに使用可能である。
上述した対数非球面は、本発明により構成可能な多焦点レンズの例である。より一般的な観点から、拡張された被写界深度撮像に役立つ多焦点レンズは、高次球面収差はもちろん3次球面収差を含む、所定の球面収差量を組み合わせるために設計されたいずれの標準撮像装置から構成可能である。例えば、そのような標準撮像及び映写装置では、ペッツヴァルレンズ、クックレンズ、及び二重ガウスレンズのようなものがそれらの目的のために使用可能である。
収差の範囲に関して多焦点レンズを説明するため、(r/R)の式で級数で収差関数φpを展開するのが役立つ。例えば、式(4)、(5)、(6)から、設計パラメータ、s0=1500mm、s1=1400mm、s2=1615mm、t=62.5mm、R=8mm、λ0=0.5μm、及びδR=0が使用され、βタイプ対数非球面又は対数位相板の位相遅延のべき級数展開は、以下のように示される。
表1において、データの第1行は、式(1)からの多焦点レンズの全位相遅延関数である。即ち、φβ(r)=6721.22(r/R)2−45.63(r/R)4+0.32(r/R)6+...。データの第2行は、例えば、ペッツヴァルレンズ、クックレンズ、及び二重ガウスレンズ、又はカセグレン系の理想のレンズ配列に関するラジアン位相遅延関数である。データの第3行は、多焦点レンズと理想レンズとの位相遅延間の差異である、位相遅延関数の収差の項である。多焦点レンズにおける主な収差の項は、3次球面収差(即ち、r/Rの4次項)である。回折制限解像に関し、最大の許容可能なO.P.Dは、大体0.25λである。被写界深度において10倍の増加を達成するため、球面収差は、約3波長(即ち、19.28λ/2π=3λ)であり、これは、回折制限撮像に関し許容可能な非合焦の10倍を少し超える。我々の多焦点レンズの良好な性能は、1.8から6の量の波長における球面収差を含み、一方、高次球面収差は殆ど重要ではない。この方法にて設計された多焦点レンズは、従来の理想レンズの6から10倍の拡張された被写界深度を有するであろう。
我々の多焦点レンズの別の例は、上述のパラメータ値と同じであるが、中央掩蔽部26の実効を示すため、δR/R=0.5とした。異なる項に関する位相遅延は、以下の表2に示されている。
3次球面収差(r/R)4は、中央掩蔽部無しよりも大きいように見えるが、有効な3次収差、つまりレンズ端と中央の掩蔽された遮蔽部との間の球面収差から与えられる位相遅延差は、25.76−{25.76×(δR/R)2}=19.32ラジアンである。したがって、有効な3次収差量は、表1に記載される全開絞り多焦点レンズ、及び表2に記載される中央の掩蔽された多焦点レンズの両方で類似する。したがって、良好な動作の中央掩蔽多焦点レンズは、1.8〜6波長の範囲内である有効な3次収差を有する。
上述から、1.8〜6波長の範囲内の有効な3次球面収差を有する多焦点レンズは、従来のレンズの場合を超える6〜10倍に被写界深度を増すことができるということが明らかである。この結論は、中央掩蔽部の妥当な量に関係し、照明の波長、焦点距離、及び最良の焦点被写体距離に独立である。
2次の項、つまり級数展開の(r/R)2は、被写界深度の増加に関連しないが、焦点範囲の中心位置を変化する関数を有する。2次項に関し、絞り28の内側端での収差Wと、中央掩蔽部26の外側端での収差Wは、位相板又はレンズの製造を容易にするため同様の値を有するという方法にて、我々は、通常、値を選択する。中央掩蔽部を使用しない、つまりδR=0の場合、2次項の係数は、絞り28の端部での収差Wがゼロであるように選択される。
それらの制御された収差は、例えばペッツヴァルレンズ又はクックレンズの公知の撮像レンズ配列に組み込むことができるという異なる方法がある。存在するレンズ配列に関し、簡単な方法は、位相板24のような多焦点レンズの収差部分を作製することであり、それはレンズ配列の絞り28に取り付け可能である。もしレンズ配列の絞り28が画像面(II)側で最後のレンズエレメントの外側であるならば、この方法は、最も有効である。
多焦点レンズの実現に関する別の方法は、対数非球面34のレンズ設計に収差を組み込むことである。対数非球面34の表面パラメータを修正することにより、全位相遅延関数は、理想レンズ部及び収差部をさらに含むことができる。この方法は、実際のレンズエレメントが必要ではない。例えば、公知のレンズ配列のフリップオーバーは、大きな球面収差量を導き、それは開始設計点として使用可能である。この実施形態の2つの重要な特徴は、それが良好な色修正はもちろん、良好な角度解像を含むということである。所望の球面収差量は、設計の柔軟さをより証明するため、多数のレンズエレメント設計のなかで分配可能である。
実質的な距離不変インパルス応答は、拡張された焦点深度を有する画像の回復に重要である。規定の球面収差量は、中央掩蔽部の有無の両方での有効な動作のため、より大きい距離不変インパルス応答を生成するのに使用可能である。δR=0.5のレンズにおいて、最適な球面収差量は、約3波になることがわかっている。しかしながら、本当に良好な画像回復は、1.8〜6波の範囲内での球面収差に関し得られる。図3Aから図3Fは、距離不変インパルス応答に関する有効な範囲を示している。注意点は、1)中央ピークの幅、2)サイドローブの類似性、及び3)サイドローブへ漏れたエネルギーである。図4Aから図4Fは、δR=0のレンズに関する対応インパルス応答を示している。
上述の議論は、γタイプの対数非球面の場合にも適用される。γタイプの対数非球面に関し、Wに関するべき級数の係数は、符号が変化するが、他の点では同様である。これは、例により以下に示されている。
γタイプの対数非球面に関し、s0=1500mm、s1=1400mm、s2=1615mm、t=62.5mm、R=8mm、λ0=0.5μm、及びδR=0を含む、同一の設計パラメータが使用可能である。式(4)、(7)、(8)から、γタイプの対数非球面又は対数位相板の位相遅延のべき級数展開は、表3に示されるようになる。
多焦点レンズの別の例として、表4は、上述と同じパラメータ値に基づくが、中央掩蔽部26の有効性を示すため、δR/R=0.5である。この結果は、表2と比較可能である。
βタイプとγタイプとの位相板の違いは、2次及び4次の項における符号の違いである。3次の球面収差に対応する4次の項は、γタイプレンズに関し正であり、βタイプレンズに関し負である。しかしながら、対応の3次球面収差の項の絶対値は、同じ設計範囲のものに同様である。
γタイプレンズの性能を立証するため、図5Aから図5Fは、δR/R=0.5の中央掩蔽部とともに、O.P.Dの単位にて、3次球面収差の異なる量に関する点拡がり関数を示している。図6Aから図6Fは、中央掩蔽部を有さず、O.P.Dの単位にて、3次球面収差の異なる量に関する点拡がり関数を示している。点拡がり関数の幅は、被写体がさらに離れるとともに小から大へ変化することが明らかである。このことは、βタイプレンズの結果と対照的である。図5及び図6から、有効な球面収差は、1.8から6波長の間の範囲に存在することが明らかであり、その範囲は、γタイプレンズに関し正であり、βタイプレンズに関して負である。レンズタイプ間のさらなる比較として、βタイプは、より良好な長い距離性能を提供し、一方、近接距離がより重要となるとき、γタイプは有利である。
被写体距離の範囲、例えばs1からs2にわたり、インパルス応答の類似性に基づいて、中間画像30のデジタル処理は、被写界深度間で被写体点の画像をシャープにするのに使用可能である。画像回復の一つの方法は、ウエイナーヘルストロン反転フィルタのような、反転フィルタの使用を含む。又、最大エントロピーアルゴリズムは、デジタル処理サブシステムにプログラム可能であり、画像回復用のこのアルゴリズムの応用への好ましいアプローチが以下に述べられている。
ここで、二重アスタリスク(**)は、空間的たたみこみ(spatial convolution)である。被写体fの推定値に関し、我々は仮定の被写体f(0)から始め、図5に従い繰り返す。最大エントロピー条件は、C=Caimの制約の下でSを最大化するであろう被写体fの推定値を見つけるようなものである。ここで:
であり、及び、Caimは、画像における画素の全数であり、<f>は、画像の平均である。
最大エントロピーアルゴリズムは、被写体20の推定値を決定するための反復アプローチである。そのアルゴリズムの図が図5に示されており、ここで、未知の被写体は、レンズの実際の点拡がり関数でたたみ込まれている。そして、撮像のプロセスにノイズが加えられる。被写体の初期推定値からスタートして、この被写体の画像が一つの点拡がり関数でたたみこまれることにより計算される。そして、測定されたぼかし画像と、計算されたぼかし画像との差が計算される。もしその差が経験上ノイズよりも統計的に大きいならば、つまりエントロピー最大化の条件が達成されないならば、上記被写体の新しい推定値が、ノイズ制約及びエントロピー最大化条件の両方が一致するまでに、即ち式(10)及び(11)が満足するまでに、発生される。
たたみこみにて使用される単一の点拡がり関数は、異なる焦点深度に関して観察される点拡がり関数の平均として計算可能である。しかしながら、個々の焦点距離は、他の効果を補償するため、他にわたりある焦点距離を支持するための単一の点拡がり関数を調整するために、異なって重み付け可能である。単一の点拡がり関数は、特殊な応用例や光景に関して所望の結果を達成するため、経験的に変更することができる。
各繰り返しに関して、被写体の新しい推定値は、下記(12)式に示す適切な係数を有する3(又は4)方位画像を加えることにより、前回の推定値から計算される。
ここで、f(n+1)は、被写体の(n+1)番目の推定値であり、f(n)は、前回のn番目の推定値であり、eiは、i方位画像である。
したがって、上記アルゴリズムの2つのキーステップは、
i)どの方向の画像eiを使用すべきか、
ii)上記方向の画像の対応係数xiをどのように計算するか、
である。
i)どの方向の画像eiを使用すべきか、
ii)上記方向の画像の対応係数xiをどのように計算するか、
である。
新しい距離パラメータγが、方位画像eiを決定するために、最初のステップとして導入される。パラメータγは、スティープアセント(steep ascent)方法から得られる方位画像の画素値を調整する。上記パラメータの範囲は、0から1であり、γ>1がさらに可能である。このパラメータが大きいとき、さらなる重みが画像内の大きな画素値に与えられ、また、スティープアセント方法から導かれる方位画像から方位画像eiのより大きな偏差が存在する。
第2ステップでは、変数δfに関するS及びCのテーラー展開が2次項まで計算される。これにより、2次の近似モデルSt及びCtが確立される。該2次モデルは、それらの2次方程式が式(10)及び(11)における元の非線形方程式よりも解くのが非常に簡単であることから、制約された最大化処理を非常に容易にする。被写体の次の推定値をどのように見つけるかを示す図が図8に示されている。
距離パラメータγの最適値を研究するため、パラメータγを変更する効果に関するさらに詳しい研究がなされた。バイナリー光景、シマウマ、虎を含んだ、ヒストグラムを変更した3つの異なる写真が使用される。それらの写真の各々は、最大画素値が255にスケールされた256×256画素を有する。各写真は、5×5マトリックスからなる最大ぼかし、及び、外側領域にてゼロではない15の値と10のゼロとを有する15の正規化されたインパルス応答を使用して、ぼかされる。ガウスのノイズが、9つのステップにて0.2から1.8まで標準偏差σを分布した状態で、加えられる。距離パラメータγが0.0から1.0に分布した21個の値に与えられる。よって、それらのコンピュータシミュレーションでは、約8000の場合がある。多数の繰り返しに関し、有効パラメータを使用するのが便利であり、それは、Lσ/Dにて規定される。ここで、Lは、収束するために最大エントロピー計算のループ数であり、σはノイズ標準偏差であり、Dはぼかし関数におけるゼロでない画素の数である。図9において、我々はLσ/D 対γのグラフを示す。ここで、γは、距離の収束パラメータである。対数における開始画像は、ぼかされた画像の平均に等しい画素を有する一様に灰色の写真である。パラメータLσ/Dを使用する根拠は、以下に説明されている。
コンピュータシミュレーションに関し、最大エントロピー回復用のループLの数は、点拡がり関数の領域(area)Dに直線的に比例する、即ちぼかしの激しさに質的に比例する。また、ループ数は、ノイズσの標準偏差にほぼ反比例する。
画像内容の広い変化に関し、図9から、γ=0.4とする選択は、γ=1の場合よりもより速い収束を提供することが明らかである。γ=0のスティープアセント方法に関し、アルゴリズムは収束しないが、しかし、γ=0.4の場合(シマウマに関する)に比較して、固定σ/D用のループ数の173倍を要する。曲線から直ちに明らかとはならない別の特徴は、距離γが1に等しい又は1に近いとき、上記アルゴリズムが停滞により作動しなくなる可能性があるということである。実験により、距離パラメータの推奨値は、0.2から0.6であり、より好ましくは0.3から0.5である。要約すると、距離パラメータγの使用は、収束を保証し、及び、広い範囲の光景に関してアルゴリズムをより速く収束させるということが明らかである。停滞は、0.3<γ<0.5にて観察されなかった。この非線形デジタル処理の新しいタイプは、距離パラメータ最大エントロピー(MPME)アルゴリズムと呼ばれる。
距離パラメータ最大エントロピーアルゴリズムのより厳密な数学的な記述は、距離パラメータγのどの制御がアルゴリズムの収束を広い範囲の光景に対してより速くするかということになる。
ここで、λはラグランジュの乗数の定数である。問題は、C=Caimの制約下でQを最大化することになる。Qは、nの変数の関数であるので、ここでnは画像内の画素数であり、通常非常に大きい、解を見つけるために、繰り返し数値法(iterative numerical method)が使用可能である。各繰り返しにおいて、標準的な方法は、解が見いだされるように判断される検索方向を最初に決定し、そしてそれらの方向に沿ったステップ長(step length)を見つける。
方位画像の選択は、収束及びアルゴリズムの速度を決定することにおいて重要である。スティープアセント方法において、Qを最大化するための検索方向は、∇Qである。異なる画素値fiの重みを調整するため、方向は下記になるように修正可能である:
上述の式において、新たな距離パラメータγは、距離パラメータ最大エントロピーアルゴリズムの速度及び信頼性を改善する。写真における画像のぼけを回避するため、大きな画素値は大きい重みを有し、よって、アルゴリズムを所望の大きい画素値に速く近づけるため、γ>0が選択される。一般的に、γは0から1にて選択される。γ=0のとき、eAは、スティープアセント方法に関する検索方向になる。γ=1のとき、eAは、本明細書に参考として編入される、Burch等の「Image restoration by a powerful maximum entropy method」Comput. Visions Graph. Image Process. 23, 113-128 (1983) により使用される検索方向になる。スティープアセント方法及びBurch等の方法のいずれも、収束の速度を増し、停滞を防止するために操作可能な新しい数学的構成を提供する距離パラメータγを組み込んでいない。
これは、最小化されるために∇Q・∇Qの必要さをも意味する。従って、次の検索方向は、1/2∇(∇Q・∇Q)又は∇∇Q・∇Qとなるべきである。ここで、∇∇Qは、そのコンポーネントが下記のように定義されるダイアド勾配(dyadic gradient)である。
再度、大きい画素値を強調するため、方向は下記になるように修正される:
式(13)を式(14)及び(16)に代入することで下記が得られる:
上記展開を観察して、2つの方向は、分離検索方向、即ち下記、として扱うことができる、実際に多くの方向の線形結合(linear combination)であることがわかる。
式(10)及び(11)から、以下を得る:
式(19)及び(20)を式(18)に代入することで、下記の、各検索方向のコンポーネントが得られる:
アルゴリズムにおいて、e5及びe6は、γ=0.5のとき、それらはそれぞれe1及びe2に分解されるので、検索方向として無視可能である。また、γ<0.5のとき、小さい画素値に関し、それら両方は、小さい値での除算を伴う。これは、数値の精度の問題を引き起こす可能性がある。したがって、e1、e2、e3、e4は、4つの検索方向として選択される。
アルゴリズムを簡素化するため、この問題に関して3つの検索方向で十分であり、e1、e2、e3、又はe1、e2、e4を選択でき、別の選択として−λe3を選択できる。後者の選択の方がいくぶん好ましいが、アルゴリズムは、ほぼ同じ速度にて収束する。ここで、λは、式(13)及び(15)により選択される定数である。即ち、λは、下記にて与えられる:
どちらの場合においても、3つの方向は、簡素化のため、e1、e2、及びe3で書くことができる。検索方向の計算において、方向e2及びe3は、基本的に、一つの方向に形成される前に、本当の点拡がり関数h及び被写体fに関連するたたみこみであることが明らかである。たたみ込み動作後、画素シフト又は画像位置シフトがないことを確かめるため、注意が必要である。
現在の反復(n)に関する3つの方向が計算された後、次のタスクは、次の反復f(n+1)に関する被写体の推定値を見つけることである。それは下記のように定義される:
ここで、δfは、現在の反復に関する画像変化である。それは、決定されるそれらの、下記の、係数とともに、検索方向の線形結合として定義される:
S及びCは、複雑な方法にて変化するfの関数であるので、テーラー展開が検索方向の関数としてそれらの値を計算するのに使用可能である。2次の項まで維持して、St及びCtは、下記のように書かれる:
式(24)を式(25)及び(26)に代入して、行列の形式で書かれる下記の式を得る:
式(27)及び(28)において、係数は下記のように定義される:
ここで、[…]Tは、行列の転置を示す。行列A、B、M、Nは、式(20)及び(21)から計算される。
式(27)及び(28)は、B及びNを対角行列にするため、新しい変数を導入することにより簡素化可能である。最初に、回転行列Rは行列Bを対角行列にするために見つけられる。即ち、:
ここで、diag(…)は、対角行列を示す。
新たな変数Yは、下記のように定義される:
式(31)及び(30)を式(27)及び(28)に代入することで、以下の式を得る:
Bのいくつかの固有値は、非常に小さく、これは以下の2つの場合にて議論される。
ケースi) λ1、λ2、及びλ3のいずれも小さくないと仮定する。
ケースi) λ1、λ2、及びλ3のいずれも小さくないと仮定する。
下記のようなZを導入する:
式(34)を式(32)及び(33)に代入することで、下記を得る:
第2回転行列VがPを対角行列にするために導入される。即ち、:
又、下記のようにUを定義する:
そして、式(37)及び(38)を式(35)及び(36)に代入することで、下記の式を得る:
式(31)、(34)、(38)を組み合わせて、下記の恒等式を得る:
ケースii) λ3がλ1及びλ2に関して小さいと仮定する。
この場合、式(31)において、λ3≒0、y3=0であり、また、:
そして、式(32)及び(33)は、以下のようになる:
第2回転行列Vが、下記のようび導入される:
新しい変数Uが、下記のように定義される:
式(31)、(42)、(46)を組み合わせて、下記の恒等式を得る:
λ1、λ2、及びλ3の2つの値が小さい他のケースは、同様の方法にて扱われる。一般的に、St及びCtの以下の式が、以下のように対角行列された2次の行列にて全てのケースに関し記載可能である:
uiとxi(i=1,2,3 又はi=1,2,又はi=1)との関係は、恒等式(41)又は(49)にて見いだすことができる。
最大エントロピーの問題は、式(51)にてCt=Caimの制約の下、式(50)にてStを最大化するために一つになる。式(51)におけるCtは、下記の最小値を有する:
明らかに、Cminは、Caimよりも大きくできる。もしこのことが起こったならば、Ct=Caimの制約の下、Sの最大化は、解を持たないであろう。従って、下記のような、常に達成可能な新しい制約が定義される:
ラグランジュの乗数法は、下記のような、新たな変数Qtを導入することで、式(50)における最大化を解くために使用可能である。
ここで、Qtは、式(54)の左辺で変化可能なQ波に対応し、解が見いだされた(a>0)保証は、それを最小化する代わりにエントロピーを最大化するであろう。
式(50)及び(51)を式(54)に代入することで、下記のように、Qtを最大化するuiの値を得る:
ここで、式(55)を式(51)に代入することで、及び式(53)における制約を使用することで導かれる、下記の式を解くことにより、αは、決定される:
αが求まった後、係数x1,x2,x3が、式(55)及び(41)又は(49)により見いだされ、次の反復に関する次の仮定された被写体は、式(23)及び(24)により計算可能である。各反復において、仮定された被写体における負の値がゼロにリセットされる。
各反復にて、もしC=Caimの制約が満足するならば、エントロピーが最大化されるか否かは、∇Qがゼロか否かを決定することにより、あるいは、∇S及び∇Cが下記の値を計算することにより平行であるか否かにより、確認される:
アルゴリズムは、|test|<0.1であれば、停止する。
式(25)及び(26)における表現が正確ではないような係数x1,x2,x3が非常に大きい場合の特別なケースがある。上記Burch等の文献は、このことを、距離ペナルティーパラメータを導入することにより処理している。しかしながら、被写体の開始の推定値が、均一に灰色の写真、又はぼかされた写真であるならば、一般的に、この複雑さは、回避可能である。開始画像が任意であるときのみ、特別のパラメータが、最初の数反復を通してのみ、アルゴリズムに導入されるべきである。距離パラメータ最大エントロピーアルゴリズムのさらなる記述は、本明細書に参考として編入される、共同発明者による文献「Computational imaging with the logarithmic asphere: theory,」J. Opt. Soc. Am. A/Vol. 20, No. 12, December 2003 に見つけられる。
収束速度を増し停滞を防止することに加えて、改善されたぼかし及び画像回復が可能である。距離パラメータ最大エントロピーアルゴリズムつまりMPMEアルゴリズムは、回復画像のコントラストを増すことにより、画像品質を改善する。距離パラメータγ、特に0.2〜0.6の範囲の調整は、多数の長方形形態を有する変調伝達関数に帰着する。それは、高空間周波数コンポーネントのコントラストを保護する。距離パラメータγの効果は、中間画像で明白なサイドローブ振動における減少のように点拡張関数ではっきりしている。最後の点画像は、ほとんど若しくは全くリンギング(ringing)を有さない真の点に近接する。振動リングの消失は、また、コントラストを増す。
MPMEアルゴリズムは、いずれの画像とともに開始可能な反復デジタルデコンボリューション方法を提供する。次の新しい画像の推定値は、方位画像の線形結合を含むことができる。距離パラメータγは、距離パラメータγの完全な例のように従来のアルゴリズムの方位画像を調和しながら、従来の最大エントロピーアルゴリズムにより提供される画像から方位画像を修正する。好ましくは、2次のテーラー展開が、検索方向の関数のようにエントロピーS及び統計的なノイズ制約Cの値を計算するのに使用される。修復された統計的ノイズ制約は、新しい画像の推定値の反復解を保証する。
距離パラメータ最大エントロピーアルゴリズム(MPME)は、図15に示すように、全変調伝達関数の結果の「箱状の」形態のため適用に重要な範囲を有する。よって、高空間周波数では、デジタル画像のコントラストは、写真画像の伝統的な減少が典型的であるよりも高くなるであろう。既知であるように、非コヒーレント画像光伝達関数は、カットオフ周波数としても知られるように、ゼロからナイキスト限界(Nyquist limit)までの空間周波数範囲のように、三角状方法(triangular-like manner)において減少する。MPMEアルゴリズムは、よりシャープな、よりきれのよい、高いコントラストの出力を提供する。高周波数又は端がシャープな形態を提供する従来のアルゴリズムがあるが、それらは、高周波数ノイズも増幅してしまう。例えば、そのようなアルゴリズムの一つは、高周波数強調による、逆FFTによる、2次元のFFTからなる。しかしながら、既知のように、高空間周波数で強調又は高コントラストを提供するそれらの従来の方法は、画像内のノイズを増幅する。MPMEアルゴリズムを使用する経験から、図7及び図8に示すように動作研究から明らかなように、MPMEアルゴリズムは、そのような欠点を有さない。MPMEアルゴリズムは、ノイズを過度に増幅することなく、高空間周波数でシャープなコントラストを提供する。したがって、これは、デジタル画像処理における一般的な応用可能性に貢献する。
図2から明らかなように、絞り28の光学中央掩蔽部26は、装置性能の改良を導いている。多焦点撮像システム12に中央掩蔽部26を組み込むことにより、処理された画像は、特に被写体距離が近いところで、高い解像度及び高いコントラストを有することができる。この比較の詳細は、以下の段落で述べられている。
中央を掩蔽した対数非球面により導かれる改善された性能を示すため、図10及び図11は、全絞り対数非球面を通して生成された画像と、中央を掩蔽した対数非球面を通して生成された画像とを比較する。2点被写体シミュレーションの撮像は、全絞りβ設計対数非球面に基づいて、図10に示されている。設計されたパラメータは、レンズのf/#が4にて、s1=1400mmの近距離、s2=1615mmの遠距離、及びs0=1500mmの中央距離である。被写体の回折限界深度は、±8mmである。2つの被写体点は、回折限界距離、即ち2.27μmにて分離されている。対数非球面によりぼかされた被写体画像は、図10の(b)〜(d)に、それぞれs=1450mm、1500mm、1580mmにて示される。図10の(e)〜(h)は、図10の(b)〜(d)のそれぞれの画像に関する最大エントロピー回復の結果を示している。比較のため、理想レンズの性能が図10の(a)及び図10の(e)に示される。最大エントロピーアルゴリズムに内在するデコンボリューションのため、優れた回復がなされることがすぐにわかる。それらの回復に使用されるノイズの標準偏差は、σ=1.5である。図10の(b)〜(d)に使用される点拡がり関数は、設計範囲にわたり対数非球面の平均の点拡がり関数であり、図10の(a)の点拡がり関数は、理想レンズの実際の回折ぼかしである。最大エントロピー回復において、インパルス応答のいずれの単一部分を使用することは、その距離にてほぼ完璧な回復を導くであろう。しかしながら、拡張された被写界深度に関して、平均の点拡がり関数を使用するのがより有利である。図10の(b)〜(d)に示すように、殆どの振動リングを削除すること、及びぼかしを狭くすることにより、ほぼ、回折限界解像が全範囲にわたり達成可能である。図の(g)及び(h)に示すように、かすかなリングが回復内で明らかとなっている。
中央を掩蔽した対数非球面26を使用した類似のシミュレーションが図11の(a)〜
(o)に示されている。同じように、近距離(s1=1400mm)、遠距離(s2=1615mm)、及び中央距離(s0=1500mm)が使用されている。中央掩蔽δR=0.5、つまり絞りの25%までの面積は、使用されていない。この掩蔽は、光強度のほぼ25%の損失を引き起こす。これは、最終的な設計トレードオフにて考慮が必要である。図11において、各行は、被写体距離1450mm、1492mm、1500mm、1508mm、及び1580mmに関するもので、列は、理想画像、中間(ぼかされた)画像、及び回復画像に関するものである。従来の(全絞りf/4.0用の)被写体深度は、1492mmから1508mmまでの範囲である。設計範囲にわたる単一の平均インパルス応答は、5つのすべての回復のために使用されている。対数非球面に関するぼかしに似たものは、中間(ぼかされた)画像の中央列からはっきりと見られ、それら全ては、低強度振動リングに伴い中央部に2つの明るいピークを有する。中央の明るいピークは、また、同様の大きさである。5つ全ての画像において、優れた回復がなされているので、振動リングは、問題を提供しない。2つの点の回復(右列)は、1450mmから1580mmまでの優れた回折限界解像を示す。s=1420mmにて(不図示)、2点は、まだ、容易に分離可能であるが、図のように明瞭ではない。
(o)に示されている。同じように、近距離(s1=1400mm)、遠距離(s2=1615mm)、及び中央距離(s0=1500mm)が使用されている。中央掩蔽δR=0.5、つまり絞りの25%までの面積は、使用されていない。この掩蔽は、光強度のほぼ25%の損失を引き起こす。これは、最終的な設計トレードオフにて考慮が必要である。図11において、各行は、被写体距離1450mm、1492mm、1500mm、1508mm、及び1580mmに関するもので、列は、理想画像、中間(ぼかされた)画像、及び回復画像に関するものである。従来の(全絞りf/4.0用の)被写体深度は、1492mmから1508mmまでの範囲である。設計範囲にわたる単一の平均インパルス応答は、5つのすべての回復のために使用されている。対数非球面に関するぼかしに似たものは、中間(ぼかされた)画像の中央列からはっきりと見られ、それら全ては、低強度振動リングに伴い中央部に2つの明るいピークを有する。中央の明るいピークは、また、同様の大きさである。5つ全ての画像において、優れた回復がなされているので、振動リングは、問題を提供しない。2つの点の回復(右列)は、1450mmから1580mmまでの優れた回折限界解像を示す。s=1420mmにて(不図示)、2点は、まだ、容易に分離可能であるが、図のように明瞭ではない。
性能の改善は、特に近距離(β設計)に関して、平均の点拡がり関数の狭い中央ピーク、及び設計被写体範囲にわたり点拡がり関数の類似の振動リング構造の両者により、確信される。それら2つの要素は、被写体距離sに対しほとんど変化しない点拡がり関数を導き、よって、デジタル処理にて使用される平均の点拡がり関数は、著しく改善された出力を提供可能である。従って、図10と図11との比較にて、中央掩蔽対数非球面を使用することで、著しく改善された結果を達成することができる。リングはより抑制され、2点は、被写体距離の範囲にわたりよりはっきりと分解可能である。さらに、中央掩蔽は、大きな非焦点量に関するコントラスト反転のような状況を防止することができる。
中央掩蔽対数非球面の改善された性能を論証するため、図12及び図13に、δR=0、δR=0.3、及びδR=0.5の異なる中央掩蔽値を有する3つの対数非球面を使用し、同じ2点被写体を撮像したものに関する強度分配を示す。被写体が、最も合焦した面よりも50mm近い箇所、又はs=1450mmの距離に存在するとき、2点方位における回復された1次画素値は、理想レンズによるぼかし画像の画素値とともに、図12にプロットされている。理想レンズの曲線を生成するため、レンズの全開絞り、つまりδR=0が使用される。十分に分解可能な2点回復は、δR=0.5の中央掩蔽にて生成される。しかしながら、掩蔽がδR=0.3まで減じられたとき、回復点は、わずかに分解可能であり、中央掩蔽がないδR=0のときには、回復点は分解できない。それらの曲線は、正しく寸法づけがなされた中央掩蔽によりなされた性能の改良をはっきりと示している。性能の向上は、我々は絞りの中央掩蔽による被写界深度の増加がそれ自身により、より制限されるということを初期のセクションから見ているので、中央掩蔽による被写界深度の増加からの代わりに被写体距離の設計範囲にわたる点拡がり関数の類似性のため主に確信される。図13は、被写体に関し、対数非球面及び理想レンズの最良合焦位置であるs=1500mmの距離での、類似の一対の曲線を示している。解像能力及びコントラストの両方に関し、中央掩蔽を有する対数非球面の有利さが、再度、明らかである。
本発明により可能となる改善された性能は、写真用に特別な利益を有し、それは、図14の(a)〜(d)の映像からの比較により観察可能である。このシミュレーションにおいて、虎の写真は、1580mmの距離(即ち、最良合焦位置より80mm超えたところ)での写真である。図14の(a)は、中央掩蔽無しに対数非球面に関して回復された画像である。図14の(b)及び図14の(d)は、それぞれ、δR=0.3及びδR=0.5の中央掩蔽を有する対数非球面に関する回復画像である。図14の(c)は、比較のため、全開絞りを有する理想レンズにより生成された虎の画像を示す。掩蔽を有する及び有しない両方の対数非球面は、被写界深度を拡張することができる。しかしながら、掩蔽を有する対数非球面に関する回復画像は、ほとんど人工事実がないことから、より好ましい。回復の人工事実は、被写体距離の範囲を通り点拡がり関数の間での差異により、明らかであると確信されるが、一方、設計範囲にわたる平均の点拡がり関数が全ての回復に使用されている。それらの写真の検査において、シミュレーションにおける虎のほおひげの幅は、約0.7μmであることに注意を要する。これは、回折限界点のサイズよりも小さい。
強度撮像装置において、光伝達関数によりそれらの性能を特徴付けるのは一般的である。この概念をコンピュータ撮像装置に拡張したとき、原則として、全周波数応答は、入力被写体のスペクトルにより回復された画像のスペクトルを分割することにより見いだすことができる。従って、全周波数応答を見つけるため、点源の画像は、種々の被写体距離にて計算可能であり、最大エントロピーアルゴリズムは、点被写体を回復するため、それらの中間画像に適用可能である。回復は、統合化コンピュータ撮像装置の結合されたインパルス応答として考えることができる。回復のフーリエ変換は、図15にプロットされている。曲線は、被写体距離の範囲にわたり装置の結合伝達関数である。装置の伝達関数は、円形対称であり、図15は、焦点深度の範囲にわたり半径方向に沿った値を示している。相対的な空間周波数1.0は、同じ撮像設定に関する回折制限レンズのカットオフ周波数に対応する。新たな装置の全伝達関数の振幅は、拡張被写体範囲にわたり回折限界まで増加する。さらに、全伝達関数の位相は、インパルス応答の円形対称性のためゼロである。統合化コンピュータ撮像装置に関し拡張された被写界深度にわたる回折制限性能は、それらの曲線からはっきりとわかる。
しかしながら、全伝達関数の概念は、非線形デジタル処理が含まれるため、装置性能の単に大まかな指標である。言い換えると、異なる全伝達関数は、種々の被写体に関して予想される。それにもかかわらず、図15に示される伝達関数は、統合化撮像装置の性能を良く表している。図16は、s=1580mmの距離での被写体に関する全伝達関数を示しており、ここで、点及び端被写体の両方に関する伝達関数がプロットされている。対数レンズによるぼかし画像からの回復は、全点拡がり関数及び全端応答関数のそれぞれを提供する。図16から、全伝達関数がそれら2つのケースに類似することがわかる。
以上の説明から、改良された撮像用のシステム、方法、及び装置は、球面収差が中間画像に関してぼかしの優位な形態であり、及び、中央掩蔽が、解像度及び被写界深度の両方を増すためのデジタル処理により、より多くの中間画像を作成しより修正しやすくするために使用可能である多焦点撮像装置を使用して提供されるということが明らかとなるであろう。ここに記述したシステム、方法、及び装置の変更及び修正は、本発明の全概念及び範囲内で当業者に確実に明らかとなるであろう。
Claims (85)
- 拡張された被写界深度を有し画像を生成する、統合化コンピュータ撮像装置であって、
意図的にぼかされた中間画像を生成する多焦点撮像サブシステムと、
上記多焦点撮像サブシステムは、上記意図的なぼかしの優位な特徴として球面収差を示し、
非合焦位置の範囲を通してのぼかし効果内の変動を減じるため上記球面収差と協働する中央掩蔽と、
上記多焦点撮像サブシステムにより生成された上記中間画像のぼかしをなくし、拡張被写界深度を有する回復画像を計算するデジタル処理サブシステムと、
を備えた統合化コンピュータ撮像装置。 - 上記多焦点撮像サブシステムの全収差は、撮像光の規格波長における位相遅延関数として表現可能であり、上記球面収差は、1.8から6波長の間の位相遅延を与える、請求項1記載の統合化コンピュータ撮像装置。
- 上記位相遅延関数は、(r/R)の項の級数により下記のように表現される、請求項2記載の統合化コンピュータ撮像装置:
φ=a(r/R)2±b(r/R)4±c(r/R)6±d(r/R)8+…
ここで、φは全位相遅延であり、rは上記撮像サブシステムの絞り内の検討点における半径、Rは上記絞りの最大半径、及び、a,b,c,dは2次項、4次項、6次項、8次項のそれぞれにおける係数である。 - 4次項の上記係数bは、3次の球面収差を定義する、請求項3記載の統合化コンピュータ撮像装置。
- 上記係数bは、上記係数c及び係数dより大きい、請求項4記載の統合化コンピュータ撮像装置。
- 上記多焦点撮像サブシステムの絞りは、最小半径δRを有し、rがδRに等しくrがRに等しい上記位相遅延φは、少なくともほぼ等しい、請求項4記載の統合化コンピュータ撮像装置。
- 上記多焦点撮像サブシステムの全収差は、円形対称である、請求項6記載の統合化コンピュータ撮像装置。
- 上記多焦点撮像サブシステムは、上記中央掩蔽の半径に対応する最小半径δR及び最大半径Rを有し、δR/Rの比が0.3に等しいか又は0.3より大きい環状絞りを含む、請求項1記載の統合化コンピュータ撮像装置。
- 上記比δR/Rは、0.5に等しいか又は0.5より大きい、請求項8記載の統合化コンピュータ撮像装置。
- 上記多焦点撮像サブシステムは、実質的に球面収差無く設計された少なくとも一つのレンズと、意図的なぼかしの優位な特徴を形成する球面収差を生成する位相板とを含む、請求項1記載の統合化コンピュータ撮像装置。
- 上記位相板は、上記多焦点撮像サブシステムの画像面側で、上記多焦点撮像サブシステムの絞りに取り付けられる、請求項10記載の統合化コンピュータ撮像装置。
- 上記多焦点撮像サブシステムは、意図的なぼかしの優位な特徴を形成する球面収差を生成するために修正された表面を有する少なくとも一つのレンズエレメントを含む、請求項1記載の統合化コンピュータ撮像装置。
- 上記多焦点撮像サブシステムは、複数の撮像エレメントを含み、上記球面収差は、上記撮像エレメントの一つよりも多くの中で分割される、請求項1記載の統合化コンピュータ撮像装置。
- 被写体距離の範囲を通して合焦及び非合焦をバランスし、理想撮像コンポーネントと球面収差コンポーネントとの組み合わせとして設計される多焦点撮像サブシステムと、
被写体距離の範囲を通してバランスされた合焦及び非合焦の効果を示す上記撮像サブシステムにより形成される画像を検出する中間画像検出部と、
被写体距離の範囲を通してバランスされた合焦及び非合焦の効果の修正に基づいて、拡張された被写界深度を有する回復画像を計算するコンピュータ処理部と、
を備えた拡張被写界深度撮像装置。 - 上記理想撮像コンポーネントは、規定の被写体距離にて被写体を撮像することを備え、上記球面収差コンポーネントが合焦及び非合焦の効果をバランスするところの被写体距離は、上記規定の被写体距離を含む、請求項14記載の拡張被写界深度撮像装置。
- 多焦点撮像サブシステムの上記理想撮像コンポーネントは、上記理想撮像コンポーネントに寄与するために設計されたレンズと、上記球面収差コンポーネントに寄与するために設計された位相板とを含む、請求項14記載の拡張被写界深度撮像装置。
- 上記位相板は、上記多焦点撮像サブシステムの絞り内で、上記レンズと上記中間画像検出部との間に配置される、請求項16記載の拡張被写界深度撮像装置。
- 中間画像を生成する光のビームは、規格波長を有し、上記球面収差は、光ビームの上記規格波長の1.8から6波長間の量の位相遅延として表現可能である、請求項14記載の拡張被写界深度撮像装置。
- 位相遅延は、(r/R)の項の級数により下記のように表現される、請求項14記載の拡張被写界深度撮像装置:
φ=a(r/R)2±b(r/R)4±c(r/R)6±d(r/R)8+…
ここで、φは全位相遅延であり、rは上記撮像サブシステムの絞り内の検討点における半径、Rは上記絞りの最大半径、及び、a,b,c,dは2次項、4次項、6次項、8次項のそれぞれにおける係数である。 - 上記4次項の上記係数bは、3次の球面収差を定義し、上記係数bは、上記係数c及びdよりも大きい、請求項19記載の拡張被写界深度撮像装置。
- 上記多焦点撮像サブシステムは、最小半径δR、及び少なくとも0.3に等しいδR/Rの比における最大半径Rを有する環状の絞りを含む、請求項20記載の拡張被写界深度撮像装置。
- rがδRに等しく、rがRに等しい上記位相遅延φは、すくなくともほぼ等しい、請求項21記載の拡張被写界深度撮像装置。
- 統合化コンピュータ撮像サブシステムの一部としての多焦点撮像サブシステムを設計する方法であって、
規定の被写体距離にて被写体を撮像する理想撮像コンポーネントとしての多焦点撮像サブシステムの第1の全コンポーネントを設計し、
被写体距離の範囲を通して合焦及び非合焦の効果をバランスする球面収差としての多焦点撮像サブシステムの第2の全コンポーネントを設計し、
意図的にぼかされ、上記多焦点撮像サブシステムの第2コンポーネントが上記意図的なぼかしの優位な特徴である非球面収差に寄与する中間画像を生成するため多焦点撮像サブシステムの上記第1及び第2のコンポーネントを組み合わせ、
拡張された被写界深度を有する回復画像を生成するため、上記中間画像及び上記意図的なぼかしに関する情報をデジタル処理システムに供給するための準備をする、
多焦点撮像サブシステムの設計方法。 - 球面収差コンポーネントが合焦及び非合焦の効果をバランスするところの被写体距離の範囲は、規定の被写体距離を含む、請求項23に記載の多焦点撮像サブシステムの設計方法。
- 上記球面収差コンポーネントが合焦及び非合焦の効果をバランスする被写体距離の範囲は、上記第1のコンポーネントが回折限界撮像を生成する被写体距離より少なくとも6倍大きい、請求項24記載の多焦点撮像サブシステムの設計方法。
- 多焦点撮像サブシステムの第1のコンポーネントを設計するステップは、規定の被写体で被写体を撮像する理想レンズを設計することを含む、請求項23記載の多焦点撮像サブシステムの設計方法。
- 上記第2のコンポーネントを設計するステップは、撮像光の規格波長の1.8から6の間の位相遅延を示すように上記第2のコンポーネントを設計する、請求項26記載の多焦点撮像サブシステムの設計方法。
- 上記第2のコンポーネントの収差は、(r/R)の項の級数により下記のように表現可能な位相遅延関数により定義される、請求項27記載の多焦点撮像サブシステムの設計方法:
φ=a(r/R)2±b(r/R)4±c(r/R)6±d(r/R)8+…
ここで、φは全位相遅延であり、rは上記撮像サブシステムの絞り内の検討点における半径、Rは上記絞りの最大半径、及び、a,b,c,dは2次項、4次項、6次項、8次項のそれぞれにおける係数である。 - 被写体距離の範囲を通して合焦及び非合焦の効果をバランスするために多焦点撮像サブシステムの上記第2のコンポーネントと協働するように大きさが調整される中央掩蔽を有する多焦点撮像サブシステムの絞りを配列することをさらに含む、請求項23記載の多焦点撮像サブシステムの設計方法。
- 拡張された被写界深度を有する画像を生成する統合化コンピュータ撮像装置であって、
理想の全撮像コンポーネント及び中間画像を意図的にぼかすための規定された全収差コンポーネントを結合する被写体の中間画像を生成する多焦点撮像サブシステムと、
意図的なぼかしを被写体距離の範囲にわたりより均一にした状態で生成された被写体点の点拡がり関数を提供する上記多焦点撮像サブシステムの中央掩蔽部と、
上記多焦点撮像サブシステムにより生成された上記中間画像のぼかしを取り除き、拡張被写界深度を有する回復画像を計算するデジタル処理サブシステムと、
を備えた統合化コンピュータ撮像装置。 - (a)上記中央掩蔽部は、半径Rを有する上記多焦点撮像システムの絞りの部分を遮り、
(b)上記中央掩蔽部は、半径δRを有し、
(c)上記中央掩蔽部は、δR/Rの比が0.3以上の上記絞りに関して大きさが調整される、請求項30記載の統合化コンピュータ撮像装置。 - 上記中央掩蔽部は、δR/Rの比が0.5以上の上記絞りに関して大きさが調整される、請求項31記載の統合化コンピュータ撮像装置。
- 被写体点の上記点拡がり関数のそれぞれは、中央のピーク及び振動リング構造を有し、上記中央掩蔽部は、上記被写体点の中の平均の点拡がり関数を狭めることを提供する、請求項30記載の統合化コンピュータ撮像装置。
- 上記中央掩蔽部は、被写体点の中で上記振動リング構造をより均一にする、請求項33記載の統合化コンピュータ撮像装置。
- 上記理想の撮像コンポーネントは、少なくとも一つの従来のレンズにより提供され、上記収差コンポーネントは、位相板により提供される、請求項30記載の統合化コンピュータ撮像装置。
- 上記理想の撮像コンポーネント及び上記収差コンポーネントは、規定の収差を生成するように修正された表面を有する対数非球面により提供される、請求項30記載の統合化コンピュータ撮像装置。
- 上記規定収差は、意図的なぼかしの優位な特徴である球面収差である、請求項30記載の統合化コンピュータ撮像装置。
- 上記多焦点撮像サブシステムの全収差は、撮像光の規格波長における位相遅延関数として表現可能であり、上記球面収差は、1.8から6波長の間の位相遅延を与える、請求項37記載の統合化コンピュータ撮像装置。
- 拡張された被写界深度を有する画像を生成する統合化コンピュータ撮像装置であって、
意図的なぼかし無しにて生成された点拡がり関数に対応するよりも、被写体距離の範囲にわたり被写体点の点拡がり関数をより均一にする方法において、意図的にぼかされた中間画像を生成する多焦点撮像サブシステムと、
中央ピークを有する点拡がり関数の平均と、
被写体点の中で平均の点拡がり関数の上記中央ピークを狭める上記多焦点撮像サブシステムの中央掩蔽部と、
上記多焦点撮像サブシステムにより生成された上記中間画像のぼかしを取り除き、焦点深度の範囲にわたり上記平均の点拡がり関数に基づいて回復画像を計算するデジタル処理サブシステムと、
を備えた統合化コンピュータ撮像装置。 - 振動リング構造及び上記中央掩蔽部を有する上記点拡がり関数は、点拡がり関数の上記振動リング構造を被写体点の中でより均一にする、請求項39記載の統合化コンピュータ撮像装置。
- 上記中央掩蔽部は、被写体点の振動リング構造を抑制する、請求項40記載の統合化コンピュータ撮像装置。
- (a)上記中央掩蔽部は、半径Rを有する上記多焦点撮像システムの絞りの部分を遮り、
(b)上記中央掩蔽部は、半径δRを有し、
(c)上記中央掩蔽部は、δR/Rの比が0.3以上の上記絞りに関して大きさが調整される、請求項39記載の統合化コンピュータ撮像装置。 - 上記中央掩蔽部は、δR/Rの比が0.5以上の上記絞りに関して大きさが調整される、請求項42記載の統合化コンピュータ撮像装置。
- 多焦点撮像サブシステムは、理想の撮像コンポーネントと、中間画像を意図的にぼかすための規定された収差コンポーネントとを結合する、請求項39記載の統合化コンピュータ撮像装置。
- 上記多焦点撮像サブシステムは、理想の撮像コンポーネントを提供する少なくとも一つの従来のレンズエレメントと、規定された収差コンポーネントを与える位相板とを含む、請求項44記載の統合化コンピュータ撮像装置。
- 上記多焦点撮像サブシステムは、上記理想の撮像コンポーネント及び上記収差コンポーネントの両方に寄与する対数非球面を含む、請求項44記載の統合化コンピュータ撮像装置。
- 球面収差は、意図的なぼかしの優位な特徴である、請求項39記載の統合化コンピュータ撮像装置。
- 上記多焦点撮像サブシステムの全収差は、撮像光の規格波長における位相遅延関数として表現可能であり、上記球面収差は、1.8から6波長間の位相遅延を与える、請求項47記載の統合化コンピュータ撮像装置。
- 上記中央掩蔽部は、上記多焦点撮像サブシステムと上記中間画像との間に位置する絞りを含む、請求項39記載の統合化コンピュータ撮像装置。
- 拡張された被写界深度を与える3次の球面収差により意図的にぼかされる多数のレンズエレメントを備え、
上記3次の球面収差は、複数の上記レンズエレメントの中に分配され、当該システムの著しい単色収差を形成する、
拡張被写界深度用多焦点撮像システム。 - 拡張された被写界深度にわたり意図的なぼかしにおける変動を減じるための上記3次球面収差と協働する中央掩蔽部をさらに備える、請求項50記載の拡張被写界深度用多焦点撮像システム。
- 上記多数のレンズエレメントシステムは、上記中央掩蔽部の半径に対応する最小半径δR及び最大半径Rを有し、δR/Rの比が0.3に等しいか又は0.3よりも大きい環状の絞りを含む、請求項51記載の拡張被写界深度用多焦点撮像システム。
- 多数のレンズエレメントシステムは、少なくとも2つの対数非球面を含む、請求項50記載の拡張被写界深度用多焦点撮像システム。
- 上記3次球面収差は、上記多数のレンズエレメントシステムで使用予定の光の波長の単位における位相遅延にて表現可能であり、3次球面収差は、1.8から6波長間の位相遅延を生成する、請求項50記載の拡張被写界深度用多焦点撮像システム。
- 拡張された被写界深度を有する画像を生成する統合化コンピュータ撮像装置であって、
被写体の中間画像を生成する撮像サブシステムと、
拡張された被写界深度に寄与する規定の3次球面収差量を使用した上記中間画像における意図的なぼかしを生成する手段と、
多焦点撮像サブシステムにより生成された上記中間画像からぼかしを取り除き、拡張された被写界深度を有する回復画像を計算するデジタル処理サブシステムと、
を備えた統合化コンピュータ撮像装置。 - 上記3次球面収差は、被写体距離の範囲を通して合焦及び非合焦の効果を調整する、請求項55記載の統合化コンピュータ撮像装置。
- 上記撮像サブシステムの全位相遅延は、(r/R)の項の級数により下記のように表現される、請求項55記載の統合化コンピュータ撮像装置:
φ=a(r/R)2±b(r/R)4±c(r/R)6±d(r/R)8+…
ここで、φは全位相遅延であり、rは上記撮像サブシステムの絞り内の検討点における半径、Rは上記絞りの最大半径、及び、a,b,c,dは2次項、4次項、6次項、8次項のそれぞれにおける係数である。 - 4次項の上記係数bは、3次の球面収差を定義し、上記係数bは、上記係数c及び係数dより大きい、請求項57記載の統合化コンピュータ撮像装置。
- 上記中間画像を生成するための光ビームは、規格波長を有し、上記3次球面収差は、1.8から6波長間の量における位相遅延として表現可能である、請求項58記載の統合化コンピュータ撮像装置。
- 拡張された被写界深度撮像用の多焦点レンズシステムを設計する方法であって、
回折制限撮像用に配列された理想撮像コンポーネントと、3次球面収差により支配される収差コンポーネントとの結合として撮像システムを系統化し、
拡張被写界深度にわたりインパルス応答中での変化を減じる3次球面収差量を決定することを備えた、設計方法。 - 上記3次球面収差量を決定するステップは、拡張被写界深度にわたりインパルス応答の均一な結合を識別するため、一つの量から別の量へ3次球面収差量を調整することを含む、請求項60記載の設計方法。
- 撮像システムは、3次球面収差により意図的にぼかされる、請求項60の方法にて作製された多焦点レンズシステム。
- 拡張された被写界深度撮像用の多焦点レンズシステムを設計する方法であって、
3次球面収差量をレンズ設計に組み込むことにより理想レンズ設計を修正し、
焦点深度範囲にわたり撮像用の修正されたレンズ設計の性能をテストし、
拡張被写界深度にわたり変化の少ない点拡がり関数を生成するための3次球面収差量を調整する、
多焦点レンズシステム設計方法。 - 上記多焦点レンズシステムは、複数のレンズエレメントを含み、理想レンズ設計の修正は、3次球面収差の部分を複数のレンズエレメントに組み込むことを含む、請求項63記載の多焦点レンズシステム設計方法。
- 点拡がり関数を狭めるため中央掩蔽部を設計に組み込むことをさらに含む、請求項63記載の多焦点レンズシステム設計方法。
- 拡張された被写界深度を有する画像を生成する統合化コンピュータ撮像装置を設計する方法であって、
ぼかされた中間画像を生成するための3次球面収差により支配される収差コンポーネントを有する撮像装置を系統化し、
拡張被写界深度にわたりインパルス応答中での変化を減じる3次球面収差量を決定し、
拡張被写界深度にわたりインパルス応答に一様ではなく重み付けをするために拡張被写界深度にわたりインパルス応答の算術平均から外れたインパルス応答を計算し、
多焦点撮像サブシステムにより生成された中間画像のぼかしを取り除き、拡張被写界深度を有する回復画像を計算するために、計算されたインパルス応答をデジタル処理アルゴリズムに組み込む、
統合化コンピュータ撮像装置の設計方法。 - よりシャープな回復画像を生成するためインパルス応答にさらに影響を与える撮像装置における中央掩蔽部を組み込むステップをさらに含む、請求項66記載の統合化コンピュータ撮像装置の設計方法。
- 中間画像に基づき画像を回復する方法であって、
中間画像にアクセスし、
下記のサブステップ:
方位画像の結合を含む新しい画像を推定し、
停滞の点を避けながら、回復画像への収束を促進するため距離パラメータを使用する方位画像を変更する、
を含む最大エントロピーアルゴリズムを使用した中間画像の反復デジタルデコンボリューションを実行する、画像回復方法。 - 上記距離パラメータは、非整数値を有する、請求項68記載の画像回復方法。
- 上記距離パラメータは、0.2から0.6の値を有する、請求項69記載の画像回復方法。
- 上記方位画像は、画素値を含み、上記距離パラメータは、画素値中の重みを調整する、請求項68記載の画像回復方法。
- 上記距離パラメータは、より重いより大きい画素値を与えるためゼロを超えて調整される、請求項71記載の画像回復方法。
- 上記距離パラメータは、ナイキスト限界に近づく高空間周波数にてコントラストを増加する形状を有する変調伝達関数に帰する値を有する、請求項68記載の画像回復方法。
- 多焦点撮像システムを使用する中間画像を生成するステップをさらに含む、請求項68記載の画像回復方法。
- 上記多焦点撮像システムにより生成された中間画像は、サイドローブリングを有する点拡がり関数を示し、上記距離パラメータは、再構成された画像における点拡がり関数のサイドローブリングを減じる範囲内で調整可能である、請求項74記載の画像回復方法。
- 上記多焦点撮像システムは、3次球面収差を含む、請求項74記載の画像回復方法。
- 上記多焦点撮像システムは、中央掩蔽部を含む、請求項74記載の画像回復方法。
- 開始画像に基づいた被写体の推定画像の連続及び方位画像の結合を計算し、
上記方位画像を修正する距離パラメータを入力し、
被写体のより近い推定値を選ぶため、エントロピー最大化の基準及び統計上のノイズパラメータに対する距離パラメータに従い修正された指定画像を評価し、
開始画像を超えた被写体の増大画像を出力する、
画像処理用の反復デジタルデコンボリューション方法。 - 上記推定された画像は、画素値を含み、上記距離パラメータは、画素値に与えられた重みを変更する、請求項78記載の反復デジタルデコンボリューション方法。
- 上記距離パラメータは、非整数値を有する、請求項79記載の反復デジタルデコンボリューション方法。
- 上記距離パラメータは、0.2から0.6の間の値を有する、請求項80記載の反復デジタルデコンボリューション方法。
- 上記開始画像は、意図的なぼかしを含む、請求項78記載の反復デジタルデコンボリューション方法。
- 球面収差は、上記意図的なぼかしの優位な特徴である、請求項82記載の反復デジタルデコンボリューション方法。
- 上記球面収差は、被写体距離の範囲を通して合焦及び非合焦の効果をバランスする、請求項83記載の反復デジタルデコンボリューション方法。
- 上記増大画像は、拡張された被写界深度を有する、請求項84記載の反復デジタルデコンボリューション方法。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US60707604P | 2004-09-03 | 2004-09-03 | |
US52299004P | 2004-11-30 | 2004-11-30 | |
US10/908,287 US7336430B2 (en) | 2004-09-03 | 2005-05-05 | Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and a centrally obscured aperture |
PCT/US2005/016231 WO2006028527A2 (en) | 2004-09-03 | 2005-05-11 | Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and centrally obscured aperture |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2008511859A true JP2008511859A (ja) | 2008-04-17 |
Family
ID=35995929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007529820A Pending JP2008511859A (ja) | 2004-09-03 | 2005-05-11 | 球面収差範囲が制御され中央を掩蔽した絞りを有する多焦点距離レンズを使用した拡張焦点深度 |
Country Status (10)
Country | Link |
---|---|
US (4) | US7336430B2 (ja) |
EP (1) | EP1789830A2 (ja) |
JP (1) | JP2008511859A (ja) |
KR (1) | KR20070057231A (ja) |
CN (1) | CN100594398C (ja) |
AU (1) | AU2005283143A1 (ja) |
CA (1) | CA2577735A1 (ja) |
IL (1) | IL181671A (ja) |
SG (1) | SG142313A1 (ja) |
WO (1) | WO2006028527A2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010008794A (ja) * | 2008-06-27 | 2010-01-14 | Kyocera Corp | 撮像装置および電子機器 |
JP2010164973A (ja) * | 2009-01-16 | 2010-07-29 | Ricoh Co Ltd | 球面収差を大きくしfirフィルタを所定サイズにした画像化システム |
JP2011070134A (ja) * | 2009-09-28 | 2011-04-07 | Kyocera Corp | 撮像装置および画像処理方法 |
JP2012519919A (ja) * | 2009-03-05 | 2012-08-30 | レイセオン カンパニー | 拡張被写界深度を有する正確な画像化方法および装置 |
WO2013042456A1 (ja) * | 2011-09-21 | 2013-03-28 | オリンパスメディカルシステムズ株式会社 | 対物光学系、撮像装置および内視鏡 |
JP2013535020A (ja) * | 2010-05-27 | 2013-09-09 | サムスン エレクトロニクス カンパニー リミテッド | イメージキャプチャおよびディスプレイ装置並びにその方法 |
Families Citing this family (133)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8005314B2 (en) * | 2005-12-09 | 2011-08-23 | Amnis Corporation | Extended depth of field imaging for high speed object analysis |
US8717456B2 (en) * | 2002-02-27 | 2014-05-06 | Omnivision Technologies, Inc. | Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing |
JP4377404B2 (ja) * | 2003-01-16 | 2009-12-02 | ディ−ブルアー テクノロジス リミテッド | 画像向上機能を備えたカメラ |
US8294999B2 (en) | 2003-01-16 | 2012-10-23 | DigitalOptics Corporation International | Optics for an extended depth of field |
US7773316B2 (en) * | 2003-01-16 | 2010-08-10 | Tessera International, Inc. | Optics for an extended depth of field |
US7944467B2 (en) * | 2003-12-01 | 2011-05-17 | Omnivision Technologies, Inc. | Task-based imaging systems |
JP2007513427A (ja) | 2003-12-01 | 2007-05-24 | シーディーエム オプティックス, インコーポレイテッド | 光学システムおよびデジタルシステムの設計を最適化するシステムおよび方法 |
US7602989B2 (en) * | 2004-05-26 | 2009-10-13 | Biggs David S C | Realtime 2D deconvolution system and method |
US7336430B2 (en) * | 2004-09-03 | 2008-02-26 | Micron Technology, Inc. | Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and a centrally obscured aperture |
EP1795004B1 (en) | 2004-10-01 | 2015-02-25 | The Board Of Trustees Of The Leland Stanford Junior University | Imaging arrangement and method therefor |
US7215493B2 (en) * | 2005-01-27 | 2007-05-08 | Psc Scanning, Inc. | Imaging system with a lens having increased light collection efficiency and a deblurring equalizer |
US7760957B2 (en) * | 2005-03-14 | 2010-07-20 | Ffei Limited | Sharpness enhancement |
JP4790329B2 (ja) * | 2005-06-21 | 2011-10-12 | オリンパスイメージング株式会社 | 焦点調節装置を有するカメラ |
KR100691268B1 (ko) * | 2005-08-02 | 2007-03-12 | 삼성전기주식회사 | Psf를 이용하여 이미지를 처리하는 광학 시스템 및이미지 처리방법 |
AU2006279261A1 (en) * | 2005-08-11 | 2007-02-15 | Global Bionic Optics Pty Ltd | Optical lens systems |
EP1927025A2 (en) * | 2005-09-19 | 2008-06-04 | CDM Optics, Inc. | Task-based imaging systems |
US7512574B2 (en) * | 2005-09-30 | 2009-03-31 | International Business Machines Corporation | Consistent histogram maintenance using query feedback |
US20070239417A1 (en) * | 2006-03-31 | 2007-10-11 | D-Blur Technologies Ltd. | Camera performance simulation |
ES2291129B1 (es) | 2006-08-03 | 2008-12-16 | Consejo Superior De Investigaciones Cientificas | Procedimiento de restauracion de imagenes afectadas por imperfecciones, dispositivo para llevarlo a cabo y sus aplicaciones. |
KR100801088B1 (ko) * | 2006-10-02 | 2008-02-05 | 삼성전자주식회사 | 다중 초점 카메라 장치 및 다중 초점 카메라 장치를이용하여 포커스 프리 영상과 아웃포커스 영상을 생성하는방법 |
US8155478B2 (en) * | 2006-10-26 | 2012-04-10 | Broadcom Corporation | Image creation with software controllable depth of field |
US20090112314A1 (en) * | 2007-10-25 | 2009-04-30 | Sarver Edwin J | Multi-focal intraocular lens with asymmetric point spread function |
US8559705B2 (en) * | 2006-12-01 | 2013-10-15 | Lytro, Inc. | Interactive refocusing of electronic images |
US10298834B2 (en) | 2006-12-01 | 2019-05-21 | Google Llc | Video refocusing |
US20100265385A1 (en) * | 2009-04-18 | 2010-10-21 | Knight Timothy J | Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same |
US8570426B2 (en) | 2008-11-25 | 2013-10-29 | Lytro, Inc. | System of and method for video refocusing |
US7646549B2 (en) * | 2006-12-18 | 2010-01-12 | Xceed Imaging Ltd | Imaging system and method for providing extended depth of focus, range extraction and super resolved imaging |
US7755766B1 (en) * | 2007-03-27 | 2010-07-13 | Itt Manufacturing Enterprises, Inc. | Telescope interferometric maintenance evaluation tool |
JP4407714B2 (ja) * | 2007-04-06 | 2010-02-03 | セイコーエプソン株式会社 | 生体認証装置及び生体認証方法 |
EP1978394A1 (en) * | 2007-04-06 | 2008-10-08 | Global Bionic Optics Pty Ltd. | Optical system for increasing depth of field |
KR100896572B1 (ko) | 2007-04-27 | 2009-05-07 | 삼성전기주식회사 | 피사계 심도 확장을 위한 이미지 처리 방법 |
JP5536995B2 (ja) * | 2007-07-17 | 2014-07-02 | オリンパス株式会社 | 顕微鏡対物レンズおよびレーザー走査型顕微鏡システム |
US20100295973A1 (en) * | 2007-11-06 | 2010-11-25 | Tessera North America, Inc. | Determinate and indeterminate optical systems |
KR101412752B1 (ko) | 2007-11-26 | 2014-07-01 | 삼성전기주식회사 | 디지털 자동 초점 영상 생성 장치 및 방법 |
US8149319B2 (en) * | 2007-12-03 | 2012-04-03 | Ricoh Co., Ltd. | End-to-end design of electro-optic imaging systems for color-correlated objects |
US7615729B2 (en) * | 2007-12-10 | 2009-11-10 | Aptina Imaging Corporation | Apparatus and method for resonant lens focusing |
TWI459030B (zh) * | 2008-02-15 | 2014-11-01 | Omnivision Tech Inc | 成像光學元件、光學成像系統以及用於提供非單調波前相位之基於電腦的方法 |
EP2891918A1 (en) | 2008-02-29 | 2015-07-08 | Global Bionic Optics Pty Ltd. | Single-lens extended depth-of-field imaging systems |
EP2096483A1 (en) * | 2008-02-29 | 2009-09-02 | Global Bionic Optics Pty Ltd. | Single-lens extended depth-of-field imaging systems |
WO2009120718A1 (en) * | 2008-03-24 | 2009-10-01 | The Trustees Of Columbia University In The City Of New York | Methods, systems, and media for controlling depth of field in images |
CN102047167B (zh) * | 2008-04-03 | 2013-10-16 | 全视技术有限公司 | 包括分布式相位修改的成像***及相关联的方法 |
US8280194B2 (en) | 2008-04-29 | 2012-10-02 | Sony Corporation | Reduced hardware implementation for a two-picture depth map algorithm |
FR2931255A1 (fr) * | 2008-05-15 | 2009-11-20 | Dxo Labs Sa | Systeme optique et procede de conception associe |
US7898746B2 (en) * | 2008-07-03 | 2011-03-01 | Aptina Imaging Corporation | Extended depth-of-field lenses and methods for their design, optimization and manufacturing |
WO2010017694A1 (zh) | 2008-08-15 | 2010-02-18 | 北京泰邦天地科技有限公司 | 一种等模糊中间像获取装置 |
CN101887170B (zh) * | 2009-05-13 | 2015-04-22 | 北京泰邦天地科技有限公司 | 一种抑制气动光学效应的成像方法和*** |
JP5103637B2 (ja) * | 2008-09-30 | 2012-12-19 | 富士フイルム株式会社 | 撮像装置、撮像方法、およびプログラム |
US8553093B2 (en) | 2008-09-30 | 2013-10-08 | Sony Corporation | Method and apparatus for super-resolution imaging using digital imaging devices |
US8194995B2 (en) | 2008-09-30 | 2012-06-05 | Sony Corporation | Fast camera auto-focus |
KR20100051359A (ko) * | 2008-11-07 | 2010-05-17 | 삼성전자주식회사 | 영상 데이터 생성 방법 및 장치 |
KR101634353B1 (ko) * | 2008-12-04 | 2016-06-28 | 삼성전자주식회사 | 마이크로 렌즈, 상기 마이크로 렌즈 제조방법, 상기 마이크로 렌즈 제조 장치, 및 상기 마이크로 렌즈를 구비한카메라 모듈 |
US8289440B2 (en) * | 2008-12-08 | 2012-10-16 | Lytro, Inc. | Light field data acquisition devices, and methods of using and manufacturing same |
US8199248B2 (en) * | 2009-01-30 | 2012-06-12 | Sony Corporation | Two-dimensional polynomial model for depth estimation based on two-picture matching |
EP2228677A1 (en) * | 2009-03-09 | 2010-09-15 | Global Bionic Optics Pty Ltd. | Extended depth-of-field surveillance imaging system |
US8908058B2 (en) * | 2009-04-18 | 2014-12-09 | Lytro, Inc. | Storage and transmission of pictures including multiple frames |
TWI387331B (zh) * | 2009-04-22 | 2013-02-21 | Avermedia Information Inc | 實物攝影機 |
EP2433171A4 (en) * | 2009-05-22 | 2013-03-06 | C8 Medisensors Inc | COMPOSITE LENSES WITH LARGE VISIBILITY, HIGH NUMERICAL APERTURE AND TWO PAIRS OF IDENTICAL ELEMENTS AND NEAR-IR SPECTROMETERS WITH TWO SUCH CONNECTING LENSES |
US8194170B2 (en) * | 2009-06-02 | 2012-06-05 | Algonquin College | Axicon lens array |
CN101964866B (zh) * | 2009-07-24 | 2013-03-20 | 鸿富锦精密工业(深圳)有限公司 | 计算摄像型数码相机 |
KR101648540B1 (ko) * | 2009-08-13 | 2016-08-16 | 삼성전자주식회사 | 웨이퍼-레벨 렌즈 모듈 및 이를 구비하는 촬상 장치 |
US20110044554A1 (en) * | 2009-08-21 | 2011-02-24 | Konica Minolta Systems Laboratory, Inc. | Adaptive deblurring for camera-based document image processing |
US8305699B2 (en) * | 2009-09-23 | 2012-11-06 | Samsung Electronics Co., Ltd. | Wafer-level lens module with extended depth of field and imaging device including the wafer-level lens module |
US8248511B2 (en) * | 2009-09-30 | 2012-08-21 | Ricoh Co., Ltd. | Dual-mode extended depth-of-field imaging systems |
TWI402478B (zh) * | 2009-10-29 | 2013-07-21 | Univ Nat Sun Yat Sen | 使用相位光罩之顯微量測系統及方法 |
US8027582B2 (en) * | 2009-12-21 | 2011-09-27 | Sony Corporation | Autofocus with confidence measure |
US8749620B1 (en) | 2010-02-20 | 2014-06-10 | Lytro, Inc. | 3D light field cameras, images and files, and methods of using, operating, processing and viewing same |
US8330825B2 (en) * | 2010-02-22 | 2012-12-11 | Eastman Kodak Company | Zoom lens system characterization for image sharpening |
TWI421618B (zh) | 2010-04-09 | 2014-01-01 | Ind Tech Res Inst | 景深擴展之投影系統及影像處理方法 |
CN102221746B (zh) * | 2010-04-15 | 2014-01-22 | 财团法人工业技术研究院 | 景深扩展的投影***及影像处理方法 |
US8600186B2 (en) * | 2010-04-26 | 2013-12-03 | City University Of Hong Kong | Well focused catadioptric image acquisition |
US8416334B2 (en) | 2010-04-27 | 2013-04-09 | Fm-Assets Pty Ltd. | Thick single-lens extended depth-of-field imaging systems |
EP2466872B1 (en) | 2010-12-14 | 2018-06-06 | Axis AB | Method and digital video camera for improving the image quality of images in a video image stream |
CN102566045A (zh) * | 2010-12-20 | 2012-07-11 | 北京泰邦天地科技有限公司 | 光学成像*** |
US8768102B1 (en) | 2011-02-09 | 2014-07-01 | Lytro, Inc. | Downsampling light field images |
US8406548B2 (en) * | 2011-02-28 | 2013-03-26 | Sony Corporation | Method and apparatus for performing a blur rendering process on an image |
US9055248B2 (en) | 2011-05-02 | 2015-06-09 | Sony Corporation | Infrared imaging system and method of operating |
CN102314683B (zh) * | 2011-07-15 | 2013-01-16 | 清华大学 | 一种非平面图像传感器的计算成像方法和成像装置 |
US9184199B2 (en) | 2011-08-01 | 2015-11-10 | Lytro, Inc. | Optical assembly including plenoptic microlens array |
TW201323854A (zh) * | 2011-12-01 | 2013-06-16 | Ind Tech Res Inst | 光干涉裝置 |
US9420276B2 (en) | 2012-02-28 | 2016-08-16 | Lytro, Inc. | Calibration of light-field camera geometry via robust fitting |
US8948545B2 (en) | 2012-02-28 | 2015-02-03 | Lytro, Inc. | Compensating for sensor saturation and microlens modulation during light-field image processing |
US8811769B1 (en) | 2012-02-28 | 2014-08-19 | Lytro, Inc. | Extended depth of field and variable center of perspective in light-field processing |
US8831377B2 (en) | 2012-02-28 | 2014-09-09 | Lytro, Inc. | Compensating for variation in microlens position during light-field image processing |
US8995785B2 (en) | 2012-02-28 | 2015-03-31 | Lytro, Inc. | Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices |
US9201008B2 (en) | 2012-06-26 | 2015-12-01 | Universite Laval | Method and system for obtaining an extended-depth-of-field volumetric image using laser scanning imaging |
US10129524B2 (en) | 2012-06-26 | 2018-11-13 | Google Llc | Depth-assigned content for depth-enhanced virtual reality images |
US9858649B2 (en) | 2015-09-30 | 2018-01-02 | Lytro, Inc. | Depth-based image blurring |
US9607424B2 (en) | 2012-06-26 | 2017-03-28 | Lytro, Inc. | Depth-assigned content for depth-enhanced pictures |
TWI452333B (zh) | 2012-08-15 | 2014-09-11 | Largan Precision Co Ltd | 影像擷取系統組 |
US8997021B2 (en) | 2012-11-06 | 2015-03-31 | Lytro, Inc. | Parallax and/or three-dimensional effects for thumbnail image displays |
US9001226B1 (en) | 2012-12-04 | 2015-04-07 | Lytro, Inc. | Capturing and relighting images using multiple devices |
US10334151B2 (en) | 2013-04-22 | 2019-06-25 | Google Llc | Phase detection autofocus using subaperture images |
CN103313084B (zh) * | 2013-06-20 | 2015-01-14 | 四川大学 | 基于不同微透镜阵列参数的集成成像两次拍摄法 |
KR20150005107A (ko) * | 2013-07-04 | 2015-01-14 | 삼성전자주식회사 | 광속제한소자, 이를 채용한 광학주사장치 및 전자사진방식의 화상형성장치 |
CN106170822B (zh) * | 2013-12-23 | 2020-03-24 | 特拉华大学 | 3d光场相机和摄影方法 |
DE112014005866B4 (de) | 2013-12-24 | 2018-08-02 | Lytro, Inc. | Verbesserung der plenoptischen Kameraauflösung |
US9305375B2 (en) | 2014-03-25 | 2016-04-05 | Lytro, Inc. | High-quality post-rendering depth blur |
CN111812838A (zh) * | 2014-06-25 | 2020-10-23 | 技术创新动力基金(以色列)有限合伙公司 | 用于光场成像的***和方法 |
WO2016033590A1 (en) | 2014-08-31 | 2016-03-03 | Berestka John | Systems and methods for analyzing the eye |
KR102195407B1 (ko) | 2015-03-16 | 2020-12-29 | 삼성전자주식회사 | 이미지 신호 프로세서와 이를 포함하는 장치들 |
US10565734B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline |
US10469873B2 (en) | 2015-04-15 | 2019-11-05 | Google Llc | Encoding and decoding virtual reality video |
US10341632B2 (en) | 2015-04-15 | 2019-07-02 | Google Llc. | Spatial random access enabled video system with a three-dimensional viewing volume |
US11328446B2 (en) | 2015-04-15 | 2022-05-10 | Google Llc | Combining light-field data with active depth data for depth map generation |
US10440407B2 (en) | 2017-05-09 | 2019-10-08 | Google Llc | Adaptive control for immersive experience delivery |
US10419737B2 (en) | 2015-04-15 | 2019-09-17 | Google Llc | Data structures and delivery methods for expediting virtual reality playback |
US10444931B2 (en) | 2017-05-09 | 2019-10-15 | Google Llc | Vantage generation and interactive playback |
US10567464B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video compression with adaptive view-dependent lighting removal |
US10412373B2 (en) | 2015-04-15 | 2019-09-10 | Google Llc | Image capture for virtual reality displays |
US10546424B2 (en) | 2015-04-15 | 2020-01-28 | Google Llc | Layered content delivery for virtual and augmented reality experiences |
US10275898B1 (en) | 2015-04-15 | 2019-04-30 | Google Llc | Wedge-based light-field video capture |
US10540818B2 (en) | 2015-04-15 | 2020-01-21 | Google Llc | Stereo image generation and interactive playback |
US9495590B1 (en) * | 2015-04-23 | 2016-11-15 | Global Bionic Optics, Ltd. | Extended depth-of-field biometric system |
FR3038193B1 (fr) * | 2015-06-26 | 2018-07-13 | Commissariat A L'energie Atomique Et Aux Energies Alternatives | Procede de conception d'un systeme d'imagerie, filtre spatial et systeme d'imagerie comportant un tel filtre spatial |
US9979909B2 (en) | 2015-07-24 | 2018-05-22 | Lytro, Inc. | Automatic lens flare detection and correction for light-field images |
CN105118031B (zh) * | 2015-08-11 | 2017-11-03 | 中国科学院计算技术研究所 | 一种恢复深度信息的图像处理的方法 |
CN105824237B (zh) * | 2016-03-11 | 2018-10-09 | 西北工业大学 | 基于线激光传感器的自适应偏移控制方法 |
WO2017177180A1 (en) * | 2016-04-08 | 2017-10-12 | ARIZONA BOARD OF REGENTS on behalf of THE UNIVERSITY OF ARIZONA, A BODY CORPORATE | Systems and methods for extended depth-of-field microscopy |
US10275892B2 (en) | 2016-06-09 | 2019-04-30 | Google Llc | Multi-view scene segmentation and propagation |
US10679361B2 (en) | 2016-12-05 | 2020-06-09 | Google Llc | Multi-view rotoscope contour propagation |
US10594945B2 (en) | 2017-04-03 | 2020-03-17 | Google Llc | Generating dolly zoom effect using light field image data |
US10474227B2 (en) | 2017-05-09 | 2019-11-12 | Google Llc | Generation of virtual reality with 6 degrees of freedom from limited viewer data |
US10354399B2 (en) | 2017-05-25 | 2019-07-16 | Google Llc | Multi-view back-projection to a light-field |
US10545215B2 (en) | 2017-09-13 | 2020-01-28 | Google Llc | 4D camera tracking and optical stabilization |
US11301655B2 (en) | 2017-12-15 | 2022-04-12 | Cognex Corporation | Vision imaging system having a camera and dual aimer assemblies |
US10832023B2 (en) | 2017-12-15 | 2020-11-10 | Cognex Corporation | Dual-imaging vision system camera and method for using the same |
US10965862B2 (en) | 2018-01-18 | 2021-03-30 | Google Llc | Multi-camera navigation interface |
EP3594731A1 (en) * | 2018-07-10 | 2020-01-15 | CSEM Centre Suisse D'electronique Et De Microtechnique SA | Micro-optical component for generating an image |
US10984513B1 (en) * | 2019-09-30 | 2021-04-20 | Google Llc | Automatic generation of all-in-focus images with a mobile camera |
CN110849260B (zh) * | 2019-10-29 | 2021-07-13 | 北京临近空间飞行器***工程研究所 | 测距装置、电子显微镜及显微镜物距调节方法 |
BE1027429B1 (nl) | 2019-11-07 | 2021-02-08 | Innovate Prec Besloten Vennootschap Met Beperkte Aansprakelijkheid | Werkwijze en apparaat voor het verkrijgen van een beeld met uitgebreide scherptediepte |
WO2023113193A1 (en) * | 2021-12-15 | 2023-06-22 | Samsung Electronics Co., Ltd. | Device and method for extended depth of field imaging |
CN114911036A (zh) * | 2022-05-18 | 2022-08-16 | Oppo广东移动通信有限公司 | 镜头及电子设备 |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4340283A (en) * | 1978-12-18 | 1982-07-20 | Cohen Allen L | Phase shift multifocal zone plate |
US4745484A (en) | 1986-07-30 | 1988-05-17 | Drexler Technology Corporation | Method and apparatus for stepped imaging in reading data |
FR2609817B1 (fr) | 1987-01-21 | 1989-05-05 | Matra | Procede et dispositif de prise de vue a grande profondeur de champ |
DE3905619C2 (de) * | 1988-02-23 | 2000-04-13 | Olympus Optical Co | Bildeingabe-/Ausgabevorrichtung |
DE3931934C2 (de) * | 1988-10-03 | 1994-11-10 | Olympus Optical Co | Bild-Ein/Ausgabevorrichtung |
JP2907465B2 (ja) | 1989-11-24 | 1999-06-21 | オリンパス光学工業株式会社 | 画像入出力装置 |
JP3165672B2 (ja) | 1991-01-23 | 2001-05-14 | 松下電器産業株式会社 | 撥水撥油性被膜を有する物品及びその製造方法 |
IL100657A0 (en) | 1992-01-14 | 1992-09-06 | Ziv Soferman | Multifocal optical apparatus |
US5438366A (en) * | 1993-03-31 | 1995-08-01 | Eastman Kodak Company | Aspherical blur filter for reducing artifacts in imaging apparatus |
US5322998A (en) * | 1993-03-31 | 1994-06-21 | Eastman Kodak Company | Conical blur filter for reducing artifacts in imaging apparatus |
US5483366A (en) * | 1994-07-20 | 1996-01-09 | David Sarnoff Research Center Inc | LCD with hige capacitance pixel having an ITO active region/poly SI pixel region electrical connection and having poly SI selection line extensions along pixel edges |
US6229649B1 (en) | 1994-10-04 | 2001-05-08 | The United States Of America As Represented By The Secretary Of The Air Force | Pseudo deconvolution method of recovering a distorted optical image |
US6911638B2 (en) * | 1995-02-03 | 2005-06-28 | The Regents Of The University Of Colorado, A Body Corporate | Wavefront coding zoom lens imaging systems |
US20030057353A1 (en) * | 2001-07-20 | 2003-03-27 | Dowski Edward Raymond | Wavefront coding zoom lens imaging systems |
US20020195548A1 (en) * | 2001-06-06 | 2002-12-26 | Dowski Edward Raymond | Wavefront coding interference contrast imaging systems |
US20020118457A1 (en) * | 2000-12-22 | 2002-08-29 | Dowski Edward Raymond | Wavefront coded imaging systems |
US7218448B1 (en) * | 1997-03-17 | 2007-05-15 | The Regents Of The University Of Colorado | Extended depth of field optical systems |
JP3275010B2 (ja) * | 1995-02-03 | 2002-04-15 | ザ・リジェンツ・オブ・ザ・ユニバーシティ・オブ・コロラド | 拡大された被写界深度を有する光学システム |
SE512350C2 (sv) * | 1996-01-09 | 2000-03-06 | Kjell Olsson | Ökat skärpedjup i fotografisk bild |
JP4136011B2 (ja) * | 1996-04-30 | 2008-08-20 | オリンパス株式会社 | 焦点深度伸長装置 |
JP3408112B2 (ja) * | 1997-04-30 | 2003-05-19 | キヤノン株式会社 | 回折光学素子を有した光学部材及びそれを用いた光学系 |
US6069738A (en) * | 1998-05-27 | 2000-05-30 | University Technology Corporation | Apparatus and methods for extending depth of field in image projection systems |
US6097856A (en) * | 1998-07-10 | 2000-08-01 | Welch Allyn, Inc. | Apparatus and method for reducing imaging errors in imaging systems having an extended depth of field |
US20010008418A1 (en) * | 2000-01-13 | 2001-07-19 | Minolta Co., Ltd. | Image processing apparatus and method |
US6536898B1 (en) * | 2000-09-15 | 2003-03-25 | The Regents Of The University Of Colorado | Extended depth of field optics for human vision |
US6873733B2 (en) * | 2001-01-19 | 2005-03-29 | The Regents Of The University Of Colorado | Combined wavefront coding and amplitude contrast imaging systems |
US20030051353A1 (en) * | 2001-02-13 | 2003-03-20 | Andreas Gartner | Formation of a disk from a fracturable material |
US6525302B2 (en) * | 2001-06-06 | 2003-02-25 | The Regents Of The University Of Colorado | Wavefront coding phase contrast imaging systems |
US6842297B2 (en) * | 2001-08-31 | 2005-01-11 | Cdm Optics, Inc. | Wavefront coding optics |
AU2002357321A1 (en) * | 2001-12-18 | 2003-06-30 | University Of Rochester | Multifocal aspheric lens obtaining extended field depth |
US20040008423A1 (en) * | 2002-01-28 | 2004-01-15 | Driscoll Edward C. | Visual teleconferencing apparatus |
US7197193B2 (en) | 2002-05-03 | 2007-03-27 | Creatv Microtech, Inc. | Apparatus and method for three dimensional image reconstruction |
US7031054B2 (en) * | 2002-10-09 | 2006-04-18 | The Regent Of The University Of Colorado | Methods and systems for reducing depth of field of hybrid imaging systems |
US7180673B2 (en) * | 2003-03-28 | 2007-02-20 | Cdm Optics, Inc. | Mechanically-adjustable optical phase filters for modifying depth of field, aberration-tolerance, anti-aliasing in optical systems |
EP2296041A3 (en) * | 2003-05-30 | 2013-01-23 | Omnivision Technologies, Inc. | Lithographic systems and methods with extended depth of focus |
JP2007511013A (ja) | 2003-11-12 | 2007-04-26 | シーメンス コーポレイト リサーチ インコーポレイテツド | 医用画像における候補解剖学的構造をフィルタリングおよび自動検出するためのシステムおよび方法 |
US7336430B2 (en) * | 2004-09-03 | 2008-02-26 | Micron Technology, Inc. | Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and a centrally obscured aperture |
US7898746B2 (en) * | 2008-07-03 | 2011-03-01 | Aptina Imaging Corporation | Extended depth-of-field lenses and methods for their design, optimization and manufacturing |
-
2005
- 2005-05-05 US US10/908,287 patent/US7336430B2/en active Active
- 2005-05-11 WO PCT/US2005/016231 patent/WO2006028527A2/en active Application Filing
- 2005-05-11 KR KR1020077007485A patent/KR20070057231A/ko not_active Application Discontinuation
- 2005-05-11 EP EP05748290A patent/EP1789830A2/en not_active Withdrawn
- 2005-05-11 SG SG200803018-1A patent/SG142313A1/en unknown
- 2005-05-11 JP JP2007529820A patent/JP2008511859A/ja active Pending
- 2005-05-11 CA CA002577735A patent/CA2577735A1/en not_active Abandoned
- 2005-05-11 AU AU2005283143A patent/AU2005283143A1/en not_active Abandoned
- 2005-05-11 CN CN200580036684A patent/CN100594398C/zh not_active Expired - Fee Related
-
2007
- 2007-03-01 IL IL181671A patent/IL181671A/en not_active IP Right Cessation
- 2007-10-11 US US11/870,729 patent/US8086058B2/en not_active Expired - Fee Related
- 2007-12-14 US US11/956,553 patent/US7511895B2/en active Active
- 2007-12-21 US US11/963,033 patent/US7593161B2/en active Active
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010008794A (ja) * | 2008-06-27 | 2010-01-14 | Kyocera Corp | 撮像装置および電子機器 |
JP4658162B2 (ja) * | 2008-06-27 | 2011-03-23 | 京セラ株式会社 | 撮像装置および電子機器 |
JP2010164973A (ja) * | 2009-01-16 | 2010-07-29 | Ricoh Co Ltd | 球面収差を大きくしfirフィルタを所定サイズにした画像化システム |
JP2012519919A (ja) * | 2009-03-05 | 2012-08-30 | レイセオン カンパニー | 拡張被写界深度を有する正確な画像化方法および装置 |
JP2011070134A (ja) * | 2009-09-28 | 2011-04-07 | Kyocera Corp | 撮像装置および画像処理方法 |
JP2013535020A (ja) * | 2010-05-27 | 2013-09-09 | サムスン エレクトロニクス カンパニー リミテッド | イメージキャプチャおよびディスプレイ装置並びにその方法 |
US9549134B2 (en) | 2010-05-27 | 2017-01-17 | Samsung Electronics Co., Ltd. | Image capturing and display apparatus and method |
US10477111B2 (en) | 2010-05-27 | 2019-11-12 | Samsung Electronics Co., Ltd. | Image capturing and display apparatus and method with different color filters |
WO2013042456A1 (ja) * | 2011-09-21 | 2013-03-28 | オリンパスメディカルシステムズ株式会社 | 対物光学系、撮像装置および内視鏡 |
JP5373228B2 (ja) * | 2011-09-21 | 2013-12-18 | オリンパスメディカルシステムズ株式会社 | 撮像装置および内視鏡 |
US8988516B2 (en) | 2011-09-21 | 2015-03-24 | Olympus Medical Systems Corp. | Imaging device and endoscope |
Also Published As
Publication number | Publication date |
---|---|
WO2006028527A2 (en) | 2006-03-16 |
AU2005283143A1 (en) | 2006-03-16 |
US20060050409A1 (en) | 2006-03-09 |
CA2577735A1 (en) | 2006-03-16 |
US20080151388A1 (en) | 2008-06-26 |
WO2006028527A3 (en) | 2007-01-18 |
KR20070057231A (ko) | 2007-06-04 |
IL181671A (en) | 2010-11-30 |
US20080075386A1 (en) | 2008-03-27 |
SG142313A1 (en) | 2008-05-28 |
US7511895B2 (en) | 2009-03-31 |
US20080089598A1 (en) | 2008-04-17 |
US8086058B2 (en) | 2011-12-27 |
EP1789830A2 (en) | 2007-05-30 |
US7336430B2 (en) | 2008-02-26 |
US7593161B2 (en) | 2009-09-22 |
CN100594398C (zh) | 2010-03-17 |
IL181671A0 (en) | 2007-07-04 |
CN101048691A (zh) | 2007-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2008511859A (ja) | 球面収差範囲が制御され中央を掩蔽した絞りを有する多焦点距離レンズを使用した拡張焦点深度 | |
US11721002B2 (en) | Imaging system and method for imaging objects with reduced image blur | |
US9142582B2 (en) | Imaging device and imaging system | |
US7260251B2 (en) | Systems and methods for minimizing aberrating effects in imaging systems | |
JP4377404B2 (ja) | 画像向上機能を備えたカメラ | |
US8432479B2 (en) | Range measurement using a zoom camera | |
US8294764B2 (en) | Extended depth-of-field surveillance imaging system | |
WO2013080551A1 (ja) | 撮像装置 | |
JPH11500235A (ja) | 拡大された被写界深度を有する光学システム | |
RU2782980C1 (ru) | Устройство и способ формирования изображения с обеспечением увеличенной глубины изображаемого пространства (варианты) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110118 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110712 |