JP2016511980A - プレノプティックイメージング装置 - Google Patents
プレノプティックイメージング装置 Download PDFInfo
- Publication number
- JP2016511980A JP2016511980A JP2015556538A JP2015556538A JP2016511980A JP 2016511980 A JP2016511980 A JP 2016511980A JP 2015556538 A JP2015556538 A JP 2015556538A JP 2015556538 A JP2015556538 A JP 2015556538A JP 2016511980 A JP2016511980 A JP 2016511980A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- image
- filter
- images
- optical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 129
- 230000003287 optical effect Effects 0.000 claims abstract description 73
- 230000010287 polarization Effects 0.000 claims description 33
- 210000001747 pupil Anatomy 0.000 claims description 19
- 238000000034 method Methods 0.000 claims description 12
- 238000000701 chemical imaging Methods 0.000 claims description 10
- 238000013213 extrapolation Methods 0.000 claims description 8
- 239000000463 material Substances 0.000 claims description 5
- 230000007935 neutral effect Effects 0.000 claims description 4
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000002310 reflectometry Methods 0.000 claims description 2
- 238000013461 design Methods 0.000 description 26
- 230000003595 spectral effect Effects 0.000 description 18
- 230000000694 effects Effects 0.000 description 15
- 238000001228 spectrum Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 9
- 238000013459 approach Methods 0.000 description 8
- 239000011159 matrix material Substances 0.000 description 8
- 230000004044 response Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000004075 alteration Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000004438 eyesight Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 239000003570 air Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000002457 bidirectional effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000001965 increasing effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000011045 prefiltration Methods 0.000 description 2
- 238000003908 quality control method Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- DGAQECJNVWCQMB-PUAWFVPOSA-M Ilexoside XXIX Chemical compound C[C@@H]1CC[C@@]2(CC[C@@]3(C(=CC[C@H]4[C@]3(CC[C@@H]5[C@@]4(CC[C@@H](C5(C)C)OS(=O)(=O)[O-])C)C)[C@@H]2[C@]1(C)O)C)C(=O)O[C@H]6[C@@H]([C@H]([C@@H]([C@H](O6)CO)O)O)O.[Na+] DGAQECJNVWCQMB-PUAWFVPOSA-M 0.000 description 1
- 244000178870 Lavandula angustifolia Species 0.000 description 1
- 235000010663 Lavandula angustifolia Nutrition 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008649 adaptation response Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000002983 circular dichroism Methods 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000005684 electric field Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000010426 hand crafting Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000001102 lavandula vera Substances 0.000 description 1
- 235000018219 lavender Nutrition 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 229920003023 plastic Polymers 0.000 description 1
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 1
- 239000004926 polymethyl methacrylate Substances 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000000985 reflectance spectrum Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- BTIHMVBBUGXLCJ-OAHLLOKOSA-N seliciclib Chemical compound C=12N=CN(C(C)C)C2=NC(N[C@@H](CO)CC)=NC=1NCC1=CC=CC=C1 BTIHMVBBUGXLCJ-OAHLLOKOSA-N 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 229910052708 sodium Inorganic materials 0.000 description 1
- 239000011734 sodium Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/04—Prisms
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/257—Colour aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/02—Viewing or reading apparatus
- G02B27/08—Kaleidoscopes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/02—Diffusing elements; Afocal elements
- G02B5/0273—Diffusing elements; Afocal elements characterized by the use
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B5/00—Optical elements other than lenses
- G02B5/20—Filters
- G02B5/201—Filters in the form of arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/001—Constructional or mechanical details
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Studio Devices (AREA)
- Blocking Light For Cameras (AREA)
- Lenses (AREA)
Abstract
Description
一般的なプレノプティックイメージアクイジションは、Wetzstein et al.(2011)及びZhou et al.(2011)に記載されている。スナップショットイメージングは、異なるようにフィルタを通された画像を単一露光でキャプチャする。簡単なハードウェア的にパラレルな機構は、いくつかのカメラ群を互いに近づけて配置することであり(例えばWilburn et al.(2005))、それぞれのカメラは、異なるプリフィルタ、又は変更された記録パラメータを有する。それにもかかわらず、もしライトフィールドイメージングが意図されないのであれば、方向以外のほとんどのプレノプティックパラメータ(plenoptic dimensions)がそうであるように、カメラ群の異なる視点は、補償されなければならない。オプティカルフロー(Horn及びSchunck(1981))も適用され得るが、異なる光学的プリフィルタが用いられているときには当てはめられない、明るさ一定という仮定に基づくので、実際には、限られた有用性しかない。
高ダイナミックレンジHDRイメージングは、標準的なイメージングセンサのダイナミックレンジの制限を回避する。露光シーケンスが実際に主に使われる。スナップショットは、画素露光を変化させることで可能となる(Nayar及びMitsunaga 2000)が、このアプローチには前述の短所もある。
したがって本発明の目的は、画像のプレノプティックパラメータのスナップショットイメージングを可能にしつつも、カスタムカメラ設計の必要を避けることである。本発明のさらなる目的は、
DLR、携帯電話又はタブレットのカメラ、産業用カメラ、シネマカメラ、又は顕微鏡のような、任意の既存のイメージング装置に可逆的に組み合わせられ得るが、通常の使用のときには容易に取り外しが可能であり、それによりユーザによってプレノプティックイメージングの広範な採用を可能にする光学要素を設計することである。
この目的は、独立クレームに記載のプレノプティックイメージング装置によって達成される。有利な実施形態は、従属クレームに規定される。
α = tan-1((N/2・lf + αps/2)/lmt)であって、ここでlfは、オリジナルセンサ(よってディフューザー)のサイズであり、Nは、画像コピー群の目標個数であり、αpsは、撮像レンズの開口であり、lmtは、イメージマルチプライヤーの長さである。角度αは、より長いイメージマルチプライヤー、画像コピーの少ない個数、より小さいセンササイズによって低減され得て、撮像系の開口を低減することによって影響を小さなものにできる。
lλ 1 = EXEX *+ EYEY *,lλ 2 = EXEX *- EYEY *,lλ 3 = EXEY *+ EYEX *,lλ 4 = i(EXEY *- EYEX *)
であり、ここでEX及びEYは、電界Eの2つの直交平面波成分であり、*は、複素共役を表す。光学フィルタは、セット{Mi, fi}によって表記され、これらは、標準光学フィルタfi及びミュラー行列Miからなる。プレノプティックパラメータについては、波長はλで、方向はωで、時間はtで表記される。[1 0 0 0]ベクトルによる増倍は、センサによって位置合わせされている放射照度測定を抽出する。クランピング演算{・}0 1は、現実のセンサによって課せられる飽和限界をモデル化する。以下ではフィルタパラメータ(波長、偏光、及び方向)の全てが同時に用いられるわけではない。むしろ、記載されたアプリケーション領域のそれぞれは、一度に1つのパラメータを使用する。
ADELSON, E. H., AND BERGEN, J. R. 1991.
The Plenoptic Function and the Elements of Early Vision. In Computational Models of Visual Processing, MIT Press, 3-20.
ADELSON, E., AND WANG, J. 1992.
Single Lens Stereo with a Plenoptic Camera. IEEE Trans. PAMI 14, 2, 99-106.
BAYER, B. E., 1976.
Color Imaging Array. US Patent 3,971,065.
BONNET, H., ABUTER, R., BAKER, A., ET AL. 2004.
First Light of SINFONI at the VLT. ESO Messenger 117, 17, 17-24.
CAO, X., TONG, X., DAI, Q., AND LIN, S. 2011.
High-Resolution Multi-Spectral Video Capture with a Hybrid Camera System. In Proc. CVPR, 297 - 304.
COOK, R. L., AND DEROSE, T. 2005.
Wavelet Noise. ACM TOG 24, 3, 735-744.
DEBEVEC, P. E., AND MALIK, J. 1997.
Recovering High Dynamic Range Radiance Maps from Photographs. In Proc. SIGGRAPH, 369-378.
DESCOUR, M., AND DERENIAK, E. 1995.
Computed-tomography Imaging Spectrometer: Experimental Calibration and Reconstruction Results. Appl. Optics 34, 22, 4817-4826.
DU, H., TONG, X., CAO, X., AND LIN, S. 2009.
A Prism-Based System for Multispectral Video Acquisition. In Proc. ICCV, 175-182.
GEHM, M. E., JOHN, R., BRADY, D. J., WILLETT, R. M., AND SCHULZ, T. J. 2007.
Single-Shot Compressive Spectral Imaging with a Dual-Disperser Architecture. Optics Exp. 15, 21, 14013-14027.
GOLDSTEIN, D. H. 2003.
Polarized Light, 2nd edition. CRC Press, New York, US.
GORTLER, S., GRZESZCZUK, R., SZELINSKI, R., AND COHEN, M. 1996.
The Lumigraph. In Proc. SIGGRAPH, 43-54.
HABEL, R., KUDENOV, M., AND WIMMER, M. 2012.
Practical Spectral Photography. CGF 31, 2 (May), 449-458.
HAN, J. Y., AND PERLIN, K. 2003.
Measuring Bidirectional Texture Reflectance with a Kaleidoscope.
In Proc. SIGGRAPH, 741-748.
HEGEDUS, R., SZEL, G., AND HORVATH, G. 2006.
Imaging polarimetry of the circularly polarizing cuticle of scarab beetles
(Coleoptera: Rutelidae, Cetoniidae). Vision Research 46, 2786-2797.
HORN, B. K. P., AND SCHUNCK, B. G. 1981.
Determining Optical Flow. Artif. Intell. 17, (1-3), 185-203.
HORSTMEYER, R., EULISS, G., ATHALE, R., AND LEVOY, M. 2009.
Flexible Multimodal Camera Using a Light Field Architecture. In Proc. ICCP, 1-8.
IHRKE, I., WETZSTEIN, G., AND HEIDRICH, W. 2010.
A Theory of Plenoptic Multiplexing. In Proc. CVPR, 1-8.
IHRKE, I., 2012.
Color Calibration Toolbox for MATLAB v2.0. http://giana.mmci.uni-saarland.de/software.html.
ISAKSEN, A., MCMILLAN, L., AND GORTLER, S. J. 2000.
Dynamically Reparameterized Light Fields. In Proc. SIGGRAPH, 297-306.
IVES, H., 1903.
Parallax Stereogram and Process of Making Same. US patent 725,567.
KUDENOV, M., AND DERENIAK, E. 2011.
Compact Snapshot Real-Time Imaging Spectrometer.
In SPIE Conf. on Elec.-Opt. Rem. Sens., Phot. Tech., and Appl. V, 81860W-1-81860W-12.
LANMAN, D., RASKAR, R., AGRAWAL, A., AND TAUBIN, G. 2008.
Shield Fields: Modeling and Capturing 3D Occluders. ACM TOG 27, 5, 131.
LEVOY, M., AND HANRAHAN, P. 1996.
Light Field Rendering. In Proc. SIGGRAPH, 31-42.
LEVOY, M., CHEN, B., VAISH, V., HOROWITZ, M., MCDOWALL, I., AND BOLAS, M. 2004.
Synthetic Aperture Confocal Imaging. ACM TOG 23, 3, 825-834.
LIPPMANN, G. 1908.
La Photographie Inte´grale. Academie des Sciences 146, 446-451.
LUMSDAINE, A., AND GEORGIEV, T. 2009.
The Focused Plenoptic Camera. In Proc. ICCP, 1-8.
MANN, S., AND PICARD, R. W. 1995.
Being ’Undigital’ with Digital Cameras: Extending Dynamic Range by Combining Differently Exposed Pictures. In Proc. IS&T, 442-448.
MCGUIRE, M., MATUSIK, W., PFISTER, H., CHEN, B., HUGHES, J. F., AND NAYAR, S. K. 2007.
Optical Splitting Trees for High-Precision Monocular Imaging. IEEE CG&A 27, 2, 32-42.
MITSUNAGA, T., AND NAYAR, S. K. 1999.
Radiometric Self Calibration. In Proc. CVPR, 374-380.
NARASIMHAN, S., AND NAYAR, S. 2005.
Enhancing Resolution along Multiple Imaging Dimensions using Assorted Pixels.
IEEE Trans. PAMI 27, 4, 518-530.
NAYAR, S., AND MITSUNAGA, T. 2000.
High Dynamic Range Imaging: Spatially Varying Pixel Exposures. In Proc. CVPR, vol. 1, 472-479.
NEUMANN, L., HEGEDUS, R., HORVATH, G., AND GARCIA, R. 2008.
Applications of High Precision Imaging Polarimetry. In Proc. Computational Aesthetics in Graphics, Visualization and Imaging, 89-97.
NG, R., LEVOY, M., BRE´DIF, M., DUVAL, G., HOROWITZ, M., AND HANRAHAN, P. 2005.
Light Field Photography with a Hand-Held Plenoptic Camera. Tech. Rep. Computer Science CSTR 2005-02, Stanford University.
NG, R. 2005.
Fourier Slice Photography. ACM TOG 24, 3, 735-744.
OKAMOTO, T., AND YAMAGUCHI, I. 1991.
Simultaneous Acquisition of Spectral Image Information. Optics Lett. 16, 16, 1277-1279.
PARK, J.-I., LEE, M.-H., GROSSBERG, M. D., AND NAYAR, S. K. 2007.
Multispectral Imaging Using Multiplexed Illumination. In Proc. ICCV, 1-8
PEZZANITI, J. L., CHENAULT, D., ROCHE, M., REINHARDT, J., PEZZANITI, J. P., AND SCHULTZ, H. 2008.
Four Camera Complete Stokes Imaging Polarimeter. In Proc. SPIE 6972, Polarization: Measurement, Analysis, and Remote Sensing VIII, 69720J-1-69720J-12.
REINHARD, E., WARD, G., DEBEVEC, P., PATTANAIK, S., HEIDRICH, W., AND MYSZ-KOWSKI, K. 2010.
High Dynamic Range Imaging: Acquisition, Display and Image-Based Lighting. Morgan Kaufmann Publishers.
RESHETOUSKI, I., MANAKOV, A., SEIDEL, H.-P., AND IHRKE, I. 2011.
Three-Dimensional Kaleidoscopic Imaging. In Proc. CVPR, 353-360.
RUMP, M., AND KLEIN, R. 2010.
Spectralization: Reconstructing spectra from sparse data. In Proc. EGSR, 1347-1354.
SCHECHNER, Y., AND NAYAR, S. 2005.
Generalized Mosaicing: Polarization Panorama. IEEE Trans. PAMI 27, 4, 631-636.
SCHECHNER, Y., NARASIMHAN, S. G., AND NAYAR, S. K. 2001.
Instant Dehazing of Images using Polarization. In Proc. CVPR, 325-332.
SPIERING, B. A., 1999.
Multispectral Imaging System. US Patent 5,900,942.
TOCCI, M. D., KISER, C., TOCCI, N., AND SEN, P. 2011.
A Versatile HDR Video Production System. ACM TOG 30, 4.
TOYOOKA, S., AND HAYASAKA, N. 1997.
Two-Dimensional Spectral Analysis using Broad-Band Filters. Optical Communications 137 (Apr), 22-26.
VEERARAGHAVAN, A., RASKAR, R., AGRAWAL, A., MOHAN, A., AND TUMBLIN, J. 2007.
Dappled Photography: Mask Enhanced Cameras For Heterodyned Light Fields and Coded Aperture Refocussing. ACM TOG 26, 3, 69.
WANNER, S., AND GOLDLUECKE, B. 2012.
Globally Consistent Depth Labeling of 4D Lightfields. In Proc. CVPR, 41 - 48.
WANNER, S., AND GOLDLUECKE, B. 2012.
Spatial and Angular Variational Super-Resolution of 4D Light Fields. In Proc. ECCV, 608 - 621.
WETZSTEIN, G., IHRKE, I., LANMAN, D., AND HEIDRICH, W. 2011.
Computational Plenoptic Imaging. CGF 30, 8, 2397-2426.
WILBURN, B., JOSHI, N., VAISH, V., ET AL. 2005.
High Performance Imaging using Large Camera Arrays. ACM TOG 24, 3, 765-776.
ZHOU, C., AND NAYAR, S. 2011.
Computational Cameras: Convergence of Optics and Processing. IEEE Trans. IP 20, 12 (Dec), 3322-3340.
Claims (17)
- 物体又はシーンの複数の光学画像を得るイメージマルチプライヤーと、
前記複数の画像の少なくともいくつかを共通の画像化センサに、前記センサの同じ露光の間に画像化する撮像系と、
を備える画像化装置。 - 前記イメージマルチプライヤーは、カレイドスコープである請求項1に記載の画像化装置。
- 前記撮像系によって画像化された前記複数の光学画像をフィルタリングする光学フィルタ群のアレイをさらに備える請求項1又は2に記載の画像化装置。
- 前記フィルタリングされた画像を前記画像化センサ上に画像化する画像化系をさらに備える請求項3に記載の画像化装置。
- 外部光学装置の特性に調整する瞳整合系をさらに備える請求項1又は2に記載の画像化装置。
- 前記フィルタ群は、減光フィルタ、マルチスペクトルフィルタ、偏光フィルタ、又は時間的フィルタを備える請求項3に記載の画像化装置。
- 前記フィルタ群は、交換可能である請求項3に記載の画像化装置。
- 前記フィルタ群は、アクティブ及び/又はコンピュータによって制御可能である請求項3に記載の画像化装置。
- ディフューザースクリーンをさらに備える請求項1に記載の画像化装置。
- 前記イメージマルチプライヤーはプリズムであり、特に反射材料でコーティングされたプリズムである請求項1に記載の画像化装置。
- 高ダイナミックレンジイメージング、マルチスペクトルイメージング、マルチスペクトルイメージング、偏光イメージング、ライトフィールドイメージング、反射率測定、深度推定、又はビュー内挿及び外挿又はそれらの組み合わせのための請求項1に記載の装置の使用。
- 請求項1に記載の画像化装置を備える静止画及び/又は動画カメラ。
- 請求項1又は5に記載の画像化装置を備えるカメラアドオン。
- 請求項1に記載の画像化装置、及び対物レンズを備えるシステム。
- デジタル画像又はビデオを受け取ることであって、前記デジタル画像又はビデオは、請求項1に記載の画像化装置を用いて得られた少なくともいくつかの画像又は画像シーケンスを備える、受け取ること、
前記少なくともいくつかの画像又は画像シーケンスに基づいて、デジタル画像又はビデオを再構築すること、及び
前記デジタル画像又はビデオを出力すること
のステップを含むコンピュータによって実行される方法。 - 前記画像又はビデオは、インターネットに出力、及び/又はインターネットから入力される請求項15に記載の方法。
- 前記画像又はビデオは、ユーザに出力される請求項15に記載の方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201361764084P | 2013-02-13 | 2013-02-13 | |
EP13155094 | 2013-02-13 | ||
US61/764,084 | 2013-02-13 | ||
EP13155094.9 | 2013-02-13 | ||
PCT/EP2014/052747 WO2014124982A1 (en) | 2013-02-13 | 2014-02-12 | Plenoptic imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016511980A true JP2016511980A (ja) | 2016-04-21 |
JP6409006B2 JP6409006B2 (ja) | 2018-10-17 |
Family
ID=47713963
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015556538A Active JP6409006B2 (ja) | 2013-02-13 | 2014-02-12 | プレノプティックイメージング装置 |
Country Status (6)
Country | Link |
---|---|
US (2) | US9936188B2 (ja) |
EP (1) | EP2957099B1 (ja) |
JP (1) | JP6409006B2 (ja) |
KR (1) | KR101871034B1 (ja) |
CN (1) | CN105210361B (ja) |
WO (1) | WO2014124982A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018180808A1 (ja) * | 2017-03-30 | 2018-10-04 | 国立大学法人奈良先端科学技術大学院大学 | 撮像装置及び画像処理装置 |
Families Citing this family (30)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014132257A (ja) * | 2012-12-03 | 2014-07-17 | Ricoh Co Ltd | 類似度判定システム及び類似度判定方法 |
US10176562B2 (en) * | 2014-02-24 | 2019-01-08 | Rambus Inc. | Optical flow sensing and pattern recognition with anti-symmetric phase gratings |
WO2015198331A1 (en) * | 2014-06-25 | 2015-12-30 | Ramot At Tel-Aviv University Ltd. | System and method for light-field imaging |
FR3030041B1 (fr) * | 2014-12-12 | 2017-12-22 | Bertin Technologies Sa | Dispositif de filtrage optique pour la detection de gaz |
EP3128750A1 (en) * | 2015-08-04 | 2017-02-08 | Thomson Licensing | Plenoptic camera and method of controlling the same |
JP6834134B2 (ja) * | 2016-01-21 | 2021-02-24 | オムロン株式会社 | 撮像装置および情報コード読取装置 |
WO2017130121A1 (en) * | 2016-01-26 | 2017-08-03 | Imax Corporation | Stereo image projection with high intra-frame contrast |
US10089788B2 (en) | 2016-05-25 | 2018-10-02 | Google Llc | Light-field viewpoint and pixel culling for a head mounted display device |
EP3264755A1 (en) * | 2016-06-30 | 2018-01-03 | Thomson Licensing | Plenoptic sub aperture view shuffling for a richer color sampling |
US11300450B2 (en) * | 2016-08-10 | 2022-04-12 | Korea Advanced Institute Of Science And Technology | Hyperspectral imaging spectroscopy method using kaleidoscope and system therefor |
CN107478858B (zh) * | 2017-07-24 | 2020-02-18 | 大连理工大学 | 基于斯托克斯矢量光流的运动速度检测传感器装置及检测方法 |
JP7127647B2 (ja) | 2017-08-01 | 2022-08-30 | ソニーグループ株式会社 | 撮像装置、撮像方法、並びにプログラム |
US11310481B2 (en) | 2017-10-26 | 2022-04-19 | Sony Corporation | Imaging device, system, method and program for converting a first image into a plurality of second images |
CN107991838B (zh) | 2017-11-06 | 2020-10-23 | 万维科研有限公司 | 自适应三维立体成像*** |
CN111344605B (zh) | 2017-11-14 | 2023-10-20 | 图像影院国际有限公司 | 针对影院的直视型显示器的光调节 |
CN107860315A (zh) * | 2017-11-17 | 2018-03-30 | 浙江大学城市学院 | 一种结构光全向光场视觉***组合结构 |
CN112840643B (zh) * | 2018-10-09 | 2022-01-14 | 富士胶片株式会社 | 摄像装置 |
EP3805819A1 (en) | 2019-10-08 | 2021-04-14 | FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. | Light-field sensor, light-field sensor arrangement and camera apparatus |
DE112021000369T5 (de) | 2020-02-19 | 2022-10-06 | Hanon Systems | Luftklappe mit fussgängerschutzfunktion |
LU102084B1 (de) | 2020-09-22 | 2022-03-23 | K/Lens Gmbh | Abbildungssystem, insbesondere für eine Kamera |
LU102085B1 (de) | 2020-09-22 | 2022-03-23 | K/Lens Gmbh | Abbildungssystem, insbesondere für eine Kamera |
LU102087B1 (de) | 2020-09-22 | 2022-03-23 | K/Lens Gmbh | Abbildungssystem, insbesondere für eine Kamera |
CN116194950A (zh) | 2020-09-22 | 2023-05-30 | K莱恩斯有限公司 | 用于创建图像记录的方法 |
LU102086B1 (de) | 2020-09-22 | 2022-03-23 | K/Lens Gmbh | Verfahren zur Erstellung einer Bildaufzeichnung |
DE102021105689A1 (de) * | 2021-03-09 | 2022-09-15 | Cubert GmbH | Mehrkanaloptik zur synchronen Aufnahme von Abbildungen |
CN113267789B (zh) * | 2021-04-30 | 2022-02-08 | 西安工业大学 | 一种红外全波段二维四向偏振调制光栅 |
EP4123361A3 (en) | 2021-07-23 | 2023-04-12 | Burney Kelley | 3-dimensional viewing device with stereoscopic affect and interchangeable image discs and components |
FR3127836A1 (fr) * | 2021-10-06 | 2023-04-07 | Ecole Polytechnique | Dispositif d’imagerie plénoptique avec image intermédiaire virtuelle |
CN116405786A (zh) * | 2022-01-04 | 2023-07-07 | 南昌理工学院 | 一种服务于雾天复杂场景下成像计算及数据恢复方法 |
WO2024032966A1 (en) | 2022-08-10 | 2024-02-15 | K|Lens Gmbh | Method for digital image processing |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4162117A (en) * | 1977-09-30 | 1979-07-24 | Gantz Jeanne A | Optical image multiplying device |
JPH08233658A (ja) * | 1995-02-24 | 1996-09-13 | Olympus Optical Co Ltd | 分光装置及び分光画像記録装置 |
JP2004313523A (ja) * | 2003-04-17 | 2004-11-11 | Pentax Corp | 固体撮像素子、電子内視鏡 |
JP2005004487A (ja) * | 2003-06-12 | 2005-01-06 | Sony Corp | 捕捉パス上で撮影されたサラウンド画像を処理する装置及び方法 |
JP2005031558A (ja) * | 2003-07-10 | 2005-02-03 | Noritake Co Ltd | 多波長複数画面光学系 |
JP2005523447A (ja) * | 2002-04-18 | 2005-08-04 | キネティック リミテッド | イメージング分光計 |
JP2006229908A (ja) * | 2005-01-18 | 2006-08-31 | Sony Corp | 撮像装置および撮像方法、並びに撮像装置の設計方法 |
JP2007159111A (ja) * | 2005-11-30 | 2007-06-21 | Mitsubishi Electric Research Laboratories Inc | マルチビュービデオを管理する方法及びシステム |
JP2009128421A (ja) * | 2007-11-20 | 2009-06-11 | Hiroko Ishibashi | 万華鏡模様印刷装置 |
JP2011066875A (ja) * | 2009-09-18 | 2011-03-31 | Mitsubishi Electric Research Laboratories Inc | シーンの入力画像を取得するための方法および装置 |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US725567A (en) | 1902-09-25 | 1903-04-14 | Frederic E Ives | Parallax stereogram and process of making same. |
GB796102A (en) * | 1955-06-10 | 1958-06-04 | Ronald Morris Davies | Improvements in or relating to kaleidoscopic apparatus |
US3661439A (en) | 1970-10-30 | 1972-05-09 | John L Burnside | Telescopic kaleidoscope |
US3971065A (en) | 1975-03-05 | 1976-07-20 | Eastman Kodak Company | Color imaging array |
JPS6134520A (ja) * | 1984-12-28 | 1986-02-18 | Hamai Seisakusho:Kk | 万華鏡式撮影具 |
US4733960A (en) * | 1985-09-10 | 1988-03-29 | Carolyn Bennett | Lens adapter for creating photographically reproduced designs with turnable mirror tube |
JPH01119867A (ja) * | 1987-11-02 | 1989-05-11 | Haisensu:Kk | 模様作成方法 |
US5900942A (en) | 1997-09-26 | 1999-05-04 | The United States Of America As Represented By Administrator Of National Aeronautics And Space Administration | Multi spectral imaging system |
US6147702A (en) * | 1998-04-17 | 2000-11-14 | Intel Corporation | Calibration of digital cameras |
US7830522B2 (en) * | 2002-09-25 | 2010-11-09 | New York University | Method and apparatus for determining reflectance data of a subject |
US20070041722A1 (en) * | 2005-08-22 | 2007-02-22 | Fong Gary M | Light diffuser |
US7620309B2 (en) * | 2006-04-04 | 2009-11-17 | Adobe Systems, Incorporated | Plenoptic camera |
CN200984460Y (zh) * | 2006-12-22 | 2007-12-05 | 宋璋嘉 | 一种拼搭式光学智力玩具 |
US7792423B2 (en) * | 2007-02-06 | 2010-09-07 | Mitsubishi Electric Research Laboratories, Inc. | 4D light field cameras |
JP4462288B2 (ja) * | 2007-05-16 | 2010-05-12 | 株式会社日立製作所 | 映像表示装置及びそれを適用した3次元映像表示装置 |
US8290358B1 (en) * | 2007-06-25 | 2012-10-16 | Adobe Systems Incorporated | Methods and apparatus for light-field imaging |
US20090262182A1 (en) * | 2007-10-15 | 2009-10-22 | The University Of Connecticut | Three-dimensional imaging apparatus |
US8265338B2 (en) * | 2009-07-02 | 2012-09-11 | Lockheed Martin Corporation | System and method for analysis of image data |
US8228417B1 (en) * | 2009-07-15 | 2012-07-24 | Adobe Systems Incorporated | Focused plenoptic camera employing different apertures or filtering at different microlenses |
US8525912B2 (en) * | 2009-10-16 | 2013-09-03 | Samsung Electronics Co., Ltd. | Method and apparatus for photographing an image of digital camera in a mobile communication terminal |
WO2011066275A2 (en) * | 2009-11-25 | 2011-06-03 | Massachusetts Institute Of Technology | Actively addressable aperture light field camera |
US20120154595A1 (en) * | 2010-12-17 | 2012-06-21 | Sony Ericsson Mobile Communications Ab | Integrated Camera-Projection Device |
US20120200829A1 (en) * | 2011-02-09 | 2012-08-09 | Alexander Bronstein | Imaging and projecting devices and methods |
EP2533199B1 (en) * | 2011-06-10 | 2014-08-13 | Universität des Saarlandes | Multi-view imaging system |
US20130076931A1 (en) * | 2011-09-22 | 2013-03-28 | John Norvold Border | Plenoptic lens unit providing refocusable imaging mode |
-
2014
- 2014-02-12 KR KR1020157023273A patent/KR101871034B1/ko active IP Right Grant
- 2014-02-12 JP JP2015556538A patent/JP6409006B2/ja active Active
- 2014-02-12 WO PCT/EP2014/052747 patent/WO2014124982A1/en active Application Filing
- 2014-02-12 CN CN201480019293.6A patent/CN105210361B/zh active Active
- 2014-02-12 EP EP14707104.7A patent/EP2957099B1/en active Active
- 2014-02-12 US US14/765,572 patent/US9936188B2/en active Active
-
2018
- 2018-03-09 US US15/916,954 patent/US20180205938A1/en not_active Abandoned
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4162117A (en) * | 1977-09-30 | 1979-07-24 | Gantz Jeanne A | Optical image multiplying device |
JPH08233658A (ja) * | 1995-02-24 | 1996-09-13 | Olympus Optical Co Ltd | 分光装置及び分光画像記録装置 |
JP2005523447A (ja) * | 2002-04-18 | 2005-08-04 | キネティック リミテッド | イメージング分光計 |
JP2004313523A (ja) * | 2003-04-17 | 2004-11-11 | Pentax Corp | 固体撮像素子、電子内視鏡 |
JP2005004487A (ja) * | 2003-06-12 | 2005-01-06 | Sony Corp | 捕捉パス上で撮影されたサラウンド画像を処理する装置及び方法 |
JP2005031558A (ja) * | 2003-07-10 | 2005-02-03 | Noritake Co Ltd | 多波長複数画面光学系 |
JP2006229908A (ja) * | 2005-01-18 | 2006-08-31 | Sony Corp | 撮像装置および撮像方法、並びに撮像装置の設計方法 |
JP2007159111A (ja) * | 2005-11-30 | 2007-06-21 | Mitsubishi Electric Research Laboratories Inc | マルチビュービデオを管理する方法及びシステム |
JP2009128421A (ja) * | 2007-11-20 | 2009-06-11 | Hiroko Ishibashi | 万華鏡模様印刷装置 |
JP2011066875A (ja) * | 2009-09-18 | 2011-03-31 | Mitsubishi Electric Research Laboratories Inc | シーンの入力画像を取得するための方法および装置 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018180808A1 (ja) * | 2017-03-30 | 2018-10-04 | 国立大学法人奈良先端科学技術大学院大学 | 撮像装置及び画像処理装置 |
JPWO2018180808A1 (ja) * | 2017-03-30 | 2020-02-06 | 国立大学法人 奈良先端科学技術大学院大学 | 撮像装置及び画像処理装置 |
JP7058881B2 (ja) | 2017-03-30 | 2022-04-25 | 国立大学法人 奈良先端科学技術大学院大学 | 撮像装置及び画像処理装置 |
Also Published As
Publication number | Publication date |
---|---|
EP2957099A1 (en) | 2015-12-23 |
KR101871034B1 (ko) | 2018-07-19 |
CN105210361A (zh) | 2015-12-30 |
US20180205938A1 (en) | 2018-07-19 |
EP2957099B1 (en) | 2018-08-29 |
WO2014124982A1 (en) | 2014-08-21 |
US20160057407A1 (en) | 2016-02-25 |
KR20150116872A (ko) | 2015-10-16 |
CN105210361B (zh) | 2019-04-12 |
JP6409006B2 (ja) | 2018-10-17 |
US9936188B2 (en) | 2018-04-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6409006B2 (ja) | プレノプティックイメージング装置 | |
Manakov et al. | A reconfigurable camera add-on for high dynamic range, multispectral, polarization, and light-field imaging | |
Ihrke et al. | Principles of light field imaging: Briefly revisiting 25 years of research | |
Wetzstein et al. | Computational plenoptic imaging | |
Cossairt et al. | When does computational imaging improve performance? | |
Zhou et al. | Computational cameras: convergence of optics and processing | |
Nayar | Computational cameras: Redefining the image | |
CN108780142A (zh) | 3d成像***和方法 | |
Nayar | Computational cameras: approaches, benefits and limits | |
JP2006276863A (ja) | シーンの複数の光学特性を複数の分解能で取得するカメラシステム | |
US11196976B2 (en) | Systems and methods for virtual light field expansion with electro-optical tessellation | |
CN111052175A (zh) | 用于成像的装置和方法 | |
TW202201950A (zh) | 極化成像攝影機 | |
CN108495115B (zh) | 图像传感器及其像素组和像素阵列,获取图像信息的方法 | |
Mignard-Debise et al. | Light-field microscopy with a consumer light-field camera | |
Michels et al. | Simulation of plenoptic cameras | |
Baek et al. | Lensless polarization camera for single-shot full-Stokes imaging | |
Cossairt | Tradeoffs and limits in computational imaging | |
JP7049274B2 (ja) | より豊富なカラーサンプリング用のプレノプティック・サブアパーチャ・ビュー・シャッフリング | |
CN109417590A (zh) | 具有改进的分辨率的全光子孔径视图改组 | |
Kagawa et al. | Variable field-of-view visible and near-infrared polarization compound-eye endoscope | |
Mignard-Debise | Tools for the paraxial optical design of light field imaging systems | |
RU2785988C1 (ru) | Система формирования изображений и способ обработки изображений | |
Birch | Computational and design methods for advanced imaging | |
Xu | 4D Light Field Reconstruction and Scene Depth Estimation from Plenoptic Camera Raw Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20160125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20160125 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160712 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170919 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20171218 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180219 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180904 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180921 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6409006 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |