CN104303493A - 用于改进的光场捕获和操作的光学***的优化 - Google Patents

用于改进的光场捕获和操作的光学***的优化 Download PDF

Info

Publication number
CN104303493A
CN104303493A CN201380023092.9A CN201380023092A CN104303493A CN 104303493 A CN104303493 A CN 104303493A CN 201380023092 A CN201380023092 A CN 201380023092A CN 104303493 A CN104303493 A CN 104303493A
Authority
CN
China
Prior art keywords
light field
field image
image data
pixel
microlens array
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201380023092.9A
Other languages
English (en)
Inventor
T·J·奈特
C·皮茨
K·B·埃克利
Y·A·罗曼年科
C·W·克拉多克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Lytro Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lytro Inc filed Critical Lytro Inc
Publication of CN104303493A publication Critical patent/CN104303493A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/447—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by preserving the colour pattern with or without loss of information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

根据本发明的各个实施例，光场捕获装置的光学***被优化为以便改进捕获的光场图像数据。优化光场捕获装置的光学***可以产生更加便宜和/或易于处理的捕获光场图像数据(静止的和视频)。光学***可以被优化为在使用更加便宜的处理方法时产生改进的质量或分辨率，所述处理方法的计算成本适合各种处理和/或资源约束。因此，光场照相机的光学***可以被优化以降低尺寸和/或成本，和/或提高这种光学***的质量。

Description

用于改进的光场捕获和操作的光学***的优化
相关申请交叉引用
本申请要求于2012年5月9日申请的名称为“Optimization of OpticalSystems for Improved Light Field Capture and Manipulation(律师案号LYT064-PROV)”的美国临时申请序号61/644,851的优先权，其公开内容通过引用被全部并入本文中。
本申请涉及于2011年2月15日申请的名称为“3D Light Field Cameras，Images and Files，and Methods of Using，Operating，Processing andViewing Same(律师案号LYT3006)”的序号13/027,946的美国专利申请，其公开内容通过引用被全部并入本文中。
技术领域
本发明涉及用于优化光学***的***和方法，以用于改进光场图像数据的捕获和操作。
背景技术
光场捕获装置(比方说例如光场照相机和摄影机)可以用来捕获及可选地处理光场图像数据。一些光场捕获装置还可以接受用户输入并在用户输入时动作，显示或以其它方式输出图像和/或其它类型的数据。光场捕获装置可以包括用来捕获光场图像数据的各种各样的不同的光学组件，包括传感器(诸如CCD或CMOS传感器)、微透镜阵列、主透镜和/或透镜阵列。
光场捕获装置可以使用任何适当的捕获方法来捕获光场图像数据。这种方法的一个示例包括但不限于如Ng等人在“用手持全光捕获装置的光场摄影(Light field photography with a hand-held plenoptic capture device，Technical Report CSTR 2005-02，Stanford Computer Science)”中描述的在图像传感器(例如，CCD或CMOS传感器)之上使用微透镜阵列。其它示例包括使用多个独立控制的照相机，每个照相机有其自己的透镜和传感器，成像到单个共用传感器上的照相机的阵列，全光透镜和/或这些的任何组合。
在许多环境中，光场捕获装置捕获形式为高度调制的4D数据的光场图像数据，高度调制的4D数据然后可以处理以产生2D和/或3D输出图像，输出图像可以由用户查看。这种处理的示例可以包括(但不限于)产生重调焦距的图像、视差视图或角度改变的图像、全焦点或扩展景深(EDOF)图像、深度图、3D/立体图像和其任何组合。
光场图像数据的这种处理在计算资源、存储器带宽和/或功率需求方面可能是昂贵的。因此，在许多传统***中，牺牲图像质量、处理时间、分辨率等等，以便利于光场捕获。因此，一方面，迫使用户在光场图像捕获的灵活性和能力之间权衡，另一方面，在高等级图像质量和分辨率之间权衡。
发明内容
根据本发明的各个实施例，光场捕获装置的光学***被优化，以便改进光场图像数据的捕获。这种改进可以通过一个或多个尺度测量，包括(但不限于)图像质量、处理效率和产生的图像分辨率。根据各个实施例，多种方法、***和算法中的任何一个可以应用，以便处理由光场捕获装置捕获的光场图像数据，所述光场捕获装置包括本文中列举的一个或多个光学***优化。
根据各个实施例，光场捕获装置的光学***被优化以产生更加便宜和/或易于处理的被捕获光场图像数据(静止的和视频)。例如，在至少一个实施例中，光学***被优化以在使用更加便宜的处理方法时产生改进的质量或分辨率，所述处理方法的计算成本适合各种处理和/或资源约束。因此，光场照相机的光学***可以被优化以降低大小和/或成本，和/或提高这种光学***的质量。这些优化在处理能力和/或装置大小可能受限的环境中(比方说例如在诸如智能手机的移动装置的环境中)也许是特别有用的。
根据各个实施例，本发明可以单独地或以任何适当组合地包括以下组件或方面中的一个或多个：
●修改可以结合微透镜阵列使用以捕获光场图像数据的数字图像传感器的传感器读出能力，使得读出模式针对光场图像数据捕获被裁剪。具体地，通过合并(binning)或跳过像素来执行数据大小减小的读出模式被优化，以产生光场图像数据的较小退化。
●基于在传感器上形成的光场图像中的圆盘图案，修改传感器的彩色滤波阵列(CFA)栅格布局/图案；这可以包括例如如下文更加详细描述的基于其光场坐标逐像素地选择CFA色彩。
●如在下文更加详细定义的，以像素的光场坐标的函数改变像素属性，诸如曝光时间和像素增益。
●抖动微透镜阵列中传感器和/或微透镜上像素的位置。
●修改微透镜阵列设计和主透镜设计以及在光学***内的布置，以产生具有整数个传感器像素的垂直和/或水平间距的圆盘图像，这里，选择整数间距以实现更加便宜、更快速和/或更高质量的处理方法。
●修改微透镜阵列和主透镜的设计，以提高光学***的最大可接受主光线角度(CRA)。
●基于传感器的可用读出模式和/或能力，在数字图像传感器之上定位和/或定向微透镜阵列。
附图说明
附图图解说明本发明的几个实施例，与说明书一起用来解释根据实施例的本发明的原理。本领域技术人员会认识到图中图解说明的具体实施例只是示例性的，不想要限制本发明的范围。
图1A描绘了根据一个实施例的光场图像捕获装置的示例性架构。
图1B描绘了根据一个实施例的用于执行本发明的光场捕获装置的示例性架构。
图2描绘了光场图像的一部分。
图3A描绘了光线通过微透镜传输以照亮数字传感器中的像素。
图3B描绘了光场捕获装置的布置，其中微透镜阵列被定位成使得投影到数字传感器上的主透镜孔的图像不重叠。
图4描绘了将4-D光场表示降至2-D图像的投影和重构的示例。
图5描绘了根据一个实施例的光场捕获装置的另一示例性架构。
图6是描绘根据一个实施例的用于降低捕获的光场图像数据的大小的方法的流程图。
图7描绘了具有中心矩形的光场图像的一部分。
图8描绘了根据一个实施例的跳过靠近光场圆盘图像之间的边缘或在其上的像素的读出模式的光电二极管的示例性布置。
图9描绘了根据一个实施例的光场捕获装置的另一示例性架构。
图10是根据一个实施例的描绘用于修改彩色滤波阵列(CFA)以提高从光场捕获的色彩信息的质量的方法的流程图。
图11描绘了根据一个实施例的光场捕获装置的另一示例性架构。
图12是根据一个实施例的描绘用于修改像素属性的方法的流程图。
图13描绘了根据一个实施例的光场捕获装置的另一示例性架构。
图14是根据一个实施例的描绘用于将抖动引入到光学***组件中的方法的流程图。
图15和16是根据一个实施例的置换光场数据的示例。
图17A是光学***的一个示例。
图17B是具有圆盘的光场图像的示例。
图17C是用于光场图像的子采样图案的示例。
图17D是置换光场图像的子采样部分的示例。
图18A是光学***的示例。
图18B是具有圆盘的光场图像的示例。
图18C是用于光场图像的子采样图案的示例。
图18D是置换光场图像的子采样部分的示例。
图19是根据一个实施例的描绘用于确定并配置用在光场图像捕获装置中的微透镜阵列的方法的流程图。
图20描绘了两个示例性微透镜阵列的自上而下的视图。
图21是图20中的表面的示例性3D曲线图。
图22描绘了通过倾斜的微透镜的微透镜阵列的示例性2D切片。
图23A和23B描绘了倾斜的MLA侧壁角的不同优化类型的两个示例。
具体实施方式
出于本文中提供的描述目的，使用以下定义：
●捕获：可以指静态捕获或者视频捕获中的任何一个或者两者。
●图像：像素值或像素的二维阵列，每个像素值或像素规定一个色彩。
●光场图像：包含在传感器上捕获的光场图像数据的呈现的图像。
●微透镜：小的透镜，通常是类似的微透镜阵列中的一个。
●彩色滤波阵列(CFA)：在图像传感器的像素传感器上设置的捕获色彩信息的彩色滤波器的镶嵌/马赛克(mosaic)。
光学***在本文中定义为包括任何适当的光场捕获装置的光学路径的任何或所有组件，包括任何传感器(诸如CCD或CMOS传感器)、微透镜阵列、主透镜和/或透镜阵列。
光场捕获装置在本文中定义为能够捕获光场图像数据，可选地处理光场图像数据，可选地接受用户输入并按照用户输入行动以及可选地显示或另外输出图像和/或其它类型的数据的任何装置。光场捕获装置的示例包括(但不限于)光场照相机和摄影机。
此外，为便于命名，词语“照相机”在本文中用来指图像捕获装置或其它图像数据获取装置。这种数据获取装置可以是用于获取、记录、测量、估计、确定和/或计算代表场景的数据(包括但不限于二维图像数据、三维图像数据和/或光场图像数据)的任何装置或***。这种数据获取装置可以包括通过使用本领域众所周知的技术获取代表场景的数据的光学器件、传感器和图像处理电子器件。本领域技术人员会认识到关于本发明可以使用许多类型的数据获取装置，本发明不限于照相机。因此，本文中词语“照相机”的使用想要是示意性的和示例性的，但不应认为是限制本发明的范围。具体地，在本文中任何地方使用此术语应当认为是指用于获取图像数据的任何适当装置。
在下面的描述中，描述了用于优化光学***以用于改进光场捕获和操作的几个技术和方法。本领域技术人员会认识到这些不同的技术和方法可以单独地和/或彼此之间任意适当组合地来执行。
架构
在至少一个实施例中，本文中描述的***和方法可以结合由光场捕获装置捕获的光场图像来执行，所述光场捕获装置包括但不限于在Ng等人所著的“Light field photography with a hand-held plenoptic capture device，Technical Report CSTR 2005-02，Stanford Computer Science”中描述的那些装置。现在参照图1A，示出了根据一个实施例描绘用于在光场照相机100中实现本发明的架构的框图。光场照相机100的示例包括(但不限于)光场照相机和摄影机。本领域技术人员会认识到图1A中所示的具体配置只是示例性的，其它架构对于光场照相机100是可行的。本领域技术人员会进一步认识到图1A的配置中所示的几个组件是可选的，可以省略或者被重新配置。
如图所示，光场照相机100是光场捕获装置109的一个示例；为了便于命名，这些词语是可互换使用的，不过任何适当的光场捕获装置109可以代替照相机100使用。光场捕获装置109包括光学器件101、微透镜阵列102和图像传感器103(包括多个个别的用于捕获像素的传感器)。光学器件101可以包括例如用于允许可选择数量的光进入到光场照相机100中的孔112和用于将光朝微透镜阵列102聚集的主透镜113。在至少一个实施例中，微透镜阵列102可以设置和/或包括于照相机100的光学路径中(在主透镜113和传感器103之间)，以便使得通过传感器103获取、捕获、采样、记录和/或获得光场图像数据。暂时参照图1B，示出了根据一个实施例的用于实现本发明的光场照相机100的架构的示例。该图不是按比例绘制的。图1B以概念形式示出了孔112、主透镜113、微透镜阵列102和(若干)传感器103之间的关系，这些组件相互作用以捕获主体117的光场图像数据。
再次参照图1A，来自(若干)传感器103的光场图像数据可以被处理电路104处理，在(若干)输出装置116上呈现为输出。在至少一个实施例中，在(若干)输出装置116上呈现的输出可以是由处理电路104产生的光场图像数据的2D图像或投影。
在至少一个实施例中，光场照相机100还可以包括控制电路110，以便利获取、采样、记录和/或获取光场图像数据。例如，控制电路110可以管理和/或控制(自动地或者响应于用户输入)获取时间、获取速率、采样、捕获、记录和/或获得光场图像数据。
在至少一个实施例中，捕获的光场图像数据提供至处理电路104。处理电路104可以设置在或集成到光场捕获装置109中(如图1A中所示)，或者可以是光场捕获装置109外部的单独组件。此单独的组件可以相对于光场捕获装置109在本地或在远处。任何适当的有线或无线协议可以用来将光场图像数据发射到电路104；例如，装置109可以通过互联网、蜂窝数据网络、WiFi网络、蓝牙通信协议和/或其它任何适当手段发射光场图像数据/或其它数据。
通常，处理电路104对从(若干)光场传感器103接收的光场图像数据进行操作，产生任何输出，比方说例如静止图像、2D视频流等等。在各个实施例中，处理电路104可以使用由光场图像数据(包括但不限于在下文和交叉引用的相关申请中描述的那些)产生静止图像、2D图像等等的任何适当方法。
在至少一个实施例中，光场照相机100还可以包括用户界面105，用户界面105允许用户提供用户输入以控制照相机100的操作以捕获、获取、存储和/或处理图像数据。在至少一个实施例中，还可以使用用户偏好，如由用户在偏好屏幕上指定的，或者基于默认值提供的。用户输入可以通过任何适当的(若干)用户输入装置111(诸如触摸屏、按钮、键盘、指针装置和/或等等)提供给用户界面105。由此，在(若干)输入装置111上接收的输入可以用来控制和/或配置处理电路104和控制电路110中的任何一个。
在至少一个实施例中，照相机100包括一个或多个存储装置114，诸如用于存储来自(若干)光场传感器(并且可能被处理电路104处理过)的图像数据输出的存储器。存储器可以包括外部和/或内部存储器。在至少一个实施例中，存储器可以在与照相机100单独的装置和/或位置上提供。
例如，照相机100可以存储如由传感器103输出的原始光场图像数据，和/或其表示，诸如压缩的图像数据文件。此外，如在2010年2月10日申请的名称为“Light field Camera Image，File and Configuration Data，andMethod of Using，Storing and Communicating Same，”(律师案号为LYT3003)的相关美国专利申请序号12/703,367中描述的，存储器还可以存储代表装置109的特征、参数和/或配置(共同称作“配置数据”)的数据。
综述
光场图像通常包括照相机100的孔112的多个投影(可以是圆形的或者其它形状的)，每个投影取自照相机100的焦平面上的不同的有利点。可以在传感器103上捕获光场图像。微透镜阵列102***到主透镜113和传感器103之间，引起孔112的图像形成于传感器103上，阵列102中的每个微透镜将主透镜孔112的微小图像投影到传感器103上。这些孔形状的投影在本文中称作圆盘(disk)，不过他们的形状不必需是圆形的。
光场图像包括描述入射到照相机100(或其它捕获装置)的焦平面上的光线的四维信息。两个空间维度(本文中称作x和y)由圆盘本身表示。例如，设置成宽400高300的笛卡尔图案的具有120,000个圆盘的光场图像的空间分辨率是400×300。两个角维度(本文中称作u和v)表示为单个圆盘中的像素。例如，设置成10×10笛卡尔图案的每个圆盘内具有100个像素的光场图像的角分辨率是10×10。光场图像具有4-D(x，y，u，v)分辨率(400，300，10，10)。现在参照图2，示出了此光场图像200的2圆盘×2圆盘部分的示例；包括圆盘201和各像素203的描述；出于图示目的，每个圆盘201的宽为10个像素203。
相应地，在光场捕获装置109的传感器103上形成的图像包括微小图像的集合，称作“圆盘图像”(不过他们的形状不必要是圆形的)，其对4D光场图像数据的集合进行编码。传感器103上的每个像素203可以解释为对应于特定的4D光场坐标，其中，两个维度规定其在传感器上的空间位置，两个维度规定入射到该像素203的光的角度或方向信息。2D方向信息由像素203在其为成员的圆盘图像内的2D位置来编码。
在光场照相机内的光场中的许多光线对单个像素203的照亮有贡献。现在参照图3A，示出了光线202(包括代表性光线202A、202D)通过阵列102的微透镜201B传输以照亮传感器103中的传感器像素203A、203B的一个示例。
在图3A的示例中，实心光线202A、202B、202C照亮传感器像素203A，而虚线光线202D、202E、202F照亮传感器像素203B。在每个传感器像素203的值由照亮它的所有光线202的辐射度的总和确定。出于示意和描述目的，然而，可以用每个传感器像素203来识别单个几何光线202。该光线202可以选择为代表照亮该传感器像素203的所有光线202，因此在本文中称作代表光线202。此代表光线202可以选择为通过特定的微透镜201的中心并照亮特定的传感器像素203的中心的那些光线。在图3A的示例中，光线202A和202D描绘为代表光线；两个光线202A和202D都穿过微透镜201B的中心，光线202A代表照亮传感器像素203A的所有光线202，光线202D代表照亮传感器像素203B的所有光线202。
在传感器像素203和他们的代表光线202之间可以存在一对一的关系。此关系可以通过设置主透镜孔112相对于微透镜阵列102的(明显)大小和位置来加强，使得孔112投影到传感器103上的图像不重叠。现在参照图3B，示出了诸如照相机100的光场捕获装置的布置的示例，其中，微透镜阵列102被定位成使得主透镜孔112投影到传感器103上的图像不重叠。图3B中描绘的光线202是代表光线202，原因是他们全部通过微透镜201之一的中心到达光场传感器803的像素203的中心。
在至少一个实施例中，4-D光场呈现可以通过投影和重构的过程降低为2-D图像。现在参照图4，示出了这种过程的一个示例。可以引入虚拟投影面401，计算每个代表光线202与投影面401的交叉点。投影面401可以是平面的或不是平面的。如果是平面的，则它可以平行于微透镜阵列102和传感器103，或者它可以不平行。通常，投影面401可以相对于微透镜阵列102和传感器103定位在任何任意的方向。每个代表光线202的色彩可以采用等于其相应的像素203的色彩。在至少一个实施例中，传感器103的像素203可以包括排列成规则图案(诸如Bayer图案)的滤波器，并转换成全色像素。这种转换可以在投影之前发生，使得投影光线202可以无偏差地重构。替代性地，可以为每个色彩信道执行单独的重构。
投影面401上的图像像素402的色彩可以通过对与图像像素402的域内的投影面401相交的代表光线202的色彩求和来计算。域可以在图像像素402的范围之内，或者可以扩展到图像像素402的范围之外。求和可以被加权，使得不同的代表光线202将不同的部分贡献到求和中。光线权重可以被赋值，例如以光线202和投影面401之间的相交位置相对于特定的像素402的中心的函数。可以使用任何适当的加权算法，包括例如双线性加权算法、双三次加权算法和/或高斯加权算法。
在投影到重新聚集的2-D图像的过程中，代表光线202与虚拟投影面401相交，虚拟投影面401与微透镜阵列102平行但有位移。如果虚拟投影面401在微透镜阵列102前面(更靠近场景)，则重构的2-D图像聚集到在光场照相机100的最佳聚集场景平面之前的虚拟投影面401。(它离光场照相机100更远)。类似地，如果虚拟投影面401在微透镜阵列102后面(离场景较远)，则重构的2-D图像聚集到在光场照相机100的最佳聚焦场景平面后面的虚拟投影面401上。景深与虚拟投影面401的图像深度对应的场景中的物体基本上精确聚焦；场景中的其它物体有模糊地投影，此模糊程度随着与景深的位移而增加。
深度图是图像侧点(主透镜113的图像侧上的点)的集合，每个点对应于场景中的可见点。场景中的点在其发射的光直接地或者通过从高度反射面反射从而到达主透镜113的前面的节点时是可见的。此对应使得从场景点发射的光是主透镜113在相应的图像侧点的最佳聚焦。
可以在笛卡尔坐标中规定图像侧点在深度图中的位置，x和y表示投影到光场传感器103上的位置(在沿着主透镜113的光学轴线朝场景观看时，x朝右为正，y向上为正)，深度d表示与微透镜阵列102的表面的垂直距离(朝向场景为正，离开场景为负)。x和y的单位可以是像素203-传感器103的像素间距。d的单位可以是拉姆达，其中，一拉姆达的距离对应于这样一个距离，沿着该距离来自任何场景点的光锥将其直径改变一个等于微透镜阵列102的间距的值(微透镜阵列102的间距是相邻的微透镜201的中心之间的平均距离)。
因此，对于对主透镜113直接可见的场景侧的点，在光学焦点的平面上的景深的点对应于(微透镜)表面的图像深度。距离光场照相机100比距离最佳焦点的平面更远的景深的点对应于图像深度比最佳焦点的平面更靠近主透镜113的点。因此，距离光场照相机100比距离最佳焦点的平面更远的景深的点具有正的深度值。相比最佳焦点的平面更靠近照相机100的景深的点对应于图像深度距离主透镜113比最佳焦点的平面更远的点。因此，相比最佳焦点的平面更靠近照相机100的景深的点具有负的深度值。
根据本发明的各个实施例，可以进行任何数目的变形，以便优化光场捕获装置109的光学***，从而改善捕获的光场图像数据。这种变形的示例在本文中描述。本领域技术人员会认识到这些变形可以单独地或者以任何适当的组合来应用。
传感器读出变形
根据至少一个实施例，数字图像传感器(例如，光场传感器103)的传感器读出能力被修改。传感器读出变形可以与微透镜阵列(例如微透镜阵列102)结合使用，以捕获光场图像数据，使得传感器的读出模式被裁减以用于光场图像数据捕获。读出模式被优化以产生较不退化的光场图像数据。许多个不同的读出变形在本文中列出；然而，此列表是示例性的。这些变形中的任何一些或全部可以被单独地或者以任何适当组合来应用。
现在参照图5，示出了根据一个实施例的光场捕获装置109的另一个示例性架构。如图5中描绘，光场传感器103包括缓存器502和预处理503。预处理503进一步包括滤波器504和数据精简506。通常，光场传感器103可以从微透镜阵列102的输出捕获光场图像数据501(例如如关于图1A到4描述的)。光场图像数据501中的一些或者全部可以在缓存器502中缓存和/或发送到预处理503。
预处理503可以根据读出模式507处理光场图像数据501，以没有任何可察觉的退化地来降低捕获的光场图像数据的数据大小。预处理503可以将预处理的光场图像数据输出到处理电路104以用于进一步的处理，例如产生2D图像。
在至少一个实施例中，滤波器504过滤光场图像数据501以降低光场图像数据501的大小。滤波的光场图像数据可以存储在缓存器502中。数据精简506可以从缓存器502中访问光场图像数据501和/或可以访问经过滤波的光场图像数据。数据精简506可以实现一个或多个机制以降低光场图像数据的大小。在一些实施例中，数据精简506使用以下当中的一个或多个：跳过像素203、合并像素203、子采样像素203、重采样像素203、逐像素操作、逐像素值、位掩码、位掩码瓦片(bitmask tile)、加权图像瓦片、位深变形、像素最大化、查询表、多道(muli-pass)读出、光场感知处理以及用隔行扫描的传感器来降低光场数据的大小。
现在参照图6，示出了描绘用于降低捕获的光场图像数据的大小的方法的流程图。图6的方法将参照图5中的组件和数据进行描述。
在至少一个实施例中，一个或多个光场传感器103从微透镜阵列102的输出捕获601光场图像数据501。捕获的光场图像数据501根据特定的读出模式在一个或多个光场传感器103上被预处理602，以降低捕获的光场图像数据的数据大小。例如，预处理503可以根据读出模式507处理光场图像数据501以降低光场图像数据501的大小。预处理的捕获光场图像数据然后发送603到处理电路104。
预滤波传感器图像数据
在至少一个实施例中，图像数据501在被传感器103读出之前被滤波。在使用子采样、合并或重采样的读出模式时，滤波可以在子采样、合并或重采样之前进行。例如，一个读出模式可以涉及跳过列，水平滤波器可以在此跳过过程之前施加到传感器数据。
通常，滤波可以是水平的、垂直的或者二维的。二维滤波器可以是或者可以不是单独的。滤波可以实现为用提供的掩码直接卷积图像数据。在至少一个实施例中，滤波可以施加到同一色彩的像素203中。例如，在至少一个实施例中，相同色彩的滤波可以用于图像传感器，其中，不同的像素203代表不同的色彩(例如，使用彩色滤波阵列(CFA)的传感器，诸如Bayer传感器)。替代性地，这种图像的滤波可以实现为考虑多个彩色的像素203，例如在去马赛克/解镶嵌(demosaic)算法中。
滤波可以使用传感器本身上的小容量的存储器来实现，以在从像素203的阵列读出行时缓存行；这种缓存行可以根据已知的技术来执行。滤波操作可以施加到这些缓存行，在垂直或二维滤波器的情况下，缓存行的数目可能需要至少与垂直维度上滤波器的抽头的数目一样大。
一旦数据在本地缓存器(诸如缓存器502)中滤波，可以施加随后的操作，包括(但不限于)子采样、合并或者重采样，之后数据最终从传感器103输出。
此传感器性能的一个优点是预滤波(可能是高度地)调制的光场图像数据，再子采样，例如传感器图像被子采样并调整为适合用于照相机上的实时观看操作的LCD屏幕。子采样以及然后降低高度调制的光场图像数据的规模而没有足够大的预滤波操作可能造成最终图像中由于混叠图案造成的不受欢迎的制品。
滤波可以在空间上变化，或者可以在整个光场图像上是均匀的。在空间变化的滤波器情况下，变化可以是被滤波的像素203的光场坐标的函数，这种方法可以用来在光场图像的高度调制的区域中施加更大的滤波(因此有更大量的像素聚合)。
基于其光场坐标跳过像素
在至少一个实施例中，传感器读出模式可以基于其光场坐标跳过像素203，而不是使用一些(传感器-表面)均匀的和/或光场遗忘方法跳过像素203，诸如每隔一行或一列跳过。
如上文描述的，通过在传感器103上设置的微透镜阵列102捕获的光场图像可以包括大量的圆盘201。更靠近圆盘201的中心的像素203倾向于被照得更亮，具有比更靠近圆盘201的边界的像素203更高的信噪比(SNR)。在这种光场图像中，4D坐标空间的二个方向维度指像素203在圆盘201中的位置，可以执行以这些方向维度的函数选择要跳过的像素203，以确保只有更靠近圆盘201的中心的像素203从传感器103中读出。
例如，如图7描绘的，给定光场传感器103和微透镜阵列102的配置，使得每个圆盘图像201的直径大约为10个传感器像素203，可以为每个圆盘201定义8x8中心矩形731的像素203，使得矩形731几乎被完全地包含于圆盘201中。传感器103可以包括一些容量的本地存储器，以在从传感器103读出数据之前缓存可以用来将8x8矩形731包装成连续的块的多行像素数据。
在至少一个实施例中，其中，传感器像素203是由于在彩色滤波阵列(CFA)下的单一色彩，中心矩形731可以选择为包装在一起，使得在包装之后，所产生的图像是在产生图像的范围上CFA图案的合法示例。在(R，GR，GB，B)Bayer传感器情况下，矩形731可以选择为使得(例如)相同色彩的像素(例如R)在每8x8块的左上方。
要跳过的像素203和/或要包装到一起的像素区的位置可以以任何种可行的方式规定。一个示例是提供每个圆盘201的中心的传感器坐标。此数据还可以存储在传感器中专用于此目的的小的本地存储器(未显示)中。
逐像素读出操作
在各种实施例中，本发明的***和方法提供完全可配置的并且可以以逐像素方式规定或配置的传感器读出图案。
在至少一个实施例中，可以提供位掩码，位掩码对于每个像素203规定其是被跳过还是不被跳过，不跳过的像素203可以在数据中被包装在一起，从传感器103输出。这种位掩码可以编程到传感器103的本地存储器中，或者可以提供于DRAM或传感器103可以访问的其它存储器中。进一步，多个位掩码可以编程到传感器中以允许快速切换读出图案。
在另一实施例中，可以提供一个或多个位掩码瓦片，这些瓦片可以在不同的传感器区域上重复使用以规定跳过哪些像素203。
在进一步的实施例中，不是位掩码规定要被读取或跳过的像素203，可以提供加权图像或一个或多个加权图像瓦片。如上文描述的位掩码方法一样，读出图案可以基于逐像素基础规定。然而，在这种方法中，不是每个像素相应的位掩码布尔表项规定是否跳过像素203，可以规定逐像素加权因数(即乘积因子)，其中，这些权重与被读出的像素值相乘。而且，在读出过程中任何其它的像素203的跳过、合并、重采样或聚合可以与这种逐像素加权操作结合执行。
在另一实施例中，除了或代替提供逐像素加权数据之外，可以提供逐像素偏移值，其中，读出像素值是根据以下公式计算的，这里，计算的像素值钳制到合法像素值范围，如下所示：
PixelValue’＝CLAMP(PerPixelOffset+PerPixelWeight*PixelValue，0，MAX)
由逐像素跳过规定实现的(许多)可行的读出图案中的一个是随机或伪随机图案；例如，在重复瓦片图案中，被跳过的像素203具有看起来似乎是随机的位置集合。
在至少一个实施例中，本文中描述的算术运算可以使用标准定点运算来实现。
读出位深变形
在至少一个实施例中，数字图像传感器103的读出位深可以修改为利用在光场处理算法中执行的大量的像素聚合。通过利用适当数目的位来对每个原始像素203编码，并定义由原始线性值到编码值的映射函数，可以降低来自传感器的读出数据速率(用字节/秒来测量)以获得给定数目的像素/秒。任何适当的编码可以用来利用像素203的光场坐标和/或传感器103上的光场圆盘图案。
一个示例性编码输出每个像素具有可变位数的原始数据，这里，像素203在传感器暴露期间具有“更好”或“更多”的光捕获，这可以具有用较高位深编码的相应的值。对于在微透镜阵列102下面的传感器103上捕获的光场图像(例如，根据上文描述的架构)，所产生的圆盘图像在更靠近圆盘201的中心具有更多的光捕获的像素203；因此，更多的位可以用来编码圆盘-中心像素相对圆盘-边缘像素。
另一示例性编码可以使用像素特定的最大值，像素值被钳制到该最大值。例如，在许多情况下，在光场图像中靠近圆盘201的中心的像素比靠近圆盘201的边缘的像素亮很多，除了在过饱和的情况下。圆盘-边缘像素可以钳制到比圆盘-中心像素可以保持的值更小的最大值。
另一实施例可以使用可变位深和可变像素最大值方法的组合。这种读出图案的一个示例可以使用每个像素12位(bpp)来对圆盘-中心像素203的范围[0，4095]中的值编码，使用6bpp来对圆盘-边缘像素203的范围[0，1023]中的值编码(这里，64个可行的编码值在1024个像素值的范围中均匀间隔开)。
在另一示例性实施例中，一个或多个查询表可以用来将传感器值映射为编码值，其中，查询表可以由用户编程，选择哪个查询表应用到任何特定像素203是根据其光场坐标确定的，例如根据其相对于其圆盘201的中心的位置确定的。不同的查询表甚至查询表内的不同的表项可以是变化位长的或者不是变化位长的，从传感器读出的像素203的顺序可以具有包装在一起的任何大小可变的像素值。
与预滤波的实施例一样，在至少一个实施例中，这种像素位深变形可以通过逻辑实现，所述逻辑作用于像素203的小数目的缓存行上，之后在传感器界面上读出。
渐进式多道读出
在至少一个实施例中，传感器图像数据可以以多次读出，其中，每次读取在传感器103上间隔开并与在其它次读出的行隔行的行的集合。这种读出方法通过后续的数据处理实现了诸如分解照相机运动与物体运动以及HDR成像的特征。
读出次数以及每次读取的相应行的集合可以是硬连线的或者是可编程的。
在读出过程中执行光场感知处理
在至少一个实施例中，可以在图像传感器103上执行光场感知处理，使得从传感器103读出的数据已经以某种方式处理过。光场感知处理操作的示例包括(但不限于)：
●将光场图像数据从“圆盘阵列”格式置换成“子孔径图像阵列”格式；
●将4D数据转换成2D数据，例如通过重新聚焦，通过产生全聚焦或扩展景深(EDOF)图像，或者通过产生具有视差或视角转变的图像。
不同帧上的不同的读出图案
在至少一个实施例中，对于不同的帧特别是视频帧可以提供不同的读出模式。通常，本文中描述的任何读出模式的实施例可以对不同的帧变化。
CCD传感器上的光场图像读出
在至少一个实施例中，只要微透镜阵列几何结构中的一些或全部在图像传感器103制造时是是已知的或者确定的，则本文中描述的至少一些图像读出模式可以使用电荷耦合装置(CCD)图像传感器103来实现。与CMOS图像传感器不同，CCD通常没有单独可寻址的像素203，依赖于用于读出的电荷转移。这对在这种图像传感器103上执行任意的读出模式提出挑战，原因是像素读出的本地次序和图案在设计半导体器件本身时是固定的。
用于实现以依赖于具体的微透镜阵列几何形状的特定次序或方式读出像素203或另外更好地适于微透镜成像的全分辨率或分辨率降低的读出模式的一种方法是使用具有隔行扫描的行间、帧行间转移或任何其它类型的CCD图像传感器103。图像传感器103构造有逐像素微透镜、光电二极管、传输门、垂直电荷耦合装置(VCCD)和/或根据光场微透镜阵列102的几何形状排列的其它定制图像传感器部分，以便允许实现本文中描述的(一种或若干)读出模式。在其它方面，图像传感器103可以以适于CCD图像传感器的任何方式构造。
现在参照图8，示出了根据一个实施例的跳过靠近光场圆盘图像之间的边缘或者在其上的像素203的读出模式的光电二极管701的示例性布置。图8描绘了具有六角形光场微透镜阵列图案703的8-场隔行读出图像传感器的光电二极管701和VCCD 702的逻辑配置。为了简洁，省略了传输门(或者金属层的任何其它部分)、孔、彩色滤波阵列和逐像素微透镜。图不是按比例绘制的。在此示例中，读出场1、2、3和4产生只覆盖处于微透镜阵列图像的中心的像素203的半分辨率模式。
改变图像传感器的彩色滤波阵列图案
在至少一个实施例中，给定图像传感器上的微透镜阵列，例如，传感器103上的微透镜阵列102，施加到图像传感器103的彩色滤波阵列(CFA)图案可以被修改以提高从光场捕获的色彩信息的质量。为每个像素203选择的色彩可以(或者也可以不)是其光场坐标的函数。
现在参照图9，示出了根据一个实施例的光场捕获装置109的另一示例性架构。如图9中描绘的，光场传感器103包括圆盘图案901(例如规定在传感器103上形成的捕获光场图像数据中圆盘102的布置)、彩色滤波阵列(CFA)栅格布局902和CFA调节器903。根据本发明的技术，CFA调节器903可以基于圆盘图案901修改CFA栅格布局902。
现在参照图10，示出了根据一个实施例的描述用于修改彩色滤波阵列(CFA)以提高从光场捕获的色彩信息的质量的方法的流程图。出于图示目的，将参照图9中的组件和数据描述图10的方法。
在至少一个实施例中，CFA调节器903访问1001圆盘图案901的配置。CFA调节器903然后确定1002如何修改彩色滤波阵列(CFA)以提高从微透镜阵列102的输出捕获的色彩信息的质量。CFA调节器903然后根据其确定结果修改1003CFA栅格布局902。然后，光场传感器103根据圆盘图案901和修改后CFA栅格布局902从微透镜阵列102的输出捕获1004光场图像数据。光场传感器103然后将捕获的光场图像数据发送1005到处理电路104。
在各个实施例中，可以以各种方式修改彩色滤波阵列，包括但不限于：不向一些像素203施加彩色滤波，改变彩色滤波通带和/或随机化彩色滤波阵列图案。
在各个实施例中，CFA图案变形包括但不限于以下：
对某些像素不施加彩色滤波
接收由微透镜阵列102强调制的光的像素203可以不经过任何彩色滤波以提高在相同的曝光时间中由像素203捕获的光子的量。在稍后的处理阶段，不经过彩色滤波的像素203可以用作照明信号源(单色图像)，其色度分量可以与附近的像素203内插。
改变彩色滤波通带
接收较少光的像素203可以具有有较宽通带的彩色滤波器(负的)，而接收较多光的像素203可以具有较窄的通带。例如，朝微透镜图像的边缘的像素203可以具有青色/品红/黄色的彩色滤波器图案，而朝微透镜图像的中心的像素203可以具有红色/绿色/蓝色的彩色滤波器图案。这允许边缘像素203在其彩色滤波器中衰减较小的信号，提高到达光传感器的光子的数目。
随机化彩色滤波器阵列图案
为了减少可能由彩色滤波器阵列图案的规则性造成的问题，可以随机化彩色滤波器阵列的布置。可以记录在每个像素203上的彩色滤波器的类型，并使其对处理软件/硬件已知。
改变图像传感器的像素属性
假定微透镜阵列102位于图像传感器103上，则由于取决于传感器角度响应的各种因数以及微透镜阵列102和/或主透镜113的光学特征，基于像素在每个微透镜201下的位置可以由不同的像素203捕获不同量的光。在至少一个实施例中，可以基于每个像素203的光场坐标调节个别像素的属性，以补偿这些效应并产生更加均匀(或者有意不均匀)的采样。
现在参照图11，示出了根据一个实施例的光场捕获装置109的另一示例性架构。如图11中描绘的，光场传感器103包括像素调节器1106。通常，像素调节器1106可以访问像素203的光场坐标，基于像素203的光场坐标对像素203的属性进行相应改进。
现在参照图12，示出了根据一个实施例的描绘用于修改像素属性的方法的流程图。将参照图11中的组件和数据描述图12的方法。
传感器103从微透镜阵列102的输出捕获1201光场图像数据，光场图像数据包括每个像素203的属性。然后，对于光场图像数据中包括的一个或多个像素值中的每个像素值，像素调节器1106访问像素203的坐标1103，通过调节像素203的一个或多个属性来修改1202像素203，以补偿由于光场捕获装置109的其它特征造成的不均匀采样。例如，像素调节器1106可以通过基于坐标1103调节属性1104来修改像素203。捕获的光场图像数据(包括修改后的一个或多个像素203)然后发送1203到处理电路104。
可以被调节的像素属性的示例包括但不限于：
●每个像素203特有的曝光时间。
●在像素调节器、列放大器、行放大器和/或其它任何模拟或数字放大级上给信号施加的任何种类的增益。
●在光电二极管、任何放大器、数字/模拟转换器(DAC)和/或其它任何处理级上给信号施加的任何各类偏置和/或偏移。
这些属性可以在每个像素变化和/或在每组像素203上变化。例如，在至少一个实施例中，这些可以是固定数目的不同参数的集合，每个像素203可以根据这些参数集合中的一个配置。
用于调节这些属性的方法包括但不限于：
●任何各类的半导体制造后的局部修整。
●实现(例如以硬件)在图像曝光之前作为数字或模拟信号提供的可设置的每个像素或每个像素组的曝光规模或偏移、信号增益、信号偏置或信号偏移。
●实现(例如以硬件)在制造时存储在半导体熔丝中的可设置的每个像素或每个像素组的曝光规模或偏移、信号增益、信号偏置或信号偏移。
●实现(例如以硬件)在以数字或模拟信号的图像读出期间同步提供的每个像素或每个像素组的信号增益、信号偏置或信号偏移。
移动/抖动像素和/或微透镜
如上文描述的，在至少一个实施例中，传感器103上的像素203可以排列成规则图案，诸如正方形图案。类似地，微透镜阵列102上的透镜201也可以排列成规则图案，诸如正方形图案或六角形图案。然而，扰乱这些规则图案之一或两者可能是有优点，使得引入位置的小的随机变化。这些位置的随机变化在本文中称作“抖动”；抖动的引入在本文中称作“抖动”。在计算机图形领域众所周知的是抖动采样位置将混叠转换成噪声。例如，参见Cook，Robert L.所著的Stochastic Sampling in Computer Graphics，ACM Trans.Graph.5，1(1986)。因为微透镜201和像素203的位置基本上确定进入照相机100的光场的采样图案，这些优点还可以归于光场采样。相关优点是还可以降低在光场的重新投影的采样图案中的规则性。也可以有另外的优点。
现在参照图13，示出了根据一个实施例的光场捕获装置109的另一示例性架构。如图13中描绘的，光场图像数据109包括抖动模块1301。抖动模块1301被配置成将抖动引入到微透镜阵列102和/或(若干)光场传感器103中。
现在参照图14，示出了根据一个实施例的描绘用于将抖动引入到光学***组件中的方法的流程图。将参照图13中的组件和数据描述图14的方法。
在至少一个实施例中，选取已经通过孔112和主透镜113的光1303。如图13中描绘的，光1302传输进入到照相机100中，光1303从光学器件101中出来。抖动模块1301例如通过改变微透镜阵列102中的透镜201和/或一个或多个光场传感器103中的像素203的位置来引入1402随机变化。
在引入随机变化之后，例如通过微透镜阵列102和(若干)光场传感器103从选取的光1303捕获1403光场图像数据1304。捕获的光场图像数据1304发送1404到处理电路104。
抖动图案在任何规模上可以是随机的。在一种极限情况下，图案可以延伸整个范围，即在整个微透镜阵列102或整个传感器103上。在另一种极限情况下，图案可以是在微透镜阵列102或传感器103上重复的小的瓦片。在这些极限情况之间存在较大瓦片和较大瓦片的随机图案。瓦片的动机可以是降低处理成本，原因是正确地解释采样位置所需的表更小。抖动采样的大部分优点可以随合理小的瓦片而增加。例如，可以为每个圆盘中的10个像素203执行相同图案的像素抖动。
在至少一个实施例中，传感器103上的像素203可以具有其真实的抖动位置。替代性地，像素203可以设置在规则栅格上，但通过对设置在每个像素位置上的透镜进行调节来使其看起来被抖动(这些透镜旨在将撞击到传感器103上的光朝电子像素结构的光敏部分引导)。只调节传感器103的表面上的光学器件，而不是对传感器103本身进行变化可能是花费较少的，可以用较大的瓦片来实现。像素抖动可以与像素大小的变化结合执行，像素抖动还可以直接地在传感器103中引入，或者通过对传感器103的表面上的光学器件进行改动来引入。
在至少一个实施例中，抖动微透镜位置和/或像素位置是以这样一种方式执行的，这种方式确保任何两个透镜位置都不会更靠近圆盘的直径。因此，避免圆盘的重叠，否则这可能引起像素值不被正确地解释。接近度的约束可以用随机抖动来满足。替代性地，以微透镜的位置的附加约束来满足接近度约束可能更加有效。例如，退火算法可以允许近随机抖动和最小距离约束被同时地执行。具体地，抖动可以在整个瓦片中随机引入，然后在违反最小距离约束的情况下，采样可以是重新抖动的；此过程可以重复直到满足约束。
整数间距的圆盘图像设计
在至少一个实施例中，可以对微透镜阵列102和主透镜113的设计及在光学***101中的设置进行改进，以便产生具有整数个传感器像素203的垂直和/或水平间距的圆盘图像，这里，整数间距选择为能够实现更加便宜、更快速和/或更高质量的处理方法。这些方法包括(但不限于)下文描述的那些方法。
传感器103上的圆盘图像的间距由微透镜阵列102的间距、其与传感器103的间隔以及与主透镜113出射光瞳的距离控制。适当地选择这些参数以及还确保微透镜阵列102相对于传感器103不进行空间旋转，这允许光场圆盘图像被捕获，其中，在水平和垂直方向之一或两者的圆盘间距是整数。
除了圆盘间距是整数值之外，可以施加的另一种设计约束是确保微透镜阵列102适当地排列在传感器103之上，使得微透镜阵列102中的每一行微透镜201平行于传感器像素203的行。除了平版印刷制造方法之外，使用晶圆至晶圆的制造技术是可行的。
例如，再次参照图1A、1B、2和7，主透镜113和微透镜阵列102可以设置成在(若干)传感器103上产生具有整数个传感器像素203的垂直和/或水平间距的圆盘图像201(或中心矩形601)。替代性地或者相结合，微透镜阵列102和(若干)传感器103之间的间隔可以选择为便利(若干)传感器103上的整数个传感器像素203的垂直和/或水平间距。替代性地或者相结合，微透镜阵列112可以被配置成确保它相对于(若干)传感器103不进行空间旋转。替代性地或者相结合，微透镜阵列102可以被配置成确保它在(若干)传感器103上适当地对齐，便利微透镜阵列102中的每行微透镜201平行于传感器103中的一行传感器像素203。
在至少一个实施例中，主透镜113是移动的主透镜。主透镜113可以是确保在主透镜113移动时(例如它缩放时)，(若干)传感器103上的圆盘图像间距保持恒定和为整数的设计。例如，对于所有的焦距，主透镜113可以具有与(若干)光场传感器103的传感器表面充分远(相对于传感器尺寸)的出射光瞳。
置换成子孔径图像的阵列
在至少一个实施例中，光学***被配置成使得捕获的光场圆盘图像201在正方形栅格上具有整数间距的圆盘，每个圆盘图像201包含于正方形的NxN区域的源像素203内。进一步地，光场图像数据从其“圆盘阵列”呈现置换成其等效的“子孔径图像阵列”呈现，正如Ng等人描述的。这种置换可以出现在以下地方中的任何一个或者在任何其它适当的位置：
●在传感器103本身，使得从传感器103读出的原始光场图像数据已经处于其置换布局。
●在连接到传感器103的处理元件上，诸如照相机的芯片上***(SoC)，在照相机的处理流中。
●在已经保存到文件中的光场图像数据上。
数据的置换可以在原始域(即在数据的解镶嵌之前)中进行，或者在已经转换成全色(例如在RGB或YUV域中)之后在光场图像数据上进行。
在此布局中呈现的光场图像数据可以具有小得多的高频调制。以此布局安排光场图像数据的益处可以包括例如：
●如果是2D图像，则提高处理光场图像数据的能力，例如对其解镶嵌(在原始光场图像数据的情况下)、对其JPEG-编码、视频编码这种帧的序列等等。这是由于以此格式编码的光场图像数据看上去恰好是2D图像的图册。当呈现为“圆盘阵列”时，光场图像数据包含高频调制图案，这是由于如果标准2D图像算法施加到数据则圆盘图案通常导致数据退化。
●更加便宜、高效或快速地执行数据的光场处理的能力。
在对用带彩色滤波阵列(CFA)的传感器(例如Bayer传感器)捕获的原始光场图像数据执行这种置换的情况下，光场图像数据置换后可能在数据范围上不再包含均匀的彩色图案。例如，如图15中描绘的，假定光场图像200具有2x2的圆盘201，每个圆盘201为3x3个像素(N＝3)，则这可以置换成具有3x3个子孔径图像的子孔径图像栅格1503A，每个图像具有2x2个像素203。
在另一实施例中，如图16中描绘的，CFA图案可以在传感器上修改，使得光场图像数据、置换后是原始CFA图案的合法示例，诸如Bayer马赛克图案。在光场图像200上执行此操作的一种方式是使用CFA，CFA引起每个圆盘图像201是均匀的色彩，圆盘图像中的圆盘的彩色图案是合法的马赛克图案。这可以置换成具有3x3子孔径图像(每个为2x2像素)的子孔径图像栅格1503B。
对于重新聚焦到特定深度的高分辨率的原始置换
在至少一个实施例中，光学***实现为产生具有整数圆盘间距的捕获光场图像，允许在原始Bayer域中快速地重新排序捕获的光场图像数据，使得所产生的重新排序的光场图像数据可以直接解释为聚焦在特定深度并使用标准2D图像处理算法(包括解镶嵌)处理的2D图像，以产生可以显示或输出的最终图像。
在至少一个实施例中，光学***可以表征为如下。
●具有正方形包装、整数N和适当对齐的微透镜阵列(MLA)102。
●用于视频和/或实时查看设置的光学***以便能够如下面的方式查看特定的焦平面(在固定焦距的照相机中，此焦平面可以靠近无限焦平面)：
●考虑与主透镜113的虚拟孔内的位置集合对应的所有子孔径图像的集合，这里，子孔径图像是在“MLA分辨率”下查看的，原因是在子孔径图像的一行中的像素203的数目近似与微透镜阵列102的一行中微透镜201的数目相同。
●定义L，使得当与虚拟孔的周界周围的点对应的极限子孔径图像各自移动L/2个像素，在特定焦平面中焦点的场景物体将在输出图像中的焦点，输出图像是由Ng等人描述的“位移-和-添加”重新聚焦方法形成的。位移方向由在考虑中的特定的焦平面是在光学捕获的焦平面“之前”还是“之后”确定(参见Ng等人)。
●在操作中，照相机100根据下文描述的方法重新聚焦到上文由参数L表征的焦平面。
●N和L选择为使得N/L是整数。使P＝N/L。
●传感器具有可以每NxN个像素重复一次读取PxP像素的单个块的读出模式。
●微透镜阵列102与传感器103对齐，使得每PxP的读出块靠近与微透镜阵列102对应的像素203的圆盘201的中心。
现在参照图17A至17D，示出了示例性传感器103，其具有可以每NxN个像素203重复一次读取PxP像素203的单个块的读出模式。图17A描绘了具有焦平面1711、微透镜阵列102和传感器103的光学***101A。在图17A中，焦平面1711和微透镜阵列102之间的距离是微透镜阵列102和传感器103之间的距离的四倍(即L＝4)。图17B描绘了具有2x2圆盘201的光场图像200A，每个圆盘201有8x8像素(N＝8)。光场图像200A可以通过光学***101A的组件产生。图17C描绘了光场图像200A的子采样图案1704A。图17D描绘了使用子采样图案1704A获得的光场图像200A的子采样部分1706A和相应的置换1707A(L＝N/2)。在置换1707A投影中，Bayer马赛克像素203邻近X/Y和U/V中的邻居以用于解镶嵌。
现在参照图18A至18D，示出了另一示例性传感器103，其具有可以每NxN个像素203重复一次读取PxP像素203的单个块的读出模式。图18A描绘了具有焦平面1711、微透镜阵列102和传感器103的光学***101B。在图18A中，焦平面1711和微透镜阵列102之间的距离是微透镜阵列102和传感器103之间的距离的三倍(即L＝3)。图18B描绘了具有2x2圆盘201的光场图像200B，每个圆盘201有9x9像素(N＝9)。光场图像200B可以通过光学***101B的组件产生。图18C描绘了光场图像200B的子采样图案1704B。图18D描绘了使用子采样图案1704B获得的光场图像200B的子采样部分1706B和相应的置换1707B(L＝N/3)。在置换1707B投影中，Bayer马赛克像素203邻近X/Y和U/V中的邻居以用于解镶嵌。
在操作中，照相机100从PxP块中子采样图像，并组合所产生的图像。在L是正的情况下(在背景中)，每个PxP块内的像素203在中心点上翻转(图18D)。在L为负的情况下，像素203保持在当前位置。
在至少一个实施例中，所产生的图像具有以下性质：
●它聚焦到由参数L表征的焦平面上。
●所产生图像是SensorWidth(传感器宽度)*P/N像素宽、SensorHeight(传感器高度)*P/N像素高。在4000x3000传感器(12MP)的情况下，N＝10，L＝5，输出图像是800x600像素。
●在所产生的Bayer图像中的每个像素203邻近在X/Y和U/V中的邻居。
●景深是光学***的P倍，实际上产生具有稍微扩展的景深的图像。
这种方法的一个优点是它可以以非常高效的方式产生扩展景深的(EDOF)视频和实时视图。Bayer马赛克中的投影允许用X，Y，U，V空间中的真实邻居来解镶嵌。所述方法还可以产生相对高的分辨率输出。
整数间距的六角形微透镜阵列布局
在至少一个实施例中，光场光学***包括微透镜阵列102，在微透镜阵列102上以非矩形晶格(比方说例如六角形晶格)布局微透镜201，其中，晶格可以在一个维度上(例如垂直地或水平地)拉伸以获得每个维度上的整数间距。例如，如微透镜阵列102具有六角形布局，则微透镜间距可以选择为在N＝10个像素的传感器上产生水平圆盘间距，但在这种情况下，垂直圆盘间距是N*SQRT(3)/2＝8.66像素。垂直地将微透镜阵列布局拉伸4％会产生9的垂直间距。
基于传感器103的可用读出模式在传感器103之上定位和/或定向微透镜阵列102
在至少一个实施例中，微透镜阵列102在传感器103上的位置和取向可以基于传感器103的读出模式来确定。给定微透镜阵列102和图像传感器103，则可以确定微透镜阵列102在图像传感器103上的最理想取向和位置。在至少一个实施例中，此取向和位置然后在微透镜阵列102被固定到位之前的制造工艺中施加到微透镜阵列102。
现在参照图19，示出了根据一个实施例的描绘用于确定并配置用在光场图像捕获装置109中的微透镜阵列102的方法的流程图。此方法将参照图1A、1B和5中的组件进行描述。
首先，访问1901微透镜阵列102的特征。然后，访问1902(若干)传感器103的特征，包括(若干)传感器103的读出模式。基于微透镜阵列102的特征和(若干)传感器103的特征(包括(若干)图像传感器103的读出模式)确定1903微透镜阵列102的最理想配置。将最理想配置存储1904到存储装置，以在光场捕获装置109的制造期间施加到微透镜阵列102。最理想配置例如可以存储在用来制造照相机100的制造设备中。
在至少一个实施例中，所述***考虑微透镜阵列102围绕与图像传感器平面垂直的轴线(Z-轴线)的(可能是所有的)物理旋转以及微透镜阵列102在与图像传感器平面(XY-轴线)平行的平面内的所有物理平移的集合。同样，所述***考虑传感器103的所有读出模式的集合(包括例如合并、跳过、重采样、调整和/或其中一些的组合)。对于每种传感器读出模式，微透镜阵列102的两个不同的取向/位置可以通过计算和考虑以下因素来比较：
●读出像素203的平均调制与所有像素203的平均调制的比率。例如，假设读出模式根据垂直和水平均为大小N的周期性图案跳过像素203。微透镜阵列102的平移相比不平移是优选的，微透镜阵列102的平移会最大化在最小调制区域中读出像素203的数目。
●如果读出模式是分辨率减小的读出模式，则哪部分光场被该读出模式捕获。在每种读出帧中的样本的集合可以相对于其光场坐标来解释。对于特定模式的样本分布的形状可以随微透镜阵列102的平移和旋转而变化，一些分布会比另一些分布好。例如，假设根据垂直和水平均为大小N的周期性图案，读出模式跳过像素203，每个光场圆盘图像恰好包含在传感器103上的NxN像素正方形中。确保中心像素203在每个微透镜102下读出的微透镜阵列102的平移和旋转会产生中心子孔径图像。例如，参见Ng等人。
●在给定的读出模式下，在由图像传感器103施加的任何调整、合并和/或重采样期间光场的哪些部分混合在一起。在调整的、合并的或子采样形式的光场图像中的每个输出像素可以计算为传感器像素203的组合(可以是加权平均值)。可以用来评估具体的微透镜阵列设置的一个标准是扩展曾用来计算输出像素的传感器像素203集合的光场坐标中的方向信息。选择会导致每个输出像素中方向坐标的较大平均扩展的设置可以在输出图像中产生更少的混叠伪影。
应对大的主光线角度(CRA)的MLA设计
旨在与远心透镜一起用作主透镜113的传感器103的性能可以通过使微透镜201朝主透镜113的光学轴线倾斜来(可能是明显地)改进，使得微透镜201接收与其自身的局部表面垂直(或者几乎垂直)的光线。例如，参照图1B，微透镜阵列102中的透镜可以朝主透镜113的光学通路倾斜。
现在参照图20，示出了两个示例性微透镜阵列102的自上而下的视图。自上而下的视图2001描绘了扁平的微透镜阵列102A。自上而下的视图2002描绘了倾斜的微透镜阵列102B。在自上而下的视图2002中，每个微透镜201朝光学轴线(x，y＝0，0)倾斜。现在再参照图21，示出了图20中描绘的自上而下的视图的示例性3D曲线。3D曲线2101A对应于扁平的微透镜阵列102A。3D曲线2101B对应于倾斜的微透镜阵列102B。在图20和21的彩色形式中，红色指示高地势，而蓝色指示低地势。
现在参照图22，示出了通过包含倾斜微透镜201的微透镜阵列102的示例性2D切片2201。2D切片2201图解说明每个倾斜的微透镜201如何结合到其各平面的邻居。如果射线的入射介质是空气，则平面被定向为使得平面平行于来自主透镜113的出射光瞳的中心的射线。如果射线的入射介质不是空气，因此具有大于1的折射率，平面被定向为使得平面平行于来自主透镜的中心的射线的折射角。这样做是为了最小化由观察者在主透镜113的出射光瞳的中心观察到的这些散射表面的效应。可以执行倾斜的MLA侧壁角的进一步优化，以便应对主透镜的f-数和渐晕以及来自透镜表面的散射、反射和全内反射。
现在参照图23A和23B，示出了不同类型的倾斜MLA侧壁角优化的两个示例。在图23A中，MLA 102由入射介质2301(可以是例如玻璃、聚合物或其它透光材料)的底边缘成形，介质2301和传感器103之间有气隙2304。从主透镜113出射光瞳到达的光线202在碰到介质2301时折射。MLA 102的平面2302形成并定向为使得匹配入射光的折射角，并且使得这些平面将光线202适当地聚焦到传感器103上。
在图23B中，MLA 102由入射介质2301的顶边缘成形，在介质2301和传感器103之间没有气隙。这里，从主透镜113出射光瞳到达的光线202在碰到MLA 102的平面2302之后折射，MLA 102是由入射介质2301的顶边缘形成的。相应地，在此实施例中，平面2302成形和定位成使得匹配空气中的入射光的角度，并且使得这些平面将光线202适当地聚焦到传感器103上。
已经参照可能的实施例特别详细地描述了本发明。本领域技术人员会认识到本发明可以在其它实施例中实践。首先，在组件、词语的大写形式、属性、数据结构或任何其它编程或结构方面的具体命名不是强制性的或重要的，实施本发明或其特征的机构可以具有不同的名字、格式或协议。进一步地，所述***可以通过如描述的硬件和软件的组合或者整个由硬件元件或者整个由软件元件来实现。同样，本文中描述的各个***组件之间的功能的特别划分只是示例性的，不是强制性的；由单个***组件执行的功能实际上可以由多个组件执行，由多个组件执行的功能实际上可以由单个组件执行。
在各个实施例中，本发明可以单独地或者以任何组合实现为用于执行上文描述的技术的***或方法。在另一实施例中，本发明可以实现为一种计算机程序产品，其包括非暂态计算机可读存储介质和在所述介质上编码的计算机程序代码，以用于引起计算装置或其它电子装置中的处理器执行上文描述的技术。
在说明书中提到“一个实施例”或“实施例”表示关于该实施例描述的具体特点、结构或特征包括在本发明的至少一个实施例中。在说明书的各个地方出现词语“在至少一个实施例中”不一定全部指相同的实施例。
上文的一些部分是根据算法和对计算装置的存储器内的数据位的操作的符号表示呈现的。这些算法描述和呈现是由数据处理领域的技术人员使用以最有效地将他们的工作本质向其他本领域技术人员传递的手段。算法在这里通常构思为是导致期望结果的步骤(指令)的自相一致的序列。步骤为那些需要对物理量进行物理操作的步骤。通常这些量采用能够被存储、传输、组合、比较和另外操作的电、磁或光信号的形式，但不一定是上述形式。有时特别是出于常用原因将这些信号称作位、值、元件、符号、字符、词语、数字等等是方便的。而且，有时在不丧失一般性时将需要对物理量进行物理操作的步骤的某些安排称作模块或代码装置也是方便的。
然而，应当记住所有的这些和相似词语与适当的物理量关联，并且这些词语只是应用于这些量的方便标记。除非明确指出，否则如下文的讨论中所显而然见的，要认识到在说明书中，使用诸如“处理”或“计算”或“计划”或“显示”或“确定”等等的词语进行的讨论指计算机***或类似的电子计算模块和/或装置的动作和处理，所述计算机***或类似的电子计算模块和/或装置对计算机***的存储器或寄存器或其它这种信息存储、传输或显示装置内的表示为物理(电子)量的数据进行操作和转换。
本发明的某些方面包括在本文中以算法形式描述的处理步骤和指令。应当注意的是，本发明的处理步骤和指令可以体现为软件、固件和/或硬件，当体现为软件时，可以被下载以驻存在由各种不同的操作***使用的不同平台并由这些平台操作。
本发明还涉及一种用于执行本文中的操作的设备。此设备可以具体构造以用于所需目的，或者该设备可以包括被存储在计算装置中的计算机程序选择性激活或重新配置的通用计算装置。这种计算机程序可以存储在计算机可读存储介质中，诸如但不限于任何类型的磁盘，包括软盘、光盘、CD-ROM、磁-光盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、闪存、固态装置、磁或光学卡、专用集成电路(ASIC)或适于存储电子指令并各自耦合到计算机***总线的任何类型的介质。进一步地，本文中所称的计算装置可以包括单处理器或者可以是为提高计算能力设计的采用多处理器的架构。
本文中呈现的算法和显示不固定地涉及任何特定的计算装置、可视化***或其它设备。各种通用***也可以根据本文中的教导与程序一起使用，或者构造更加专用的设备以执行所需的方法步骤被证明是方便的。各种各样的这些***的所需结构从本文中提供的描述是显然的。此外，本发明不是参照任何特定的编程语言描述的。应认识到可以使用各种编程语言以实现如本文中描述的本发明的教导，上文在任何地方提到特定语言是为了公开本发明的实现和最佳方式而提供的。
相应地，在各个实施例中，本发明可以实现为软件、硬件和/或用于控制计算机***、计算装置或其它电子装置的其它元件或其任何组合或多个。根据本领域众所周知的技术，这种电子装置可以包括例如处理器、输入装置(诸如键盘、鼠标、触摸板、跟踪板、操作杆、跟踪球、麦克风和/或其任何组合)、输出装置(诸如屏幕、扬声器等等)、存储器、长期存储(诸如磁存储、光存储等等)和/或网络连接。这种电子装置可以是便携的或非便携的。可以用于实现本发明的电子装置的例子包括：移动电话、个人数字助理、智能手机、电话亭、服务器计算机、企业计算装置、桌面计算机、膝上型计算机、平板电脑、消费电子装置、电视、机顶盒等等。用于实现本发明的电子装置可以使用任何操作***，比方说例如：Linux；可从华盛顿雷蒙德市的Microsoft公司购买的Microsoft Windows；可从加利福尼亚的库珀蒂诺(Cupertino)的苹果公司购买的Mac OS X；可从加利福尼亚的库珀蒂诺的苹果公司购买的iOS和/或适于用在这些装置上的其它任何操作***。
尽管已经参照有限个实施例描述了本发明，但本领域技术人员受益于上文的描述会认识到可以设计不偏离如本文中描述的本发明的范围的其它实施例。此外，应当注意说明书中使用的语言主要是为可读性和教授目的而选择的，不是为限定或限制本发明的主题而选择的。相应地，本发明的公开想要是示意而不是限定在权利要求中陈述的本发明的范围。

Claims (52)

1.一种用于降低捕获的光场图像数据的大小的方法，在光场图像捕获装置中，所述光场图像捕获装置包括至少一个传感器和处理电路，所述处理电路被配置成处理捕获的光场图像数据以产生可视化输出，所述方法包括：
在所述至少一个传感器上捕获光场图像数据，所述光场图像数据代表微透镜阵列的输出；
确定所述至少一个传感器的读出模式；
根据确定的读出模式预处理所述捕获的光场图像数据以降低所述捕获的光场图像数据的数据大小；以及
将所述预处理的捕获光场图像数据发送到所述处理电路。
2.根据权利要求1所述的方法，其中，预处理所述捕获光场图像数据包括执行从由下列组成的组中选择的至少一个：子采样、合并以及重采样所述捕获光场图像数据。
3.根据权利要求2所述的方法，其中，预处理所述捕获光场图像数据包括在执行从由子采样、合并以及重采样所述捕获光场图像数据组成的组中选择的至少一个之前，对所述捕获光场图像数据进行滤波。
4.根据权利要求1所述的方法，其中，预处理所述捕获光场图像数据包括基于所述至少一个像素的光场坐标，跳过在所述至少一个传感器上的至少一个像素。
5.根据权利要求1所述的方法，进一步包括在预处理所述捕获光场图像数据之前：
在所述至少一个传感器上的本地存储器中缓存所述捕获光场图像数据中的至少一部分；以及
从所述本地存储器中访问所述捕获光场图像数据中的所述至少一部分。
6.根据权利要求1所述的方法，其中，根据确定的读出模式预处理所述捕获光场图像数据包括根据在逐像素基础上配置的读出模式处理所述捕获光场图像数据。
7.根据权利要求6所述的方法，其中，根据在逐像素基础上配置的读出模式处理所述捕获光场图像数据包括使用以下当中的至少一个：
位掩码；
至少一个位掩码瓦片；
至少一个权重图像瓦片；以及
逐像素偏置；
在逐像素基础上处理像素。
8.根据权利要求1所述的方法，其中，预处理所述捕获光场图像数据包括基于在所述至少一个传感器上的至少一个像素的光场坐标，使用可变位深和可变像素最大值中的至少一个。
9.根据权利要求1所述的方法，其中，预处理所述捕获光场图像数据包括对所述光场图像数据执行光场图像感知处理。
10.根据权利要求1所述的方法，其中，预处理所述捕获光场图像数据包括：
根据确定的读出模式处理所述捕获光场图像数据中的至少一个帧；以及
根据第二个不同的读出模式处理所述捕获光场图像数据中的至少一个其它的帧。
11.根据权利要求1所述的方法，其中，预处理所述捕获光场图像数据包括在多个不同的读出周期中从缓存器中读出所述捕获光场图像数据。
12.根据权利要求1所述的方法，其中，所述至少一个传感器包括电荷耦合装置CCD图像传感器，并且其中，根据特定的读出模式预处理所述捕获光场图像数据包括使用所述电荷耦合装置CCD图像传感器执行所述特定的读出模式。
13.根据权利要求12所述的方法，其中，使用所述电荷耦合装置CCD图像传感器执行所述特定的读出模式包括使用电荷耦合装置CCD图像传感器借助隔行扫描执行分辨率降低的读出模式。
14.一种用于修改彩色滤波阵列CFA的方法，在光场图像捕获装置中，所述光场图像捕获装置包括微透镜阵列、至少一个传感器、在所述传感器上形成的圆盘图案、彩色滤波阵列CFA栅格布局和处理电路，所述处理电路被配置成处理捕获的光场图像数据以产生可视化输出，所述圆盘图案和所述彩色滤波阵列CFA交互操作以将来自所述微透镜阵列的输出转换成捕获光场图像数据，所述方法包括：
访问所述圆盘图案的配置；
确定如何修改所述彩色滤波阵列CFA以提高从所述微透镜阵列的输出捕获的色彩信息的质量；
根据确定结果修改所述彩色滤波阵列CFA；
根据所述硬盘图案和所述修改的彩色滤波阵列CFA从所述微透镜阵列的输出捕获光场图像数据；以及
将所述捕获光场图像数据发送到所述处理电路。
15.根据权利要求14所述的方法，其中，根据确定结果修改所述彩色滤波阵列CFA包括修改所述彩色滤波阵列，使得不向至少一个像素施加任何彩色滤波器。
16.根据权利要求14所述的方法，其中，根据确定结果修改所述彩色滤波阵列CFA包括修改至少一个像素的彩色滤波器通带。
17.根据权利要求14所述的方法，其中，根据确定结果修改所述彩色滤波阵列CFA包括随机化彩色滤波阵列CFA图案。
18.一种用于修改至少一个传感器的像素属性的方法，在光场图像捕获装置中，所述光场图像捕获装置包括至少一个传感器和处理电路，所述处理电路被配置成处理捕获的光场图像数据以产生可视化输出，所述方法包括：
在所述至少一个传感器上捕获光场图像数据，所述光场图像数据代表微透镜阵列的输出；所述光场图像数据包括所述至少一个传感器的多个像素中每一个像素的属性；
对于所述至少一个传感器中的至少一个像素中的每个像素，基于所述至少一个像素的光坐标，通过调节所述像素的至少一个属性来修改所述像素以补偿由于所述光场图像捕获装置的其它特征造成的不均匀采样；以及
将所述捕获光场图像数据，包括修改的至少一个像素，发送到所述处理电路。
19.根据权利要求18所述的方法，其中，通过调节所述像素的至少一个属性来修改所述像素以补偿由于所述光场图像捕获装置的其它特征造成的不均匀采样包括调节所述像素的至少一个属性，以补偿与以下当中的至少一个相关的因素：图像传感器角响应、微透镜阵列和主透镜。
20.根据权利要求18所述的方法，其中，通过调节所述像素的至少一个属性来修改所述像素以补偿由于所述光场图像捕获装置的其它特征造成的不均匀采样包括调节以下当中的至少一个：所述像素的曝光时间、增益和偏置。
21.根据权利要求18所述的方法，其中，通过调节所述像素的至少一个属性来修改所述像素以补偿由于所述光场图像捕获装置的其它特征造成的不均匀采样包括使用以下当中的至少一个执行像素调节：半导体的制造后位置修整、数字或模拟信号、以及将比例或偏置熔合到半导体中。
22.一种用于扰乱光场图像捕获装置的至少一个规则图案以提高捕获光场图像数据的质量的方法，在光场图像捕获装置中，所述光场图像捕获装置包括孔、主透镜、微透镜阵列、至少一个传感器和处理电路，所述微透镜阵列上的透镜排列成规则图案，所述至少一个传感器上的像素排列成规则图案，所述微透镜阵列和至少一个传感器交互操作以从通过所述孔和所述主透镜的光中捕获光场图像数据，所述方法包括：
获取通过所述孔和所述主透镜的光；
向以下当中的至少一个引入随机变化：所述微透镜阵列中的透镜的规则图案和所述至少一个传感器中的像素的规则图案；
在引入所述随机变化之后，从所述获取的光中捕获光场图像数据；以及
将所述捕获光场图像数据发送到所述处理电路。
23.根据权利要求22所述的方法，其中，将随机变化引入到透镜的规则图案和像素的规则图案中的至少一个包括将抖动图案引入到透镜的规则图案和像素的规则图案中的至少一个。
24.根据权利要求23所述的方法，其中，将抖动图案引入到透镜的规则图案和像素的规则图案中的至少一个包括将抖动图案引入到在整个微透镜阵列上延伸的透镜的规则图案中。
25.根据权利要求23所述的方法，其中，将抖动图案引入到透镜的规则图案和像素的规则图案中的至少一个包括将抖动图案引入到在整个至少一个传感器上延伸的像素的规则图案中。
26.根据权利要求23所述的方法，其中，将抖动图案引入到透镜的规则图案和像素的规则图案中的至少一个包括将抖动图案瓦片引入到透镜的规则图案中，所述抖动图案瓦片在整个微透镜阵列上重复多次。
27.根据权利要求23所述的方法，其中，将抖动图案引入到透镜的规则图案和像素的规则图案中的至少一个包括将抖动图案瓦片引入到像素的规则图案中，所述抖动图案瓦片在整个至少一个传感器上重复多次。
28.一种光学***，包括：
主透镜；
微透镜阵列，所述微透镜阵列包括多个微透镜；以及
至少一个图像传感器，每个图像传感器具有多个像素；
其中，所述主透镜、所述微透镜阵列和所述至少一个图像传感器被配置并相对于彼此设置成使得一个或多个光图像传感器上的圆盘图像的水平间距和垂直间距中的至少一个等于整数个像素。
29.根据权利要求28所述的光学***，其中，所述主透镜、所述微透镜阵列和所述至少一个图像传感器被配置并相对于彼此设置成使得所述圆盘图像是NxN个像素的正方形栅格。
30.根据权利要求29所述的光学***，其中，所述主透镜、所述微透镜阵列和所述一个或多个光图像传感器被配置并相对于彼此设置成使得光场图像数据的圆盘表示的阵列置换成所述光场图像数据的子孔径图像表示的等效阵列。
31.根据权利要求30所述的光学***，其中，所述主透镜、所述微透镜阵列和所述一个或多个光图像传感器被配置并被设置成将光场图像数据的圆盘表示的阵列置换成原始域数据和全色数据中至少一个上的光场图像数据的子孔径图像表示的等效阵列。
32.根据权利要求30所述的光学***，其中，所述主透镜、所述微透镜阵列和所述一个或多个光图像传感器被配置成并设置成将光场图像数据重新排序成直接地解释为2D图像的重新排序光场图像数据。
33.根据权利要求28所述的光学***，其中，所述微透镜阵列具有六角形布局。
34.一种用于确定用于微透镜阵列的配置的方法，所述微透镜阵列定位在图像传感器上以用在光场图像捕获装置中，所述方法包括：
访问所述微透镜阵列的特征；
访问所述图像传感器的特征，包括所述图像传感器的读出模式；
基于所述微透镜阵列的特征和所述图像传感器的特征，包括所述图像传感器的读出模式，确定用于所述微透镜阵列的最理想配置；以及
存储所述最理想配置以在所述光场图像捕获装置的制造过程中应用到所述微透镜阵列。
35.根据权利要求34所述的方法，其中，确定所述微透镜阵列的最理想配置包括确定所述微透镜阵列在所述图像传感器上的最理想位置。
36.根据权利要求34所述的方法，其中，确定所述微透镜阵列的最理想配置包括确定所述微透镜阵列在所述图像传感器上的最理想取向。
37.根据权利要求34所述的方法，其中，确定所述微透镜阵列的最理想配置包括考虑所述微透镜阵列关于与所述图像传感器正交的轴线的至少一个物理旋转。
38.根据权利要求34所述的方法，其中，确定所述微透镜阵列的最理想配置包括考虑所述微透镜阵列在与所述图像传感器平面平行的平面内的至少一个物理平移。
39.根据权利要求34所述的方法，其中，确定所述微透镜阵列的最理想配置包括考虑所述传感器的至少一个读出模式。
40.根据权利要求39所述的方法，其中，每个读出模式是从由以下组成的组中选择的：合并、跳过、重采样和调整。
41.一种用在光场图像捕获装置中的计算机程序产品，所述光场图像捕获装置包括至少一个传感器和处理电路，所述处理电路被配置成处理捕获的光场图像数据以产生可视化输出，所述计算机程序产品用于执行降低捕获的光场图像数据的大小的方法，所述计算机程序产品包括至少一个计算机存储装置，所述计算机存储装置上具有存储的计算机可执行指令，该指令当在处理器上执行时，引起所述光场图像捕获装置：
在所述至少一个传感器上捕获光场图像数据，所述光场图像数据代表微透镜阵列的输出；
确定所述至少一个传感器的读出模式；
根据确定的读出模式预处理所述捕获光场图像数据以降低所述捕获光场图像数据的数据大小；以及
将所述预处理的捕获光场图像数据发送到所述处理电路。
42.根据权利要求41所述的计算机程序产品，其中，所述计算机程序产品被配置成引起所述光场图像捕获装置通过以下步骤预处理所述捕获光场图像数据：
根据所述确定的读出模式处理所述捕获光场图像数据的至少一个帧；以及
根据第二个不同的读出模式处理所述捕获光场图像数据的至少一个其它的帧。
43.一种用在光场图像捕获装置中的计算机程序产品，所述光场图像捕获装置包括微透镜阵列、至少一个传感器、在所述传感器上形成的圆盘图案、彩色滤波阵列CFA栅格布局和处理电路，所述处理电路被配置成处理捕获的光场图像数据以产生可视化输出，所述圆盘图案和所述彩色滤波阵列CFA交互操作以将来自所述微透镜阵列的输出转换成捕获的光场图像数据，所述计算机程序产品包括至少一个计算机存储装置，所述计算机存储装置上具有存储的计算机可执行指令，所述指令当在处理器上执行时引起所述光场图像捕获装置：
访问所述圆盘图案的配置；
确定如何修改彩色滤波阵列CFA以提高从所述微透镜阵列的输出捕获的色彩信息的质量；
根据所述确定结果修改所述彩色滤波阵列CFA；
根据所述圆盘图案和所述修改的彩色滤波阵列CFA从所述微透镜阵列的输出捕获光场图像数据；以及
将捕获的光场图像数据发送到所述处理电路。
44.一种用在光场图像捕获装置中的计算机程序产品，所述光场图像捕获装置包括至少一个传感器和处理电路，所述处理电路被配置成处理捕获的光场图像数据以产生可视化输出，所述计算机程序产品包括至少一个计算机存储装置，所述计算机存储装置上具有存储的计算机可执行指令，所述指令当在处理器上执行时引起所述光场图像捕获装置：
在所述至少一个传感器上捕获光场图像数据，所述光场图像数据代表微透镜阵列的输出；所述光场图像数据包括所述至少一个传感器的多个像素中每一个像素的属性；
对于所述至少一个传感器中的至少一个像素中的每个像素，基于所述至少一个像素的光坐标，通过调节所述像素的至少一个属性来修改所述像素以补偿由于所述光场图像捕获装置的其它特征造成的不均匀采样；以及
将所述捕获光场图像数据，包括所述修改的至少一个像素，发送到所述处理电路。
45.根据权利要求44所述的计算机程序产品，其中，所述计算机程序产品被配置成引起所述光场图像捕获装置通过调节所述像素的至少一个属性来修改所述像素，以补偿与图像传感器角响应、微透镜阵列和主透镜中的至少一个相关的因素。
46.根据权利要求44所述的计算机程序产品，其中，所述计算机程序产品被配置成引起所述光场图像捕获装置通过调节所述像素的曝光时间、增益和偏置中的至少一个来修改所述像素。
47.一种用在光场图像捕获装置中的计算机程序产品，所述光场图像捕获装置包括孔、主透镜、微透镜阵列、至少一个传感器和处理电路，所述微透镜阵列上的透镜排列成规则图案，所述至少一个传感器上的像素排列成规则图案，所述微透镜阵列和至少一个传感器交互操作以从通过所述孔和所述主透镜的光中捕获光场图像数据，所述计算机程序产品包括至少一个计算机存储装置，所述计算机存储装置上具有存储的计算机可执行指令，所述指令在处理器上执行时引起所述光场图像捕获装置：
获取穿过所述孔和所述主透镜的光；
将随机变化引入到以下当中的至少一个：所述微透镜阵列中的透镜的规则图案和所述至少一个传感器中的像素的规则图案；
在引入所述随机变化之后，从所述获取的光中捕获光场图像数据；以及
将所述捕获光场图像数据发送到所述处理电路。
48.一种光场图像捕获装置，包括：
微透镜阵列；
至少一个传感器，所述传感器被配置成捕获代表所述微透镜阵列的输出的光场图像数据；
预处理器，所述预处理器被配置成确定所述至少一个传感器的读出模式，并根据确定的读出模式预处理所述捕获光场图像数据，以降低所述捕获光场图像数据的数据大小；以及
处理电路，所述处理电路被配置成处理所述预处理的捕获光场图像数据以产生可视化输出。
49.根据权利要求48所述的装置，其中，所述预处理器被配置成通过以下步骤预处理所述捕获光场图像数据：
根据所述确定的读出模式处理所述捕获光场图像数据的至少一个帧；以及
根据第二个不同的读出模式处理所述捕获光场图像数据的至少一个其它的帧。
50.一种光场图像捕获装置，包括：
微透镜阵列；
至少一个传感器，所述传感器被配置成捕获代表所述微透镜阵列的输出的光场图像数据，所述光场图像数据包括在所述传感器上形成的圆盘图案，所述至少一个传感器具有彩色滤波阵列CFA栅格布局；
预处理器，所述预处理器被配置成访问所述圆盘图案的配置，并确定如何修改所述彩色滤波阵列CFA以提高从所述微透镜阵列的输出捕获的色彩信息的质量；
CFA修改器，所述CFA修改器被配置成根据所述确定结果修改所述彩色滤波阵列CFA；以及
处理电路，所述处理电路被配置成处理所述预处理的光场图像数据以产生可视化输出；
其中，所述圆盘图案和所述彩色滤波阵列CFA交互操作以将来自所述微透镜阵列的输出转换成捕获光场图像数据；
并且其中，所述至少一个传感器根据所述圆盘图案和所述修改的彩色滤波阵列CFA从所述微透镜阵列的输出捕获光场图像数据。
51.一种光场图像捕获装置，包括：
微透镜阵列；
至少一个传感器，所述传感器被配置成捕获代表所述微透镜阵列的输出的光场图像数据，所述光场图像数据包括所述至少一个传感器的多个像素中每一个像素的属性；
预处理器，所述预处理器被配置成对于所述至少一个传感器的至少一个像素中的每个像素，基于所述至少一个像素的光坐标，通过调节所述像素的至少一个属性来修改所述像素，以补偿由于所述光场图像捕获装置的其它特征造成的不均匀采样；以及
处理电路，所述处理电路被配置成处理所述预处理的光场图像数据以产生可视化输出。
52.一种光场图像捕获装置，包括：
孔；
主透镜；
微透镜阵列，所述微透镜阵列具有排列成规则图案的透镜；
至少一个传感器，所述传感器具有排列成规则图案的像素，所述至少一个传感器被配置成捕获代表所述微透镜阵列的输出的光场图像数据，所述微透镜阵列和所述至少一个传感器交互操作以从通过所述孔和所述主透镜的光中捕获光场图像数据；
预处理器，所述预处理器被配置成获取通过所述孔和所述主透镜的光，并将随机变化引入所述微透镜阵列中透镜的规则图案和所述至少一个传感器中的像素的规则图案中的至少一个；
处理电路，所述处理电路被配置成在引入所述随机变化之后，从获取的光中捕获光场图像数据，处理所述预处理的光场图像数据以产生可视化输出。
CN201380023092.9A 2012-05-09 2013-05-06 用于改进的光场捕获和操作的光学***的优化 Pending CN104303493A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261644851P 2012-05-09 2012-05-09
US61/644,851 2012-05-09
PCT/US2013/039760 WO2013169671A1 (en) 2012-05-09 2013-05-06 Optimization of optical systems for improved light field capture and manipulation

Publications (1)

Publication Number Publication Date
CN104303493A true CN104303493A (zh) 2015-01-21

Family

ID=49551192

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380023092.9A Pending CN104303493A (zh) 2012-05-09 2013-05-06 用于改进的光场捕获和操作的光学***的优化

Country Status (6)

Country Link
US (4) US9300932B2 (zh)
EP (1) EP2820838B1 (zh)
JP (1) JP6064040B2 (zh)
CN (1) CN104303493A (zh)
HK (1) HK1201391A1 (zh)
WO (1) WO2013169671A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105931190A (zh) * 2016-06-14 2016-09-07 西北工业大学 高角度分辨率光场获取装置与图像生成方法
CN106096474A (zh) * 2015-04-21 2016-11-09 手持产品公司 用于成像的***和方法
CN107018293A (zh) * 2015-09-17 2017-08-04 汤姆逊许可公司 生成表示光场的数据的方法和装置
CN108353120A (zh) * 2015-09-17 2018-07-31 汤姆逊许可公司 用于生成表示像素束的数据的装置和方法
CN108352061A (zh) * 2015-09-17 2018-07-31 汤姆逊许可公司 用于产生表示像素光束的数据的装置和方法
CN108476323A (zh) * 2015-11-16 2018-08-31 奥斯坦多科技公司 内容自适应光场压缩
CN108604372A (zh) * 2015-12-30 2018-09-28 汤姆逊许可公司 用于生成表示像素束的数据的方法和装置
CN110320663A (zh) * 2019-03-20 2019-10-11 华中科技大学 基于直接二元搜索算法设计的超小尺寸大带宽模式滤波器
TWI699117B (zh) * 2015-06-30 2020-07-11 法商內數位Ｃｅ專利控股公司 標定成安裝在全光相機之感測器，被濾色器陣列部份罩覆的微影像區至少一個再聚焦影像色彩組成份之決定方法，光場資料獲取裝置，電腦程式製品，以及非暫態電腦可讀式載波媒體
CN113596294A (zh) * 2021-07-08 2021-11-02 维沃移动通信（杭州）有限公司 拍摄方法、装置和电子设备

Families Citing this family (127)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
KR101733443B1 (ko) 2008-05-20 2017-05-10 펠리칸 이매징 코포레이션 이종 이미저를 구비한 모놀리식 카메라 어레이를 이용한 이미지의 캡처링 및 처리
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8514491B2 (en) 2009-11-20 2013-08-20 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
CN103004180A (zh) 2010-05-12 2013-03-27 派力肯影像公司 成像器阵列和阵列照相机的架构
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
KR101973822B1 (ko) 2011-05-11 2019-04-29 포토네이션 케이맨 리미티드 어레이 카메라 이미지 데이터를 송신 및 수신하기 위한 시스템들 및 방법들
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
JP6140709B2 (ja) 2011-09-28 2017-05-31 ペリカン イメージング コーポレイション 明視野画像ファイルを符号化および復号するためのシステムおよび方法
WO2013051186A1 (ja) * 2011-10-03 2013-04-11 パナソニック株式会社 撮像装置、撮像装置を用いたシステム及び測距装置
US9113043B1 (en) * 2011-10-24 2015-08-18 Disney Enterprises, Inc. Multi-perspective stereoscopy from light fields
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US8995785B2 (en) * 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
KR20150023907A (ko) 2012-06-28 2015-03-05 펠리칸 이매징 코포레이션 결함있는 카메라 어레이들, 광학 어레이들 및 센서들을 검출하기 위한 시스템들 및 방법들
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP4296963A3 (en) 2012-08-21 2024-03-27 Adeia Imaging LLC Method for depth detection in images captured using array cameras
CN104685513B (zh) 2012-08-23 2018-04-27 派力肯影像公司 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计
JP5943785B2 (ja) * 2012-09-12 2016-07-05 キヤノン株式会社 撮像装置、撮像システム、画像処理装置、および、撮像装置の制御方法
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
US9143711B2 (en) 2012-11-13 2015-09-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9253380B2 (en) 2013-02-24 2016-02-02 Pelican Imaging Corporation Thin form factor computational array cameras and modular array cameras
WO2014138697A1 (en) 2013-03-08 2014-09-12 Pelican Imaging Corporation Systems and methods for high dynamic range imaging using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9888194B2 (en) 2013-03-13 2018-02-06 Fotonation Cayman Limited Array camera architecture implementing quantum film image sensors
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
WO2014164550A2 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation System and methods for calibration of an array camera
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
CN105900238B (zh) * 2013-05-21 2019-06-11 弗托斯传感与算法公司 全光透镜在光传感器衬底上的单片集成
JP2015008387A (ja) 2013-06-25 2015-01-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム並びに撮像装置
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
US9030580B2 (en) * 2013-09-28 2015-05-12 Ricoh Company, Ltd. Color filter modules for plenoptic XYZ imaging systems
WO2015070105A1 (en) 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
EP2871830A1 (en) * 2013-11-08 2015-05-13 Thomson Licensing Optical assembly for plenoptic camera
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9361545B2 (en) * 2013-11-18 2016-06-07 Qualcomm Incorporated Methods and apparatus for estimating angular movement with a single two dimensional device
US9456134B2 (en) 2013-11-26 2016-09-27 Pelican Imaging Corporation Array camera configurations incorporating constituent array cameras and constituent cameras
DE112014005866B4 (de) 2013-12-24 2018-08-02 Lytro, Inc. Verbesserung der plenoptischen Kameraauflösung
US10244223B2 (en) 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
EP3116216A4 (en) * 2014-03-03 2017-02-15 Panasonic Intellectual Property Management Co., Ltd. Image pickup apparatus
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
US9307166B2 (en) * 2014-03-26 2016-04-05 Intel Corporation All-in-focus implementation
JP6463900B2 (ja) * 2014-04-17 2019-02-06 キヤノン株式会社 画像符号化装置及びその制御方法
US9843787B2 (en) * 2014-04-24 2017-12-12 Qualcomm Incorporated Generation and use of a 3D radon image
EP2955913A1 (en) * 2014-06-10 2015-12-16 Thomson Licensing Hybrid plenoptic camera
US9521319B2 (en) * 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
US10332121B2 (en) * 2014-07-02 2019-06-25 Protocomm Systems, Llc Light-based data entry for personal inventory and product support system
WO2016011087A1 (en) * 2014-07-15 2016-01-21 Ostendo Technologies, Inc. Preprocessor for full parallax light field compression
US9438778B2 (en) 2014-08-08 2016-09-06 Industrial Technology Research Institute Image pickup device and light field image pickup lens
CN105472233B (zh) 2014-09-09 2019-01-18 北京智谷技术服务有限公司 光场采集控制方法和装置、光场采集设备
US10250871B2 (en) 2014-09-29 2019-04-02 Fotonation Limited Systems and methods for dynamic calibration of array cameras
US10425630B2 (en) 2014-12-31 2019-09-24 Nokia Technologies Oy Stereo imaging
US9455285B2 (en) * 2015-02-04 2016-09-27 Semiconductors Components Industries, Llc Image sensors with phase detection pixels
GB2535475B (en) * 2015-02-16 2019-09-18 Canon Kk Optimized plenoptic image encoding
EP3065395A1 (en) * 2015-03-05 2016-09-07 Thomson Licensing Processing of light field data
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
EP3286737A1 (en) 2015-04-23 2018-02-28 Ostendo Technologies, Inc. Methods for full parallax compressed light field synthesis utilizing depth information
JP6866299B2 (ja) 2015-04-23 2021-04-28 オステンド・テクノロジーズ・インコーポレーテッド 全方向視差ライトフィールド表示システム用の方法および装置
US10033986B2 (en) 2015-05-26 2018-07-24 Google Llc Capturing light-field images with uneven and/or incomplete angular sampling
EP3098778A1 (en) * 2015-05-29 2016-11-30 Thomson Licensing Method for obtaining a refocused image from 4d raw light field data
EP3099076B1 (en) * 2015-05-29 2019-08-07 InterDigital CE Patent Holdings Method for displaying a content from 4d light field data
EP3104593A1 (en) * 2015-06-08 2016-12-14 Thomson Licensing Light field imaging device
EP3106912A1 (en) 2015-06-17 2016-12-21 Thomson Licensing An apparatus and a method for obtaining a registration error map representing a level of fuzziness of an image
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
EP3131292B1 (en) 2015-08-14 2022-06-15 InterDigital CE Patent Holdings Plenoptic camera comprising a shuffled color filter array
EP3358618B1 (en) 2015-09-29 2021-08-11 Dai Nippon Printing Co., Ltd. Imaging module and imaging device
CL2015003495A1 (es) * 2015-11-30 2016-07-15 Univ Concepcion Un proceso que permite eliminar el ruido de patrón fijo en imágenes efectivas formadas por arreglos de sensores electromagnéticos de un campo de luz mediante un reenfoque digital.
US20170256036A1 (en) * 2016-03-03 2017-09-07 Lytro, Inc. Automatic microlens array artifact correction for light-field images
US10453431B2 (en) 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
US20190149750A1 (en) * 2016-05-04 2019-05-16 Interdigital Ce Patent Holdings High frame rate motion field estimation for light field sensor, method, corresponding computer program product, computer readable carrier medium and device
US10089788B2 (en) * 2016-05-25 2018-10-02 Google Llc Light-field viewpoint and pixel culling for a head mounted display device
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10101897B1 (en) 2016-09-14 2018-10-16 Google Llc Electronic stylus for storing credentials
US10270947B2 (en) * 2016-09-15 2019-04-23 Microsoft Technology Licensing, Llc Flat digital image sensor
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
KR101903006B1 (ko) 2016-12-23 2018-10-01 한국전자통신연구원 픽셀 다중화 장치 및 방법
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
US10432944B2 (en) 2017-08-23 2019-10-01 Avalon Holographics Inc. Layered scene decomposition CODEC system and methods
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10522113B2 (en) * 2017-12-29 2019-12-31 Intel Corporation Light field displays having synergistic data formatting, re-projection, foveation, tile binning and image warping technology
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
EP3522106A1 (en) * 2018-01-31 2019-08-07 InterDigital CE Patent Holdings A filter array enabling easy demosaicing
US10958887B2 (en) 2019-01-14 2021-03-23 Fyusion, Inc. Free-viewpoint photorealistic view synthesis from casually captured video
KR20210028808A (ko) 2019-09-04 2021-03-15 삼성전자주식회사 이미지 센서 및 이를 포함하는 촬상 장치
WO2021055585A1 (en) 2019-09-17 2021-03-25 Boston Polarimetrics, Inc. Systems and methods for surface modeling using polarization cues
US11525906B2 (en) 2019-10-07 2022-12-13 Intrinsic Innovation Llc Systems and methods for augmentation of sensor systems and imaging systems with polarization
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
WO2021154386A1 (en) 2020-01-29 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
US11797863B2 (en) 2020-01-30 2023-10-24 Intrinsic Innovation Llc Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
KR20210104462A (ko) 2020-02-17 2021-08-25 삼성전자주식회사 이미지 센서, 이미지 센서의 교정 방법, 그리고 이미지 센서를 교정하는 전자 장치
KR20210124807A (ko) * 2020-04-07 2021-10-15 에스케이하이닉스 주식회사 이미지 센싱 장치
CN111489323B (zh) * 2020-04-09 2023-09-19 中国科学技术大学先进技术研究院 双光场图像融合方法、装置、设备及可读存储介质
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
CN112381711B (zh) * 2020-10-27 2022-07-19 深圳大学 光场图像重建模型训练及快速超分辨率重建方法
US11477427B2 (en) * 2021-01-27 2022-10-18 Huawei Technologies Co., Ltd. 3D light field displays utilizing micro-LED pixel arrays and metasurface multi-lens arrays
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
KR20230032755A (ko) * 2021-08-31 2023-03-07 삼성전자주식회사 영상 처리 방법 및 장치
US11832001B2 (en) 2021-12-20 2023-11-28 Visera Technologies Company Limited Image processing method and image processing system

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5672575A (en) 1979-11-19 1981-06-16 Toshiba Corp Picture input unit
GB8317407D0 (en) 1983-06-27 1983-07-27 Rca Corp Image transform techniques
US4920419A (en) 1988-05-31 1990-04-24 Eastman Kodak Company Zoom lens focus control device for film video player
US5076687A (en) 1990-08-28 1991-12-31 Massachusetts Institute Of Technology Optical ranging apparatus
US5757423A (en) 1993-10-22 1998-05-26 Canon Kabushiki Kaisha Image taking apparatus
JP3275010B2 (ja) 1995-02-03 2002-04-15 ザ・リジェンツ・オブ・ザ・ユニバーシティ・オブ・コロラド 拡大された被写界深度を有する光学システム
US6009188A (en) 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
GB9607541D0 (en) 1996-04-11 1996-06-12 Discreet Logic Inc Processing image data
US6097394A (en) 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
US6091860A (en) 1997-11-12 2000-07-18 Pagemasters, Inc. System and method for processing pixels for displaying and storing
US6466207B1 (en) 1998-03-18 2002-10-15 Microsoft Corporation Real-time image rendering with layered depth images
US6137100A (en) 1998-06-08 2000-10-24 Photobit Corporation CMOS image sensor with different pixel sizes for different colors
US6320979B1 (en) 1998-10-06 2001-11-20 Canon Kabushiki Kaisha Depth of field enhancement
US6201899B1 (en) 1998-10-09 2001-03-13 Sarnoff Corporation Method and apparatus for extended depth of field imaging
JP2000350071A (ja) * 1999-06-02 2000-12-15 Nikon Corp 電子スチルカメラ
US6483535B1 (en) 1999-12-23 2002-11-19 Welch Allyn, Inc. Wide angle lens system for electronic imagers having long exit pupil distances
US7034866B1 (en) 2000-11-22 2006-04-25 Koninklijke Philips Electronics N.V. Combined display-camera for an image processing system
US6842297B2 (en) 2001-08-31 2005-01-11 Cdm Optics, Inc. Wavefront coding optics
WO2003052465A2 (en) 2001-12-18 2003-06-26 University Of Rochester Multifocal aspheric lens obtaining extended field depth
US7936392B2 (en) 2004-10-01 2011-05-03 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangements and methods therefor
US7417670B1 (en) 2005-01-12 2008-08-26 Ambarella, Inc. Digital video camera with binning or skipping correction
WO2007044725A2 (en) 2005-10-07 2007-04-19 The Board Of Trustees Of The Leland Stanford Junior University Microscopy arrangements and approaches
US7623726B1 (en) 2005-11-30 2009-11-24 Adobe Systems, Incorporated Method and apparatus for using a virtual camera to dynamically refocus a digital image
US8243157B2 (en) 2006-02-07 2012-08-14 The Board Of Trustees Of The Leland Stanford Junior University Correction of optical aberrations
US7620309B2 (en) 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
CN101449586B (zh) 2006-05-25 2012-08-29 汤姆逊许可证公司 用于加权编码的方法和***
AU2006246497B2 (en) 2006-11-30 2010-02-11 Canon Kabushiki Kaisha Method and apparatus for hybrid image compression
US20130113981A1 (en) 2006-12-01 2013-05-09 Lytro, Inc. Light field camera image, file and configuration data, and methods of using, storing and communicating same
US8559705B2 (en) 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US20080260291A1 (en) * 2007-04-17 2008-10-23 Nokia Corporation Image downscaling by binning
JP2008312080A (ja) 2007-06-18 2008-12-25 Sony Corp 撮像装置及び撮像方法
US8290358B1 (en) 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
JP4967873B2 (ja) 2007-07-13 2012-07-04 ソニー株式会社 撮像装置
US8085391B2 (en) 2007-08-02 2011-12-27 Aptina Imaging Corporation Integrated optical characteristic measurements in a CMOS image sensor
JP2009246745A (ja) * 2008-03-31 2009-10-22 Panasonic Corp 撮像装置、撮像モジュール、電子スチルカメラ、及び電子ムービーカメラ
US8155456B2 (en) 2008-04-29 2012-04-10 Adobe Systems Incorporated Method and apparatus for block-based compression of light-field images
JP5525703B2 (ja) * 2008-07-10 2014-06-18 オリンパス株式会社 画像再生表示装置
AU2008246243B2 (en) * 2008-11-19 2011-12-22 Canon Kabushiki Kaisha DVC as generic file format for plenoptic camera
WO2010065344A1 (en) 2008-11-25 2010-06-10 Refocus Imaging, Inc. System of and method for video refocusing
US8289440B2 (en) 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US7949252B1 (en) 2008-12-11 2011-05-24 Adobe Systems Incorporated Plenoptic camera with large depth of field
US8189089B1 (en) 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
US7687757B1 (en) 2009-01-29 2010-03-30 Visera Technologies Company Limited Design of microlens on pixel array
US8228418B2 (en) * 2009-03-20 2012-07-24 Eastman Kodak Company Anti-aliasing spatial filter system
EP2244484B1 (en) 2009-04-22 2012-03-28 Raytrix GmbH Digital imaging method for synthesizing an image using data recorded with a plenoptic camera
US8358365B2 (en) 2009-05-01 2013-01-22 Samsung Electronics Co., Ltd. Photo detecting device and image pickup device and method thereon
WO2011013079A1 (en) * 2009-07-30 2011-02-03 Primesense Ltd. Depth mapping based on pattern matching and stereoscopic information
CN102483510B (zh) 2009-11-20 2015-04-15 富士胶片株式会社 固态成像装置
KR101608970B1 (ko) 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
JP5490514B2 (ja) * 2009-12-22 2014-05-14 三星電子株式会社 撮像装置及び撮像方法
US8558915B2 (en) * 2009-12-22 2013-10-15 Samsung Electronics Co., Ltd. Photographing apparatus and method
WO2011081187A1 (ja) * 2009-12-28 2011-07-07 株式会社ニコン 撮像素子、および、撮像装置
US20110205384A1 (en) * 2010-02-24 2011-08-25 Panavision Imaging, Llc Variable active image area image sensor
US8768102B1 (en) * 2011-02-09 2014-07-01 Lytro, Inc. Downsampling light field images
US20130070060A1 (en) * 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US8948545B2 (en) * 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096474B (zh) * 2015-04-21 2021-03-23 手持产品公司 用于成像的***和方法
CN106096474A (zh) * 2015-04-21 2016-11-09 手持产品公司 用于成像的***和方法
TWI699117B (zh) * 2015-06-30 2020-07-11 法商內數位Ｃｅ專利控股公司 標定成安裝在全光相機之感測器，被濾色器陣列部份罩覆的微影像區至少一個再聚焦影像色彩組成份之決定方法，光場資料獲取裝置，電腦程式製品，以及非暫態電腦可讀式載波媒體
CN108353120A (zh) * 2015-09-17 2018-07-31 汤姆逊许可公司 用于生成表示像素束的数据的装置和方法
CN108352061A (zh) * 2015-09-17 2018-07-31 汤姆逊许可公司 用于产生表示像素光束的数据的装置和方法
CN107018293A (zh) * 2015-09-17 2017-08-04 汤姆逊许可公司 生成表示光场的数据的方法和装置
CN108353120B (zh) * 2015-09-17 2020-10-23 交互数字Vc控股公司 用于生成表示像素束的数据的装置和方法
CN107018293B (zh) * 2015-09-17 2020-11-03 交互数字Vc控股公司 生成表示光场的数据的方法和装置
CN108352061B (zh) * 2015-09-17 2022-11-25 交互数字Vc控股公司 用于产生表示像素光束的数据的装置和方法
US10902624B2 (en) 2015-09-17 2021-01-26 Interdigital Vc Holdings, Inc. Apparatus and a method for generating data representing a pixel beam
CN108476323A (zh) * 2015-11-16 2018-08-31 奥斯坦多科技公司 内容自适应光场压缩
CN108604372A (zh) * 2015-12-30 2018-09-28 汤姆逊许可公司 用于生成表示像素束的数据的方法和装置
CN105931190B (zh) * 2016-06-14 2019-09-24 西北工业大学 高角度分辨率光场获取装置与图像生成方法
CN105931190A (zh) * 2016-06-14 2016-09-07 西北工业大学 高角度分辨率光场获取装置与图像生成方法
CN110320663A (zh) * 2019-03-20 2019-10-11 华中科技大学 基于直接二元搜索算法设计的超小尺寸大带宽模式滤波器
CN110320663B (zh) * 2019-03-20 2020-12-01 华中科技大学 基于直接二元搜索算法设计的超小尺寸大带宽模式滤波器
CN113596294A (zh) * 2021-07-08 2021-11-02 维沃移动通信（杭州）有限公司 拍摄方法、装置和电子设备

Also Published As

Publication number Publication date
US9300932B2 (en) 2016-03-29
US20180070066A1 (en) 2018-03-08
JP6064040B2 (ja) 2017-01-18
EP2820838A4 (en) 2015-11-11
US20160173844A1 (en) 2016-06-16
JP2015520992A (ja) 2015-07-23
US20140146201A1 (en) 2014-05-29
EP2820838B1 (en) 2020-01-08
EP2820838A1 (en) 2015-01-07
HK1201391A1 (zh) 2015-08-28
US9866810B2 (en) 2018-01-09
WO2013169671A1 (en) 2013-11-14
US20180070067A1 (en) 2018-03-08

Similar Documents

Publication Publication Date Title
CN104303493A (zh) 用于改进的光场捕获和操作的光学***的优化
CN102461174B (zh) 具有四个通道的滤色器阵列图案
EP3672229A1 (en) Mask-less phase detection autofocus
US7612805B2 (en) Digital imaging system and methods for selective image filtration
JP4247113B2 (ja) 長方形の画像センサによりパノラマ画像を撮像する方法
US10567636B2 (en) Resolution enhancement using sensor with plural photodiodes per microlens
CN102111544B (zh) 摄像模块、图像处理装置及图像记录方法
JP2012523783A (ja) 軌跡に基づいて画像センサーを読み出すための方法とシステム
CN105323423B (zh) 图像处理方法、图像处理装置及摄像装置
US20130051451A1 (en) Device and Method For Processing Digital Images Captured by a Binary Image Sensor
JP4703476B2 (ja) 映像表示装置の調整方法
Battiato et al. Image processing for embedded devices
WO2023016144A1 (zh) 对焦控制方法、装置、成像设备、电子设备和计算机可读存储介质
JPWO2019078340A1 (ja) 撮像装置および方法、並びに、画像処理装置および方法
US20180288306A1 (en) Mask-less phase detection autofocus
JP4911923B2 (ja) 固体撮像素子
TW201638620A (zh) 鏡頭模組陣列、影像感測裝置與數位縮放影像融合方法
KR102412278B1 (ko) 보색관계의 필터 어레이를 포함하는 카메라 모듈 및 그를 포함하는 전자 장치
CN108432233B (zh) 摄像装置及图像数据生成方法
US11252361B2 (en) Imaging element, imaging device, and information processing method with image restoration pixels and unidirectional pixel
US20160316149A1 (en) Lens module array, image sensing device and fusing method for digital zoomed images
JP6012396B2 (ja) 画像処理装置、画像処理方法およびプログラム。
CN104754229A (zh) 一种图像处理方法及电子设备
JPWO2013100095A1 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム
JP2016184776A (ja) 画像処理装置と画像処理方法とプログラムおよび撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1201391

Country of ref document: HK

TA01 Transfer of patent application right

Effective date of registration: 20180806

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: LYTRO INC.

TA01 Transfer of patent application right
RJ01 Rejection of invention patent application after publication

Application publication date: 20150121

RJ01 Rejection of invention patent application after publication