CN102026011B - 获得光场数据的设备以及处理光场数据的设备和方法 - Google Patents
获得光场数据的设备以及处理光场数据的设备和方法 Download PDFInfo
- Publication number
- CN102026011B CN102026011B CN201010288391.3A CN201010288391A CN102026011B CN 102026011 B CN102026011 B CN 102026011B CN 201010288391 A CN201010288391 A CN 201010288391A CN 102026011 B CN102026011 B CN 102026011B
- Authority
- CN
- China
- Prior art keywords
- pattern
- attenuation
- light field
- block
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 title claims description 53
- 230000004044 response Effects 0.000 claims description 31
- 210000004276 hyalin Anatomy 0.000 claims description 25
- 230000003287 optical effect Effects 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 25
- 239000002184 metal Substances 0.000 claims description 24
- 238000013461 design Methods 0.000 claims description 14
- 238000003672 processing method Methods 0.000 claims description 8
- 238000005516 engineering process Methods 0.000 abstract description 4
- 238000001228 spectrum Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000003860 storage Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
- G02B26/06—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the phase of light
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B3/00—Simple or compound lenses
- G02B3/0006—Arrays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/42—Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
- G02B27/46—Systems using spatial filters
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/58—Optics for apodization or superresolution; Optical synthetic aperture systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/95—Computational photography systems, e.g. light-field imaging systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
- G02B2207/129—Coded aperture imaging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)
Abstract
提供了一种获得光场数据的设备以及处理光场数据的设备和方法。光场数据获得设备包括:具有衰减图案的调制器,空间地调制图像的4D光场;传感器,获得空间地调制的4D光场的2D信号;通过利用调制器的衰减图案,可在低角度频率区域获得比在高角度频率区域获得的更多的空间数据。
Description
本申请要求于2009年9月22日提交的第10-2009-89780号韩国专利申请的权益,该申请的公开通过引用全部包含于此。
技术领域
以下描述涉及图像处理,更具体地讲,涉及使用调制器获得和处理光场数据,以在频域中空间地调制图像的四维(4D)光场的技术。
背景技术
大多数商业化的成像***在单幅图像中显示捕获的画面。近来,已进行了对重聚焦图像的全光相机(plenoptic camera)的研究。全光相机,也被称为光场(light field)相机,使用微透镜阵列(通常地,双凸透镜)获得图像的四维(4D)光场信息。全光相机提供给用户各种功能,例如,重聚焦图像的选项,允许在拍摄图像之后调节图像的焦平面。全光相机还允许用户能够在不同视角查看图像的变化。
为了获得这样的光场数据,必需获得关于光取向(orientation)的角度数据以及关于传感器像素的数量的空间数据。结果,当得到角度数据时通常发生分辨率恶化。因此,传统的光场成像无法创建高分辨率图像。因为作为结果的4D数据是从2D传感器接收的二维(2D)角度数据加上2D空间数据,所以空间数据的分辨率被角度数据的量降低。例如,如果需要12×12(即,144)条角度数据来满足透镜的角度分辨率的度数,则作为结果的分辨率将降低至通过使用所有传感器像素而达到的最大分辨率的1/144。
此外,传统的光场***将均匀采样应用到空间数据。光场***利用微透镜阵列或光调制器。微透镜阵列由于其结构而必须服从均匀采样,在所述结构中排列具有相同大小的微透镜。同样地,在光调制器的情况下,在均匀分配空间带宽和角度带宽的假设下使用均匀采样。
即,用于空间地调制光场的现有调制器在频域中空间数据针对取向数据的每个频带具有相同的带宽的假设下而被设计。因此,通过这样的现有的调制器创建的频率响应对空间数据以均匀间隔出现。
然而,当光场数据的图像信息被变换到频域时,发生频域越高,空间数据越少的现象。
发明内容
在一个总体方面,提供一种用于获得光场数据来创建图像的设备,所述设备包括:调制器,所述调制器包括衰减图案,所述衰减图案被配置为在频域中空间地调制四维(4D)光场图像;传感器,配置为获得空间地调制的4D光场的二维(2D)信号,其中,衰减图案被配置为通过频域中的空间调制,产生取决于位置的2D信号的频率响应。
所述设备还可包括:调制器包括:透明层;安装在透明层上的金属层,所述金属层形成衰减图案并被配置为将经过透明层的光削弱为不同程度。
所述设备还可包括:衰减图案被配置为通过以下方法产生多个灰度值,所述方法包括:将衰减图案的单元图案划分为多个部分,每个部分包括多个单元;屏蔽每个部分的单元中的一个或多个单元,以产生用于每个部分的灰度。
所述设备还可包括:衰减图案被配置为在低角度频率区域获得较多空间数据并在高角度频率区域获得较少空间数据。
在另一总体方面,提供一种用于处理光场数据来创建图像的设备,所述设备包括:调制器,所述调制器包括衰减图案,所述衰减图案被配置为空间地调制四维(4D)光场图像;传感器,配置为获得空间地调制的4D光场的二维(2D)信号;数据处理器,配置为使用所述2D信号来恢复4D光场数据,其中,衰减图案还被配置为通过频域中的空间调制,产生取决于位置的2D信号的频率响应。
所述设备还可包括:调制器包括:透明层;安装在透明层上的金属层,所述金属层形成衰减图案并被配置为将经过透明层的光削弱为不同程度。
所述设备还可包括:衰减图案还被配置为通过以下方法产生多个灰度值,所述方法包括:将衰减图案的单元图案划分为多个部分,每个部分包括多个单元;屏蔽每个部分的单元中的一个或多个单元,以产生用于每个部分的灰度。
所述设备还可包括:衰减图案还被配置为在低角度频率区域获得较多空间数据并在高角度频率区域获得较少空间数据。
所述设备还可包括:数据处理器还被配置为:将傅里叶变换应用到由传感器感获得的2D信号以创建2D区块;对2D区块中的至少一个2D区块执行补零以使2D区块的大小均匀;将经过补零的2D区块重配置为4D区块堆;将傅里叶反变换应用到4D区块堆来恢复4D光场图像。
所述设备还可包括:数据处理器还被配置为执行补零,以使2D区块具有与多个2D区块中的最大的2D区块的大小相同的大小。
所述设备还可包括:数据处理器还被配置为使用恢复的4D光场数据,从来自至少一个角度的查看图像、处于不同深度的重聚焦图像以及高分辨率图像之中创建至少一个图像。
在另一总体方面,提供一种光场数据处理方法,所述方法由光场数据处理器执行,所述方法包括:使用具有衰减图案的调制器空间地调制4D光场图像,以获得空间地调制的4D光场的2D信号;使用所述2D信号恢复4D光场数据,其中,衰减图案通过频域中的空间调制产生取决于位置的2D信号的频率响应。
所述光场数据处理方法还可包括:恢复4D光场数据的步骤包括:将傅里叶变换应用到2D信号以获得2D区块;对2D区块中的至少一个2D区块执行补零以使2D区块的大小统一;将经过补零的2D区块重配置为4D区块堆;对4D区块堆执行傅里叶反变换来恢复4D光场图像。
所述光场数据处理方法还可包括:以这样的方法执行补零,2D区块具有与多个2D区块中的最大的2D区块的大小相同的大小。
所述光场数据处理方法还可包括:使用恢复的4D光场数据从来自场景的至少一个角度的查看图像、处于不同深度的重聚焦图像以及高分辨率图像之中创建至少一个图像。
在另一总体方面,提供一种用于在频域中空间地调制光场的调制器,所述调制器包括:透明层;安装在透明层上的金属层,所述金属层形成衰减图案并被配置为将经过透明层的光削弱为不同程度,其中,衰减图案被配置为通过频域中的空间调制产生取决于位置的二维(2D)信号的频率响应。
所述调制器还可包括:衰减图案还被配置为通过以下方法产生多个灰度值,所述方法包括:将衰减图案的单元图案划分为多个部分,每个部分包括多个单元;屏蔽每个部分的单元中的一个或多个单元,以产生用于每个部分的灰度。
所述调制器还可包括:衰减图案还被配置为在低角度频率区域获得较多空间数据并在高角度频率区域获得较少空间数据。
在另一总体方面,提供一种图像处理设备,包括:数据获得单元,配置为接收四维(4D)光场图像,并通过频域的空间调制产生多个非均匀二维(2D)频率响应信号;处理器,配置为处理多个感测的非均匀2D频率响应信号来产生4D光场数据。
所述图像处理设备还可包括:数据获得单元包括调制器,所述调制器包括非谐波衰减图案,所述非谐波衰减图案被配置为将经过的光削弱为多个非均匀2D频率响应信号。
所述图像处理设备还可包括:数据获得单元还包括透镜和配置为感测非均匀2D频率响应信号的多个传感器,调制器位于透镜和多个传感器之间。
所述图像处理设备还可包括:多个传感器被划分为多个部分,每个部分包括多个单元,非谐波衰减图案还被配置为阻挡一个部分的一个或多个单元以产生用于所述部分的灰度值。
所述图像处理设备还可包括:通过组合两个或多个余弦信号来设计所述非谐波图案,所述余弦信号有具有非谐波特征的和。
所述图像处理设备还可包括:通过组合两个或多个正弦信号来设计所述非谐波图案,所述正弦信号有具有非谐波特征的和。
所述图像处理设备还可包括:通过组合余弦信号和正弦信号的组合来设计所述非谐波图案,所述余弦信号和正弦信号的组合有具有非谐波特征的和。
所述图像处理设备还可包括:衰减图案还被配置为在存在较多空间数据的低角度频率区域获得较多空间数据并在存在较少空间数据的高角度频率区域获得较少空间数据。
所述图像处理设备还可包括:处理器还被配置为将傅里叶变换应用到感测的非均匀2D频率响应信号,以获得2D区块。
所述图像处理设备还可包括:处理器还被配置为对至少一个2D区块执行补零,以将2D区块的大小调整至均匀。
所述图像处理设备还可包括:处理器还被配置为:将经过补零的2D区块重配置为4D区块堆;将傅里叶反变换应用到4D区块堆来产生4D光场图像。
所述图像处理设备还可包括:补零的结果是所述2D区块具有与多个2D区块中的最大的2D区块的大小相同的大小。
在另一总体方面,提供一种在四维(4D)图像的处理中使用的光学掩膜,所述光学掩膜包括:透明层;附于所述透明层的金属层,并且所述金属层包括被配置为进行以下处理的衰减图案,所述处理包括:接收四维(4D)光场图像;通过频域中的空间调制来将经过的4D光图像削弱为多个非均匀二维(2D)频率响应信号。
所述光学掩膜还可包括:衰减图案包括多个部分,所述部分包括多个单元,使得每个单元在0.1μm至1μm的范围内被隔开。
所述光学掩膜还可包括:一个部分的单元中的一个或多个单元被阻挡,以阻止光经过以及产生用于所述部分的灰度值。
所述光学掩膜还可包括:衰减图案包括2D非谐波图案。
所述光学掩膜还可包括:通过组合两个或多个余弦信号来设计所述非谐波图案,所述余弦信号有具有非谐波特征的和。
所述光学掩膜还可包括:通过组合两个或多个正弦信号来设计所述非谐波图案,所述正弦信号有具有非谐波特征的和。
所述光学掩膜还可包括:通过组合余弦信号和正弦信号的组合来设计所述非谐波图案,所述余弦信号和正弦信号的组合有具有非谐波特征的和。
所述光学掩膜还可包括:衰减图案还被配置为在低角度频率区域获得较多空间数据并在高角度频率区域获得较少空间数据。
其他特点和方面从以下描述、附图和权利要求会是清楚的。
附图说明
图1是示出光场数据处理器的示例的示图。
图2是示出非谐波调制器(non-harmonic modulator)的示例的示图。
图3是示出应用到单元图案的灰度调整方法的示例的示图。
图4是示出非谐波调制器的横断面视图的示例的示图。
图5是示出关于由非谐波调制器获得的频率响应的光谱复制的示例的示图。
图6是示出从将傅里叶变换应用到由光场数据处理器获得的二维(2D)信号而获得的图像的示例的示图。
图7是示出解调光场频谱来恢复光场数据的处理的示例的示图。
图8是示出从将补零应用到图6中显示的图像而获得的图像的示例的示图。
贯穿附图及说明书,除非另有描述,否则相同的附图标号应该被理解为是指相同的元件、特征和结构。为了清楚、说明和方便的目的,可夸大这些元件的相对大小和描述。
具体实施方式
提供以下描述来帮助读者获得对在此描述的方法、设备和/或***更充分地理解。因此,可对本领域的普通技术人员建议这里描述的方法、设备和/或***的各种改变、修改和等同物。描述的处理步骤和/或操作的进行是示例;然而,除非步骤和/或操作必需按特定顺序发生,否则步骤和/或操作的顺序不限于在此所阐述的,并可如本领域中所公知的被改变。此外,为了更加清楚和简明,可省略公知功能和构造的描述。
图1示出光场数据处理器的示例。
参照图1,光场数据处理器100包括透镜110、调制器120、传感器130和数据处理器140。光场数据处理器100可以是相机或具有相机的电子装置,例如,个人计算机、移动终端等。
对象或场景105的图像可经由透镜110并经由调制器120而获得,并可被传递到传感器130,在传感器130,所述图像被传感器130感测为光场数据。
调制器120包括衰减图案(attenuation pattern)来空间地调制形成的图像的四维(4D)光场。所述衰减图案可通过频域中的空间调制产生包括二维(2D)信号的频率响应。所述2D信号可取决于位置。例如,衰减图案可通过频域中的空间调制使频率响应的位置不均匀。调制器120可沿光轴排列。在该示例中,调制器120位于透镜100与传感器130之间。然而,应该理解,调制器120可安装在传感器130上。
传感器130可包括多个像素元件。传感器130获得2D信号的空间调制的4D光场。光场数据可存储在预定存储器(未示出)。
当由传感器130感测的空间调制的图像经过傅里叶变换时,图像信息可被变换到频域。换句话说,可通过处理由传感器130感测的空间调制的图像来恢复原始光场数据。
该处理与这样的传输方案类似,在所述传输方案中基带信号被调制为使用载波信号的高频信号,然后在没有能量损耗的情况下被发送到的边远地区。接收器对调制的信号解调来恢复基带信号。该方法被广泛的用于各种无线电/通信***。因此,应该理解,光场数据处理器100被设计来将传输方案应用到光域。
用于空间地调制光场的现有调制器在频域中空间数据针对取向数据的每个频带具有相同的带宽的假设下被设计。因此,通过这样的现有的调制器创建的频率响应对空间数据以均匀间隔出现。
然而,当光场数据的图像信息被变换到频域时,发生频域越高,空间数据越少的现象。考虑到这种现象,调制器120可被配置使2D数据的频率响应取决于位置,降低获得相对较少空间数据的高角度频率区域的空间分辨率。此外,调制器可被用来增加获得相对较多空间数据的低角度频率区域的空间分辨率。
针对该处理,调制器120可具有2D非谐波图案。可通过组合两个或多个余弦信号来设计2D非谐波图案,所述余弦信号的和具有非谐波特征。参照图2、3和4描述调制器120的示例。
再次参照图1,透镜110、调制器120和传感器130可集成在一个光场数据获得单元。
数据处理器140使用2D信号恢复4D光场数据。例如,数据处理器140将傅里叶变换应用到由传感器130感测的2D信号来获得2D区块(tile),然后对2D区块中的至少一个执行补零以将2D区块的大小调整至均匀。数据处理器140将经过补零的2D区块重配置为4D区块堆(stack),并将傅里叶反变换应用到4D区块堆,恢复4D光场数据。
例如,数据处理器140可执行补零来使2D区块具有与最大区块的大小相同的大小。最大区块可与低角度频率区域中的空间数据对应,在所述低角度频率区域,较多信息存在于光场数据中。
数据处理器140可根据现有4D光场数据处理方法,使用恢复的4D光场数据创建来自相应图像的至少一个角度的查看图像或处于不同深度的重聚焦图像。可选择地,数据处理器140可使用恢复的4D光场数据创建高分辨率图像。此外,数据处理器140可收集查看图像来创建立体三维(3D)图像。因此,图像处理器140可按各种方式执行图像处理。
光场数据处理器100还可包括:显示器,显示处理过的图像;发送器,将图像数据发送到其他电子装置。
图2示出非谐波调制器的示例。
在图2中,左部分是显示调制器120的非谐波图案的一维版本(version),右部分是显示非谐波图案的二维版本。例如,可通过组合多个余弦信号(例如,四个余弦信号)来产生非谐波图案。作为另一示例,可通过组合多个正弦信号来产生非谐波图案。作为又一示例,可通过组合余弦信号和正弦信号的组合来产生非谐波图案。
图3示出应用到单元图案的灰度调整控制方法的示例。
现有相关技术以将化学溶液施加到胶片的这种方式形成衰减图案。然而,利用化学溶液和胶片用于图案形成的方法在形成纳米(即,微米(μm))级的精细图案方面有困难。
为了提供用于准确的灰度呈现的具有精确衰减图案的调制器,调制器120可利用使用纳米处理制造的金属掩膜。如在此所描述的,衰减图案或掩膜可包括以纳米相隔的单元,以提高图像的光谱分辨率。例如,所述单元可被隔开0.05μm、0.1μm、0.5μm、1.0μm、2.5μm、5μm、10μm、25μm或其他需要的距离量。例如,所述单元可在大约0.1μm至10μm范围内被隔开。
衰减图案可被配置为通过将它的单元图案划分为多个部分,并屏蔽所述部分的一个或多个单元来产生多个灰度值。例如,单元图案可包括一个或多个像素或传感器(例如,2个传感器、5个传感器、12个传感器、25个传感器、50个传感器等)。每个单元图案可被划分为大量部分。每个部分可包括多个单元(例如,2个单元、5个单元、15个单元、30个单元、60个单元等)。为了产生灰度,可在允许一些单元使光通过时阻挡一些单元。
图3示出具有不同灰度值的三个部分310、310和330。如图3所示,部分310被全部屏蔽以产生近似“0”的灰度值,部分320被半屏蔽以产生近似“0.5”的灰度值并且部分330不被屏蔽以产生近似“1”的灰度值。
如320所示,传感器区域可被划分为具有大量单元的多个部分。在该示例中,所述部分包括25个单元。为了产生灰度值,掩膜能够阻挡所述单元中的一个或多个,以阻止光通过。例如,掩膜可阻挡25个单元中的13个单元来产生近似“0.5”的灰度值。应该理解,灰度值“0.5”仅是示例的目的。灰度值可被调制到任何需要的值。
图4示出非谐波调制器的横断面示图的示例。
调制器120可包括透明层410和安装在透明层410上的金属层420。金属层420可被形成为衰减图案来将穿过透明层410的光削弱为不同程度。通过利用调制器120可获得正确的光场数据。
图5示出关于通过非谐波调制器获得的频率响应的光谱复制的示例。
图5示出当利用一维(1D)传感器时,在2D光场空间(即,一个空间维度x和一个角度维度θ)通过非谐波调制器120形成的光谱复制。在图5显示的示例中,fx表示关于空间维度x的频域中的维度,fθ表示关于角度维度θ的频域中的维度。
fx和fθ两者具有带宽限制,并且沿fx轴表示的条带(slice)(虚线框)510与由传感器(例如,图1的传感器130)感测的图像对应。在该示例中,由调制器120通过光场空间调制产生的频率响应是如图5所示的脉冲。
当光场被调制器120空间地调制时,每个脉冲在其中心频率形成光场的光谱复制。因此,如图5所示,光场的多个光谱复制沿斜线501排列。
调制的光场频谱的条带510包括关于其原始光场的信息。可根据由θ维度和x维度需要的频率分辨率以及接收的光场的带宽来确定斜线501相对于fx轴的倾斜角度。
参照图5,每个区块表示光场数据。当光场被非谐波调制器120调制时,如图5所示,2D信号的频率响应变成取决于位置。因此,空间数据的带宽也变得不均匀。调制器120可被配置为按这样的方式来获得光场数据,所述方法在低角度频率区域获得较高空间分辨率并在高角度频率区域获得较低空间分辨率。
图6示出从将傅里叶变换应用到由光场数据处理器获得的2D信号而获得的图像的示例。
可通过将傅里叶变换应用到由传感器130感测的2D信号来获得图像610。如图6中示出的图像610所示,非谐波调制器120在图像610的低角度频率区域(中心部分)获得较多空间数据,在图像610的高角度频率区域(边缘部分)获得较少空间数据。
图7示出对光场频谱解调来恢复光场数据的处理的示例。
当提供有1D传感器并且处理了2D光场数据时,对光场频谱解调的处理可被用来将感测的1D信号的能量重新分布在2D光场空间。
在图7中,由虚线表示的框710表示通过将补零应用到图5中显示的条带510而获得的结果。
(由箭头表示的)解调处理重新排列由1D传感器感测的频率响应以恢复带限光场数据720。恢复光场数据的该处理还可被应用到将由2D传感器感测的2D信号恢复为4D光场数据。
高角度频率区域中的空间数据可经过补零以具有与低角度频率区域中的空间数据相同大小,将空间数据解调为4D光场数据。可将傅里叶反变换应用到解调的信号,获得具有彻底改善的空间分辨率的图像。
图8示出从将补零应用到图6中显示的图像而获得的图像的示例。图8中显示的图像与通过执行补零的2D传感器感测的信号(见图6)而获得的结果对应。
例如,因为通过调制器获得光场数据,所以可创建具有改善的空间分辨率的图像,所述调制器使用非谐波图案在频域中空间地调制光场来使2D信号的频率响应取决于位置。以上描述的示例涉及静止图像。然而,应该理解,非谐波调制器也可应用到运动图像。此外,调制器的衰减图案可被应用到多视点图像和运动画面图像来产生3D画面。
如在此所描述的,可通过非谐波衰减图案(例如,金属掩膜)削弱光场。因此,可执行图像的非均匀采样来放弃或抛弃不必需的数据,以改善传感器的使用并提高图像的空间分辨率的质量。使用纳米级分辨率(例如,包括以纳米相隔的单元的金属掩膜)能够克服传统文件或LCD屏幕中的限制。
上述处理、功能、方法和/或软件可被记录、存储或固定在一个或多个计算机可读存储介质中,所述计算机可读存储介质包括将被计算机执行以使处理器完成或执行所述程序指令的程序指令。所述介质还可包括程序指令、数据文件、数据结构等或其组合。所述介质和程序指令可以是那些被空间地设计和构造的介质和程序指令,或者它们可以是对那些计算机软件领域的技术人员而言公知的和可用的介质和程序指令。计算机可读存储介质的示例包括磁介质(例如,硬盘、软盘和磁带);光介质(例如,CD-ROM盘和DVD);磁光介质(例如,光盘);以及被专门地配置为存储和执行程序指令的硬件装置(例如,只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。程序指令的示例包括机器代码(例如,由编译器产生的机器代码)和包含由计算机使用翻译器可执行的高级代码的文件。描述的硬件装置可被配置为用作一个或多个软件模块以执行上述操作和方法,反之亦然。此外,所述计算机可读存储介质可分布于通过网络连接的计算机***,并且计算机可读代码或程序指令可以以分布式方式被存储和执行。
仅作为不完全的阐述,在此描述的终端装置可指与在此所公开的一致的能够进行无线通信或网络通信的移动装置(例如,手机、个人数字助理(PDA)、数字相机、便携式游戏机、MP3播放器、便携式/个人多媒体播放器(PMP)、手持电子书、便携式膝上型和/或平板个人计算机(PC)、全球定位***(GPS)导航)以及诸如桌上型PC、高清电视(HDTV)、光盘播放器、机顶盒等的装置。
计算***或计算机可包括与总线、用户接口和存储器控制器电连接的微处理器。它还可包括闪存装置。所述闪存装置可经由存储器控制器存储N比特数据。所述N比特数据被微处理器处理或将被微处理器处理,并且N可以是1或大于1的整数。在计算***或计算机是移动设备的情况下,可额外地通过电池来供应计算***或计算机的操作电压。
本领域的普通技术人员应该理解,计算***或计算机还可包括应用芯片集、相机图像处理器(CIS)、移动动态随机存取存储器(DRAM)等。存储器控制器和闪存装置可组成使用非易失性存储器存储数据的固态驱动器/盘(SSD)。
在此使用的术语“像素”是指包含用于将光子转换为电变化的至少一个光传感器的光电管单位单元。仅作为非限制示例,每个像素的检测器或光传感器可被实现为针形光电二极管、p-n结光电二极管、肖特基光电二极管、光电管或其他合适的光电转换装置或可积累和/或存储光电荷的装置。
以上描述了大量示例。然而,应该理解,可进行各种修改。例如,如果按不同顺序执行描述的技术和/或在描述的***、架构、装置或电路中的组件按不同方式和/或被其他组件或其等同物代替和补充,可达到合适的效果。因此,其他执行方案在权利要求的范围内。
Claims (33)
1.一种用于获得光场数据来创建图像的设备,所述设备包括:
调制器,所述调制器包括衰减图案,所述衰减图案被配置为在频域中空间地调制四维4D光场图像;
传感器,配置为获得空间地调制的4D光场的二维2D信号,
其中,衰减图案被配置为通过频域中的空间调制,产生取决于位置的2D信号的非均匀频率响应。
2.如权利要求1所述的设备,其中,所述调制器包括:
透明层;
金属层,所述金属层安装在透明层上,所述金属层形成衰减图案并被配置为将经过透明层的光削弱为不同程度。
3.如权利要求1所述的设备,其中,所述衰减图案被配置为通过以下方法产生多个灰度值,所述方法包括:
将衰减图案的单元图案划分为多个部分,每个部分包括多个单元;
屏蔽每个部分的单元中的一个或多个单元,以产生用于每个部分的灰度。
4.如权利要求1所述的设备,其中,所述衰减图案被配置为在低角度频率区域获得较多空间数据并在高角度频率区域获得较少空间数据。
5.一种用于处理光场数据来创建图像的设备,所述设备包括:
调制器,所述调制器包括衰减图案,所述衰减图案被配置为空间地调制四维4D光场图像;
传感器,配置为获得空间地调制的4D光场的二维2D信号;
数据处理器,配置为使用所述2D信号恢复4D光场数据,
其中,衰减图案还被配置为通过频域中的空间调制产生取决于位置的2D信号的非均匀频率响应,
其中,所述数据处理器将傅里叶变换应用到传感器获得的2D信号以创建2D区块,对2D区块中的至少一个2D区块执行补零以使2D区块的大小均匀,将经过补零的2D区块重配置为4D区块堆,并将傅里叶反变换应用到4D区块堆来恢复4D光场数据。
6.如权利要求5所述的设备,其中,所述调制器包括:
透明层;
金属层,所述金属层安装在透明层上,所述金属层形成衰减图案并被配置为将经过透明层的光削弱为不同程度。
7.如权利要求5所述的设备,其中,所述衰减图案还被配置为通过以下方法产生多个灰度值,所述方法包括:
将衰减图案的单元图案划分为多个部分,每个部分包括多个单元;
屏蔽每个部分的单元中的一个或多个单元,以产生用于每个部分的灰度。
8.如权利要求5所述的设备,其中,所述衰减图案还被配置为在低角度频率区域获得较多空间数据并在高角度频率区域获得较少空间数据。
9.如权利要求5所述的设备,其中,所述数据处理器执行补零,以使2D区块具有与多个2D区块中的最大的2D区块的大小相同的大小。
10.如权利要求5所述的设备,其中,所述数据处理器还被配置为使用恢复的4D光场数据,从来自至少一个角度的查看图像、处于不同深度的重聚焦图像以及高分辨率图像之中创建至少一个图像。
11.一种光场数据处理方法,所述方法由光场数据处理器执行,所述方法包括:
使用具有衰减图案的调制器空间地调制4D光场图像,以获得空间地调制的4D光场的2D信号;
使用所述2D信号恢复4D光场数据,
其中,衰减图案通过频域中的空间调制产生取决于位置的2D信号的非均匀频率响应,
其中,恢复4D光场数据的步骤包括:
将傅里叶变换应用到2D信号以获得2D区块;
对2D区块中的至少一个2D区块执行补零以使2D区块的大小均匀;
将经过补零的2D区块重配置为4D区块堆;
对4D区块堆执行傅里叶反变换来恢复4D光场数据。
12.如权利要求11所述的光场数据处理方法,其中,以这种方式执行补零,2D区块具有与多个2D区块中的最大的2D区块的大小相同的大小。
13.如权利要求11所述的光场数据处理方法,还包括:使用恢复的4D光场数据,从来自场景的至少一个角度的查看图像、处于不同深度的重聚焦图像以及高分辨率图像之中创建至少一个图像。
14.一种用于在频域中空间地调制光场的调制器,所述调制器包括:
透明层;
金属层,所述金属层安装在透明层上,所述金属层形成衰减图案并被配置为将经过透明层的光削弱为不同程度,
其中,衰减图案被配置为通过频域中的空间调制产生取决于位置的二维2D信号的非均匀频率响应。
15.如权利要求14所述的调制器,其中,所述衰减图案还被配置为通过以下方法产生多个灰度值,所述方法包括:
将衰减图案的单元图案划分为多个部分,每个部分包括多个单元;
屏蔽每个部分的单元中的一个或多个单元,以产生用于每个部分的灰度。
16.如权利要求14所述的调制器,其中,所述衰减图案还被配置为在低角度频率区域获得较多空间数据并在高角度频率区域获得较少空间数据。
17.一种图像处理设备,包括:
数据获得单元,配置为接收四维4D光场图像,并通过频域中的空间调制产生多个非均匀二维2D频率响应信号;
处理器,配置为处理多个感测的非均匀2D频率响应信号来产生4D光场数据,
其中,所述处理器将傅里叶变换应用到数据获得单元获得的非均匀2D频率响应信号以创建2D区块,对2D区块中的至少一个2D区块执行补零以使2D区块的大小均匀,将经过补零的2D区块重配置为4D区块堆,并将傅里叶反变换应用到4D区块堆来恢复4D光场数据。
18.如权利要求17所述的图像处理设备,其中,所述数据获得单元包括:调制器,包括非谐波衰减图案,所述非谐波衰减图案被配置为将经过的光削弱为多个非均匀2D频率响应信号。
19.如权利要求18所述的图像处理设备,其中:
数据获得单元还包括:透镜和配置为感测非均匀2D频率响应信号的多个传感器;
调制器位于透镜和多个传感器之间。
20.如权利要求19所述的图像处理设备,其中:
多个传感器被划分为多个部分;
每个部分包括多个单元;
非谐波衰减图案还被配置为阻挡一个部分的一个或多个单元以产生用于所述部分的灰度值。
21.如权利要求18所述的图像处理设备,其中,通过组合两个或多个余弦信号来设计非谐波图案,所述余弦信号有具有非谐波特征的和。
22.如权利要求18所述的图像处理设备,其中,通过组合两个或多个正弦信号来设计非谐波图案,所述正弦信号有具有非谐波特征的和。
23.如权利要求18所述的图像处理设备,其中,通过组合余弦信号和正弦信号的组合来设计非谐波图案,所述余弦信号和正弦信号的组合有具有非谐波特征的和。
24.如权利要求18所述的图像处理设备,其中,衰减图案还被配置为在存在较多空间数据的低角度频率区域获得较多空间数据并在存在较少空间数据的高角度频率区域获得较少空间数据。
25.如权利要求17所述的图像处理设备,其中,补零的结果是:所述2D区块具有与多个2D区块中的最大的2D区块的大小相同的大小。
26.一种在四维4D图像的处理中使用的光学掩膜,所述光学掩膜包括:
透明层;
附于所述透明层的金属层,并且所述金属层包括被配置为进行以下处理的衰减图案:
接收四维4D光场图像;
通过频域的空间调制将经过的4D光图像削弱为多个非均匀二维2D频率响应信号。
27.如权利要求26所述的光学掩膜,其中,所述衰减图案包括多个部分,所述部分包括多个单元,使得每个单元在0.1μm至10μm的范围内被隔开。
28.如权利要求27所述的光学掩膜,其中,一个部分的单元中的一个或多个单元被阻挡,以阻止光经过以及产生用于所述部分的灰度值。
29.如权利要求26所述的光学掩膜,其中,衰减图案包括2D非谐波图案。
30.如权利要求29所述的光学掩膜,其中,通过组合两个或多个余弦信号来设计非谐波图案,所述余弦信号有具有非谐波特征的和。
31.如权利要求29所述的光学掩膜,其中,通过组合两个或多个正弦信号来设计非谐波图案,所述正弦信号有具有非谐波特征的和。
32.如权利要求29所述的光学掩膜,其中,通过组合余弦信号和正弦信号的组合来设计非谐波图案,所述余弦信号和正弦信号的组合有具有非谐波特征的和。
33.如权利要求26所述的光学掩膜,所述衰减图案还被配置为在低角度频率区域获得较多空间数据并在高角度频率区域获得较少空间数据。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR10-2009-0089780 | 2009-09-22 | ||
KR1020090089780A KR101600010B1 (ko) | 2009-09-22 | 2009-09-22 | 모듈레이터, 모듈레이터를 이용한 광 필드 데이터 획득 장치, 모듈레이터를 이용한 광 필드 데이터 처리 장치 및 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102026011A CN102026011A (zh) | 2011-04-20 |
CN102026011B true CN102026011B (zh) | 2015-02-18 |
Family
ID=43063265
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010288391.3A Active CN102026011B (zh) | 2009-09-22 | 2010-09-19 | 获得光场数据的设备以及处理光场数据的设备和方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8442397B2 (zh) |
EP (1) | EP2309718B1 (zh) |
JP (1) | JP2011071981A (zh) |
KR (1) | KR101600010B1 (zh) |
CN (1) | CN102026011B (zh) |
Families Citing this family (53)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10298834B2 (en) | 2006-12-01 | 2019-05-21 | Google Llc | Video refocusing |
KR101756910B1 (ko) * | 2010-05-11 | 2017-07-26 | 삼성전자주식회사 | 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법 |
WO2013058735A1 (en) | 2011-10-18 | 2013-04-25 | Hewlett-Packard Development Company, L.P. | Depth mask assisted video stabilization |
US8948545B2 (en) * | 2012-02-28 | 2015-02-03 | Lytro, Inc. | Compensating for sensor saturation and microlens modulation during light-field image processing |
US9160900B2 (en) | 2012-02-29 | 2015-10-13 | Canon Kabushiki Kaisha | Systems and methods for compressive light sensing using multiple spatial light modulators |
US8581929B1 (en) * | 2012-06-05 | 2013-11-12 | Francis J. Maguire, Jr. | Display of light field image data using a spatial light modulator at a focal length corresponding to a selected focus depth |
US9858649B2 (en) | 2015-09-30 | 2018-01-02 | Lytro, Inc. | Depth-based image blurring |
FR2994735B1 (fr) * | 2012-08-22 | 2014-08-01 | Onera (Off Nat Aerospatiale) | Procede et dispositif d'imagerie telemetrique |
US9380221B2 (en) * | 2013-02-27 | 2016-06-28 | Massachusetts Institute Of Technology | Methods and apparatus for light field photography |
US10334151B2 (en) | 2013-04-22 | 2019-06-25 | Google Llc | Phase detection autofocus using subaperture images |
US9628684B2 (en) | 2013-12-24 | 2017-04-18 | Lytro, Inc. | Light-field aberration correction |
EP3001672A1 (en) * | 2014-09-25 | 2016-03-30 | Thomson Licensing | Plenoptic camera comprising a spatial light modulator |
US9625632B2 (en) * | 2015-03-31 | 2017-04-18 | Sony Corporation | Camera, optical system and interchangeable lens with birefringent device |
US10565734B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline |
US10419737B2 (en) | 2015-04-15 | 2019-09-17 | Google Llc | Data structures and delivery methods for expediting virtual reality playback |
US10440407B2 (en) | 2017-05-09 | 2019-10-08 | Google Llc | Adaptive control for immersive experience delivery |
US10469873B2 (en) | 2015-04-15 | 2019-11-05 | Google Llc | Encoding and decoding virtual reality video |
US10341632B2 (en) | 2015-04-15 | 2019-07-02 | Google Llc. | Spatial random access enabled video system with a three-dimensional viewing volume |
US10275898B1 (en) | 2015-04-15 | 2019-04-30 | Google Llc | Wedge-based light-field video capture |
US10540818B2 (en) | 2015-04-15 | 2020-01-21 | Google Llc | Stereo image generation and interactive playback |
US10546424B2 (en) | 2015-04-15 | 2020-01-28 | Google Llc | Layered content delivery for virtual and augmented reality experiences |
US10444931B2 (en) | 2017-05-09 | 2019-10-15 | Google Llc | Vantage generation and interactive playback |
US10412373B2 (en) | 2015-04-15 | 2019-09-10 | Google Llc | Image capture for virtual reality displays |
US11328446B2 (en) | 2015-04-15 | 2022-05-10 | Google Llc | Combining light-field data with active depth data for depth map generation |
US10567464B2 (en) | 2015-04-15 | 2020-02-18 | Google Llc | Video compression with adaptive view-dependent lighting removal |
EP3112920A1 (en) * | 2015-06-30 | 2017-01-04 | Thomson Licensing | Plenoptic camera comprising an anti-vignetting optical filter and method f controlling the same |
US9979909B2 (en) | 2015-07-24 | 2018-05-22 | Lytro, Inc. | Automatic lens flare detection and correction for light-field images |
CN105208373B (zh) * | 2015-09-16 | 2017-04-12 | 西安建筑科技大学 | 一种基于光场压缩采样的通用集成成像记录装置 |
CN105704476B (zh) * | 2016-01-14 | 2018-03-20 | 东南大学 | 一种基于边缘修复的虚拟视点图像频域快速获取方法 |
US10275892B2 (en) | 2016-06-09 | 2019-04-30 | Google Llc | Multi-view scene segmentation and propagation |
WO2018014046A1 (en) * | 2016-07-15 | 2018-01-18 | Light Field Lab, Inc. | Encoded energy waveguides for holographic super resolution |
EP3485322A4 (en) | 2016-07-15 | 2020-08-19 | Light Field Lab, Inc. | SELECTIVE PROPAGATION OF ENERGY IN A LUMINOUS FIELD AND HOLOGRAPHIC WAVE GUIDE NETWORKS |
WO2018064502A1 (en) * | 2016-09-30 | 2018-04-05 | Visbit Inc. | View-optimized light field image and video streaming |
US10679361B2 (en) | 2016-12-05 | 2020-06-09 | Google Llc | Multi-view rotoscope contour propagation |
CN108206901B (zh) * | 2016-12-16 | 2020-09-22 | 深圳超多维科技有限公司 | 一种光场相机 |
CN108206902B (zh) * | 2016-12-16 | 2020-09-22 | 深圳超多维科技有限公司 | 一种光场相机 |
US10594945B2 (en) | 2017-04-03 | 2020-03-17 | Google Llc | Generating dolly zoom effect using light field image data |
US10474227B2 (en) | 2017-05-09 | 2019-11-12 | Google Llc | Generation of virtual reality with 6 degrees of freedom from limited viewer data |
US10354399B2 (en) | 2017-05-25 | 2019-07-16 | Google Llc | Multi-view back-projection to a light-field |
WO2019014847A1 (zh) * | 2017-07-18 | 2019-01-24 | 辛特科技有限公司 | 一种利用透镜分时还原光场的方法 |
US10545215B2 (en) | 2017-09-13 | 2020-01-28 | Google Llc | 4D camera tracking and optical stabilization |
CN115946343A (zh) | 2018-01-14 | 2023-04-11 | 光场实验室公司 | 能量场三维打印*** |
TWI771555B (zh) | 2018-01-14 | 2022-07-21 | 美商光場實驗室公司 | 全像及繞射光學編碼系統 |
AU2019206621A1 (en) | 2018-01-14 | 2020-07-30 | Light Field Lab, Inc. | Systems and methods for transverse energy localization in energy relays using ordered structures |
US10965862B2 (en) | 2018-01-18 | 2021-03-30 | Google Llc | Multi-camera navigation interface |
WO2020023669A1 (en) | 2018-07-25 | 2020-01-30 | Light Field Lab, Inc. | Light field display system based amusement park attraction |
US10904479B2 (en) | 2019-03-12 | 2021-01-26 | Light Field Lab, Inc. | Video communication including holographic content |
US11212514B2 (en) | 2019-03-25 | 2021-12-28 | Light Field Lab, Inc. | Light field display system for cinemas |
US11428933B2 (en) | 2019-05-13 | 2022-08-30 | Light Field Lab, Inc. | Light field display system for performance events |
CA3150016A1 (en) | 2019-08-09 | 2021-02-18 | Light Field Lab, Inc. | Light field display system based digital signage system |
EP4022390A4 (en) | 2019-08-26 | 2023-08-23 | Light Field Lab, Inc. | LIGHT FIELD DISPLAY SYSTEM FOR SPORTS EVENTS |
CN113489924A (zh) * | 2021-07-14 | 2021-10-08 | 长春长光奥闰光电科技有限公司 | 成像方法 |
CN115185100B (zh) * | 2022-06-22 | 2023-08-04 | 成都飞机工业(集团)有限责任公司 | 一种加密点阵式光场的生成方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101430426A (zh) * | 2007-02-06 | 2009-05-13 | 三菱电机株式会社 | 用于获取场景的4d光场的设备和方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05127366A (ja) * | 1991-11-06 | 1993-05-25 | Olympus Optical Co Ltd | ハーフトーンパターン形成装置 |
US6842297B2 (en) | 2001-08-31 | 2005-01-11 | Cdm Optics, Inc. | Wavefront coding optics |
KR20060115961A (ko) | 2003-05-13 | 2006-11-13 | 익시이드 이미징 리미티드 | 이미지 해상도를 향상시키기 위한 광학적 방법 및 시스템 |
US20060204861A1 (en) * | 2005-03-14 | 2006-09-14 | Eyal Ben-Eliezer | Optical mask for all-optical extended depth-of-field for imaging systems under incoherent illumination |
JP2006319932A (ja) | 2005-05-11 | 2006-11-24 | Kazutora Yoshino | 多次元入力、出力、転送、任意のメモリ、及び、産出高比例法 |
JP5040493B2 (ja) | 2006-12-04 | 2012-10-03 | ソニー株式会社 | 撮像装置及び撮像方法 |
US8019215B2 (en) * | 2007-08-06 | 2011-09-13 | Adobe Systems Incorporated | Method and apparatus for radiance capture by multiplexing in the frequency domain |
KR101563728B1 (ko) * | 2009-01-30 | 2015-10-27 | 삼성전자 주식회사 | 가변 모듈레이터를 이용한 다중시야 광필드 데이터 획득장치 및 그 방법 |
-
2009
- 2009-09-22 KR KR1020090089780A patent/KR101600010B1/ko active IP Right Grant
-
2010
- 2010-09-17 EP EP10177269.7A patent/EP2309718B1/en active Active
- 2010-09-17 JP JP2010208935A patent/JP2011071981A/ja active Pending
- 2010-09-17 US US12/885,136 patent/US8442397B2/en active Active
- 2010-09-19 CN CN201010288391.3A patent/CN102026011B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101430426A (zh) * | 2007-02-06 | 2009-05-13 | 三菱电机株式会社 | 用于获取场景的4d光场的设备和方法 |
Also Published As
Publication number | Publication date |
---|---|
US20110069324A1 (en) | 2011-03-24 |
JP2011071981A (ja) | 2011-04-07 |
KR101600010B1 (ko) | 2016-03-04 |
KR20110032345A (ko) | 2011-03-30 |
EP2309718B1 (en) | 2016-04-20 |
CN102026011A (zh) | 2011-04-20 |
EP2309718A1 (en) | 2011-04-13 |
US8442397B2 (en) | 2013-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102026011B (zh) | 获得光场数据的设备以及处理光场数据的设备和方法 | |
EP3134868B1 (en) | Generation and use of a 3d radon image | |
US10116867B2 (en) | Method and apparatus for displaying a light field based image on a user's device, and corresponding computer program product | |
CN101356546B (zh) | 图像高分辨率化装置、方法及*** | |
US9048153B2 (en) | Three-dimensional image sensor | |
CN102521814B (zh) | 基于多聚焦融合和图像拼接的无线传感网络图像融合方法 | |
CN101894364B (zh) | 基于光学非下采样轮廓波变换的图像融合方法和装置 | |
CN106256124B (zh) | 结构化立体 | |
KR20110124701A (ko) | 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법 | |
US20120201477A1 (en) | Kinetic Super-Resolution Imaging | |
WO2019033673A1 (zh) | 海域全景监控方法、装置、服务器及*** | |
US10762612B2 (en) | Method and an apparatus for generating data representative of a pixel beam | |
CN104025151A (zh) | 用于创建组合图像的方法和电子装置 | |
US10341546B2 (en) | Image processing apparatus and image processing method | |
KR20200074101A (ko) | 촬상 장치 및 방법, 및, 화상 처리 장치 및 방법 | |
WO2019078336A1 (ja) | 撮像装置および信号処理装置 | |
CN109716350B (zh) | 光学采集装置和电子设备 | |
CN110324513A (zh) | 摄像装置,摄像模块和摄像方法 | |
US20190101765A1 (en) | A method and an apparatus for generating data representative of a pixel beam | |
US10306146B2 (en) | Image processing apparatus and image processing method | |
CN110198391A (zh) | 摄像装置、摄像方法和图像处理装置 | |
CN103390370A (zh) | 行车记录器及其录像影像嵌入电子地图画面的应用方法 | |
US10453183B2 (en) | Image processing apparatus and image processing method | |
Maesen et al. | Omnidirectional free viewpoint video using panoramic light fields | |
Varghese | Angle sensitive imaging: A new paradigm for light field imaging |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |