CN107018293A - 生成表示光场的数据的方法和装置 - Google Patents

生成表示光场的数据的方法和装置 Download PDF

Info

Publication number
CN107018293A
CN107018293A CN201610825429.3A CN201610825429A CN107018293A CN 107018293 A CN107018293 A CN 107018293A CN 201610825429 A CN201610825429 A CN 201610825429A CN 107018293 A CN107018293 A CN 107018293A
Authority
CN
China
Prior art keywords
data
ray
light field
pixel
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610825429.3A
Other languages
English (en)
Other versions
CN107018293B (zh
Inventor
V.德拉齐克
L.布朗德
A.舒伯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN107018293A publication Critical patent/CN107018293A/zh
Application granted granted Critical
Publication of CN107018293B publication Critical patent/CN107018293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/34—Systems for automatic generation of focusing signals using different areas in a pupil plane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0007—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20061—Hough transform
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

生成表示光场的数据的方法和装置。在市场上可得到若干类型的全光器件设备和相机阵列，并且所有这些光场获取设备具有它们的专有文件格式。然而，没有支持获取并传输多维信息的标准。关注于获得关于光学获取***的传感器的像素与光学获取***的物空间之间的对应性的信息。实际上，获知像素属于光学获取***的传感器正在感测的光学获取***的物空间的哪个部分使得能够改进信号处理操作。因此引入表示相机的光学***的物空间中的光射线集合所占据的体积的像素束的概念以及用于存储这样的信息的紧凑格式。

Description

生成表示光场的数据的方法和装置
技术领域
本发明涉及表示光场的数据的生成。
背景技术
在Anat Levin等人的文章“Understanding camera trade-offs through aBayesian analysis of light_field projections”(发表于ECCV 2008的会议录)中说明了可以被视为四维或4D光场的采样(即光射线的记录)的4D光场数据的获取，这是一个热门的研究主题。
与从相机所获得的经典的二维或2D图像相比，4D光场数据使得用户能够使用增强呈现图像的呈现以及与用户的交互性的更多的后处理特征。例如，通过4D光场数据，能够用自由选择的聚焦距离来执行图像的重新聚焦(这意味着焦平面的位置可以被指定/选择为后验)以及稍微地改变图像的场景中的视点。为了获取4D光场数据，可以使用若干技术。例如，全光(plenoptic)相机能够获取4D光场数据。在图1A中提供全光相机的架构的细节。图1A是示意性地表示全光相机100的图。全光相机100包括：主透镜101；微透镜阵列102，其包括以二维阵列布置的多个微透镜103；以及图像传感器104。
获取4D光场数据的另一种方式是使用图1B中所示的相机阵列。图1B表示多阵列相机110。多阵列相机110包括透镜阵列112和图像传感器114。
在如图1A所示的全光相机100的示例中，主透镜101从主透镜101的物场中的对象(图中未示出)接收光，并且使光经过主透镜101的图像场。
最后，获取4D光场的另一种方式是使用被配置为在不同的焦平面捕获同一场景的2D图像序列的传统相机。例如，J.-H.Park等人的文献“Light ray field capture usingfocal plane sweeping and its optical reconstruction using 3D displays”(于2014年10月发表于OPTICS EXPRESS第22卷第21号)中所描述的技术可以用于通过传统的相机来实现4D光场数据的获取。
存在用以表示4D光场数据的若干方式。实际上，Ren Ng的题为“Digital LightField Photography”(发表于2006年7月)的博士学位论文的第3.3章中描述了表示4D光场数据的三种不同的方式。第一，当由全光相机记录时，4D光场数据可以由微透镜图像的集合来表示。该表示中的4D光场数据被称为原始数据或原始4D光场数据。第二，当由全光相机或相机阵列记录时，4D光场数据可以由子孔径图像的集合来表示。子孔径图像与从视点所捕获的场景的图像相对应，视点在两个子孔径图像之间稍微不同。这些子孔径图像给出关于所成像的场景的视差和深度的信息。第三，4D光场数据可以由对极(epipolar)图像的集合来表示，例如参见S.Wanner等人的题为“Generating EPI Representation of a 4D LightFields with a Single Lens Focused Plenoptic Camera”的文章(发表于ISVC 2011的会议录)。
光场数据可能占用大量存储空间，这可能使存储难以处理，并且使得处理是不太高效。此外，光场获取器件是极度异质性的。光场相机是不同类型的，例如全光器件或相机阵列。在每种类型内，存在很多差异，诸如不同的光学布置或者不同焦距的微透镜。每个相机具有其自身的专有文件格式。纵览光场所依赖的不同参数，目前没有支持多维信息的获取和传输的标准。因此，不同相机的所获取的光场数据具有格式的多样性。考虑到前述问题而设计出本发明。
发明内容
根据本发明的第一方面，提供一种用于生成数据的计算机实现的方法，所述数据表示光学获取***的传感器的至少一个像素能够通过光学获取***的光瞳(pupil)感测的光射线的集合所占据的光学获取***的物空间中的体积，所述体积被称为像素束，所述方法包括：
从由光学获取设备所捕获的光场数据获得(S803)定义表示像素束的光场射线与多个给定的基准平面的交点的交点数据，所述基准平面与物空间中的不同深度相对应；
获得定义4D射线图中的交点数据的图形表示的射线图参数(S805，S806)；以及
将射线图参数与定义像素束的参数相关联，以提供表示像素束的数据。
根据本发明的实施例，表示像素束的光场射线是经过像素的中心和光瞳的中心的直线，并且定义像素束的参数是物空间中的像素的共轭的位置和大小。
根据本发明的实施例，与光场射线相对应的截距(interception)数据在射线图中图形地表示为数据线，并且射线图参数包括表示数据线的斜率以及数据线与射线图的轴的截距中的至少一个的数据。
根据本发明的实施例，通过应用Radon变换，在2D射线图中检测数据线。
根据本发明的实施例，图形表示提供为单元的矩阵以提供数字数据线，每个数字数据线格式由多个单元即表示线与轴的截距的至少一个第一单元以及能够据以确定线的斜率的至少一个第二单元来定义。
根据本发明的实施例，通过应用Bresenham算法来生成每个数字数据线。
根据本发明的实施例，表示像素束的数据还包括表示对应的光场射线的色彩的色彩数据。
根据本发明的实施例，表示像素束的数据提供为元数据，元数据的首部包括定义2D射线图中的交点数据的图形表示的射线图参数，并且元数据的被摄体包括表示射线的色彩的数据以及定义物空间中的像素的共轭的位置和大小的参数。
本发明的另一目的在于提供元数据的设备，所述元数据用于光学获取***的传感器的至少一个像素能够通过光学获取***的光瞳感测的光射线的集合所占据的光学获取***的物空间中的体积，所述体积被称为像素束，所述设备包括：光场数据获取模块，用于获取光场相机所捕获的光场数据；以及光场数据生成模块，其被配置为：
从所获取的光场数据获得定义表示像素束的光场射线与多个给定的基准平面的交点的交点数据，所述基准平面彼此平行并且与物空间中的不同深度相对应；以及
获得定义2D射线图中的交点数据的图形表示的射线图参数，以提供表示所获取的光场数据的数据；
将射线图参数与定义像素束的参数相关联，以提供表示像素束的数据。
本发明的另一目的涉及一种光场成像设备，包括：
微透镜阵列，其以规则栅格结构来布置；
光电传感器，其被配置为从微透镜阵列捕获在光电传感器上所投影的光，所述光电传感器包括像素集合，每个像素集合光学地与微透镜阵列中的相应的微透镜相关联；以及
根据权利要求9所述的用于提供元数据的设备。
本发明的另一目的涉及一种用于从使用根据权利要求1至8中的任一项所述的方法所获得的光场数据来呈现图像的设备。
根据本发明的另一方面，提供一种数据的数据包，所述数据表示光学获取***的传感器的至少一个像素能够通过光学获取***的光瞳感测的光射线的集合所占据的光学获取***的物空间中的体积，所述体积被称为像素束，所述数据包包括：射线图参数，其定义表示像素束的光场射线的交点数据的以2D射线图的图形表示，所述交点数据定义表示像素束的光场射线与多个给定的基准平面的交点的交点数据，所述基准平面彼此平行并且与物空间中的不同深度相对应；色彩数据，定义表示像素束的光场射线的色彩；以及定义物空间中的像素的共轭的位置和大小的参数。
本发明的元件所实现的一些处理可以是计算机实现的。相应地，这些元件可以采取整体硬件实施例的形式、整体软件实施例的形式(包括固件、常驻软件、微代码等)或者组合软件和硬件方面的实施例的形式(其在本文中一般可以被称为“电路”、“模块”或“***”)。此外，这样的元件可以采取在具有在介质中嵌入的计算机可使用的程序代码的表示的任何有形介质中所嵌入的计算机程序产品的形式。
由于可以通过软件来实现本发明的元件，所以本发明可以实施为计算机可读代码，以便通过任何适合的载体介质提供给可编程装置。有形载体介质可以包括存储介质，诸如软盘、CD-ROM、硬盘驱动器、磁带设备或固态存储器设备等。临时性载体介质可以包括信号，诸如电信号、电子信号、光信号、声信号、磁信号或电磁信号(例如微波或RF信号)。
附图说明
现在将仅通过示例并且参照以下附图来描述本发明的实施例，附图中：
图1A是示意性地表示全光相机的图；
图1B表示多阵列相机；
图2A是根据本发明的实施例的光场相机的功能图；
图2B是根据本发明的实施例的光场数据格式化器和光场数据处理器的功能图；
图3是在光电传感器阵列上所形成的2D光场图像的示例；
图4表示相机的光学***或者光学获取***的物空间中的光射线的集合所占据的体积；
图5表示一个片层(sheet)的双曲面；
图6A和图6B图形地示出根据本发明的一个或多个实施例的用于光场数据的参数化的基准平面的使用；
图7示意性地示出根据本发明的实施例的关于基准平面的光场射线的表示；
图8A是示出根据本发明一个或多个实施例的方法的步骤的流程图；
图8B是示出根据本发明一个或多个实施例的提供光数据格式的设备的模块的功能框图；
图9示意性地示出根据本发明的实施例的用于光场射线的表示的参数；
图10是图形地示出根据本发明的实施例的交点数据的2D射线图；
图11图形地示出根据本发明的实施例的所生成的数字线；
图12图形地示出根据本发明的实施例的所生成的数字线；
图13A至图13C图形地示出根据本发明的实施例的应用于数字线的Radon变换；以及
图14是图形地示出根据本发明的实施例的多个相机的交点数据的2D射线图。
具体实施方式
本领域技术人员将意识到，所述原理的各方面可以实施为***、方法或者计算机可读介质。相应地，所述原理的各方面可以采取整体硬件实施例的形式、整体软件实施例的形式(包括固件、常驻软件、微代码等)或者组合软件和硬件方面的实施例的形式(其在本文中一般可以被称为“电路”、“模块”或“***”)。而且，所述原理的各方面可以采取计算机可读存储介质的形式。可以利用一个或多个计算机可读存储介质的任何组合。
本发明的实施例提供光场数据的格式化，以便进一步处理诸如格式转换、重新聚焦、视点改变和3D图像生成这样的应用。
图2A是根据本发明的实施例的光场相机设备的框图。根据图1A的光场相机，光场相机包括孔径/快门202、主(物)透镜201、微透镜阵列210以及光电传感器阵列220。在一些实施例中，光场相机包括被激活以捕获被摄体或场景的光场图像的快门线。应当意识到，所述功能特征也可以应用于图1B的光场相机。
光电传感器阵列220提供由LF数据获取模块240所捕获的光场图像数据，以便通过光场数据格式化模块250生成光场数据格式和/或通过光场数据处理器255进行处理。根据本发明的实施例，光场数据可以在获取之后以及处理之后以原始数据格式作为子孔径图像或焦栈(focal stack)或者以光场数据格式存储在存储器290中。
在所示的示例中，光场数据格式化模块150和光场数据处理器255部署在或集成到光场相机200中。在本发明其他实施例中，光场数据格式化模块250和/或光场数据处理器255可以提供为光场捕获相机外部的分离组件。分离组件相对于光场图像捕获设备可以是本地的或远程的。应意识到，任何适合的有线或无线协议均可以用于将光场图像数据发送给格式化模块250或光场数据处理器255；例如，光场数据处理器可以经由互联网、蜂窝数据网络、WiFi网络、蓝牙通信协议和/或任何其他适合的手段传送所捕获的光场图像数据和/或其他数据。
根据本发明的实施例，光场数据格式化模块250被配置为生成表示所获取的光场的数据。光场数据格式化模块250可以实现为软件、硬件或其组合。
根据本发明的实施例，光场数据处理器255被配置为对直接从LF数据获取模块240接收到的原始光场图像数据进行操作，例如以生成焦栈或视图矩阵。可以生成所捕获的场景的输出数据(诸如例如静止图像、2D视频流等)。光场数据处理器可以实现为软件、硬件或其组合。
在至少一个实施例中，光场相机200可以还包括用户接口260，以便使用户能够提供用户输入以通过控制器270控制相机100的操作。相机的控制可以包括相机的光学参数(诸如快门速度)的控制或者在可调节的光场相机的情况下的微透镜阵列与光电传感器之间的相对距离或物镜与微透镜阵列之间的相对距离的控制中的一个或多个。在一些实施例中，可以手动地调节光场相机的光学元件之间的相对距离。相机的控制可以还包括相机的其他光场数据获取参数、光场数据格式化参数或光场处理参数的控制。用户接口260可以包括任何适合的用户输入设备(诸如触摸屏、按钮、键盘、指点设备等)。由此，用户接口所接收到的输入可以用于控制和/或配置用于控制数据格式化的LF数据格式化模块250、用于控制所获取的光场数据的处理的LF数据处理器255以及用于控制光场相机200的控制器270。
光场相机包括电源280，诸如一个或多个可更换或可重复充电的电池。光场相机包括存储器290，以便存储所捕获的光场数据和/或所呈现的最终图像或者诸如用于实现本发明的实施例的方法的软件这样的其他数据。存储器可以包括外部存储器和/或内部存储器。在至少一个实施例中，可以在离开相机200的分离的设备和/或位置处提供存储器。在一个实施例中，存储器包括诸如存储棒这样的可拆卸/可交换的存储设备。
光场相机还可以包括显示单元265(例如LCD屏幕)，以便在捕获之前观看在相机前面的场景和/或观看先前所捕获和/或呈现的图像。屏幕265也可以用于对用户显示一个或多个菜单或者其他信息。光场相机还可以包括一个或多个I/O接口295，诸如FireWire或通用串行总线(USB)接口或者用于经由互联网、蜂窝数据网络、WiFi网络、蓝牙通信协议和/或任何其他适合的手段的数据通信的有线或无线通信接口。I/O接口295可以用于与诸如计算机***或显示单元这样的外部设备之间传递数据，诸如表示由根据本发明的实施例的LF数据格式化模块所生成的数据的光场以及诸如原始光场数据这样的光场数据或者LF数据处理器255所处理的数据，以便呈现应用。
图2B是示出光场数据格式化模块250和光场数据处理器253的可能的实现方式的具体实施例的框图。
电路2000包括：存储器2090；存储器控制器2045；以及处理电路2040，其包括一个或多个处理单元(CPU)。一个或多个处理单元2040被配置为运行存储器2090中所存储的各种软件程序和/或指令集，以执行包括光场数据格式化和光场数据处理的各种功能。存储器中所存储的软件组件包括：数据格式化模块(或指令集)2050，用于生成表示根据本发明的实施例的所获取的光数据的数据；以及光场数据处理模块(或指令集)2055，用于处理根据本发明的实施例的光场数据。其他模块可以包括在存储器中，用于光场相机设备的应用，诸如：操作***模块2051，用于控制一般的***任务(例如电源管理、存储器管理)，并且便于设备2000的各个硬件和软件之间的通信；以及接口模块2052，用于控制和管理经由I/O接口端口与其他设备的通信。
图3示出图1A的光电传感器阵列104或图1B的光电传感器阵列114上所形成的2D图像的示例。往往被称为原始4D光场图像的2D图像包括微图像MI的阵列，每个微图像由微透镜阵列102、112中的相应的微透镜(i，j)产生。微图像以通过轴i和j所定义的矩形栅格结构布置在阵列中。微透镜图像可以由相应的微透镜坐标(i，j)所指代。光电传感器104、114的像素PI可以由其空间坐标(x，y)所指代。与给定的像素相关联的4D光场数据可以被指代为(x，y，i，j)。
存在表示(或定义)4D光场图像的若干方式。例如，可以通过先前参照图3所描述的微透镜图像的集合来表示4D光场图像。当由全光相机记录时，4D光场图像也可以由子孔径图像的集合来表示。相同位置的像素所构成的每个子孔径图像选自每个微透镜图像。此外，4D光场图像可以由对极图像集合来表示，其并非像素束的情况。
本发明的实施例基于像素束的概念来提供光场数据的表示。由此，可以考虑格式和光场设备的多样性。实际上，基于射线的格式的一个缺点在于，必须对参数化平面进行采样以反映像素格式和大小。因此，需要与其他数据一起定义采样，以便恢复物理上有意义的信息。
如图4所示，像素束40表示相机的光学***41的物空间中的光射线的集合所占据的体积。光射线的集合由相机的传感器43的像素42通过所述光学***41的光瞳44来感测。相对于射线，可以任意地对像素束40进行采样，因为它们本身传递与物理光射线的能量保留截面相对应的“集光率(étendue)”。
光学***的光瞳被定义为通过所述光学***即相机的透镜所看见的孔径光阑的图像，相机的透镜在所述孔径光阑之前。孔径光阑是限制经过相机的光学***的光量的开口。例如，位于相机透镜前方附近的可调节的光圈是透镜的孔径光阑。可以根据相机的用户希望许可的光量适配的光圈开口的直径来控制通过光圈所许可的光量。例如，使孔径更小减少被许可通过光圈的光量，而增加聚焦的深度。由于透镜的折射作用，光阑的有效大小可以大于或小于其物理大小。规范地说，光瞳是通过相机的光学***的一部分的孔径光阑的图像。
像素束40被定义为当经由入射光瞳44传播通过光学***41时到达给定的像素42的光的射线的光线锥。随着光在自由空间中在直线上行进，这样的像素束40的形状可以由两个部分来定义：一个是像素42的共轭45；另一个是入射光瞳44。像素42由其非空表面以及其敏感度映射来定义。
因此，像素束可以由相机的物空间中的像素42的光瞳54和共轭55这两个要素所支持的如图5所示的一个片层50的双曲面来定义。
一个片层的双曲面是可以支持光的射线的光线锥的概念并且与物理光束的“集光率”的概念兼容的直纹表面(ruled surface)。
在本发明的实施例中，像素束40、50由四个独立参数来定义，即定义在光瞳44、54之前的像素共轭45、55的位置和大小的zP，θx，θy，a。
表示像素束的一个片层的双曲面可以由以下等式来定义：
其中，tx＝tanθx并且ty＝tanθy。
定义像素束40、50的参数的坐标***(x，y，z)的原点O与如图4所示的光瞳44的中心相对应，其中z轴定义与光瞳44、54的表面垂直的方向。
参数θx，θy定义相对于入射光瞳44中心的主射线方向。它们取决于传感器43上的像素42位置以及光学***41的光学元件。更准确地说，参数θx，θy表示定义像素42的共轭45离开光瞳44的中心的方向的剪切角。
参数ZP表示沿着z轴的像素42的共轭45或者像素束40、50的腰线55的距离。
参数a表示像素束40、50的腰线55的半径，c由以下等式给出：
其中，r是光瞳44、54的半径。
针对给定的相机的每个像素束，在所述相机的校准阶段期间实现参数ZP、a和c的值的计算。该校准阶段包括例如运行能够对通过相机的光学***的光射线的传播进行建模的程序。这样的程序例如是光学设计程序，诸如或光学设计程序用于设计并分析光学***。光学设计程序对通过光学***的光的射线的传播进行建模，并且对诸如简单透镜、非球面透镜、梯度率透镜、反射镜和衍射光学元件等光学元件的效果进行建模。
因此，像素束40、50可以由其主射线以及参数ZP、a和c来定义。
然而，像素束40、50的这样的表示占用大量的存储空间，因为用于存储射线的经典的文件格式包括存储3D空间中的位置和方向。
为了提出需要较少的存储空间的用于存储射线的文件格式，用于参数化光场辐射的四个维度的方法可以参照图6A所示的立方体。立方体的所有六个面可以被用于对光场进行参数化。为了对方向进行参数化，可以添加与立方体面平行的第二组平面。由此，光场可以参照具有沿着轴方向的法线的六对平面而被定义为：
图6B示出经过用于参数化的两个基准平面P1和P2的光场射线，两个基准平面P1和P2彼此平行并且分别位于已知深度z1和z2处。光场射线在交叉点(x1、y1)处与处于深度z1处的第一基准平面P1相交，并且在交叉点(x2，y2)处与处于深度z2处的第二基准平面P2相交。由此，光场射线可以由四个坐标(x1，y1，x2，y2)来标识。因此，光场可以由用于参数化的一对基准平面P1、P2(在本文中也被称为参数化平面)来参数化，其中每个光场射线被表示为4D射线空间中的点(x1，y1，x2，x2，)∈R4。
例如，基准坐标***的原点可以位于坐标轴***的基向量所生成的平面P1的中心处。轴与所生成的平面P1垂直，并且为了简单，第二平面P2可以放置在沿着轴离开平面P1的距离z＝Δ处。为了考虑传播的六个不同的方向，整个光场可以通过六对这样的平面来表征。一对平面(往往被称为光厚片)表征沿着传播方向与光场相机的传感器或传感器阵列相互作用的光场。
用于参数化的基准平面的位置可以给出为：
其中，是法线，d是沿着法线的方向离开3D坐标***的原点的偏移。
用于参数化的基准平面的笛卡尔等式可以给出为：
如果光场射线具有已知的位置以及经归一化的传播向量则以3D形式的射线的通用参数等式可以给出为：
光场射线与基准平面之间的交点的坐标给出为：
如果不满足以下条件，则光场射线与基准参数化之间不存在交点：
由于与被用于对光场进行参数化的该对基准平面的***的轴之一之间的垂直性，射线交点的分量之一对于每个平面总是恒定的。因此，如果存在光场射线与第一基准平面的交点以及所述光场与第二基准平面的交点则四个坐标变化，并且可以使用等式A来计算光场射线的四个参数。这四个参数可以用于建立起光场的4D射线图。
假设参照两个参数化基准平面的光场的参数化，可以如下那样地获得表示光场的数据。如果如图7中所示的那样地设置基准***，则第一参数化平面P1在z＝z1处与z轴垂直，第二参数化平面P2被布置为在z＝z2处与z轴垂直，并且光场参数为L(x1；y1；x2；y2)的射线将呈现在光场相机的光电传感器阵列所在的位置z＝z3处。根据等式(A)：
其中
展开上述表达式给出：
z3＝z3
z3＝z3
两组等式应当传递与在新位置处所呈现的光场射线相同的点通过将ux；uy；uz替换为它们的作为和的函数的对应表达式，如果使用来自前块的第二组等式并且将x3和y3相加在一起，则：
得到表达式：
(z2-z3)(x1+y1)+(z3-z1)(x2+y2)＝(z2-z1)(x3+y3) (B)
具有下标3的坐标与呈现光场的已知点(x3，y3，z3)有关。所有深度坐标zi是已知的。参数化平面在传播或呈现的方向上。光场数据参数L是(x1，y1，x2，y2)。
在点(x3，y3，z3)处形成图像的光场射线通过在中定义超平面的表达式(B)来链接。
这意味着，如果要根据双平面参数化光场来呈现图像，则仅需要呈现在超平面附近的射线，而无需跟踪它们。图8A是示出根据本发明一个或多个实施例的用于生成表示光场的数据的方法的步骤的流程图。图8B是示意性示出根据本发明一个或多个实施例的用于生成表示光场的数据的***的主要模块的框图。
在方法的预备步骤S801中，定义与相机的传感器的像素相关联的不同像素束的参数通过校准相机或者通过从远程服务器中或本地存储单元(诸如相机的存储器290或连接到相机的闪速盘)上所存储的数据文件检索来获取这样的参数。
这样的参数是不同像素束的主射线的坐标以及定义在相机的校准期间在针对每个像素束所获得的光瞳之前的像素共轭的位置和大小的参数ZP和a。像素束的主射线是经过像素的中心以及支持像素束的光瞳的中心的直线。在另一个预备步骤S802中，通过光场相机801获取原始光场数据。原始光场数据可以例如是以参照图3所描述的微图像的形式。光场相机可以是诸如图1A或图1B以及图2A和图2B所示的光场相机设备。
在步骤S803中，由射线参数模块802处理所获取的光场数据，以提供交点数据(x1，y1，x2，y2)，其定义与像素束40、50的主射线相对应的所捕获的光场射线与用于在相应的深度z1、z2处的参数化的一对基准平面P1、P2的交点。
根据相机的校准，可以确定以下参数：投影的中心(x3，y3，z3)、相机的光轴的取向以及从相机的针孔到光电传感器的平面的距离f。图9中示出光场相机参数。光电传感器平面位于深度zp处。光电传感器的像素输出被转换为光场射线的几何表示。包括两个基准平面P1和P2的光厚片分别位于到光电传感器的相机的投影的中心的另一侧、超越z3的深度z1和z2处。通过将三角形原理应用于光射线，可以通过以下表达式将记录从微透镜阵列投影的光的像素坐标(xp，yp，zp)映射为射线参数即基准平面交点(x1，y1，x2，y2)：
以上计算可以扩展到具有不同对的三元组(xp，yp，zp)(x3，y3，z3)的多个相机。
在全光相机的情况下，使用具有孔径的相机模型，并且光场射线在相位空间中描述为具有原点(xp，yp，zp)和方向(x'3，y'3，1)。其到深度z3处的平面(x3，y3)的传播可以描述为矩阵变换。透镜将充当ABCD矩阵以折射射线，并且另一个ABCD传播矩阵将把射线带到光厚片基准平面P1和P2上。
根据该步骤，获得以几何方式定义光场射线与基准平面P1、P2的交点的交点数据(x1，y1，x2，y2)。
在步骤S804，通过射线图生成器模块803获得图形地表示交点数据(x1，y1，x2，y2)的2D射线图。
图10是图形地表示具有孔径|A|<0.5的、在位置x3＝2以及深度z3＝2处的相机所捕获的光场射线的交点数据(x1，x2)的2D射线图。用于参数化的射线图的数据线按照提供256x256个像素的图像的256个单元进行采样。
如果将图10中所示的射线图解释为矩阵，则可以看出其稀疏地分布(populate)。如果在文件中单独地保存射线而非4D相位空间矩阵，则这将需要针对每个射线保存至少2个字节(int16)用于每个位置xi或x3，再加上3个字节用于色彩，即对于2D切片光场，针对每个射线7个字节，而对于其完整的4D表示，针对每个射线11个字节。尽管如此，射线将随机地存储在文件中，这对于需要操控表示的应用可能是不适合的。本发明的发明人确定了如何从射线图矩阵仅提取代表性数据以及如何以结构化的方式将数据存储在文件中。
因为2D切片光场射线是沿着2D射线图的数据线被映射的，所以存储定义数据线的参数而非线值本身是更高效的。可以存储定义诸如例如斜率定义参数s和轴截距d这样的数据线的参数以及属于该数据线的光场射线的集合。
这可以仅仅需要例如2字节用于斜率参数s、2字节用于斜率参数d以及然后针对每个射线3字节。此外，射线在文件中可以沿着线排序。为了设置通过矩阵单元的线，生成以最小误差来近似射线的所谓的数字线。
为了在步骤S805中定位数据线并且获得斜率参数s和截距参数d，在步骤S804中由线检测模块804对所生成的射线图执行Radon变换。
根据所获得的斜率参数s和截距参数d，由数字线生成模块805在步骤S806中生成代表性的数字线。在该步骤中，通过将解析线近似为其最近的栅格点(例如，通过应用Bresenham的算法)来生成数字线。实际上，Bresenham的算法提供以最小操作来提供数字线的方式。Bresenham应用的示例是根据以下参考适配的应用：http://www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.html。
数字格式通过栅格(0，d)和(N-1，s)的两个点来定义数据线，d是与x1＝0时的x2的值相对应的截距，s是与x1＝N-1时的x2的值相对应的斜率参数。根据所生成的数字格式，每个单独的线的斜率a可以表示为以下项和s的函数：
其中，s∈{0，1，....N-1}并且d∈{0，1，....N-1}
图11示出通过应用Bresenham的算法所生成的数字线的示例。
图12示出具有相同斜率a(或s-d)但是具有不同截距d的一组数字线，该组数据线是连续的。该组数据线在本文中被称为线丛(a bundle of lines)，并且对应于由相机所产生的束，其不是理想地精确定点的(pinpoint)。每个线针对不同的像素。换言之，一个像素仅属于具有相同斜率但不同截距的丛(bundle)的唯一线。轴截距d的上、下边界分别给出为dmax和dmin。
由(2D中的)线的所采样的对进行所参数化并且属于一个相机的射线数据属于用于表示数据的相位空间中的数字线(束)的族。束的首部可以仅包含斜率a以及轴截距的上、下边界dmax-dmin所定义的束的厚度。射线值将沿着首部可以是d和s的数字线而存储为RGB色彩。无需存储所采样的空间中的射线图的空单元(void cells)。可以根据参数d、s并且从沿着数字线的单元的位置来推导出射线的坐标x1；x2。
要从光场或相机的几何形状估计出的参数是斜率a以及数字线截距的上、下边界(dmin，dmax)以及数字线参数(di，si)。已经讨论离散Radon变换作为测量射线图的光场的支持位置的工具。
图13B示出图13A的数据线的数字线参数空间(d，s)中的离散Radon变换。图13C是在图12B中所包括的感兴趣区域的缩放。通过搜索最大值参数来定位数字线的束。由于图像内容，在DRT的对称的几何中心与最大值的实际位置之间可能存在一些偏移，使得算法稍后被用于精确定点对称的中心而非最大值。然后，图13C所示的射束变换的腰线容易发现为给出值(dmin，dmax)。点(dmin＝74，s＝201)是来自图12A的数字线的束的下包络，而点(dmax＝81，s＝208)是来自数字线的束的上包络。
来自等式B的两个正交2D切片空间的等式给出为：
(z2-z3)(x1+y1)+(z3-z1)(x2+y2)＝(z2-z1)(x3+y3) （C）
如果取得用于坐标的xi的2D切片，则在(x3，y3，z3)处通过大小为A的孔径的射线数据将映射的线束的等式将给出为：
类似地，如果取得2D切片，则对于yi坐标：
如前所述，可以在离散域中估计m和的值，以定位按照先前所讨论的格式所定义的光场的特性，无需执行4D离散Radon变换。如果获得两个正交2D DRT，则可以执行超平面的斜率m以及数字超平面的束宽度的测量，其中所有数据聚集在4D射线图中。
这种较简单的定位过程假设圆形入射光瞳A，使得 将涵盖所有超平面截距，以该格式写入的一些值将不包含值。
将感兴趣于获得与针对2D情况所提出的格式相似的针对4D情况的格式。为此，将感兴趣于将Π(x1，x2)平面上所找到的2D线与П(y1，y2)平面上所找到的线相关联，即，作为对应超平面与∏(x1，x2)和П(y1，y2)的两个正交切片的相交的结果的线。根据表达式D和E，已知对应的线具有相同斜率m。对于在特定深度处的相机，这是将∏(x1，x2)中的每个线关联到∏(y1，y2)中的线的第一参数。如果在相同深度处存在多个相机(即图13A的情况)，则存在具有相同的所估计的斜率m的、∏(x1，x2)中的三条线和∏(y1，y2)中的三条线。然后，确定在这两个平面中的线之间的线偏移的对应性。为此，利用表达式D和E中的线的公式化。具体地，记为：
偏移如下：
并且
可以针对k、x3和y3求解方程组。注意，(x3,y3,z3)对应于相机的坐标，或者换言之，光的对应的丛聚焦到半径为A的圆中的体像素。已经假设位于z3处的平面上的孔径是圆形，使得并且通过求解前述方程组：
可以使用Bresenham数字线在∏(x1，x2)上如前文那样地扫描数字线；对于每个单独(x1，x2)值，存储在光场中所捕获的对应的(y1，y2)值。为了找出这样的值，利用表达式C。x3；y3；z3；z1；z2全部是从表达式F和G获知的或者估计出的。
对于每个在∏(x1，x2)中的每个线上移动，获得(y1，y2)的以下关系：
或者
对于∏(x1，x2)中的每个点，保存∏(y1，y2)中的线的集合。doff与针对所扫描并且保存的线的偏移相对应。注意：
参照图12，每个正方形是点，并且对于这些点中的每一个，存在沿着以下等式所定义的数字丛离开图的平面的Bresenham数字线的集合：
与所描述的数据线垂直，但是在4D空间中。
在表格1中示出针对每个相机的数据线的丛的示例性数据格式。
表格1
首先，提供4D空间的通用元数据：包括4个轴x1、x2、y1、y2的边界及其对应的采样。还提供相机(丛)的数量。对于每个相机j，保存以下参数：
孔径的大小：Aj，其与像素束的光瞳的直径相对应
相机的焦点：camj，焦点＝(u3,u3,w3)
(x1，x2)中的最低d截距(χ1x，2)＝dj
陡度＝mj
在每个相机上，对于每个(χq1；χq2)，使用Bresenham数字线参照表达式(K)在(y1，y2)上开始扫描，并且保存每个光场射线的RGB值。具体地，到并且根据表达式(K)来计算对应的doff。
由于光场射线与像素束的主射线相对应，所以给定像素束的参数zp、a的值存储在对应的光场射线的RGB值旁边，如表格1所示。
使用所存储的元数据在解码步骤中执行相同计算。具体地，使用等式(G)求出k。因此，格式保持紧凑。无需针对***中的每个射线存储四个指数。注意，上述超平面的采样是4D射线空间的采样，并且因此单个x1；y1；x2；y2位置不丢失。这仅是用于以非常紧凑的格式保存所有数据的4D射线空间的对称扫描的一个示例。当然可以应用其他处理。参数化形式看上去适合于探索超平面，因为其允许交错式空间探索。
在多个相机工作在包含若干超平面的丛的数据上(由于多个相机而在Radon变换中有若干最大值)的情况下，可以使用更复杂的算法。作为预处理步骤，针对∏(x1，x2)的radon变换中的所有峰值求出参数(m，k)，并且放在一个集合中。对于(y1，y2)中的峰值完成同样的操作，并且参数放在另一集合中。现在，在贪心算法的每次迭代中，在(x1，x2)的2Dradon变换中求出最大峰值强度，并且通过匹配先前所求出的参数(m，k)来求出(y1，y2)中的对应峰值。如在最后部分中所述那样地保存数据之后，从radon变换清除这些峰值，并且开始下一个迭代，直至没有有意义的东西保留在光场中为止。
虽然以上已经参照具体实施例描述了本发明，但是本发明不限于所述具体实施例，在本发明的范围内的修改对于本领域技术人员将是显而易见的。
本领域技术人员在参照前述的示例性实施例时将想到很多进一步的修改和变型，前述的示例性实施例仅作为示例而不打算限制本发明的范围，本发明的范围仅由所附的权利要求来确定。具体地，在适当的情况下，来自不同实施例的不同特征可以互换。

Claims (13)

1.一种用于生成数据的计算机实现的方法，所述数据表示光学获取***的传感器的至少一个像素能够通过光学获取***的光瞳感测的光射线的集合所占据的光学获取***的物空间中的体积，所述体积被称为像素束，所述方法包括：
从由光学获取设备所捕获的光场数据获得(S803)定义表示像素束的光场射线与多个给定的基准平面的交点的交点数据，所述基准平面与物空间中的不同深度相对应；
获得定义4D射线图中的交点数据的图形表示的射线图参数(S805，S806)；以及
将所述射线图参数与定义像素束的参数相关联，以提供表示像素束的数据。
2.根据权利要求1所述的方法，其中，表示像素束的光场射线是经过像素的中心和光瞳的中心的直线，并且定义像素束的参数是物空间中的像素的共轭的位置和大小。
3.根据权利要求2所述的方法，其中，与光场射线相对应的截距数据在射线图中图形地表示为数据线，并且射线图参数包括表示数据线的斜率以及数据线与射线图的轴的截距中的至少一个的数据。
4.根据权利要求3所述的方法，其中，通过应用Radon变换，在2D射线图中检测数据线。
5.根据权利要求3或4所述的方法，其中，图形表示提供为单元的矩阵以提供数字数据线，每个数字数据线格式由多个单元即表示线与轴的截距的至少一个第一单元以及能够据以确定线的斜率的至少一个第二单元来定义。
6.根据权利要求5所述的方法，其中，通过应用Bresenham算法来生成每个数字数据线。
7.如前述权利要求中的任一项所述的方法，其中，表示像素束的数据还包括表示对应的光场射线的色彩的色彩数据。
8.根据权利要求7所述的方法，其中，表示像素束的数据提供为元数据，元数据的首部包括定义2D射线图中的交点数据的图形表示的射线图参数，并且元数据的被摄体包括表示射线的色彩的数据以及定义物空间中的像素的共轭的位置和大小的参数。
9.一种提供元数据的设备，所述元数据用于光学获取***的传感器的至少一个像素能够通过光学获取***的光瞳感测的光射线的集合所占据的光学获取***的物空间中的体积，所述体积被称为像素束，所述设备包括：光场数据获取模块，用于获取光场相机所捕获的光场数据；以及光场数据生成模块，其被配置为：
从所获取的光场数据获得定义表示像素束的光场射线与多个给定的基准平面的交点的交点数据，所述基准平面彼此平行并且与物空间中的不同深度相对应；以及
获得定义2D射线图中的交点数据的图形表示的射线图参数，以提供表示所获取的光场数据的数据；
将所述射线图参数与定义像素束的参数相关联，以提供表示像素束的数据。
10.一种光场成像设备，包括：
微透镜阵列，其以规则栅格结构来布置；
光电传感器，其被配置为从微透镜阵列捕获在光电传感器上所投影的光，所述光电传感器包括像素集合，每个像素集合光学地与微透镜阵列中的相应的微透镜相关联；以及
根据权利要求9所述的用于提供元数据的设备。
11.一种用于从使用根据权利要求1至8中的任一项所述的方法所获得的光场数据来呈现图像的设备。
12.一种数据的数据包，所述数据表示光学获取***的传感器的至少一个像素能够通过光学获取***的光瞳感测的光射线的集合所占据的光学获取***的物空间中的体积，所述体积被称为像素束，所述数据包包括：射线图参数，其定义表示像素束的光场射线的交点数据的以2D射线图的图形表示，所述交点数据定义表示像素束的光场射线与多个给定的基准平面的交点的交点数据，所述基准平面彼此平行并且与物空间中的不同深度相对应；色彩数据，定义表示像素束的光场射线的色彩；以及定义物空间中的像素的共轭的位置和大小的参数。
13.一种用于可编程装置的计算机程序产品，所述计算机程序产品包括指令序列，用于当被加载到所述可编程装置中并且由其执行时实现根据权利要求1至8中的任一项所述的方法。
CN201610825429.3A 2015-09-17 2016-09-14 生成表示光场的数据的方法和装置 Active CN107018293B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15306446.4 2015-09-17
EP15306446.4A EP3144879A1 (en) 2015-09-17 2015-09-17 A method and an apparatus for generating data representative of a light field

Publications (2)

Publication Number Publication Date
CN107018293A true CN107018293A (zh) 2017-08-04
CN107018293B CN107018293B (zh) 2020-11-03

Family

ID=54252224

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610825429.3A Active CN107018293B (zh) 2015-09-17 2016-09-14 生成表示光场的数据的方法和装置

Country Status (9)

Country Link
US (1) US10021340B2 (zh)
EP (2) EP3144879A1 (zh)
JP (2) JP2017063414A (zh)
KR (1) KR102583723B1 (zh)
CN (1) CN107018293B (zh)
CA (1) CA2940535A1 (zh)
MX (1) MX357947B (zh)
RU (1) RU2734018C2 (zh)
TW (1) TW201730707A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022193104A1 (zh) * 2021-03-15 2022-09-22 华为技术有限公司 一种光场预测模型的生成方法及相关装置
CN116070687A (zh) * 2023-03-06 2023-05-05 浙江优众新材料科技有限公司 一种基于全局光线空间仿射变换的神经网络光场表示方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10317597B2 (en) * 2014-08-26 2019-06-11 The Board Of Trustees Of The Leland Stanford Junior University Light-field microscopy with phase masking
MX2018003263A (es) * 2015-09-17 2018-05-16 Thomson Licensing Metodo para codificar un contenido de campo luminoso.
EP3145168A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
EP3144888A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
EP3466052A4 (en) * 2016-06-07 2020-02-19 Airy3d Inc. LIGHT FIELD IMAGE DEVICE AND METHOD FOR DEPTH DETECTION AND THREE-DIMENSIONAL IMAGE
CN106373152B (zh) * 2016-09-18 2019-02-01 清华大学深圳研究生院 一种基于手持式光场相机的距离估计方法
WO2020030841A1 (es) * 2018-08-08 2020-02-13 Universitat De Valencia Dispositivo ocular plenóptico
CN113557463A (zh) * 2019-03-08 2021-10-26 Pcms控股公司 用于基于具有扩展焦深的光束的显示器的光学方法和***
RU2760845C1 (ru) * 2021-02-12 2021-11-30 Федеральное государственное бюджетное военное образовательное учреждение высшего образования "Военно-космическая академия имени А.Ф. Можайского" Министерства обороны Российской Федерации Способ обнаружения и определения характеристик целей на основе регистрации и обработки хода лучей от объектов в наблюдаемом пространстве и устройство для его реализации
US20230010620A1 (en) * 2021-07-06 2023-01-12 3D Patents, Llc Bowtie processing for radiance image rendering
CN116778068B (zh) * 2023-08-22 2023-11-10 中国电子科技集团公司第十五研究所 基于视点椭球相似特征数的光线采样精确优化方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097394A (en) * 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
US6342917B1 (en) * 1998-01-16 2002-01-29 Xerox Corporation Image recording apparatus and method using light fields to track position and orientation
CN101952855A (zh) * 2008-01-15 2011-01-19 拉古纳大学 从三维场景实时获取视觉信息的方法和照相机
US20130128068A1 (en) * 2010-08-27 2013-05-23 Todor G. Georgiev Methods and Apparatus for Rendering Focused Plenoptic Camera Data using Super-Resolved Demosaicing
CN103986854A (zh) * 2013-02-07 2014-08-13 佳能株式会社 图像处理设备、摄像设备和控制方法
EP2806396A1 (en) * 2013-05-06 2014-11-26 Disney Enterprises, Inc. Sparse light field representation
CN104303493A (zh) * 2012-05-09 2015-01-21 莱特洛公司 用于改进的光场捕获和操作的光学***的优化
CN104330174A (zh) * 2014-10-23 2015-02-04 北京理工大学 一种用于测量涡旋光束的周期渐变光栅及测量方法
US20150116528A1 (en) * 2012-08-04 2015-04-30 Paul Lapstun Scanning Light Field Camera
CN104598744A (zh) * 2015-01-27 2015-05-06 北京工业大学 一种基于光场的深度估计方法
US20150177062A1 (en) * 2013-12-19 2015-06-25 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249550A1 (en) * 2009-04-18 2012-10-04 Lytro, Inc. Selective Transmission of Image Data Based on Device Attributes
JP2010256291A (ja) * 2009-04-28 2010-11-11 Toyota Motor Corp 距離画像撮影装置
KR101668869B1 (ko) * 2009-05-29 2016-10-28 삼성전자주식회사 거리 센서, 3차원 이미지 센서 및 그 거리 산출 방법
US8542933B2 (en) * 2011-09-28 2013-09-24 Pelican Imaging Corporation Systems and methods for decoding light field image files
JP6095266B2 (ja) * 2012-01-13 2017-03-15 キヤノン株式会社 画像処理装置及びその制御方法
KR20150127507A (ko) * 2014-05-07 2015-11-17 엘지전자 주식회사 디스플레이 장치 및 디스플레이 장치의 제어 방법
KR102364084B1 (ko) * 2014-10-21 2022-02-17 엘지전자 주식회사 이동단말기 및 그 제어방법

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097394A (en) * 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
US6342917B1 (en) * 1998-01-16 2002-01-29 Xerox Corporation Image recording apparatus and method using light fields to track position and orientation
CN101952855A (zh) * 2008-01-15 2011-01-19 拉古纳大学 从三维场景实时获取视觉信息的方法和照相机
US20130128068A1 (en) * 2010-08-27 2013-05-23 Todor G. Georgiev Methods and Apparatus for Rendering Focused Plenoptic Camera Data using Super-Resolved Demosaicing
CN104303493A (zh) * 2012-05-09 2015-01-21 莱特洛公司 用于改进的光场捕获和操作的光学***的优化
US20150116528A1 (en) * 2012-08-04 2015-04-30 Paul Lapstun Scanning Light Field Camera
CN103986854A (zh) * 2013-02-07 2014-08-13 佳能株式会社 图像处理设备、摄像设备和控制方法
EP2806396A1 (en) * 2013-05-06 2014-11-26 Disney Enterprises, Inc. Sparse light field representation
US20150177062A1 (en) * 2013-12-19 2015-06-25 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
CN104330174A (zh) * 2014-10-23 2015-02-04 北京理工大学 一种用于测量涡旋光束的周期渐变光栅及测量方法
CN104598744A (zh) * 2015-01-27 2015-05-06 北京工业大学 一种基于光场的深度估计方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TODOR GEORGIEV ET AL: "The radon image as plenoptic function", 《 2014 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP)》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022193104A1 (zh) * 2021-03-15 2022-09-22 华为技术有限公司 一种光场预测模型的生成方法及相关装置
CN116070687A (zh) * 2023-03-06 2023-05-05 浙江优众新材料科技有限公司 一种基于全局光线空间仿射变换的神经网络光场表示方法

Also Published As

Publication number Publication date
US10021340B2 (en) 2018-07-10
TW201730707A (zh) 2017-09-01
JP2022141637A (ja) 2022-09-29
JP2017063414A (ja) 2017-03-30
KR102583723B1 (ko) 2023-10-05
RU2734018C2 (ru) 2020-10-12
MX357947B (es) 2018-07-31
CA2940535A1 (en) 2017-03-17
EP3144880B1 (en) 2019-08-21
RU2016136352A3 (zh) 2020-04-17
RU2016136352A (ru) 2018-03-15
EP3144880A1 (en) 2017-03-22
EP3144879A1 (en) 2017-03-22
KR20170035804A (ko) 2017-03-31
CN107018293B (zh) 2020-11-03
US20170085832A1 (en) 2017-03-23
MX2016011964A (es) 2017-04-25

Similar Documents

Publication Publication Date Title
CN107018293A (zh) 生成表示光场的数据的方法和装置
TWI713582B (zh) 產生像素射束表示資料之方法及裝置
CN105491294A (zh) 图像处理装置、图像拍摄装置及图像处理方法
CN108604372B (zh) 用于生成表示像素束的数据的方法和装置
KR20180053669A (ko) 라이트 필드 데이터 표현
TWI709108B (zh) 產生像素射束表示資料之裝置及方法
CN108780574A (zh) 用于校准光学采集***的装置和方法
KR20180098565A (ko) 픽셀 빔을 표현하는 데이터를 생성하는 방법 및 장치
CN108353120B (zh) 用于生成表示像素束的数据的装置和方法
KR20190026014A (ko) 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법
KR20190022573A (ko) 픽셀 빔을 표현하는 데이터를 생성하기 위한 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190919

Address after: Delaware, USA

Applicant after: Interactive Digital VC Holding Company

Address before: Icelemulino, France

Applicant before: Thomson Licensing Company

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant