CN107637061B - 处理光场内容的方法和设备 - Google Patents

处理光场内容的方法和设备 Download PDF

Info

Publication number
CN107637061B
CN107637061B CN201680024611.7A CN201680024611A CN107637061B CN 107637061 B CN107637061 B CN 107637061B CN 201680024611 A CN201680024611 A CN 201680024611A CN 107637061 B CN107637061 B CN 107637061B
Authority
CN
China
Prior art keywords
image
images
microlens
depth
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680024611.7A
Other languages
English (en)
Other versions
CN107637061A (zh
Inventor
B.范戴姆
N.萨巴特
O.布雷勒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Publication of CN107637061A publication Critical patent/CN107637061A/zh
Application granted granted Critical
Publication of CN107637061B publication Critical patent/CN107637061B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Power Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Computing Systems (AREA)
  • Automatic Focus Adjustment (AREA)
  • Focusing (AREA)
  • Image Processing (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Analysis (AREA)

Abstract

一种处理光场获取设备获取到的场景的光场图像的装置，包括获得第一焦点堆栈和第二焦点堆栈的部件，第一焦点堆栈和第二焦点堆栈每个包括代表场景的图像并且从光场图像的像素的不同部分获得。也描述处理光场内容的方法。

Description

处理光场内容的方法和设备
技术领域
本公开涉及全光相机和光场获取设备及方法的领域。本公开也涉及对利用光场获取设备获得的光场内容的处理和对视差信息的确定。
背景技术
根据背景技术，已知利用全光相机(也称作光场相机)以单次快照获取相同场景的不同视图。这样的全光相机的直接应用是3D重构。实际上，在对利用全光相机的光电传感器阵列获取的原始图像去复用之后，恢复的场景的视图已经是水平和垂直的对极(epipolar)几何形状，所以它们之间的视差可以在不需要立体校正的情况下被估计。相比于来自利用常规相机捕获的图像的双目3D立体重构，这是很大的优点。
然而，根据由去复用原始图像产生的视图来估计视差，存在若干问题。例如，由去复用产生的视图仅对于视图中的一些像素提供单一色彩信息，而其他像素不具有与它们相关联的任何色彩信息：这样的视图的空间色彩取样经常参差不齐并且不完整，这导致错误视差估计。此外，去复用原始视图经常依赖于内插(非整数坐标的去复用像素)，这导致错误视差。对这样的视差估计问题的解决方案是，在去复用原始图像之前首先对它去马赛克，从而具有由去复用产生的场景的每个视图的每个像素的全色彩信息。但是在去复用之前执行去马赛克可能导致其他问题，诸如视图间串扰。实际上，关于恢复原始图像的一个给定像素的全色彩信息，可以使用属于这个给定像素的邻域的像素，即使这些邻域像素属于该给定像素的视图之外的(多个)其他视图。估计经受视图间串扰的这样的视图的视差也可能导致视差错误。
此外，确定与获取的场景的(多个)对象相关联的焦点可能是具有精确性问题的繁重过程。
发明内容
本公开的目的是克服背景技术的这些缺点中的至少一个。
本公开涉及配置为处理利用获取设备获取的场景的光场图像的装置，该获取设备配置为获取场景的多个视图。该装置包括：
-用于接收第一焦点堆栈的部件，第一焦点堆栈包括多个第一图像，每个第一图像代表场景，多个深度值的不同深度值与每个第一图像相关联，第一图像从光场图像的第一组像素获得；
-用于接收第二焦点堆栈的部件，第二焦点堆栈包括多个第二图像，每个第二图像代表该场景，所述多个深度值的不同深度值与每个第二图像相关联，第二图像从光场图像的第二组像素获得，第二组与第一组不同。
本公开还涉及配置为处理利用获取设备获取的场景的光场图像的装置，获取设备配置为获取场景的多个视图。该装置包括：
-接收器或者处理单元(例如，处理器)，配置为获得第一焦点堆栈，第一焦点堆栈包括多个第一图像，每个第一图像代表场景，多个深度值的不同深度值与每个第一图像相关联，第一图像从光场图像的第一组像素获得；接收器还配置为接收第二焦点堆栈，第二焦点堆栈包括多个第二图像，每个第二图像代表场景，多个深度值的不同深度值与每个第二图像相关联，第二图像从光场图像的第二组像素获得，第二组与第一组不同。
本公开还涉及处理利用获取设备获取的场景的光场图像的方法，获取设备配置为获取场景的多个视图。该方法包括：
-接收第一焦点堆栈，第一焦点堆栈包括多个第一图像，每个第一图像代表场景，多个深度值的不同深度值与每个第一图像相关联，所述第一图像从光场图像的第一组像素获得；
-接收第二焦点堆栈，第二焦点堆栈包括多个第二图像，每个第二图像代表场景，多个深度值的不同深度值与每个第二图像相关联，所述第二图像从光场图像的第二组像素获得，第二组与第一组不同。
根据特征，装置还包括：
-比较部件，例如，比较器，以比较每个第一图像和具有与每个第一图像相同的相关联的深度值的每个第二图像的方式，比较第一图像和第二图像；
-获得部件，例如，处理单元，比如处理器，从比较的结果获得代表深度的信息。
根据特性，方法还包括：
-以比较每个第一图像和具有与所述每个第一图像相同的相关联的深度值的每个第二图像的方式，比较第一图像和第二图像；
-从比较的结果获得代表深度的信息。
根据具体特性，从与获取设备的微透镜阵列的微透镜相关联的多个微透镜微图像的每个第一半像素获得第一焦点堆栈，从多个微透镜微图像的每个第二半像素获得第二焦点堆栈，多个微透镜微图像的每一个的第一半像素和第二半像素不同并且互补。
有利地，从由获取设备获得的场景的视图的第一半获得第一焦点堆栈，并且从由获取设备获得的场景的视图的第二半获得第二焦点堆栈，第一半与第二半不同
根据特定特性，根据代表场景内的场景的至少一个对象的取向的信息，确定第一半和所述第二半。
有利地，第一半和第二半分别对应于：
-左一半和右一半；或者
-上一半和下一半。
根据另一特性，比较包括在每一对具有相同相关联的深度值的第一和第二图像中，确定与每一对的第一图像的像素和/或第二图像的像素相关联的视差值。
有利地，比较还包括在每一对具有相同相关联的深度值的第一和第二图像中，选择具有接近0的值作为视差值的每一对的第一图像和/或第二图像的像素。
本公开还涉及包括前述装置的光场获取设备。
本公开还涉及包括程序代码的指令的计算机程序产品，当程序在计算设备上执行时，执行处理光场图像和/或获得代表深度的信息的方法的步骤。
本公开还涉及具有存储在其中的指令的处理器可读介质，指令用于使得处理器执行处理光场图像和/或获得代表深度的信息的方法的至少一个步骤。
附图说明
阅读以下说明时，将能更好理解本公开，且其他特定特征和优点将显现，该说明参考附图，在附图中：
-图1示出根据本原理的具体实施例的光场相机的第一示例；
-图2示出根据本原理的具体实施例的光场相机的第二示例；
-图3示出根据本原理的具体实施例的配置为处理由图1或2的光场相机提供的数据的处理单元；
-图4示出根据本原理的具体实施例的利用图1或2的光场相机的光电传感器获得的光场数据；
-图5A和5B示出根据本原理的具体实施例的将图4的光场数据投影到2D再聚焦图像；
-图6A和6B示出根据本原理的具体实施例的图1的光场相机的光学属性；
-图7和8示出根据本原理的具体实施例的用以获得图9的第一和第二焦点堆栈(focal stack)的图5的光场数据的部分的选择；
-图9A和9B示出根据本原理的具体实施例的由图1或2的光场相机获得的视图矩阵的视图选择；
-图10示出根据本原理的具体实施例的从由图1或2的光场相机获得的光场图像获得的第一和第二焦点堆栈；
-图11A和11B示出根据本原理的具体实施例的图4的微镜微图像的分割的不同取向；
-图12示出根据本原理的具体实施例的包括代表由图10的第一和第二焦点堆栈获得的深度的信息的图；
-图13示出根据本原理的具体实施例的包括图1的全光相机或者图2的多相机阵列的电信设备；
-图14A示出根据本原理的具体实施例的处理利用图1或2的光场相机获取的光场图像的方法；
-图14B和14C每个示出根据本原理的具体实施例的由处理图14A的光场图像获得的焦点堆栈的可选处理。
具体实施方式
现在参考附图描述主题，在附图中，相同的参考数字自始至终用以指代相同的元件。在下面的描述中，为了说明的目的，阐述很多特定细节，以提供主题的完全理解。然而，可以明白的是，可以在不需要这些特定细节的情况下实践主题实施例。
根据本原理的具体实施例，获得第一焦点堆栈和第二焦点堆栈，第一焦点堆栈和第二焦点堆栈每个包括代表场景的图像。由利用光场获取设备(诸如全光相机或者多相机阵列)获取的场景的光场图像的像素的第一部分，获得第一焦点堆栈的第一图像。由与像素的第一部分不同的光场图像的像素的第二部分，获得第二焦点堆栈的第二图像。以这样的方式使得深度值与每个第一图像并且与每个第二图像相关联，该方式是相同深度值与一个第一图像相关联，并且该相同深度值与一个第二图像相关联，具有相同深度值的第一图像和第二图像形成所谓的第一和第二图像对。光场图像例如与原始图像或者与包括场景的不同视图的图像对应。
由光场图像获得两个这样的不同焦点堆栈，使得能够容易地对于每一对第一和第二图像确定对焦的对象和/或以鲁棒的方式计算与光场图像相关联的深度信息。
图1示出光场获取设备的第一示例。更具体地，图1示出根据本原理的具体实施例的全光相机1。全光相机1包括镜头单元101(与光组件对应)和相机主体102。
镜头单元101有利地适配为与相机主体102相关联。相机主体102包括光电传感器阵列13，其包括m个光电传感器131、132、133到13m。每个光电传感器与利用光电传感器阵列获取的场景的原始图像的像素对应，每个像素包含场景的一部分(也称为点)。代表利用每个光电传感器获得的场景的数据形成一组光场数据，光场数据形成光场图像。根据非限制性示例，在处理原始图像之前(在去复用和/或去马赛克之前)，光场图像可以与原始图像对应。根据另一个非限制性示例，在对原始图像去复用之后，光场图像可以与子孔径图像对应，并且根据又一非限制性实施例，在对光场图像去马赛克之后，可以与场景的一组视图对应。为了说明的目的，光电传感器阵列13可以利用相对少数量的光电传感器131到13m示出。自然地，光电传感器的数量不由图1的图示限制，而是扩展至任何数量的光电传感器，例如，几千或几百万光电传感器。例如，在12.4兆像素相机中，像素将与光电传感器对应(例如，与4088x3040像素/光电传感器的阵列对应)。滤色器阵列(CFA)12可以布置在光电传感器阵列13上。CFA 12典型在光电传感器阵列上布置RGB(红、绿和蓝)滤色器，RGB布置例如采用拜耳滤波器马赛克(Bayer filter mosaic)的形式。根据一个变型，CFA布置在小透镜阵列11上(除了CFA 12以外或者替代CFA 12)。为了将镜头单元101与相机主体102相关联，镜头单元101包括第一附接部件并且相机主体102包括第二附接部件，第一和第二附接部件相互兼容。由于第一和第二附接部件，镜头单元101可以夹在相机主体102上或者镜头单元101可以与相机主体102拧在一起。配置为与相机主体相关联的镜头单元的这样的第一和第二附接部件的示例可以在2013年5月30日公开的日本专利申请JP2013-105151A中找到。以这样的方式配置第一和第二附接部件，该方式是一旦镜头单元101和相机主体102放在一起，镜头单元101和相机主体102形成全光相机，其被配置用于在场景的每次获取时获取场景的多个视图。为此，相机主体102也包括其中包含n个微透镜111、112、113、11n的小透镜阵列11，n是大于或等于2的整数。小透镜阵列11也称作微透镜阵列。为了图示的目的，小透镜阵列11利用相对小数量的微透镜示出，但微透镜的数量可以扩展至几千或者甚至一百万或者几百万微透镜。光电传感器阵列13的一组光电传感器可以与小透镜阵列11的每个微透镜111到11n光学相关联。例如，小透镜阵列11的每个微透镜111到11n被尺寸化为与2x1、4x4或10x10个光电传感器的阵列对应。与微透镜相关联的一组光电传感器(或者有区别地说，微透镜下的一组光电传感器)形成与该微透镜相关联的微图像，该组光电传感器的每个光电传感器形成微图像的像素。与一个单个微透镜光学相关联的多个光电传感器的每个光电传感器使得能够根据一个位置获取代表场景的像素的原始数据(与像素一样多的视差的获取)。根据一个变型，镜头单元101和相机主体102共同地形成一个单个主体，并且被组装在一起而无需可拆卸。
镜头单元101包括相机镜头10，也称为主透镜或者主要透镜，其有利地由一个或者多个透镜元件形成，为了清楚的目的，在图1中仅描绘一个透镜元件10。
全光相机1有利地包括硬件模块103，硬件模块103配置用于检测相机镜头10的一个或者多个参数的改变，例如当聚焦(focalizing)或缩放时发生的相机镜头的焦距的改变和/或调焦距离的改变。当调焦或缩放时发生的相机镜头的焦距的改变和/或调焦距离的改变导致相机镜头10和小透镜阵列11之间的距离的改变。硬件模块有利地配置为执行全光相机1的校准，即，通过确定每个微图像或者每个微透镜的中心，如下文更详细地描述。根据一个变型，硬件模块配置为存储包括微图像和/或微透镜的中心的坐标的元数据。模块可以被包括在相机主体102中或者被包括在镜头单元101中。模块有利地包括与存储器(例如，包括一个或者多个寄存器的随机存取存储器或者RAM1032)相关联的一个或者若干处理器1031。一个或者多个处理器1031例如与CPU(中央处理单元)、一个或者多个GPU(图形处理单元)或者CPU和GPU的组合对应。存储器或者存储器的一部分存储实现校准全光相机的方法的一个或者多个算法的指令。存储器或者存储器的(多个)部分也可以用以存储与原始图像相关联的全光数据或者从处理原始图像获得的光场数据，诸如例如代表去复用的视图的数据或者代表子孔径图像的数据之类，即，从去复用和去马赛克原始图像获得的场景的不同视图的图像。存储器或者存储器的(多个)部分也可以用以存储代表与光场数据相关联的深度的信息，例如，光电传感器阵列的像素。代表深度的信息可以根据深度图或者视差图的形式被存储，深度图或者视差图包括分别与深度图或者视差图的每个像素相关联的深度或者视差的值。
根据一个变型，模块103采用可编程逻辑电路型FPGA(现场可编程门阵列)的形式，例如，ASIC(特定应用集成电路)或者DSP(数字信号处理器)。模块103也可以包括接口，该接口配置为接收和传送数据，诸如通过用户经由用户界面输入的用以设置全光相机1的控制参数之类的数据，用户界面例如显示在例如布置在相机主体102上的显示屏幕(例如，LCD或者OLED显示器)上。
根据一个变型并且如图3的示例性实施例中图示，模块103不被包括在全光相机中，而是经由有线连接(例如，经由USB(通用串行总线))或者经由无线连接(例如，经由蓝牙、Wi-Fi或者ZigBee)连接至全光相机。根据本变型，除了存储器1032和一个或者多个处理器1031之外，模块还有利地包括用以与全光相机交换数据的发送器30。
全光相机1等效地是与全光相机对应的1.0型(其中，小透镜阵列11和光电传感器阵列13之间的距离等于微透镜焦距)或者另外同样是2.0型(也称为聚焦的全光相机)。
图2示出光场获取设备的第二示例。更具体地，图2示出根据本原理的具体实施例的多相机阵列2。
多相机阵列2包括标号为20的透镜或者微透镜的阵列(包括标号为201、202到20p的若干微透镜，p是与微透镜的数量对应的整数)和标号为21的一个或者若干传感器阵列。多相机阵列2没有主透镜。微透镜的阵列经常是小器件，其通常称作微透镜。值得注意，具有单个传感器的多相机阵列可以被视为全光相机的特殊情况，其中，主透镜具有无限焦距。根据具体布置(其中，光电传感器的数量等于微透镜的数量，即，一个光电传感器与一个微透镜光学相关联)，多相机阵列可以被看作相互邻近间隔的若干单独相机(例如微相机)的布置，诸如例如方形布置(如图2中图示)或者梅花形布置。
利用这样的多相机阵列2获得的光场数据(形成所谓的光场图像)与场景的多个视图(即，与通过对利用诸如图1的全光相机之类的全光相机获得的原始图像去复用和去马赛克而获得的最终视图)对应。
图4示出根据本原理的具体实施例的利用图1或2的光场相机的传感器阵列获得的光场数据。
光场相机(例如，分别是光场相机1或2)的光电传感器阵列41(例如，光电传感器阵列13或者(多个)光电传感器阵列21)获取由2D图像内布置的2D子图像的集合组成的光场图像，每个子图像称为微透镜图像，因为每个子图像通过来自微透镜的阵列40的微透镜401、402、422、423到40q生成，q是与微透镜的数量对应的整数。微透镜40的阵列例如与图1的小透镜阵列11对应或者与图2的微透镜的阵列20对应。每个微透镜401到40q覆盖传感器阵列41的一些像素，以形成所谓的微透镜图像。每个微透镜图像具有与其光学相关联的微透镜的形状的形式，例如图4的示例中的圆形。像素坐标被标记(x,y)并且以光电传感器阵列41的坐标系(CS)(也称为笛卡尔CS)表达。笛卡尔CS与具有坐标系原点O的坐标系(O,x,y)对应，[O,x[水平轴和[O,y[垂直轴。p与两个连续微透镜图像之间的距离(例如，与位于同一行的微透镜图像上的两个连续微透镜图像409、410的中心之间的距离)对应。选取微透镜，使得p(在像素坐标)大于像素尺寸δ，δ例如与像素的边缘的长度对应。由微透镜的坐标系(称为微透镜CS并且与具有坐标系的原点C、的坐标系[C,i[水平轴和[C,j[垂直轴的坐标系(C,i,j)对应)中它们的坐标(i,j)来参考微透镜图像。阵列41的一些像素可以不接收来自任何微透镜的任何光；那些像素被丢弃。的确，微透镜之间的空间可以被遮掩，以防止光子从微透镜之外通过(如果微透镜具有方形形状，则不需要遮掩)。微透镜图像(i,j)的中心位于坐标(xi,j,yi,j)处的光电传感器阵列。θ与笛卡尔CS和微透镜CS之间的转动偏移对应，即，θ是形成光电传感器阵列41的像素的方形栅格和微透镜40的方形栅格之间的角度。在考虑微透镜图像(0,0)的像素坐标(x0,0,y0,0)的情况下，坐标(xi,j,yi,j)例如利用下面的公式(假设根据方形栅格布置微透镜)计算：
Figure BDA0001447824830000081
图4也图示来自场景的对象在若干邻近微透镜图像上可见(黑点)。对象的2个连续视图之间的距离是w(在像素坐标)，该距离与视差对应。对象在r个连续微透镜图像上可见：
Figure BDA0001447824830000091
其中，r是一个维度上连续微透镜图像的数量。对象在r2个微透镜图像中可见。依赖于微透镜图像的形状，对象的r2个视图中的一些可能不可见。
自然地，微透镜的形状不限于圆形，而可以是任何其他形状，例如，方形、矩形和六边形。
图6A和6B示出根据本原理的具体实施例的图1或2的光场相机的光学属性。根据图6A的具体实施例，W＞P，并且根据图6B的具体实施例，W＜P。关于图4引入的距离p和w以像素的单位给出。通过将p和w乘以像素尺寸δ：W＝wδ和P＝pδ，分别将p和w转换为物理单位距离(米)P和W。这些距离依赖于光场相机特性。
图6A和6B每个图示假设完美薄镜头模型的示意光场。主透镜10具有焦距F和孔径Φ。微透镜阵列11由具有焦距f的微透镜制成。微透镜阵列的间距是φ。微透镜矩阵定位在距主透镜距离D，并且距光电传感器阵列13距离d。对象(没有在图6A和6B中图示)定位在距主透镜距离z(在主透镜的左手侧)。该对象由主透镜在距主透镜距离z’处聚焦(在主透镜的右手侧)。图6A和6B图示分别是D＞z’和D＜z’的情况。在两种情况下，微透镜图像可以依赖于d和f被对焦。
视差W随着对象的距离z变化。为了建立W和z之间的关系，使用薄透镜公式：
Figure BDA0001447824830000092
和泰利斯定律(Thales law)：
Figure BDA0001447824830000093
混合公式3和4，我们获得：
Figure BDA0001447824830000101
公式5被求逆，以将z表达为W的函数：
Figure BDA0001447824830000102
W和z之间的关系不假设微透镜对焦。微透镜图像根据薄透镜公式被严格对焦：
Figure BDA0001447824830000103
此外，根据泰利斯定律推导出P：
Figure BDA0001447824830000104
P＝φe
比率e定义微透镜间距和微透镜图像间距之间的放大率。由于D＞＞d，该比率非常接近1。
在与关于图2描述的多相机阵列2对应的光场相机的具体情况下，考虑F趋于无限大并且D可以例如选取等于0的值。利用这样的假设，公式3到8也应用于多相机阵列。
图5A和5B示出根据本原理的具体实施例的将图4的光场数据投影到2D再聚焦图像501。
光场相机的主要属性是获得2D再聚焦图像的能力，其中，在获取场景之后，再调焦距离(re-focalization distance)是可自由调节的。通过根据预定再调焦距离仅位移和缩放光场图像500中包括的微透镜图像并且然后将它们合并到2D图像501(称为再聚焦2D图像)中，将包括光场数据的光场图像500投影到2D图像501。位移量控制再调焦距离。坐标的光场像素(x,y,i,j)(即，光场图像500的像素(也称为4D光场像素，如具有坐标(x,y)的笛卡尔CS和以具有与其所属的微透镜的索引对应的坐标(i,j)的微透镜CS表达))(例如，以黑点示出的像素51到59)到再聚焦2D图像501的坐标(X,Y)的对应像素(也用黑点50示出)的投影，利用以下定义：
Figure BDA0001447824830000111
s控制2D再聚焦图像501的尺寸，并且g控制2D再聚焦图像501的调焦距离。在考虑公式1的情况下，该公式重写为如下：
Figure BDA0001447824830000112
参数g可以表达为p和w的函数。g是必须使用微透镜图像的中心作为参考对微透镜图像执行的缩放，以使得相同对象的各种缩放视图得到叠加：
Figure BDA0001447824830000113
公式10变成：
Figure BDA0001447824830000114
将4D光场像素(x,y,i,j)投影到2D再聚焦图像501。初步地，再聚焦图像R和再聚焦图像权重Rweight被设置为0。再聚焦图像的尺寸[NX,NY]＝[sNx,sNy]设置为s乘以光场图像的尺寸。通过将坐标(X,Y)处的投影像素合并到2D再聚焦图像501，执行投影。对于被投影的每个4D光场像素，通过在像素坐标(X,Y)添加1更新再聚焦图像权重：
R(X，Y)+＝L(x，y，i，j)
Rweight(X，Y)+＝1 公式13
再聚焦图像权重记录有多少4D光场像素已经按坐标(X,Y)投影。在投影L的所有4D光场像素之后，由再聚焦图像权重Rweight划分再聚焦图像R501。最后一步按坐标(X,Y)使接收到的像素的数量一致。
因为投影坐标(X,Y)没有必要是整数坐标，所以可以可选地使用插值处理，以将非整数像素坐标(X,Y)映射到再聚焦图像R501和聚焦图像权重Rweight的网格。使用本领域技术人员已知的插值技术，诸如例如双线性插值之类。
图7和8示出根据本原理的具体实施例的选择光场图像500的微透镜图像的部分以获得图10的第一和第二焦点堆栈。
图7示出光场图像500的微透镜图像701到724，每个微透镜图像被划分为两个部分7010、7020，微透镜图像701的每个部分7010、7020与微透镜图像的一半对应，两半7010、7020形成整个微透镜图像701。图7的实施例有利地与诸如图1中图示的全光相机之类的全光相机获得的光场图像500(根据本实施例，也称为原始图像)的微透镜图像701到724对应。根据图7的实施例，每个微透镜图像701到724被划分为两半，每个微透镜图像根据垂直轴被分割为具有微透镜图像的相同数量的像素的两个互补部分。例如，微透镜图像701包括第一半(例如，左手侧一半7010)和第二半(例如，右手侧一半7020)。微透镜图像的第一半填充有灰色背景，并且微透镜图像的第二半填充有白色背景。第一半7010与第二半7020不同，并且第一半7010和第二半7020互补，意味着由第一半7010(或者，分别地，第一半7010中包括的像素)和第二半7020(或者，分别地，第一半7020中包括的像素)覆盖的表面与包括第一半和第二半二者的微透镜图像701的整个表面(或者，分别地，与整个像素)对应。
自然地，将微透镜图像分割为两半不限于垂直分割，而是扩展至任何分割为两半。图11A和11B示出根据本原理的具体的和非限制性实施例的微透镜图像的分割的两种其他不同取向。微透镜图像701用作示例。在图11A中，微透镜图像701根据水平轴被分割，第一半1101与上一半对应并且第二半1102与下一半对应。在图11B中，根据对角轴(例如，与水平轴形成45°角的轴)分割微透镜图像701，第一半1103与上一半对应并且第二半1104与下一半对应。
微透镜的分割的取向被预定(例如，通过光场相机的制造商来设置)或者是可以由用户经由用户界面设置的可调节参数。
根据一个变型，根据代表场景的一个或者多个对象的取向的信息，自动设置微透镜图像的分割的取向。例如经由图像处理分析场景并且确定每个对象的取向。分割的取向例如设置为对象的大多数取向。根据一个变型，分割的取向与场景的感兴趣的对象的取向对应，感兴趣的对象例如通过使用显著性信息(saliency information)确定或者与最接近场景的中心的对象对应。
图8示出从微透镜图像701到724的右手侧一半获得的2D再聚焦图像8用于确定的调焦距离。2D再聚焦图像8有利地通过对于具体再调焦距离g使用关于图5A和5B描述的再调焦处理而生成。为了生成图10的焦点堆栈，若干2D再聚焦图像关于每个不同值的g，生成为图像8，如关于图10更详细地描述的。
图10示出根据本原理的具体和非限制性实施例的第一焦点堆栈1000A和第二焦点堆栈1000B。
焦点堆栈是定义图像的立方体的N个再聚焦图像R(n)的集合(n∈[1,N])，其中，N是所确定的图像的数量。对于在由公式11定义的与zmin和zmax之间的调焦距的范围对应的gmin和gmax之间线性变化的g，计算出N个再聚焦图像。另一个选项是利用与由公式6定义的zmin和zmax之间的调焦距离的范围对应的从wmin到wmax线性变化到的w，计算焦点堆栈。g或w的最大最小边界例如由用户设置，以包含具有zmin和zmax内的调焦距离的再聚焦图像。根据一个变型，g或w的最大最小边界与光场相机相关联并且例如由制造商设置。z(n)指示图像索引n的再聚焦图像的距离。
第一焦点堆栈1000A包括多个第一图像1001A到1007A，所确定的并且不同的调焦距离g与每个第一图像1001A到1007A相关联。因为存在深度z和调焦距离g之间的密切关系(如公式6中给定)，等效地说，不同值的深度与每个第一图像1001A到1007A相关联。与第一图像1001A到1007A相关联的调焦距离有利地属于调焦距离的范围，范围的下限与gmin对应并且范围的上限与gmax与对应。gmin例如与堆叠的第一个第一图像1001A相关联，并且gmax例如与第一堆叠1000A的最后一个第一图像1007A相关联。与其他第一图像1002A到1006A相关联的调焦距离通过扫描从gmin到gmax的范围，在[gmin，gmax]的范围内选取。根据本示例，调焦距离根据从gmin到gmax的升序，与第一堆叠1001A的第一图像1001A到1007A相关联。根据一个变型，gmax与第一图像1001A相关联，并且gmin与第一图像1007A相关联。根据本变型，调焦距离根据从gmax到gmin的降序与第一堆叠1001A的第一图像1001A到1007A相关联。g的值例如以规则方式与第一图像相关联，即，与两个连续第一图像相关联的g的两个值之间的差是恒定的，即，我们得到：
g1002A-g1001A＝g1003A-g1002A＝…＝g1007A-g1006A
根据一变型，与两个连续第一图像相关联的‘g’的两个值之间的差不是恒定的，而可以从一对第一图像到另一对变化，即：
g1002A-g1001A≠g1003A-g1002A≠…≠g1007A-g1006A
根据另一个变型，一些差相等并且一些不相等，即：
g1002A-g1001A＝g1003A-g1002A≠g1004A-g1003A…≠g1007A-g1006A
以相同的方式，第二焦点堆栈1000B包括多个第二图像1001B到1007B，所确定的并且不同的调焦距离g与每个第二图像1001B到1007B相关联。第二图像1001B到1007B的数量有利地等于第一图像1001A到1007A的数量。根据一个变型，第二图像1001B到1007B的数量与第一图像1001A到1007A的数量不同，例如小于第一图像1001A到1007A的数量或者大于第一图像1001A到1007A的数量。以不同调焦距离与每个第一图像1001A到1007A相关联的相同方式，不同调焦距离也与每个第二图像1001B到1007B相关联。与第二图像1001B到1007B相关联的调焦距离的组，有利地和与第一图像1001A到1007A相关联的调焦距离的组相同。对于与第二图像相关联的每个调焦距离，存在具有相关联的相同的调焦距离的第一焦点堆栈中的一个第一图像和第二焦点堆栈中的对应一个第二图像。第一图像和对应的第二图像有利地利用相同的参数g和s或者利用接近值的参数g和s获得。根据一个变型，与第二图像1001B到1007B相关联的调焦距离的组有利地和与第一图像1001A到1007A相关联的调焦距离的组不同。根据本变型，也存在由一个第一图像和一个第二图像组成的一对图像，对于其与形成该对的第一图像和第二图像相关联的调焦距离相同。
例如，第一图像1001A和第二图像1001B具有相同的调焦距离；第一图像1002A和第二图像1002B具有相同的调焦距离；第一图像1003A和第二图像1003B具有相同的调焦距离；第一图像1004A和第二图像1004B具有相同的调焦距离；第一图像1005A和第二图像1005B具有相同的调焦距离；第一图像1006A和第二图像1006B具有相同的调焦距离；并且第一图像1007A和第二图像1007B具有相同的调焦距离。
第一焦点堆栈1000A和第二焦点堆栈1000B例如由处理单元103从远程存储设备或者从光场相机1或2接收到。
根据另一个示例，通过使用每个第一图像的不同调焦距离，通过应用关于图5A和5B说明的再聚焦处理，从关于图7和8说明的每个微透镜图像701到724的第一半获得第一焦点堆栈。以相同的方式，通过使用每个第一图像的不同调焦距离，通过应用关于图5A和5B说明的再聚焦处理，从关于图7和8说明的每个微透镜图像701到724的第二半获得第二焦点堆栈。
自然地，第一图像的数量和第二图像的数量不限于7个，而是扩展至大于或等于2的任何数量。
图9A和9B示出根据本原理的具体实施例，选择光场图像500的微透镜图像的一部分以获得图10的第一和第二焦点堆栈。图9A和图9B的实施例更特定地与这样的情况对应：光场图像从如关于图2描述的多相机阵列的多相机阵列获得。根据本实施例，微透镜图像901到924与根据不同视点的场景的不同视图对应，多相机阵列2的每个相机获取场景的不同的视图。根据本实施例，光场图像500与视图901到924的矩阵或者视图901到924的阵列对应。
为了获得第一焦点堆栈1000A，选择视图的第一半，例如，根据图9A的示例的视图的左手侧一半，即，填充有灰色作为背景的视图901到903、907到909、913到915和919到921。根据图9B的示例，视图的第一半与视图的上部分对应，即，视图901到912。关于图5A到5B描述的再调焦处理基于视图的第一部分而使用，以生成第一焦点堆栈1000A。
为了获得第二焦点堆栈1000B，选择视图的第二半，例如，根据图9A的示例的视图的右手侧一半，即，填充有白色作为背景的视图904到906、910到912、916到918和922到924。根据图9B的示例，视图的第二半与视图的下部分对应，即，视图913到924。关于图5A和5B描述的再调焦处理基于视图的第二部分而使用，以生成第二焦点堆栈1000B。
第一半的视图的数量等于第二半的视图的数量，形成第一半的视图的组与形成第二半的视图的组不同。依赖于视图的阵列的分割的取向和视图的阵列中包括的视图的数量，被包括在第一半中的一些视图也被包括在第二半中。例如，如果根据对角执行视图的阵列的分割，那么在不需要在第一半和第二半之间共用一些视图的情况下，如果视图的阵列不能被划分为视图的两个相等一半，则沿着对角轴定位的视图属于第一半和第二半二者。视图的第一半和第二半不同，意味着第一半的视图的至少一个不属于第二半。
图13图形地图示电信设备130的硬件实施例，电信设备130例如与体现根据本原理的一个方面的光场相机的智能电话或者平板电脑对应。
电信设备130包括通过也传输时钟信号的地址和数据的总线1304相互连接的以下元件：
-微处理器1301(或CPU)，
-ROM(只读存储器)型的非易失性存储器1302，
-随机存取存储器或者RAM 1303，
-无线电接口1306，
-接口1305，适配用于传输数据，
-光场相机1307，例如与图1的全光相机1或者与图2的多相机阵列2对应，
-MMI(人机界面1308)，适配用于向用户显示信息和/或输入数据或参数。
注意，存储器1302和13603的描述中使用的词语“寄存器”在提及的每个存储器中表示低容量的存储器区域以及大容量的存储器区域(使得整个程序能够被存储或者代表被接收并且被解码的数据的所有或者一部分)。
存储器ROM 1302具体包括“prog”程序。
实现对于本公开特定并且下面被描述的方法的步骤的算法被存储在与实现这些步骤的电信设备130相关联的ROM1302存储器中。当被加电时，微处理器1301加载并且运行这些算法的指令。
随机存取存储器1303显著地包括：
－在寄存器中，负责接通电信设备130的微处理器1301的操作程序，
－接收参数(例如调制、编码、MIMO、帧再现的参数)，
－传送参数332(例如调制、编码、MIMO、帧再现的参数)，
－与由接收器1306接收和解码的数据对应的输入数据，
－形成为在应用1305的接口被传送的解码数据，
－光场相机的参数，
－形成光场图像的光场数据，
－代表第一焦点堆栈和第二焦点堆栈的数据；
－代表深度的信息。
除关于图13描述的结构以外的电信设备130的其他结构和本公开是兼容的。具体地，根据变型，根据纯硬件实现，例如可以以专用组件(例如ASIC(专用集成电路)或FPGA(现场可编程门阵列)或VLSI(超大规模集成))的形式、或被嵌入到设备中的若干电子组件的形式、或者甚至以硬件元件和软件元件组合的形式，来实现电信设备。
无线电接口1306和接口1305例如适配用于根据一个或者若干电信标准(诸如IEEE802.11(Wi-Fi)、与IMT-2000规范(也称为3G)、与3GPP LTE(也称为4G)、IEEE 802.15.1(也称为蓝牙)兼容的标准之类)接收和传送信号。
根据一个变型，该电信设备不包括任何ROM只包括RAM，实现对于本公开特定的方法的步骤的算法存储在RAM中。
图14A示出根据本原理的具体实施例的处理利用图1或2的光场相机获取的光场图像的方法。例如在处理单元103中或者在电信设备130中实现该方法。
在初始化步骤140期间，光场相机的不同参数，显著地，主透镜和微透镜的参数。当对光场相机加电时和/或当改变相机镜头的参数(例如，当缩放或者调焦时的焦距)时，例如初始化参数。当对光场相机加电时和/或当获取场景的新光场图像时，光场数据被有利地初始化。
在步骤141期间，获得第一焦点堆栈1000A和第二焦点堆栈1000B，第一和第二焦点堆栈每个分别包括多个第一和第二图像。从形成光场图像的第一组像素(例如，形成关于图7和11A、11B描述的光场图像的微透镜图像的第一半的像素，或者形成关于图9A和9B描述的光场图像的视图的第一半的像素)有利地获得第一焦点堆栈。从形成光场图像的第二组像素(例如，形成关于图7和11A、11B描述的光场图像的微透镜图像的第二半的像素，或者形成关于图9A和9B描述的光场图像的视图的第二半的像素)有利地获得第二焦点堆栈。第二组像素与第一组像素不同，即，第一组的像素的至少一些没有被包括在第二组中和/或第二组的像素的至少一些没有包括在第一组中。
步骤131有利地对于每个获取的光场图像迭代。
图14B示出根据本原理的具体实施例的从在步骤131获得的焦点堆栈1000A和1000B获得深度信息的方法。例如在处理单元103中或者在电信设备130中实现该方法。
在步骤142期间，以比较第一焦点堆栈的至少两个第一图像与第二焦点堆栈的至少两个第二图像的方式，比较第一焦点堆栈1000A和第二焦点堆栈1000B，即，比较第一焦点堆栈的一个第一图像和第二焦点堆栈的一个对应第二图像。当与该第二图像相关联的调焦距离(或者深度)和与第一图像相关联的调焦距离(或深度)相同时，第二图像与第一图像对应。以像素或者像素块为基础比较第一图像和对应的第二图像。通过比较与像素相关联的灰度级，将第一图像的像素(或者像素块)与像素(或者像素的块)比较并且找到与第一图像的像素对应的第二图像的像素。当第二图像的像素的灰度级接近或者等于第一图像的对应像素的灰度级时，第二图像的像素与第一图像的像素对应。
根据一个变型，该比较包括在具有相同的相关联的调焦距离(或者，等效地，相同相关联的深度值)的每一对第一和第二图像中，确定与所述每一对中的第一图像的像素和/或第二图像的像素相关联的视差值。
然后在步骤143期间，从第一和第二焦点堆栈的至少两对第一图像/第二图像的比较结果，获得代表深度的信息，例如，视差信息(例如，以像素表达)或者深度信息(例如，以米表达)。例如从每一对第一图像/第二图像的比较(即，从根据图10的示例的七对第一图像/第二图像，即，各个对1001A/1001B、1002A/1002B到1007A/1007B)获得深度图或者视差图。最终深度信息(例如，最终深度图或者最终视差图)从由每一对获得的图来获得，例如选择它们中的一个通过组合由不同的对所获得的图。
根据一个变型，从比较结果仅确定对于其视差接近0的每一对的第一和第二图像的像素，对于给定的对，与视差等于0的像素相关联的深度是与该对相关联的深度(调焦距离)。在具有相同的相关联的深度值的每一对第一和第二图像中，有利地选择具有值接近0的视差值的所述每一对的第一图像和/或第二图像的像素。通过根据每一对的第一图像/第二图像的比较收集与对于其视差信息接近0的像素相关联的所有深度信息，来获得最终深度信息。有区别地说，在来自第一和第二焦点堆栈的一对第一图像/第二图像的2个再聚焦图像之间执行深度信息的计算。从索引n＝0到索引n＝N选取2个再聚焦图像。计算一对的这些第一和第二图像的像素(X,Y)的局部视差Δn(X,Y)。以像素的单位给出Δn(X,Y)。如果对象精确地远离光场相机z(n)，即，与一对的第一和第二图像二者相关联的深度，则Δn(X,Y)等于0。在坐标(X,Y)可见的对象的距离几乎等于z(n′)，n′是对于其|Δn(X,Y)|具有值接近或者等于0的再聚焦图像(即，第一或第二图像)的索引。
视差值被视为接近0，当它们例如小于确定值，例如0.25或者0.5像素。该确定值例如是依赖于用以计算视差的方法的固定值或者值，其依赖于方法的精度。根据一个变型，对于第一或者第二图像的给定像素，接近0的视差值是所述视差值，其绝对值是当考虑与焦点堆栈的第一/第二图像的不同对中的该像素相关联的所有绝对视差值时的最小的一个。
图12示出根据本原理的具体的并且非限制性的实施例的图120，图120包括从焦点堆栈1000A和1000B的比较结果获得的代表深度的信息(例如，视差值或者深度值)。为了清楚的目的，仅图示三对第一图像/第二图像，即，包括深度z＝1m的第一图像1001A和第二图像1001B的第一对、包括深度z＝2m的第一图像1003A和第二图像1003B的第二对和包括深度z＝3m的第一图像1006A和第二图像1006B的第三对。在每一对中，以灰色背景示出与第二图像的第二像素对应的第一图像的像素，这些像素利用第一对中的标号1、第二对中的标号2和第三对中的标号3标识出。因为与第一对相关联的深度等于1米，与第一对中被标号1的像素相关联的深度也是1米。出于相同的原因，与第二对的图像中被标号2的像素相关联的深度等于2米，并且与第三对的图像中被标号3的像素相关联的深度等于3米。有利地通过收集与每一对图像的对应像素的(多个)区域相关联的深度值(即，与区域1201的像素相关联的深度值等于1米，与区域1202的像素相关联的深度值等于2米，并且与区域1203的像素相关联的深度值等于3米)获得最终深度图120(或者，等效地，视差图)。当最终深度图120的一些像素没有从两个焦点堆栈的图像对的比较结果接收到深度信息时，可以例如通过对它们周围的具有从焦点堆栈的比较结果获得的深度值的像素进行内插来获得与这些像素相关联的深度信息。
根据一个可选变型，最终深度图120被处理，以显示具有3D效果的场景，最终深度图的深度/视差信息用以确定显示场景的对象的深度。根据另一个变型，最终深度图120被处理，以根据它们相关联的深度/视差裁减场景的(多个)图像的对象。根据另一个变型，最终深度图被处理，以生成场景的3D视图。
有利地对于每个获取的光场图像迭代步骤131到133。
图14C示出根据本原理的具体实施例的显示在步骤131获取的焦点堆栈1000A和1000B的方法。
在步骤144期间，第一和第二图像被传送以在显示设备上显示。显示设备例如是显示屏幕(例如，LCD(“液晶显示器”)或者OLED(“有机发光二极管”)显示设备)，用以顺序显示一对的第一图像和相同对的第二图像，显示设备有利地与一对主动式或者被动式眼镜相关联，从而同步分别向观看者的右眼和左眼的第一图像和第二图像的显示，这使得例如第一图像能够仅由左眼观看并且第二图像能够仅由右眼观看。根据一个变型，显示设备是HMD(“头盔式显示器”)，适配于显示立体图像对的左和右图像，例如第一图像显示为左图像并且第二图像显示为右图像。当由显示设备接收时，第一和第二堆叠的图像对例如被顺序传送和显示。根据一个变型，被传送的图像对在被显示之前被存储在显示设备的存储器中。将一对第一和第二图像显示为立体图像对，使得能够对焦地显示第一和第二图像的对象，焦点和与图像对相关联的深度对应。
步骤144例如在不需要执行步骤142和143的情况下在步骤141之后执行。根据一个变型，除了步骤142和143，还执行步骤141，例如在步骤142和143之后，与步骤142和143并行地或者在步骤142和143之后。
自然地，本公开不限于前面描述的实施例。
具体地，本公开不限于配置为处理(多个)光场图像的装置或者处理(多个)光场图像的方法，而是扩展至确定深度信息的方法/装置和/或显示焦点堆栈的图像的方法/装置和/或包括这样的装置的光场相机或者包括这样的装置或者实现(多个)这样的方法的任何设备，例如，电信设备。
电信设备例如包括智能电话、智能手表、平板电脑、移动电话、便携式/个人数字助理(“PDA”)以及有助于终端用户之间信息的通信而且有助于机顶盒之间的信息的通信的其他设备。
本文描述的校准全光相机的方法可以由通过处理器执行的指令实现，并且这样的指令(和/或由实现产生的数据值)可以存储在处理器可读的介质中，诸如例如集成电路、软件载体或者其他存储设备，诸如例如硬盘、压缩盘(“CD”)、光盘(诸如例如DVD，通常称为数字多功能盘或者数字视频盘)、随机存取存储器(“RAM”)或者只读存储器(“ROM”)。指令可以形成有形地体现在处理器可读介质上的应用程序。指令可以例如在硬件、固件、软件或者组合中。例如可以在操作***、独立应用程序或者二者的组合中找到指令。因此处理器可以例如特征化为配置为实施处理的设备和包括具有用于实施处理的指令的处理器可读介质(诸如存储设备)的设备二者。另外，除了指令或者替代指令，处理器可读介质可以存储由实现产生的数据值。
将对本领域技术人员明显的是，实现可以产生格式化为承载例如可以被存储或者传送的信息的各种信号。该信息例如可以包括用于执行方法的指令或者由描述的实现产生的数据。例如，信号可以被格式化为将用于写入或者读取描述的实施例的语法的规则作为数据承载或者将由描述的实施例写入的实际语法值作为数据承载。这样的信号可以例如格式化为电磁波(例如，使用频谱的无线电频率部分)或者格式化为基带信号。格式化例如可以包括编码数据流或者用编码数据流调制载波。信号承载的信息例如可以是模拟或者数字信息。信号可以通过已知的多种不同有线或者无线链路传送。信号可以存储在处理器可读的介质上。
已经描述若干实施例。然而，将理解，可以做出各种修改。例如，不同实现方式的元件可以被组合、补充、修改或者去除，以产生其他实现方式。此外，本领域技术人员将理解，其他结构和处理可以取代公开的那些并且作为结果的实现方式将以至少实质相同的(多个)方式，执行至少实质相同的(多个)功能，以实现与公开的实现方式至少实质相同的(多个)结果。因此，可以由本申请想到这些或者其他实现方式。

Claims (10)

1.一种配置为处理场景的光场图像(500)的装置，该光场图像包括一组微透镜图像，所述装置包括处理器和用以存储代表光场图像的数据的存储器，所述处理器配置为：
-获得具有第一焦点堆栈(1000A)和第二焦点堆栈(1000B)的一对焦点堆栈，
其中，从包括以下的组中选择一项：(1)从该组微透镜图像的第一半微透镜图像获得所述第一焦点堆栈并且从该组微透镜图像的第二半微透镜图像获得所述第二焦点堆栈，第一半微透镜图像与第二半微透镜图像不同；(2)从该组微透镜图像的第一子集微透镜图像获得所述第一焦点堆栈并且从该组微透镜图像的第二子集微透镜图像获得所述第二焦点堆栈，第一子集和第二子集包括该组微透镜图像的不同微透镜图像；
其中，第一焦点堆栈(1000A)包括多个第一图像(1001A到1007A)，每个第一图像代表场景，多个深度值的不同深度值与每个第一图像相关联，所述第一图像(1001A到1007A)由所述光场图像(500)的第一组像素生成，所述第二焦点堆栈(1000B)包括多个第二图像(1001B到1007B)，每个第二图像代表场景，所述多个深度值的不同深度值与每个第二图像相关联，所述第二图像(1001B到1007B)由所述光场图像(500)的第二组像素生成，第二组与第一组不同；
-对于具有相同的相关联的深度值的多对第一图像和第二图像中的每一对，将深度信息与具有视差值接近0的每一对的像素相关联，所述深度信息与每一对的深度值对应。
2.如权利要求1所述的装置，其中，处理器还配置为：
-比较每一对的第一图像和第二图像；以及
-从比较的结果获得代表深度的信息(120)。
3.如权利要求1所述的装置，其中，从包括以下的组中选择的一项(1)第一半微透镜图像和第二半微透镜图像，以及(2)第一子集微透镜图像和第二子集微透镜图像，是根据代表所述场景内的场景的至少一个对象的取向的信息而确定的。
4.如权利要求2所述的装置，其中，处理器还配置为，在所述每一对中，确定与每一对的第一图像和第二图像中的至少一个的像素相关联的视差值。
5.一种处理场景的光场图像(500)的方法，该光场图像包括一组微透镜图像，所述方法包括：
-获得具有第一焦点堆栈(1000A)和第二焦点堆栈(1000B)的一对焦点堆栈，
其中，从包括以下的组中选择一项：(1)从该组微透镜图像的第一半微透镜图像获得所述第一焦点堆栈并且从该组微透镜图像的第二半微透镜图像获得所述第二焦点堆栈，第一半微透镜图像与第二半微透镜图像不同；(2)从该组微透镜图像的第一子集微透镜图像获得所述第一焦点堆栈并且从该组微透镜图像的第二子集微透镜图像获得所述第二焦点堆栈，第一子集和第二子集包括该组微透镜图像的不同微透镜图像；
其中，第一焦点堆栈(1000A)包括多个第一图像(1001A到1007A)，每个第一图像代表场景，多个深度值的不同深度值与每个第一图像相关联，所述第一图像(1001A到1007A)由所述光场图像(500)的第一组像素生成，所述第二焦点堆栈(1000B)包括多个第二图像(1001B到1007B)，每个第二图像代表场景，所述多个深度值的不同深度值与每个第二图像相关联，所述第二图像(1001B到1007B)由所述光场图像(500)的第二组像素生成，第二组与第一组不同；
-对于具有相同的相关联的深度值的多对第一图像和第二图像中的每一对，将深度信息与具有视差值接近0的每一对的像素相关联，所述深度信息与每一对的深度值对应。
6.如权利要求5所述的方法，还包括：
-以比较每个第一图像和具有与每个第一图像相同的相关联的深度值的每个第二图像的方式，比较(142)第一图像(1001A到1007A)和第二图像(1001B到1007B)；以及
-从比较的结果获得代表深度的信息(120)。
7.如权利要求5所述的方法，其中，从包括以下的组中选择的一项(1)第一半微透镜图像和第二半微透镜图像，以及(2)第一子集微透镜图像和第二子集微透镜图像，是根据代表所述场景内的场景的至少一个对象的取向的信息而确定的。
8.如权利要求6所述的方法，其中，比较包括在每一对具有相同相关联的深度值的第一和第二图像中，确定与每一对的第一图像和第二图像中的至少一个的像素相关联的视差值。
9.如权利要求8所述的方法，其中，比较还包括在每一对具有相同相关联的深度值的第一和第二图像中，选择具有视差值接近0的每一对的第一图像和第二图像中的至少一个的像素。
10.如权利要求1所述的装置，其中所述装置是一种光场获取设备(1；2)。
CN201680024611.7A 2015-04-27 2016-04-21 处理光场内容的方法和设备 Active CN107637061B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15305645.2 2015-04-27
EP15305645.2A EP3088954A1 (en) 2015-04-27 2015-04-27 Method and device for processing a lightfield content
PCT/EP2016/058919 WO2016173925A1 (en) 2015-04-27 2016-04-21 Method and device for processing a lightfield content

Publications (2)

Publication Number Publication Date
CN107637061A CN107637061A (zh) 2018-01-26
CN107637061B true CN107637061B (zh) 2020-11-06

Family

ID=53177301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680024611.7A Active CN107637061B (zh) 2015-04-27 2016-04-21 处理光场内容的方法和设备

Country Status (6)

Country Link
US (1) US10719948B2 (zh)
EP (2) EP3088954A1 (zh)
JP (1) JP6817960B2 (zh)
KR (2) KR102490000B1 (zh)
CN (1) CN107637061B (zh)
WO (1) WO2016173925A1 (zh)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10757390B2 (en) * 2016-08-05 2020-08-25 Interdigital Ce Patent Holdings Method for obtaining at least one sub-aperture image being associated with one view
KR102462063B1 (ko) * 2016-12-09 2022-11-03 한국전자통신연구원 플렌옵틱 재초점을 이용한 자동 객체 분리 방법 및 장치
WO2018112875A1 (en) * 2016-12-23 2018-06-28 Intel Corporation Efficient sub-pixel disparity estimation for all sub-aperture images from densely sampled light field cameras
CN111183394B (zh) * 2017-07-18 2021-10-26 辛特科技有限公司 一种分时还原光场的方法及还原装置
WO2019014845A1 (zh) * 2017-07-18 2019-01-24 辛特科技有限公司 一种基于棱镜合成光场的方法
CN108769462B (zh) * 2018-06-06 2020-05-05 北京邮电大学 自由视角场景漫游方法及装置
EP3959469A4 (en) 2019-04-22 2022-12-28 LEIA Inc. TIME MULTIPLEXING BACKLIGHT, MULTI-VIEW DISPLAY DEVICE, AND METHOD
CN111856770B (zh) * 2019-04-26 2022-07-19 曹毓 一种偏振成像设备
CN111862106B (zh) * 2019-04-30 2023-09-29 曜科智能科技（上海）有限公司 基于光场语义的图像处理方法、计算机装置、及存储介质
CN110389140A (zh) * 2019-07-11 2019-10-29 中国科学院上海应用物理研究所 实现元素空间定位的双能焦点堆栈三维重构方法
WO2021077078A1 (en) * 2019-10-18 2021-04-22 Looking Glass Factory, Inc. System and method for lightfield capture
CN111028257B (zh) * 2019-11-06 2022-05-17 北京航空航天大学 微透镜子图像几何中心及边缘的提取方法及装置
CN111147848B (zh) * 2019-12-30 2021-10-01 清华大学深圳国际研究生院 一种基于内容自适应的光场视频编码方法
CN111427166B (zh) * 2020-03-31 2022-07-05 京东方科技集团股份有限公司 一种光场显示方法及***、存储介质和显示面板
US11490067B2 (en) * 2020-08-07 2022-11-01 Owl Autonomous Imaging, Inc. Multi-aperture ranging devices and methods
CN112464727A (zh) * 2020-11-03 2021-03-09 电子科技大学 一种基于光场相机的自适应人脸识别方法
WO2022119940A1 (en) 2020-12-01 2022-06-09 Looking Glass Factory, Inc. System and method for processing three dimensional images
CN113280754A (zh) * 2021-07-22 2021-08-20 清华大学 高精度深度计算装置及方法
US11830127B1 (en) * 2023-05-02 2023-11-28 Illuscio, Inc. Systems and methods for generating consistently sharp, detailed, and in-focus three-dimensional models from pixels of two-dimensional images
CN116389923A (zh) * 2023-06-05 2023-07-04 太原理工大学 一种光场图像重聚焦度量检测方法及***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101952855A (zh) * 2008-01-15 2011-01-19 拉古纳大学 从三维场景实时获取视觉信息的方法和照相机
US8400555B1 (en) * 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008050904A1 (fr) 2006-10-25 2008-05-02 Tokyo Institute Of Technology Procédé de génération d'image dans un plan de focalisation virtuel haute résolution
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
JP5699609B2 (ja) * 2011-01-06 2015-04-15 ソニー株式会社 画像処理装置および画像処理方法
US20140225991A1 (en) * 2011-09-02 2014-08-14 Htc Corporation Image capturing apparatus and method for obatining depth information of field thereof
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
JP6140709B2 (ja) * 2011-09-28 2017-05-31 ペリカン イメージング コーポレイション 明視野画像ファイルを符号化および復号するためのシステムおよび方法
JP2013105151A (ja) 2011-11-16 2013-05-30 Olympus Corp 光学装置
US20140333739A1 (en) * 2011-12-02 2014-11-13 Lg Electronics Inc 3d image display device and method
US8811769B1 (en) * 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
EP2881775B1 (en) * 2012-08-06 2018-03-07 FUJIFILM Corporation Imaging device
JP5939945B2 (ja) * 2012-09-20 2016-06-22 富士フイルム株式会社 移動物体の位置検出装置及び方法
JP6047025B2 (ja) * 2013-02-01 2016-12-21 キヤノン株式会社 撮像装置及びその制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101952855A (zh) * 2008-01-15 2011-01-19 拉古纳大学 从三维场景实时获取视觉信息的方法和照相机
US8400555B1 (en) * 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths

Also Published As

Publication number Publication date
JP6817960B2 (ja) 2021-01-20
KR20170140235A (ko) 2017-12-20
EP3289413A1 (en) 2018-03-07
EP3289413B1 (en) 2021-10-06
US20180144492A1 (en) 2018-05-24
WO2016173925A1 (en) 2016-11-03
CN107637061A (zh) 2018-01-26
KR20230014866A (ko) 2023-01-30
US10719948B2 (en) 2020-07-21
EP3088954A1 (en) 2016-11-02
KR102490000B1 (ko) 2023-01-19
JP2018523328A (ja) 2018-08-16

Similar Documents

Publication Publication Date Title
CN107637061B (zh) 处理光场内容的方法和设备
CN105814875B (zh) 选择用于立体成像的相机对
KR102172992B1 (ko) 이미지 촬영 장치 및 이미지 촬영 방법
JP6021541B2 (ja) 画像処理装置及び方法
US10652577B2 (en) Method and apparatus for encoding and decoding light field based image, and corresponding computer program product
JP2017182796A (ja) ライトフィールドデータを処理する方法およびデバイス
US9581787B2 (en) Method of using a light-field camera to generate a three-dimensional image, and light field camera implementing the method
EP2833638B1 (en) Image processing device, imaging device, and image processing method
CN102917235A (zh) 图像处理装置、图像处理方法和程序
US10785502B2 (en) Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product
JP2012070215A (ja) ３次元撮像装置
US20150189254A1 (en) Method and device for estimating disparity associated with views of a scene acquired with a plenoptic camera
JP6128748B2 (ja) 画像処理装置及び方法
CN103098480A (zh) 图像处理装置、三维摄像装置、图像处理方法、以及图像处理程序
JP2013090059A (ja) 撮像装置、画像生成システム、サーバおよび電子機器
KR20180000696A (ko) 적어도 하나의 라이트필드 카메라를 사용하여 입체 이미지 쌍을 생성하는 방법 및 장치
CN211531217U (zh) 3d终端
TWI603290B (zh) 重調原始景深圖框的尺寸爲尺寸重調景深圖框的方法、裝置及系統
CN103503447A (zh) 拍摄装置及拍摄装置的控制程序
EP3200151A1 (en) Method and device for obtaining a depth map
CN112929632A (zh) 3d终端
CN115701313A (zh) 多视点图像处理***及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190604

Address after: France

Applicant after: Interactive Digital CE Patent Holding Company

Address before: I Si Eli Murli Nor, France

Applicant before: Thomson Licensing SA

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant