CN109479098B - 多视图场景分割和传播 - Google Patents

多视图场景分割和传播 Download PDF

Info

Publication number
CN109479098B
CN109479098B CN201780034730.5A CN201780034730A CN109479098B CN 109479098 B CN109479098 B CN 109479098B CN 201780034730 A CN201780034730 A CN 201780034730A CN 109479098 B CN109479098 B CN 109479098B
Authority
CN
China
Prior art keywords
video stream
mask
foreground
region
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201780034730.5A
Other languages
English (en)
Other versions
CN109479098A (zh
Inventor
弗朗索瓦·布莱贝尔
杜廷芳
托马斯·诺恩
谭杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of CN109479098A publication Critical patent/CN109479098A/zh
Application granted granted Critical
Publication of CN109479098B publication Critical patent/CN109479098B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)
  • Studio Circuits (AREA)

Abstract

可以对多视图视频流应用基于深度的效果以生成修改后的多视图视频流。用户输入可以指定所述视频流的参考图像的前景区域和与所述前景区域不同深度处的背景区域之间的边界。基于所述用户输入，可以生成参考掩模以指示所述前景区域和所述背景区域。所述参考掩模可以用于生成一个或多个其它掩模，所述一个或多个其它掩模指示来自所述参考图像的不同帧和/或不同视图的一个或多个不同图像的前景区域和背景区域。所述参考掩模和其它掩模可以用于将所述效果应用于所述多视图视频流以生成所述修改后的多视图视频流。

Description

多视图场景分割和传播
相关申请的交叉引用
本申请要求2017年3月17日提交的“Multi-View Scene Segmentation andPropagation”(代理人案号LYT287)的美国实用新型申请序号15/462,752的优先权，其公开内容通过引用整体地并入在本文中。
本申请要求2016年6月9日提交的“Using Light-Field Image Data forBackground Color Spill Suppression”(代理人案号LYT255-PROV)的美国临时申请序号62/347,734的权益，其公开内容通过引用整体地并入在本文中。
本申请涉及2015年8月27日提交的“Depth-Based Application of ImageEffects”(代理人案号LYT203)的美国申请序号14/837,465，其公开内容通过引用整体地并入在本文中。
本申请涉及2016年3月29日提交的“Capturing Light-Field Volume Images andVideo Data Using Tiled Light-Field Cameras”(代理人案号LYT217)的美国实用新型申请序号15/084,326，其公开内容通过引用整体地并入在本文中。
技术领域
本公开涉及用于处理图像数据的***和方法，并且更具体地，涉及用于分割被捕获以用在虚拟现实或增强现实应用中的光场图像和/或体积视频中的场景的***和方法。
背景技术
编辑常规或光场图像以提供效果诸如改变着色、改变对比度或者***和/或移除图像中的对象可以是有挑战性的。通常，用户必须谨慎选择对象边界以控制效果如何被应用。因此，基于深度的效果的应用可以是费时且劳动密集的努力。
另一个挑战通过对视频做出基于深度的修改诸如背景替换的需要来呈现。当涉及多个帧时绘制前景元素与背景元素之间的区别的过程可迅速地变得麻烦。用于使这种分割自动化的已知方法显著地受限制。例如，边缘区域中的边缘检测和alpha估计依靠使背景颜色和前景颜色分离，这在低对比度区域中或者在前景颜色和背景颜色类似的情况下是不准确的。
与光场相机或平铺相机阵列一样，挑战在具有多个视点的视频的情况下加重。如果视频流中的每个视图都需要分割，则必须相应地重复过程。结果是非常劳动密集的过程。
发明内容
根据各种实施例，本文中描述的技术的***和方法处理图像数据，诸如光场图像数据，以便基于图像数据的深度特性实现各种效果。这种效果可以包括但不限于替换一个或多个对象、修改曝光水平、修改对比度水平、修改饱和度水平、修改图像的颜色集和/或改变图像数据的背景。前景场景元素的准确提取可以使得能实现更有效的合成和/或其它视觉效果，例如以允许混入新背景(和/或其它元素)，同时使颜色溢出和其它赝像最小化。
具体地，可以对视频流应用基于深度的效果以生成修改后的视频流。用户输入可以指定视频流的参考图像的前景区域和与前景区域不同的深度处的背景区域之间的边界。这可以通过使用有界框等来指定边界来完成。例如，3D有界框可以用于将参考图像的前景区域指定为3D有界框内的图像的部分。在3D有界框外部的图像的部分可以是背景区域。
基于用户输入，可以生成参考掩模(mask)以指示前景区域和背景区域。可以细化边界以计算精细参考掩模的精细边界。精细参考掩模可以可选地是包括前景区域与背景区域之间的未知区域的三元图(trimap)。未知区域可以包含可以属于背景区域或前景区域的像素。未知区域可以具有基于边界是否在恰好适当的位置中的置信水平可以更大或更小的自适应宽度。视需要，可以经由另外的用户输入、基于深度的算法的应用和/或基于颜色的算法的应用对未知区域做出另外的细化。可以与参考图像相结合地分析其它视图和/或帧以帮助确定未知区域的像素是属于前景区域还是背景区域。
参考掩模可以用于生成指示用于视频流的与参考图像不同的一个或多个非参考图像的前景区域和背景区域的一个或多个非参考掩模。因此，参考掩模(例如，三元图)可以被应用于不同的视图和/或不同的帧以方便为该帧生成三元图。因此可以经由前向传播(在时间上向前)和/或后向传播(在时间上向后)从一个或多个关键帧传播三维图。类似地，可以将三元图传播到与已经计算三元图的图像相同的帧的不同的视图。因此，可以针对视频流的所有视图和/或帧计算三维图，而无需用户为每个帧和/或视图提供输入。
三元图可以用于为每个视图和/或帧生成alpha蒙版(alpha matte)。alpha蒙版可以用于控制效果如何被应用于视频流。如果视频流是光场视频，则可以选择将alpha蒙版反投影到光场，使得可使用光场来投影应用了alpha蒙版的新视图。
因此，可以生成修改后的视频流。可以为观看者显示修改后的视频流，例如，作为虚拟现实或增强现实体验的一部分。
附图说明
附图图示若干实施例。与说明书一起，它们用来说明实施例的原理。本领域的技术人员将认识到，附图中图示的特定实施例仅仅是示例性的，而不旨在限制范围。
图1是根据一个实施例的描绘用于执行视频效果应用的管线的图。
图2是根据一个实施例的描绘用于执行视频效果应用的方法的流程图。
图3是根据一个实施例的描绘分割到视频流的相邻帧和/或视图的传播的图。
图4是根据一个实施例的进一步描绘分割到视频流的相邻帧和/或视图的传播的图。
图5是根据一个实施例的描绘用户可以指定前景对象的一个方式的屏幕截图。
图6是根据一个实施例的描绘使用用户描画的笔划来指定前景和背景材料的屏幕截图。
图7是根据一个实施例的描绘前景、背景和未知区域(即，未知分段)的三元图的一部分。
图8是根据一个实施例的使用光流来描绘前向三元图传播的图像的集合。
图9是根据另一实施例的使用光流来描绘后向三元图传播的图像的集合。
图10是根据一个实施例的描绘经由前向传播和后向传播获得的三元图的组合的图像的集合。
图11是使用i处的关键帧和k处的关键帧来描绘针对帧j的三元图的内插的图表。
图12是根据一个实施例的描绘在|i-j|<＝|k-j|情况下的组合三元图值的表。
图13是根据一个实施例的描绘在|i-j|>|k-j|情况下的组合三元图值的表。
图14A至图14D是根据一个实施例的针对相邻(非参考)视图VA的顶视图、初步三元图、二元分割和最终三元图。
图15是根据一个实施例的针对相邻(非参考视图)VA的顶视图。
图16是根据一个实施例的描绘alpha蒙版从多个视图到光场的反投影中的步骤的屏幕截图图像的集合。
具体实施方式
定义
出于本文中提供的描述的目的，使用以下定义：
·alpha蒙版：来自alpha抠图(alpha matting)过程的输出。
·alpha抠图：用于区分图像中的背景和前景像素的过程，其可以包括向这些像素指派透明度。所指派的透明度水平可被例如编码为与图像相关联的alpha通道(alphachannel)。
·背景区域–指定远离相机的主题的图像的一部分。
·计算设备：包含处理器的任何设备。
·数据存储：存储数字数据的任何设备。
·深度：对象和/或对应图像样本与相机的微透镜阵列之间位移的表示。
·深度图：与光场图像相对应的二维图，指示光场图像内的多个像素样本中的每一个的深度。
·显示屏幕：可在上面显示图像的任何类型的硬件。
·扩展景深(EDOF)图像：已被处理成使对象沿着更大的深度范围聚焦的图像。
·前景分段或“前景区域”-指定更靠近相机的主题的图像的一部分。
·帧：场景的一个或多个图像已作为视频流的一部分被捕获的时间指定。
·图像：各自规定颜色的像素值或像素的二维阵列。
·输入设备：能够为计算设备接收用户输入的任何设备
·光场图像：包含在传感器处捕获的光场数据的表示的图像。
·微透镜：小透镜，通常是类似微透镜的阵列中的一个。
·多视图视频流：对至少一个帧来说具有多个视图的视频流。
·修改后的视频流：在对视频流应用一个或多个效果之后结果得到的视频流。
·处理器：能够基于数据做出判定的任何设备。
·参考掩模：指示针对图像的多个部分中的每一个的指定的任何数据结构，包括三元图。
·三元图：指定图像的区域的参考掩模。三元图例如可以指定前景区域、背景区域以及位于前景区域与背景区域之间的未知区域。
·未知区域-包含可以属于前景区域或背景区域的像素的图像的一部分。
·视频流：包括在不同的时间的帧的一系列图像。
·视图：观察场景的视点和/或视图定向。
此外，为了命名法的容易，术语“相机”在本文中用于指代图像捕获设备或其它数据获取设备。这种数据获取设备可以是用于获取、记录、测量、估计、确定和/或计算表示场景的数据、包括但不限于二维图像数据、三维图像数据和/或光场数据的任何设备或***。这种数据获取设备可以包括用于使用本领域中众所周知的技术来获取表示场景的数据的光学器件、传感器和图像处理电子装置。本领域的技术人员将认识到，可连同本公开一起使用许多类型的数据获取设备，并且本公开不限于相机。因此，术语“相机”在本文中的使用旨在为说明性的和示例性的，而不应该被认为限制本公开的范围。具体地，这种术语在本文中的任何使用应该被认为指代用于获取图像数据的任何适合的设备。
在以下描述中，对用于处理光场图像的若干技术和方法进行描述。本领域的技术人员将认识到，可单独地和/或按照彼此任何适合的组合执行这些各种技术和方法。
架构
在至少一个实施例中，可以连同由光场捕获设备所捕获的光场图像一起实现本文中描述的***和方法，所述光场捕获设备包括但不限于Ng等人,Light-field photographywith a hand-held plenoptic capture device,Technical Report CSTR 2005-02,Stanford Computer Science中描述的那些。在2015年8月27日提交的“Depth-BasedApplication of Image Effects”(代理人案号LYT203)的美国申请序号14/837,465中示出并描述了示例性光场概念、光学硬件和计算硬件，其公开内容通过引用整体地并入在本文中。可以在本文中公开的硬件诸如光场相机或接收并处理光场数据的后处理***上实现本文中描述的***和方法。
附加地或可替选地，可以连同体积视频数据诸如由相机的平铺阵列所捕获的视频数据一起实现本文中描述的***和方法。在2016年3月29日提交的“Capturing Light-Field Volume Images and Video Data Using Tiled Light-Field Cameras”(代理人案号LYT217)的美国实用新型申请序号15/084,326中示出并描述了示例性相机阵列概念、光学硬件和计算硬件，其公开内容通过引用整体地并入在本文中。本文中描述的***和方法可以由所关联的硬件诸如平铺相机阵列或捕获***和/或接收并处理体积视频数据的后处理***来实现。
效果应用
存在可基于图像中的对象的深度有益地应用的许多效果。例如，可能期望替换图像的背景或前景，或者模拟仅照射更靠近或远离相机的对象的附加光源的存在。
这种效果的应用对单个图像来说可能是有挑战性的。对诸如光场图像或由平铺相机阵列所捕获的图像的多视图图像来说存在附加挑战。当要对多个帧应用变化以便以视频格式诸如在虚拟现实或增强现实应用中使用的视频呈现时，这些挑战加重。
本公开提供可用来基于深度分割图像的***和方法。例如，为了执行背景替换，可以将图像分割成包含图像前景中的对象的前景部分、包含图像背景中的对象的背景部分和/或包含可以在图像的前景和/或背景中的对象的未知部分。然后可以将分割传播到来自替选视图和/或替选帧的图像以便提供视频流的分割。在分割之后，可以容易地执行诸如背景替换的操作。
多视图分割管线和方法
图1是根据一个实施例的描绘用于执行视频效果应用的管线的图。如先前所阐述的，可以对诸如光场视频和/或用平铺相机阵列捕获的视频的多视图视频应用效果。如所示，视频流100可以可选地是多视图视频流，并且可以包括多个图像，其中的每一个均对应于特定帧和/或视图。
视频流100可以包括各种类型的数据，所述数据可以包括但不限于颜色数据102、深度数据104和运动数据106。颜色数据102可以对用于视频流100的每个图像的每个像素的颜色进行编码，并且可以具有RGB或任何其它适合的格式。深度数据104可以包括指示视频流100的每个图像的各个像素和/或部分距离捕获了视频流100的图像传感器的深度的深度图或其它数据结构。运动数据106可以指示从每个帧的图像到接连帧的对应图像的变化。
视频流100的一个或多个图像可以经历分割，其中视频流100的不同的分段被刻定以方便效果的应用。例如，分割可以是二元分割110，其中图像被分割成两个分段，诸如示出相对地靠近相机的对象的前景区域以及示出相对地远离相机的对象的背景区域。用户输入120可以用于方便此划定过程。
二元分割110针对每个图像可以包括初始二元分割130，其中在前景区域与背景区域之间描述边界132。另外，二元分割110针对每个图像可以包括精细二元分割140，其中边界132被细化以采取前景区域与背景区域之间的精细边界142的形式。
二元分割110可以用于构造三元图150，所述三元图150可以是用于每个图像的自适应三元图。三元图150可以是使图像分成前景区域和背景区域以及位于前景区域与背景区域之间的未知区域的图像的图。未知区域可以包含可以适当地按前景区域或背景区域分组的像素。在一些实施例中，三元图150可以是指定前景(例如编码为255)、背景(例如编码为0)和未知(例如编码为128)区域的掩模。未知区域可以定义在使前景像素和背景像素分离的边界周围的像素的片，其中关于个别像素的前景/背景指定存在不确定性。
可以对三元图150应用抠图160，这可以导致前景图像165的生成，所述前景图像165可以是仅表示前景区域的图像，和/或指示效果将被应用于每个图像的程度的alpha蒙版170。前景图像165和/或alpha蒙版170可以用于将效果应用于视频流100，从而导致修改后的视频流180的生成。alpha蒙版170的生成可以是图像分割的主要目标。
在一些实施方式中，alpha蒙版170可以是识别图像的属于以下各项的部分的浮点图像：
·前景(alpha值为1)；
·背景(alpha值为0)；以及
·前景与背景之间的“柔和”边缘。由于运动模糊或材料属性，一些边缘值将具有部分透明度。在那种情况下，可以估计介于0与1之间的alpha值。
图2是根据一个实施例的描绘用于执行视频效果应用的方法的流程图。可选地可以使用图1中所示的数据结构来执行图2的方法。可替选地，可以利用不同的数据结构来执行图2的方法。类似地，可以连同与图2的那些方法不同的方法一起使用图1的数据结构。以下描述假定图2的方法利用图1的数据结构。
例如，可以利用用于处理光场图像和/或体积视频数据的后处理电路来执行图2的方法。在一些实施例中，计算设备可以执行该方法；这种计算设备可以包括桌面型计算机、膝上型计算机、智能电话、平板、相机和/或处理数字信息的其它设备中的一个或多个。
方法可以从步骤200开始，在步骤200中视频流100例如由相机或相机阵列的传感器捕获，如通过引用并入在本文中的专利申请中所公开的。对于光场视频捕获，可以通过使光场重新聚焦在虚拟孔径的各个位置处来计算多个视图。可以在视频流100的捕获之后发生的一个或多个步骤中做这个。
在步骤210中，可以在计算设备中接收视频流100，所述计算设备可以是相机或相机阵列的一部分。可替选地，计算设备可以像在如通过引用并入在本文中的专利申请中所公开的单独的后处理***中一样与相机分离。这种计算设备此后将被称为“***”。
在步骤220中，***可以接收视频流100的参考图像的用户指定，所述参考图像将被用于初始二元分割。用户例如可以选取具有清楚地定义的和/或容易地辨识的前景和背景区域的图像。在替选实施例中，参考图像可以由***自动地选择。在一些实施例中，可能已经针对视频流100的参考图像和/或其它图像计算了每个帧的深度或视差图和/或记录每个像素的准确运动的光流图像。
在步骤230中，***可以接收对前景区域与背景区域之间的边界的用户指定。此用户指定可以例如通过用户在前景区域和/或背景区域中的一个或多个元素周围绘制一个或多个元素诸如有界框来做出。可以在步骤240中使用此用户指定来计算图1的初始二元分割130。
可选地，由用户绘制的元素可以共同地组成边界132。在步骤250中，可以对边界132进行细化以提供精细边界142，从而提供精细二元分割140。视需要，可以使用图切割和/或其它计算机视觉技术来定义和/或对边界132和/或精细边界142进行细化。视需要，可以将来自参考图像的深度图的深度线索包括在概率模型中以细化背景区域和前景区域具有类似颜色的边缘。
在步骤260中，可以基于精细二元分割140计算三元图150。如上所述，三元图可以包括前景区域与背景区域之间的未知区域。在步骤270中，可以对三元图150应用抠图算法以生成用于参考图像的alpha蒙版170。来自相邻视图的颜色信息可以用于使前景分量和背景分量分离，从而减少合成方程中的未知数的数量并且显著地提高结果得到的alpha蒙版170的准确性。在一些实施例中，alpha蒙版170可以是指示视频流100的图像的每个像素的透明度的逐像素图。可以将alpha蒙版170编码成用于视频流100的alpha通道。alpha蒙版170的生成可以涉及使用视频流100的颜色数据102和三元图150作为输入。
在查询280中，可以做出关于视频流100的所有帧和视图是否已被处理的确定。如果没有，则在步骤290中，可以从来自参考图像的不同的帧和/或视图中选择新图像(“第一非参考图像”)。在步骤291中，可以将在步骤260中计算的三元图150传播到新图像。可以相对于非参考图像重复步骤240、步骤250、步骤260和步骤270，并且可以在步骤290中再次选择连续的非参考图像，并且如上所述处理这些非参考图像，直到查询280被肯定地回答为止。
在一些实施例中，每个非参考图像可以由***在步骤290中自动地选择，并且可以在步骤240、步骤250、步骤260和步骤270中在没有进一步用户输入的情况下被处理。在替选实施例中，用户可以提供输入以依照步骤290选择新图像中的一个或多个。视需要，还可以针对每个新图像重复步骤230，使得用户提供输入以方便初始二元分割130的正确生成。
在一些实施例中，可以针对每个非参考图像省略步骤240、步骤250、步骤260和步骤270中的一个或多个。例如，对于第一非参考图像，参考图像的三元图150可以用于依照步骤260计算三元图150。这可以在不用针对新的非参考图像执行步骤240和/或步骤250的情况下完成。
非参考图像可以被选择为使得它们来自与从先前处理的图像的那些视图和/或帧相邻的视图和/或帧，使得可在步骤260中使用相邻图像的三元图150来为新的非参考图像生成三元图150。例如，通过(1)在新的非参考图像与先前处理的图像之间应用光流，和/或(2)与新的非参考图像和/或先前处理的图像的非本征参数相结合地使用深度数据104，可以根据前一个三元图外推要生成的每个三元图150。
在一些实施例中，可以仅部分地执行步骤240和/或步骤250。例如，由于运动和/或深度估计误差，已在步骤291中针对新的非参考图像传播的新三元图对新的非参考图像来说可能是不准确的；这种不准确性可以使抠图算法在步骤270中失败。为了解决这些不准确性，可以仅针对经由根据先前处理的图像的三元图的外推而生成的三元图150的未知区域执行步骤240和/或步骤250。然后可以运行步骤260和步骤270以计算修订的三元图，这可以导致抠图算法在步骤270中更好地运行。
图3是根据一个实施例的描绘分割到视频流100的相邻帧和/或视图的传播的图300。例如，从参考图像310起，分割可以在时间上后向传播到相邻先前的非参考图像320，和/或在时间上前向传播到相邻后续的非参考图像330。附加地或可替选地，从参考图像310起，分割可以被传播到第一相邻视图非参考图像340和/或第二相邻视图非参考图像350。
类似地，从相邻先前的非参考图像320起，分割可以被传播到第一相邻视图非参考图像360和/或第二相邻视图非参考图像370。从相邻后续的非参考图像330，分割可以被传播到第一相邻视图非参考图像380和/或第二相邻视图非参考图像390。
图4是根据一个实施例的进一步描绘分割到视频流100的相邻帧和/或视图的传播的图400。可以以任何顺序使用视图传播和/或时间传播。如所示，从在时间t的参考视图VR处的参考图像的三元图410，视图传播可以导致用于替选(即，非参考)视图VA的初始三元图420的生成。可以执行二元分割430以生成用于视图VA的自适应三元图440，其可以用于生成用于视图VA的alpha蒙版170。类似地，从三元图410，时间传播可以导致在后续帧处(在时间t+1)的视图VR的初始三元图450的生成。可以执行二元分割460以在时间t+1生成用于视图VR的自适应三元图470。
结合图1再次参考图2，一旦所有视图和/或帧已被处理，在步骤292中，可以将在步骤270中为每个图像而生成的alpha蒙版170反投影到将视频流100的视图链接在一起的光场或其它数据。可以与深度图相结合地使用已知视图几何来投影未知区域并且计算用于所有其它视图的反投影alpha蒙版。这可以方便将alpha蒙版170适当地应用于视频流100。在步骤294中，可以使用alpha蒙版170和/或反投影alpha蒙版来将效果应用于视频流100以生成图1的修改后的视频流180。视需要，可以将单视图alpha蒙版反投影到4D光场以使得能实现4D合成工作流程，其中捕获的和计算机生成的光场被混合在一起以形成最终图像。
在步骤296中，可以为用户显示修改后的视频流180。这可以例如通过在诸如通过引用并入在本文中的专利申请中所公开的那些的显示屏幕上显示修改后的视频流180来完成。视需要，方法可以是虚拟现实或增强现实体验的一部分。方法然后可以结束。
图2的方法仅是可以用于对诸如多帧视频流的视频流应用效果的许多可能的方法中的一种。根据各种替选方案，图2的各个步骤可以被以不同的顺序执行、省略和/或由其它步骤替换。例如，其它图像处理步骤可以被并入到图2的方法中，在方法的任何阶段处，并且可以在应用效果之前、期间和/或之后相对于图像被执行。
可以在本公开的范围内以各种方式执行图2的方法的步骤中的每一个。将在下面更详细地示出并描述可以执行这些步骤中的一些的示例性方式。下文仅仅是示例性的；可以以与下文显著地不同的方式执行图2的步骤。
二元分割
为了经由用户输入发起二元分割，如在步骤230中一样，可以在图形用户界面中显示参考视图。艺术家然后可以在图像的一个或多个部分周围定义3D有界框。例如，对于背景替换，艺术家可以在要从背景分割的一个或多个前景对象周围定义3D有界框。这可以通过为框的两个相对拐角规定最小和最大X、Y和Z值来完成。
图5是根据一个实施例的描绘用户可以指定前景对象的一个方式的屏幕截图500。如所示，图像可以包含前景510和背景520。可以如上所述放置3D有界框530以限定前景510，从而提供用于初始二元分割的初始边界，所述初始边界可以是图1的初始二元分割130的边界132。
然后可以使用迭代图切割来细化此初始二元分割130。第一步骤可以是使用初始二元分割130来训练来自初始二元分割130的四个概率分布，每个被表示为高斯混合模型：
1.前景颜色概率PFG,C；
2.背景颜色概率PBG,C；
3.前景深度概率PFG,D；以及
4.背景深度概率PBG,D。
可以将深度概率分布(上面的第3和4号)引入到二元分割中。用户可以使用一组实值权重WC和WD来指派深度或颜色信息的相对重要性。用户可以可选地基于他或她对深度图和/或彩色图像的置信水平来更改这些权重。
利用此定义，可以将给定像素p属于前景的概率定义为：
Figure GDA0002779780490000151
可以将WC和WD设置如下：
0＜wC＜1；0＜wD＜1；wD+wC＝1
可以以相同的方式定义背景概率。
然后可以执行全局最小化以基于上面的概率模型找到用于每个像素的新标签指派(前景或背景)。平滑度项可以用于促进类似颜色的区域中的相干性。除了现有方法之外，邻近像素的深度值可以被包括在此平滑度项中，使得类似深度的区域将往往具有一致标记。
可以使用产生最终分割的最小切割算法来完成该最终最小化。可以重复此过程(概率估计和图切割)以获得一组新的分割标签，通常直到这些分割标签收敛为止。结果可以是图1的精细二元分割140的生成，如图2的步骤250中所描述的。
用户可以选择通过在已知属于前景和/或背景区域的区域上绘制描画笔划来校正此分割。可以相应地标记描画笔划下的每个像素，使得用户定义的标签不被优化过程更改，而是用于训练概率模型。
图6是根据一个实施例的描绘使用用户描画的笔划来指定前景和背景材料的屏幕截图600。如所示，用户可以使用红色笔划630来指定属于前景510的图像的部分。类似地，可以使用蓝色笔划640来指定属于背景520的图像的部分。如上所述，可以不在迭代图切割期间修改这些指定。
三元图生成
精细二元分割140可以用于计算三元图150，如在图2的方法的步骤260中一样。三元图150可以是每个像素被标记为属于以下三个区域中的一个的三元图像：前景、背景和未知。错误可以出现在初始二元分割130和/或精细二元分割140中，尤其是当边界132和/或精细边界142跨越低对比度区域时。可以基于边缘距离度量动态地选择三元图150的厚度，使得未知区域正确地包含图像的实际边缘。
图7是根据一个实施例的描绘前景510、背景520和未知区域720(即，未知区域)的三元图700的一部分。如所示，未知区域720可以使前景510与背景520分离。计算三元图700可以包括使用可以是来自精细二元分割140的精细边界142的二元分割边缘710来定位未知区域720。
未知区域720的宽度可以是自适应的，原因在于它可沿着未知区域720的长度改变。例如，未知区域720可以具有散布开以适应接近二元分割边缘710诸如实际柔和边缘750的特征的三元图边缘730，所述特征可以是接近低对比度区域740的高对比度特征。
在一些实施例中，可以使用以下过程：
1.用户可以以像素为单位设置未知区域720的最小(tmin)和最大(tmax)厚度。
2.可以检测图像中的高对比度边缘。形式上，可以相对于邻近像素j将像素I处的对比度值定义为：
Figure GDA0002779780490000171
3.可以对C进行阈值处理以形成二元边缘图像C'，使得C'(i)在高对比度边缘上等于1，否则等于零。
4.可以根据二值图像C'计算距离图D。对于每个像素I，D(i)可以包含到C'中的最近高对比度边缘的距离。出于速度考虑，可以用三角形滤波器使E模糊。这可以在每个边缘周围创建指示当前像素离该边缘多远的斜坡剖面。另一更精确的选项是根据C'计算距离变换。
5.然后可以像示例性伪代码中所指示的那样计算最终三元图图像T：
根据二元分割来初始化T＝'前景'或T＝'背景'
对于二元分割边缘上的每个像素i：
设置T(i)＝'未知'
如果D(i)小于t max则：
设置r＝max(D(i)，t min)
对于在i周围的半径r的圆盘中的每个像素j：
设置T(j)＝'未知'
最终三元图图像可以具有正确地包含最近高对比度边缘的未知区域，其中特征对称剖面在二元分割边缘周围。值得注意的是，除了未知区域720中的颜色边缘之外，对比图像C(i)的定义还可以确保深度边缘被正确地捕获，同时确保未知区域720仅和所需的一样厚。这可以方便在图2的步骤270中执行抠图。
参数tmin和tmax可以控制未知区域720的最终形状。它们可以由用户调整以收紧或者扩展未知区域720以实现所期望的结果。
时间传播
如先前所提及的，针对参考图像计算的三元图150可以被按时间地传播到视频流100的不同的帧。可以继续此传播直到视频流100的所有帧都已被分割为止。
在一些实施例中，可以使用以下过程：
1.用户可以分割来自视频流100的若干帧的图像，如在步骤230、步骤240、步骤250和步骤260中一样。这些图像中的每一个可以被称为“参考图像”，并且视频流100的对应帧可以被称为“关键帧”。
2.可以如下对关键帧之间的帧中的每个图像的三元图150进行内插：
a.可以使用光流从每个关键帧起及时前向传播三元图。
b.可以及时后向传播三元图。
c.前向三元图和后向三元图可以被组合在一起。
3.用户可以通过针对中间帧重复用户辅助分割来编辑分割，所述中间帧可以定义新关键帧。可以重复该过程直到最终分割对每个帧的每个图像来说令人满意为止。
图8和图9描绘传播过程。具体地，图8是根据一个实施例的使用光流来描绘前向三元图传播的图像的集合800。关键帧i包含已计算了三元图810的参考图像，从而示出前景510、背景520和未知区域720。从关键帧i起在时间上向前三个帧的关键帧i+3可以具有对应的三元图840。
可以对三元图810应用光流以为从关键帧i起在时间上向前一个帧的关键帧i+1生成三元图820。类似地，可以对三元图820应用光流以为从关键帧i起在时间上向前两个帧的关键帧i+2生成三元图830。因此，可以通过在时间上向前传播来为关键帧i与关键帧i+3之间的帧i+1和帧i+2生成三元图。
更确切地说，可以以以下方式执行前向传播：
1.使用光流使从帧i到帧i+1的三元图810扭曲。结果得到的三元图820是不完美的；光流可能无法说明在帧i+1中揭示的帧i中的遮挡区域。
2.像在步骤230、步骤240和/或步骤250中那样针对仅未知区域720执行二元分割。这可以使用根据前景510和背景520计算的概率模型来估计二元分割。
3.像在步骤260中那样针对帧i+1计算三元图。
4.从帧i+1开始重复上面的步骤一至三，如果帧i+1是关键帧则停止。
图9是根据另一实施例的使用光流来描绘后向三元图传播的图像的集合900。关键帧i包含已计算了三元图810的参考图像，示出前景510、背景520和未知区域720。从关键帧i起在时间上向前三个帧的关键帧i+3可以具有对应的三元图840。
可以使用在反向方向(从帧i到帧i-1)上估计的光流来以与前向传播相同的方式定义后向传播。可以对三元图840应用光流以为从关键帧i+3起在时间上向后一个帧的关键帧i+2生成三元图930。类似地，可以对三元图930应用光流以为从关键帧i+3起在时间上向后两个帧的关键帧i+1生成三元图920。与前向传播一样，结果得到的三元图在帧i中的遮挡区域在帧i-1中被揭示的情况下可能是不完美的，并且可以被按需细化以更准确地分割未知区域720。因此，可以通过在时间上后向传播来为关键帧i与关键帧i+3之间的帧i+1和帧i+2生成三元图。
在存在光流不准确性的位置前向和后向传播的三维图150可能不一致。如在上面的步骤2(c)中一样，将前向和后向三元图150组合在一起的目标可以是为了协调两个传播的三元图150以形成最终分割。这将关于图10进一步示出并描述。
图10是根据一个实施例的描绘经由前向和后向传播获得的三元图150的组合的图像的集合1000。具体地，描绘了图8和9的针对关键帧即帧i和帧i+3的三元图810和三元图840。另外，还描绘了在图8中前向传播的三元图820和三元图830以及在图9中后向传播的三元图920和三元图930。可以组合两者都针对帧i+1的三元图820和三元图920以针对帧i+1计算组合三元图1020。类似地，可以组合两者都针对帧i+2的三元图830和三元图930以针对帧i+2计算组合三元图1030。
图11是使用i处的关键帧1110和k处的关键帧1120来描绘针对帧j 1140的三元图的内插的图表1100。附加帧1130可以在k处的关键帧1120与帧j 1140之间。对于帧j处的每个像素p，可以使用(1)从关键帧i起前向传播的三元组TFj以及(2)从关键帧k起后向传播的三元组TBj来计算其组合三元组值Tj(p)。此值可以取决于帧j是否最靠近帧i或帧k。它可以在j最靠近帧i的情况下根据图12的表1200计算，否则根据图13的表1300来计算。
图12是根据一个实施例的描绘在|i-j|<＝|k-j|的情况下的组合三元图值。图13是根据一个实施例的描绘在|i-j|>|k-j|的情况下的组合三元图值的表格1300。
计算三元图值的这种模式可以具有以下益处：
·可以在未知区域中特别是在前向和后向传播不符合的情况下捕获图像边缘周围的不确定性；以及
·如果仅已传播的三元图像素中的一个是已知的，则可以通过对最近关键帧进行优先级排序来遵守用户输入。
可以通过在组合三元图诸如图10的三元图1020或三元图1030的未知区域720中应用步骤230、步骤240和/或步骤250来进一步细化组合三元图。可以对精细二元分割140执行步骤260来计算最终三元图150。
视图传播
到目前为止，已仅针对参考视图计算了分割。使用在参考视图处计算的深度图和另一视图的相对位置，能够将分割传播到该视图。以下示例性方法假定要分割的前景对象从参考视图完全可见。
图14A至图14D是根据一个实施例的针对相邻(非参考)视图VA 1450的顶视图、初步三元图、二元分割和最终三元图。如图14A中所示，点XA 1410可能由于背景1420与前景1430之间的边界处的深度不连续而在参考视图VR 1460中被阻挡。然而，在将生成新三元图150的相邻视图VA 1450中，点XA 1410可以是可见的。如所示，背景1420和前景1430都可以在图像平面1440后面。
尽管在相邻视图VA 1450中，投影pA 1470在初步三元图TA 1480中被设置为未知，如图14B中所示，但是可以在二元分割1482期间检测到正确值，如图14C中所示。可以在最终三位图TA'1484中消除边界，如图14D中所示。
更具体地，给定参考视图VR 1460和相邻视图VA 1450，可以通过使用参考视图TR处的三元图和深度图DR(未示出)来计算最终三元图TA'1484。可以使用以下过程：
1.将初步三元图TA 1480初始化为“未知”。
2.针对参考视图VR 1460中的每个像素pR：
a.使用在pR处采样的深度图DR来计算其3D视图空间位置XR。
b.将XR转换成相邻视图VA的空间。这可以提供3D位置XA。
c.将XA投影到相邻视图的像素pA。
d.将TA(pA)设置为TR(pR)的值。
3.仅在TA的未知区域720中应用步骤230、步骤240和/或步骤250以估计二元分割1482。深度图DA未被假定为可用于VA。如果它不可用，则可以仅针对VA使用彩色图像来做步骤3中的二元分割1482。
4.在二元分割1482上应用步骤260以估计最终三元图TA’1484。
VA的一些像素可能由于深度不连续处的遮挡而在VR中不可见。可以在上面的步骤1中的初步三元图TA 1480中默认为这些像素指派“未知”值。如果深度连续跨越真实前景/背景边界，则这可以是正确值，但如果未知区域720完全在图像的前景510或背景520内部，则可能是不正确的。这是图10中描绘的情形。
可以通过上面的步骤3和步骤4来指派正确值。可以做在上面的步骤3中生成的二元分割1482以便确保邻近区域中的一致性。当pA的最近邻居全部被分类为“背景”时，这将“关闭”边界并且在最终三元图TA’1484中设置正确值。如果深度不连续仅在前景510中则相同的解决方案可以适用。
多视图抠图
依照图2的方法的步骤270，可以在未知区域720中估计alpha蒙版170以及前景像素值。存在对单个视图这样做的若干算法，诸如抠图拉普拉斯(matting Laplacian)。使用来自相邻视图的信息可以允许针对alpha蒙版170估计精确的alpha值。图像抠图的问题可以是为满足以下合成等式的给定像素颜色I找到实值alpha(α)以及颜色值F(前景)和B(背景)：
I＝α·F+(1-α)·B
通常可以一起估计F、B和α，这可能需要估计七个未知参数。在替选方案中，可以从多个视图中恢复B，这可以消除等式中的三个未知数(每个颜色通道各一个)。
例如，相邻视图VA可以看见未知区域720的边界的一部分的后面。可通过将VA和VR的相对姿势与未知区域720的边界的定向相比较来检测这种情形。图11描绘VA从左侧观察边界的情况。
图15是根据一个实施例的针对相邻(非参考视图)VA 1450的顶视图1500。图15描绘与图14A相同的元件，同时添加了未知区域1510以及来自参考视图VR 1460的投影pR1520。
可以通过将被前景510遮挡的所有颜色样本从参考视图VR 1460投影到图像平面1440来恢复背景样本。这可以被认为是两步过程：
1.深度传播。可以基于两个视图的已知相对位置将深度图从VR重新投影到VA。在深度图中可以存在“孔”—在VR中被遮挡但是在VA中可见的区域。可以根据在空间域和特征域两者中高度相关的邻近像素来为这些孔填入深度值。
2.重新投影。可以将VA的3D点重新投影到VR的图像窗格。现在可从VR“看见”被遮挡的对象。
可以像上面的步骤1中所描述的那样将深度值填入孔中。孔区域可以是VR中的被遮挡区域；因此，这里的深度值可以更靠近附近的背景像素。可以使用迭代传播过程如下：
A.对于孔区域中的像素p，可以通过下式来估计深度值zp：
zp＝zq，如果D(p，q)＜εs&(||Ip-Iq||＜εc)&q∈B
B.可以将像素p标记为“填充”。如果εs和εc不够小，则可以更新εs和εc，并且可以利用经更新的εs和εc重新开始迭代传播过程。
否则，可以停止迭代传播过程。
然后可以在步骤270的抠图例行程序中利用已恢复的背景样本。
表达式(x,y,zB,IB)可以用于表示VR的图像平面中的重新投影颜色样本，(x,y,zF,IF)作为原始颜色样本。然后，可以将重新投影样本与原始样本相比较。可能存在三种情况：
情况1：α(xi，yi)＞0，如果||zB(xi，yi)-zF(xi，yi)||＞＝εz。
情况2：α(xi，yi)＝0 or α(xi，yi)＝1，
如果||zB(xi，yi)-zF(xi，yi)||＜εz并且||IB(xi，yi)-IF(xi，yi)||＜εc。
情况3：像素
xi，yi|zB(xi，yi)-zF(xi，yi)||＜εz and||IB(xi，yi)-IF(xi，yi)||＞＝εc是界外值。
在情况1中，像素的未知数的数量可以从七减少至四。对于情况2，它可以减少未知区域720的面积并且因此减少要估计的像素的数量。这可以产生前景和alpha值的更精确的估计。
在一些实施例中，可以在两步过程中估计最终alpha值。可以通过为图像像素I找到前景F和背景B颜色样本的“最佳匹配”来计算初始估计。对于每个预期的样本F和B，可以在使以下成本函数最小化的意义上定义“最佳匹配”：
C(α)＝βcolor||I-αF-(1-α)B||+βdistance(dist(I，F)+dist(I，B))
其中，
Figure GDA0002779780490000241
dist(X,Y)是两个图像样本之间的欧几里德距离，并且βcolor和βdistance分别是在颜色和距离失配之间应用相对惩罚的常数。
如果背景样本B被成功地恢复，则可以使用它来显著地缩小搜索空间。具体地，可能需要仅根据成本函数C的最好前景样本F。可以全局地(针对整个前景区域上的最佳匹配)或局部地(沿着前景/未知区域边界)进行搜索。然后，添加根据局部颜色亲和度使alpha值平滑的后处理步骤可以是有利的。取决于用户所需要的质量水平，可以使用“引导滤波器”算法或“抠图拉普拉斯”算法。
前景颜色估计
在估计最终alpha蒙版之后，可根据上面引用的抠图方程I＝α·F+(1-α)·B在背景颜色B已知时容易地计算前景颜色F。
当不能根据多视图先验中恢复背景颜色时，除了alpha在这种情况下可以是固定的，可以探知像上面所说明的那样使成本函数C最小化的最“可能的”前景和背景颜色对。这可以产生针对整个未知区域估计的最终前景颜色。
可以例如通过以下步骤来形成最终前景图像：
·在已知背景区域内部将像素设置为黑色；
·在未知区域，使用上面估计的前景颜色；
·在已知前景区域中，直接地使用来自源图像的像素。
4D合成
如上所述生成的alpha蒙版170和前景图像可以是2D，并且因此仅可用于合成其它2D图像。诸如光场相机的多视图相机配置可以生成相同场景的多个视图。一旦已为相邻视图获得了alpha蒙版170和前景图像，就可以将alpha蒙版170和前景图像反投影到单个RGBA光场。这可以允许针对任意视点使用诸如重新聚焦和投影的光场技术。
图16是根据一个实施例的利用多个alpha图描绘图像从多个视图到光场的反投影的步骤的屏幕截图图像的集合1600。这描述用于反投影的一般工作流程，通过该一般工作流程可以反投影前景图像以及alpha图以重新创建4分量RGBA光场。如所示，可以捕获4D光场1610，并且可以使用4D光场1610来计算作为一系列M×M子孔径图像1620而显示的一系列视图。可以为子孔径图像1620中的每一个生成图(在这种情况下为alpha图)，从而导致M×M个alpha图1630的生成。可以执行类似的过程以生成M×M个前景图。还可以基于4D光场1610生成深度图1640，并且可以在alpha通道或alpha图1630到4D光场1610的多视图反投影中使用深度图1640。这可以导致RGBA光场1650的生成，所述RGBA光场1650包括现在可连同颜色和/或深度数据一起被投影到任何子孔径图像中的alpha通道。
上面的描述和引用的附图相对于可能的实施例阐述特定细节。本领域的技术人员将了解的是，可以在其它实施例中实践本文中描述的技术。首先，组件的特定命名、术语的大写、属性、数据结构或任何其它编程或结构方面不是强制性的或重要的，并且实现本文中描述的技术的机制可以具有不同的名称、格式或协议。另外，可以像描述的那样经由硬件和软件的组合或者完全在硬件元件中或者完全在软件元件中实现***。另外，本文中描述的各种***组件之间的功能性的特定划分仅仅是示例性的，而不是强制性的；由单个***组件执行的功能可以替代地由多个组件执行，并且由多个组件执行的功能可以替代地由单个组件执行。
在说明书中对“一个实施例”或者对“实施例”的引用意味着连同这些实施例一起描述的特定特征、结构或特性被包括在至少一个实施例中。短语“在一个实施例中”在本说明书中的各个地方中的出现不一定全部参考同一实施例。
一些实施例可以包括用于单独地或按照任何组合执行上述技术的***或方法。其它实施例可以包括计算机程序产品，所述计算机程序产品包括在介质上编码以用于使计算设备或其它电子设备中的处理器执行上述技术的非暂时性计算机可读存储介质和计算机程序代码。
在对计算设备的存储器内的数据比特的操作的算法和符号表示方面呈现上述的一些部分。这些算法描述和表示是数据处理领域的技术人员使用来最有效地将他们的工作的实质传达给本领域的其它技术人员的手段。算法在这里并一般地被设想为是导致期望结果的步骤(指令)的自我一致序列。这些步骤是需要物理量的物理操纵的那些步骤。通常，尽管不一定，然而这些量采取能够被存储、传送、组合、比较并以其它方式操纵的电、磁或光信号的形式。有时主要出于通用的原因将这些信号称为比特、值、元素、符号、字符、术语、数字等是方便的。此外，有时在不失一般性的情况下将需要物理量的物理操纵的步骤的某些布置称为模块或代码设备也是方便的。
然而，应该记住的是，所有这些和类似的术语将与适当的物理量相关联并且仅仅是应用于这些量的方便标签。除非具体地陈述否则如从以下讨论中显而易见的，应了解的是，在整个说明书中，利用诸如“处理”或“计算”或“计算出”或“显示”或“确定”等的术语的讨论参考计算机***或类似的电子计算模块和/或设备的动作和过程，所述计算机***或类似的电子计算模块和/或设备操纵并变换被表示为计算机***存储器或寄存器或其它这种信息存储、传输或显示设备内的物理(电子)量的数据。
某些方面包括在本文中以算法的形式描述的过程步骤和指令。应该注意的是，本文中描述的过程步骤和指令可用软件、固件和/或硬件加以具体实现，并且当用软件加以具体实现时，可被下载以驻留在由各种操作***使用的不同的平台上并且被从这些不同的平台操作。
一些实施例涉及用于执行本文中描述的操作的装置。此装置可以是为所需要的目的专门地构造的，或者它可以包括通过存储在计算设备中的计算机程序选择性地激活或者重新配置的通用计算设备。这种计算机程序可以被存储在计算机可读存储介质中，所述计算机可读存储介质诸如但不限于包括软盘、光盘、CD-ROM、磁光盘的任何类型的盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、闪速存储器、固态驱动器、磁或光卡、专用集成电路(ASIC)和/或适合于存储电子指令并且各自耦合到计算机***总线的任何类型的介质。另外，本文中参考的计算设备可以包括单个处理器或者可以是为了提高的计算能力而采用多个处理器设计的架构。
本文中呈现的算法和显示不固有地与任何特定计算设备、虚拟化***或其它装置有关。各种通用***也可以与根据本文教导的程序一起使用，或者构造更专用装置以执行所需要的方法步骤可能证明是方便的。各种这些***所需要的结构将根据本文中提供的描述显而易见。此外，不参考任何特定编程语言描述本文中阐述的技术。应了解的是，可以使用各种编程语言来实现本文中描述的技术，并且在上面对具体语言的任何引用是仅为了说明性目的而提供的。
因此，在各种实施例中，本文中描述的技术可作为用于控制计算机***、计算设备或其它电子设备或其任何组合或多个的软件、硬件和/或其它元件被实现。根据本领域中众所周知的技术，这种电子设备可包括例如处理器、输入设备(诸如键盘、鼠标、触摸板、触控板、操纵杆、轨迹球、麦克风和/或其任何组合)、输出设备(诸如屏幕、扬声器和/或类似物)、存储器、长期存储装置(诸如磁存储装置、光学存储装置和/或类似物)和/或网络连接。这种电子设备可以是便携式的或非便携式的。可以被用于实现本文中描述的技术的电子设备的示例包括：移动电话、个人数字助理、智能电话、信息亭、服务器计算机、企业计算设备、桌面型计算机、膝上型计算机、平板计算机、消费电子设备、电视、机顶盒等。用于实现本文中描述的技术的电子设备可以使用任何操作***，诸如例如Linux；Microsoft Windows，可从华盛顿州雷蒙德的微软公司获得；Mac OS X，可从加利福尼亚州库比蒂诺的苹果公司获得；iOS，可从加利福尼亚州库比蒂诺的苹果公司获得；Android，可从加利福尼亚州山景城的谷歌公司获得；和/或被适配用于在设备上使用的任何其它操作***。
在各种实施例中，可在分布式处理环境、联网计算环境或基于web的计算环境中实现本文中描述的技术。可在客户端计算设备、服务器、路由器和/或其它网络或非网络组件上实现元件。在一些实施例中，本文中描述的技术使用客户端/服务器架构来实现，其中一些组件被实现在一个或多个客户端计算设备上而其它组件被实现在一个或多个服务器上。在一个实施例中，在实现本公开的技术的过程中，客户端从服务器请求内容，并且服务器响应于请求而返回内容。浏览器可以被安装在客户端计算设备处以用于使得能实现这种请求和响应，并且以用于提供用户可用来发起并控制这种交互并观察所呈现的内容的用户界面。
用于实现所描述的技术的网络组件中的任一个或全部可以在一些实施例中使用任何适合的电子网络、无论是有线的还是无线的或其任何组合，并且使用用于实现这种通信的任何适合的协议，彼此通信地耦合。这种网络的一个示例是因特网，但是本文中描述的技术也可使用其它网络来实现。
虽然已在本文中描述了有限数量的实施例，然而受益于以上描述的本领域的技术人员应了解的是，可以设计出不脱离权利要求的范围的其它实施例。此外，应该注意的是，本说明书中使用的语言已被主要选择用于可读性和指示目的，而可能尚未被选择来刻划或者限制本发明主题。因此，本公开旨在为说明性的，而不是限制性的。

Claims (34)

1.一种用于对视频流应用效果的方法，所述视频流包括多视图视频流，所述视频流是具有至少一个帧的多个视图的视频流，帧是一个或多个图像已作为所述视频流的一部分被捕获的时间指定，所述方法包括：
在数据存储中，接收视频流；
在输入设备中，接收指定所述视频流的参考图像的前景区域和与所述前景区域不同深度处的背景区域之间的边界的第一用户输入；
在处理器中，基于所述第一用户输入生成指示所述前景区域和所述背景区域的参考掩模；
在所述处理器中，使用所述参考掩模来生成第一非参考掩模，所述第一非参考掩模指示所述视频流的与所述参考图像不同的第一非参考图像的前景区域和背景区域；
在所述处理器中，通过使用所述参考掩模来将效果应用于所述参考图像并且使用所述第一非参考掩模来将所述效果应用于所述第一非参考图像而生成修改后的视频流；以及
在显示设备中，在虚拟现实或增强现实应用中显示所述修改后的视频流。
2.根据权利要求1所述的方法，还包括，在所述数据存储中接收所述视频流之前，在相机中捕获所述视频流。
3.根据权利要求1所述的方法，其中：
所述参考图像来自所述视频流的参考帧；以及
所述第一非参考图像来自所述视频流的与所述参考帧不同的第一帧。
4.根据权利要求3所述的方法，还包括，在所述处理器中，使用所述第一非参考掩模来生成第二非参考掩模，所述第二非参考掩模指示来自所述视频流的与所述参考帧和所述第一帧不同的第二帧的第二非参考图像的前景区域和背景区域；
其中，生成所述修改后的视频流还包括使用所述第二非参考掩模来将所述效果应用于所述第二非参考图像。
5.根据权利要求1所述的方法，其中：
所述参考图像来自所述视频流的参考帧的参考视图；以及
所述第一非参考图像来自所述视频流的所述参考帧的与所述参考视图不同的第一视图。
6.根据权利要求5所述的方法，还包括，在所述处理器中，使用所述第一非参考掩模来生成第二非参考掩模，所述第二非参考掩模指示来自所述视频流的所述参考帧的与所述参考视图和所述第一视图不同的第二视图的第二非参考图像的前景区域和背景区域；
其中，生成所述修改后的视频流还包括使用所述第二非参考掩模来将所述效果应用于所述第二非参考图像。
7.根据权利要求1所述的方法，还包括，在所述输入设备中，在接收所述第一用户输入之前，接收从所述视频流的多个图像当中指定所述参考图像的第二用户输入。
8.根据权利要求1所述的方法，其中，生成所述参考掩模包括：
使用所述边界来计算指定所述参考图像的所述前景区域和所述背景区域的初始二元分割；
细化所述边界以刻划更准确地指定所述前景区域和所述背景区域的精细边界；以及
使用所述精细边界来生成所述参考掩模。
9.根据权利要求8所述的方法，其中，使用所述精细边界来生成所述参考掩模包括使用所述精细边界来生成进一步指示所述前景区域与所述背景区域之间的未知区域的三元图，所述未知区域包含可以属于所述前景区域或所述背景区域的像素。
10.根据权利要求9所述的方法，还包括，在所述处理器中，对所述三元图应用抠图算法以获得包括用于所述前景区域、所述背景区域和所述未知区域中的所述像素的alpha值的alpha蒙版。
11.根据权利要求10所述的方法，其中，所述视频流包括由一个或多个光场相机捕获的光场视频。
12.根据权利要求11所述的方法，还包括将所述alpha蒙版和所述前景区域的前景图像反投影到所述光场视频。
13.根据权利要求9所述的方法，其中，使用所述参考掩模来生成所述第一非参考掩模包括：
指定所述第一非参考图像的第一非参考分段和第二非参考分段之间的第一非参考边界；
使用所述第一非参考边界来计算指定所述第一非参考图像的所述第一非参考分段和所述第二非参考分段的初始非参考二元分割；
细化所述第一非参考边界以刻划更准确地指定所述第一非参考分段和所述第二非参考分段的精细非参考边界；以及
使用所述精细非参考边界来生成进一步指示所述第一非参考分段与所述第二非参考分段之间的未知非参考分段的非参考三元图，所述未知非参考分段包含可以属于所述第一非参考分段或所述第二非参考分段的非参考像素。
14.根据权利要求13所述的方法，还包括，在所述处理器中，对所述非参考三元图应用抠图算法以获得非参考alpha蒙版以生成所述前景区域的非参考前景图像，所述非参考alpha蒙版包括所述未知非参考分段中的所述非参考像素的非参考alpha值。
15.一种用于对视频流应用效果的非暂时性计算机可读介质，所述视频流包括多视图视频流，所述视频流是具有至少一个帧的多个视图的视频流，帧是一个或多个图像已作为所述视频流的一部分被捕获的时间指定，所述非暂时性计算机可读介质包括存储在其上的指令，所述指令在由处理器执行时，执行以下各项的步骤：
使得数据存储接收视频流；
使得输入设备接收指定所述视频流的参考图像的前景区域和与所述前景区域不同深度处的背景区域之间的边界的第一用户输入；
基于所述第一用户输入生成指示所述前景区域和所述背景区域的参考掩模；
使用所述参考掩模来生成第一非参考掩模，所述第一非参考掩模指示所述视频流的与所述参考图像不同的第一非参考图像的前景区域和背景区域；
通过使用所述参考掩模来将效果应用于所述参考图像并且使用所述第一非参考掩模来将所述效果应用于所述第一非参考图像而生成修改后的视频流；以及
使得在虚拟现实或增强现实应用中显示设备显示所述修改后的视频流。
16.根据权利要求15所述的非暂时性计算机可读介质，还包括存储在其上的指令，所述指令在由处理器执行时，使得相机在所述数据存储中接收所述视频流之前捕获所述视频流。
17.根据权利要求15所述的非暂时性计算机可读介质，其中：
所述参考图像来自所述视频流的参考帧；
所述第一非参考图像来自所述视频流的与所述参考帧不同的第一帧；
所述非暂时性计算机可读介质还包括存储在其上的指令，所述指令在由处理器执行时，使用所述第一非参考掩模来生成第二非参考掩模，所述第二非参考掩模指示来自所述视频流的与所述参考帧和所述第一帧不同的第二帧的第二非参考图像的前景区域和背景区域；以及
生成所述修改后的视频流还包括使用所述第二非参考掩模来将所述效果应用于所述第二非参考图像。
18.根据权利要求15所述的非暂时性计算机可读介质，其中：
所述参考图像来自所述视频流的参考帧的参考视图；
所述第一非参考图像来自所述视频流的所述参考帧的与所述参考视图不同的第一视图；
所述非暂时性计算机可读介质还包括存储在其上的指令，所述指令在由处理器执行时，使用所述第一非参考掩模来生成第二非参考掩模，所述第二非参考掩模指示来自所述视频流的所述参考帧的与所述参考视图和所述第一视图不同的第二视图的第二非参考图像的前景区域和背景区域；以及
生成所述修改后的视频流还包括使用所述第二非参考掩模来将所述效果应用于所述第二非参考图像。
19.根据权利要求15所述的非暂时性计算机可读介质，还包括存储在其上的指令，所述指令在由处理器执行时，使得所述输入设备在接收所述第一用户输入之前接收从所述视频流的多个图像当中指定所述参考图像的第二用户输入。
20.根据权利要求15所述的非暂时性计算机可读介质，其中，生成所述参考掩模包括：
使用所述边界来计算指定所述参考图像的所述前景区域和所述背景区域的初始二元分割；
细化所述边界以刻划更准确地指定所述前景区域和所述背景区域的精细边界；以及
使用所述精细边界来生成所述参考掩模；
其中，使用所述精细边界来生成所述参考掩模包括使用所述精细边界来生成进一步指示所述前景区域与所述背景区域之间的未知区域的三元图，所述未知区域包含可以属于所述前景区域或所述背景区域的像素。
21.根据权利要求20所述的非暂时性计算机可读介质，还包括存储在其上的指令，所述指令在由处理器执行时，对所述三元图应用抠图算法以获得包括用于所述前景区域、所述背景区域和所述未知区域中的所述像素的alpha值的alpha蒙版。
22.根据权利要求21所述的非暂时性计算机可读介质，其中：
所述视频流包括由一个或多个光场相机捕获的光场视频；并且
所述非暂时性计算机可读介质还包括存储在其上的指令，所述指令当由处理器执行时，将所述alpha蒙版和所述前景区域的前景图像反投影到所述光场视频。
23.根据权利要求20所述的非暂时性计算机可读介质，其中，使用所述参考掩模来生成所述第一非参考掩模包括：
指定所述第一非参考图像的第一非参考分段和第二非参考分段之间的第一非参考边界；
使用所述第一非参考边界来计算指定所述第一非参考图像的所述第一非参考分段和所述第二非参考分段的初始非参考二元分割；
细化所述第一非参考边界以刻划更准确地指定所述第一非参考分段和所述第二非参考分段的精细非参考边界；以及
使用所述精细非参考边界来生成进一步指示所述第一非参考分段与所述第二非参考分段之间的未知非参考分段的非参考三元图，所述未知非参考分段包含可以属于所述第一非参考分段或所述第二非参考分段的非参考像素。
24.根据权利要求23所述的非暂时性计算机可读介质，还包括存储在其上的指令，所述指令在由处理器执行时，对所述非参考三元图应用抠图算法以获得非参考alpha蒙版以生成所述前景区域的非参考前景图像，所述非参考alpha蒙版包括所述未知非参考分段中的所述非参考像素的非参考alpha值。
25.一种用于对视频流应用效果的***，所述视频流包括多视图视频流，所述视频流是具有至少一个帧的多个视图的视频流，帧是一个或多个图像已作为所述视频流的一部分被捕获的时间指定，所述***包括：
数据存储，所述数据存储被配置成接收视频流；
输入设备，所述输入设备被配置成接收指定所述视频流的参考图像的前景区域和与所述前景区域不同深度处的背景区域之间的边界的第一用户输入；以及
处理器，所述处理器通信地耦合到所述数据存储和所述输入设备，被配置成：
基于所述第一用户输入生成指示所述前景区域和所述背景区域的参考掩模；
使用所述参考掩模来生成第一非参考掩模，所述第一非参考掩模指示所述视频流的与所述参考图像不同的第一非参考图像的前景区域和背景区域；
通过使用所述参考掩模来将效果应用于所述参考图像并且使用所述第一非参考掩模来将所述效果应用于所述第一非参考图像而生成修改后的视频流；以及
显示设备，所述显示设备被配置成在虚拟现实或增强现实应用中显示所述修改后的视频流。
26.根据权利要求25所述的***，还包括相机，所述相机被配置成在所述数据存储中接收所述视频流之前捕获所述视频流。
27.根据权利要求25所述的***，其中：
所述参考图像来自所述视频流的参考帧；
所述第一非参考图像来自所述视频流的与所述参考帧不同的第一帧；
所述处理器还被配置成使用所述第一非参考掩模来生成第二非参考掩模，所述第二非参考掩模指示来自所述视频流的与所述参考帧和所述第一帧不同的第二帧的第二非参考图像的前景区域和背景区域；并且
所述处理器还被配置成通过使用所述第二非参考掩模来将所述效果应用于所述第二非参考图像而生成所述修改后的视频流。
28.根据权利要求25所述的***，其中：
所述参考图像来自所述视频流的参考帧的参考视图；
所述第一非参考图像来自所述视频流的所述参考帧的与所述参考视图不同的第一视图；
所述处理器还被配置成使用所述第一非参考掩模来生成第二非参考掩模，所述第二非参考掩模指示来自所述视频流的所述参考帧的与所述参考视图和所述第一视图不同的第二视图的第二非参考图像的前景区域和背景区域；并且
所述处理器还被配置成通过使用所述第二非参考掩模来将所述效果应用于所述第二非参考图像而生成所述修改后的视频流。
29.根据权利要求25所述的***，其中，所述输入设备还被配置成，在接收所述第一用户输入之前，接收从所述视频流的多个图像当中指定所述参考图像的第二用户输入。
30.根据权利要求25所述的***，其中：
所述处理器还被配置成通过以下步骤来生成所述参考掩模：
使用所述边界来计算指定所述参考图像的所述前景区域和所述背景区域的初始二元分割；
细化所述边界以刻划更准确地指定所述前景区域和所述背景区域的精细边界；以及
使用所述精细边界来生成所述参考掩模；并且
所述处理器还被配置成通过使用所述精细边界来生成进一步指示所述前景区域与所述背景区域之间的未知区域的三元图而使用所述精细边界来生成所述参考掩模，所述未知区域包含可以属于所述前景区域或所述背景区域的像素。
31.根据权利要求30所述的***，其中，所述处理器还被配置成对所述三元图应用抠图算法以获得包括用于所述前景区域、所述背景区域和所述未知区域中的所述像素的alpha值的alpha蒙版。
32.根据权利要求31所述的***，其中：
所述视频流包括由一个或多个光场相机捕获的光场视频；以及
所述处理器还被配置成将所述alpha蒙版和所述前景区域的前景图像反投影到所述光场视频。
33.根据权利要求30所述的***，其中，所述处理器还被配置成使用所述参考掩模来通过以下步骤生成所述第一非参考掩模：
指定所述第一非参考图像的第一非参考分段和第二非参考分段之间的第一非参考边界；
使用所述第一非参考边界来计算指定所述第一非参考图像的所述第一非参考分段和所述第二非参考分段的初始非参考二元分割；
细化所述第一非参考边界以刻划更准确地指定所述第一非参考分段和所述第二非参考分段的精细非参考边界；以及
使用所述精细非参考边界来生成进一步指示所述第一非参考分段与所述第二非参考分段之间的未知非参考分段的非参考三元图，所述未知非参考分段包含可以属于所述第一非参考分段或所述第二非参考分段的非参考像素。
34.根据权利要求33所述的***，其中，所述处理器还被配置成对所述非参考三元图应用抠图算法以获得非参考alpha蒙版以生成所述前景区域的非参考前景图像，所述非参考alpha蒙版包括所述未知非参考分段中的所述非参考像素的非参考alpha值。
CN201780034730.5A 2016-06-09 2017-05-31 多视图场景分割和传播 Expired - Fee Related CN109479098B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662347734P 2016-06-09 2016-06-09
US62/347,734 2016-06-09
US15/462,752 2017-03-17
US15/462,752 US10275892B2 (en) 2016-06-09 2017-03-17 Multi-view scene segmentation and propagation
PCT/US2017/035148 WO2017213923A1 (en) 2016-06-09 2017-05-31 Multi-view scene segmentation and propagation

Publications (2)

Publication Number Publication Date
CN109479098A CN109479098A (zh) 2019-03-15
CN109479098B true CN109479098B (zh) 2021-06-29

Family

ID=60573928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780034730.5A Expired - Fee Related CN109479098B (zh) 2016-06-09 2017-05-31 多视图场景分割和传播

Country Status (6)

Country Link
US (1) US10275892B2 (zh)
EP (1) EP3469788A4 (zh)
JP (1) JP6655737B2 (zh)
KR (1) KR102185179B1 (zh)
CN (1) CN109479098B (zh)
WO (1) WO2017213923A1 (zh)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10475186B2 (en) * 2016-06-23 2019-11-12 Intel Corportation Segmentation of objects in videos using color and depth information
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) * 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US11143865B1 (en) * 2017-12-05 2021-10-12 Apple Inc. Lens array for shifting perspective of an imaging system
US10122969B1 (en) 2017-12-07 2018-11-06 Microsoft Technology Licensing, Llc Video capture systems and methods
WO2019129923A1 (en) * 2017-12-29 2019-07-04 Nokia Technologies Oy An apparatus, a method and a computer program for volumetric video
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
KR102450948B1 (ko) * 2018-02-23 2022-10-05 삼성전자주식회사 전자 장치 및 그의 증강 현실 객체 제공 방법
US11308577B2 (en) * 2018-04-04 2022-04-19 Sony Interactive Entertainment Inc. Reference image generation apparatus, display image generation apparatus, reference image generation method, and display image generation method
US10515463B2 (en) * 2018-04-20 2019-12-24 Sony Corporation Object segmentation in a sequence of color image frames by background image and background depth correction
US10706556B2 (en) * 2018-05-09 2020-07-07 Microsoft Technology Licensing, Llc Skeleton-based supplementation for foreground image segmentation
US10921596B2 (en) * 2018-07-24 2021-02-16 Disney Enterprises, Inc. Adaptive luminance/color correction for displays
US20200036880A1 (en) * 2018-07-25 2020-01-30 Microsoft Technology Licensing, Llc Detecting fluid on a surface
CN109151489B (zh) * 2018-08-14 2019-05-31 广州虎牙信息科技有限公司 直播视频图像处理方法、装置、存储介质和计算机设备
EP3850579A4 (en) 2018-09-13 2022-08-03 Nokia Technologies Oy METHOD, DEVICE AND COMPUTER PROGRAM PRODUCT FOR VOLUMETRIC VIDEO
WO2020062899A1 (zh) * 2018-09-26 2020-04-02 惠州学院 通过前景背景像素对和灰度信息获得透明度遮罩的方法
CN109816611B (zh) * 2019-01-31 2021-02-12 北京市商汤科技开发有限公司 视频修复方法及装置、电子设备和存储介质
US11055852B2 (en) * 2019-02-15 2021-07-06 Nokia Technologies Oy Fast automatic trimap generation and optimization for segmentation refinement
US11004208B2 (en) * 2019-03-26 2021-05-11 Adobe Inc. Interactive image matting using neural networks
US10902265B2 (en) * 2019-03-27 2021-01-26 Lenovo (Singapore) Pte. Ltd. Imaging effect based on object depth information
CN110335277A (zh) * 2019-05-07 2019-10-15 腾讯科技（深圳）有限公司 图像处理方法、装置、计算机可读存储介质和计算机设备
CN112153483B (zh) * 2019-06-28 2022-05-13 腾讯科技（深圳）有限公司 信息植入区域的检测方法、装置及电子设备
CN110381369B (zh) * 2019-07-19 2022-02-22 腾讯科技（深圳）有限公司 推荐信息植入位置的确定方法、装置、设备及存储介质
CN111223106B (zh) * 2019-10-28 2022-08-09 稿定（厦门）科技有限公司 全自动人像蒙版抠图方法及***
US11763565B2 (en) * 2019-11-08 2023-09-19 Intel Corporation Fine-grain object segmentation in video with deep features and multi-level graphical models
US20230014448A1 (en) * 2019-12-13 2023-01-19 Telefonaktiebolaget Lm Ericsson (Publ) Methods for handling occlusion in augmented reality applications using memory and device tracking and related apparatus
CN111127486B (zh) * 2019-12-25 2023-09-08 Oppo广东移动通信有限公司 图像分割方法、装置、终端及存储介质
CN111274902B (zh) * 2020-01-15 2023-05-02 浙江大学 用多头掩模均衡融和单元的手势深度图像连续检测方法
EP4094433A4 (en) 2020-01-22 2024-02-21 Nodar Inc. NON-RIGID STEREOSCOPIC VISION CAMERA SYSTEM
US11427193B2 (en) 2020-01-22 2022-08-30 Nodar Inc. Methods and systems for providing depth maps with confidence estimates
CN111524082B (zh) * 2020-04-26 2023-04-25 上海航天电子通讯设备研究所 目标鬼影消除方法
WO2021217653A1 (zh) * 2020-04-30 2021-11-04 京东方科技集团股份有限公司 视频插帧方法及装置、计算机可读存储介质
CN111754528B (zh) * 2020-06-24 2024-07-12 Oppo广东移动通信有限公司 人像分割方法、装置、电子设备和计算机可读存储介质
US11263750B1 (en) 2020-10-06 2022-03-01 Adobe Inc. Cyclic scheme for object segmentation networks
CN112200756A (zh) * 2020-10-09 2021-01-08 电子科技大学 一种子弹特效短视频智能生成方法
CN112560684B (zh) 2020-12-16 2023-10-24 阿波罗智联(北京)科技有限公司 车道线检测方法、装置、电子设备、存储介质以及车辆
KR102668282B1 (ko) * 2021-01-06 2024-05-29 노다르 인크. 깊이 맵에 신뢰도 추정치를 제공하는 방법 및 시스템
US11989913B2 (en) * 2021-01-13 2024-05-21 Samsung Electronics Co., Ltd. Dynamic calibration correction in multi-frame, multi-exposure capture
CN113112508A (zh) * 2021-03-30 2021-07-13 北京大米科技有限公司 一种视频处理方法及装置
KR102461478B1 (ko) * 2021-05-03 2022-11-03 (주)이머시브캐스트 이미지 내의 객체 떨림 감소를 위한 클라우드 vr 장치
US12036678B2 (en) * 2021-05-25 2024-07-16 Fanuc Corporation Transparent object bin picking
CN113628221B (zh) * 2021-08-03 2024-06-21 Oppo广东移动通信有限公司 图像处理方法、图像分割模型训练方法及相关装置
CN113516672B (zh) * 2021-09-07 2022-02-25 北京美摄网络科技有限公司 图像分割方法、装置、电子设备及可读存储介质
WO2023059365A1 (en) 2021-10-08 2023-04-13 Nodar Inc. Real-time perception system for small objects at long range for autonomous vehicles
WO2023244252A1 (en) 2022-06-14 2023-12-21 Nodar Inc. 3d vision system with automatically calibrated stereo vision sensors and lidar sensor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102388391A (zh) * 2009-02-10 2012-03-21 汤姆森特许公司 基于前景-背景约束传播的视频抠图

Family Cites Families (456)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US725567A (en) 1902-09-25 1903-04-14 Frederic E Ives Parallax stereogram and process of making same.
JPS5672575A (en) 1979-11-19 1981-06-16 Toshiba Corp Picture input unit
GB8317407D0 (en) 1983-06-27 1983-07-27 Rca Corp Image transform techniques
US4694185A (en) 1986-04-18 1987-09-15 Eastman Kodak Company Light sensing devices with lenticular pixels
US4920419A (en) 1988-05-31 1990-04-24 Eastman Kodak Company Zoom lens focus control device for film video player
JP3429755B2 (ja) 1990-04-27 2003-07-22 株式会社日立製作所 撮像装置の被写界深度制御装置
US5077810A (en) 1990-07-19 1991-12-31 Eastman Kodak Company Distributed digital signal processing system using standard resolution processors for a high resolution sensor
US5076687A (en) 1990-08-28 1991-12-31 Massachusetts Institute Of Technology Optical ranging apparatus
US5251019A (en) 1991-01-25 1993-10-05 Eastman Kodak Company Solid state color image sensor using a field-staggered color filter pattern
US5838239A (en) 1992-10-20 1998-11-17 Robotic Vision Systems, Inc. System for detecting ice or snow on surface which specularly reflects light
US5757423A (en) 1993-10-22 1998-05-26 Canon Kabushiki Kaisha Image taking apparatus
US5499069A (en) 1994-05-24 1996-03-12 Eastman Kodak Company Camera system and an optical adapter to reduce image format size
US5572034A (en) 1994-08-08 1996-11-05 University Of Massachusetts Medical Center Fiber optic plates for generating seamless images
JPH08107194A (ja) 1994-10-03 1996-04-23 Fuji Photo Optical Co Ltd 固体撮像装置
JP3275010B2 (ja) 1995-02-03 2002-04-15 ザ・リジェンツ・オブ・ザ・ユニバーシティ・オブ・コロラド 拡大された被写界深度を有する光学システム
DE19624421B4 (de) 1995-06-30 2008-07-10 Carl Zeiss Ag Vorrichtung und Verfahren zur ortsaufgelösten Vermessung von Wellenfrontdeformationen
US6009188A (en) 1996-02-16 1999-12-28 Microsoft Corporation Method and system for digital plenoptic imaging
US6315445B1 (en) 1996-02-21 2001-11-13 Lunar Corporation Densitometry adapter for compact x-ray fluoroscopy machine
GB9607541D0 (en) 1996-04-11 1996-06-12 Discreet Logic Inc Processing image data
JPH09289655A (ja) 1996-04-22 1997-11-04 Fujitsu Ltd 立体画像表示方法及び多視画像入力方法及び多視画像処理方法及び立体画像表示装置及び多視画像入力装置及び多視画像処理装置
US5818525A (en) 1996-06-17 1998-10-06 Loral Fairchild Corp. RGB image correction using compressed flat illuminated files and a simple one or two point correction algorithm
US6028606A (en) 1996-08-02 2000-02-22 The Board Of Trustees Of The Leland Stanford Junior University Camera simulation system
GB9616262D0 (en) 1996-08-02 1996-09-11 Philips Electronics Nv Post-processing generation of focus/defocus effects for computer graphics images
JP3154325B2 (ja) 1996-11-28 2001-04-09 日本アイ・ビー・エム株式会社 認証情報を画像に隠し込むシステム及び画像認証システム
US5907619A (en) 1996-12-20 1999-05-25 Intel Corporation Secure compressed imaging
US7304670B1 (en) 1997-03-28 2007-12-04 Hand Held Products, Inc. Method and apparatus for compensating for fixed pattern noise in an imaging system
US6351570B1 (en) 1997-04-01 2002-02-26 Matsushita Electric Industrial Co., Ltd. Image coding and decoding apparatus, method of image coding and decoding, and recording medium for recording program for image coding and decoding
US6115556A (en) 1997-04-10 2000-09-05 Reddington; Terrence P. Digital camera back accessory and methods of manufacture
EP0976008B1 (en) 1997-04-14 2003-01-22 Dicon A/S An apparatus and a method for illuminating a light-sensitive medium
US6097394A (en) 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
US5835267A (en) 1997-07-15 1998-11-10 Eastman Kodak Company Radiometric calibration device and method
US6091860A (en) 1997-11-12 2000-07-18 Pagemasters, Inc. System and method for processing pixels for displaying and storing
US6061400A (en) 1997-11-20 2000-05-09 Hitachi America Ltd. Methods and apparatus for detecting scene conditions likely to cause prediction errors in reduced resolution video decoders and for using the detected information
US6466207B1 (en) 1998-03-18 2002-10-15 Microsoft Corporation Real-time image rendering with layered depth images
US5974215A (en) 1998-05-20 1999-10-26 North Carolina State University Compound image sensor array having staggered array of tapered optical fiber bundles
US6448544B1 (en) 1998-06-08 2002-09-10 Brandeis University Low noise, high resolution image detection system and method
US6137100A (en) 1998-06-08 2000-10-24 Photobit Corporation CMOS image sensor with different pixel sizes for different colors
US6075889A (en) 1998-06-12 2000-06-13 Eastman Kodak Company Computing color specification (luminance and chrominance) values for images
US6674430B1 (en) 1998-07-16 2004-01-06 The Research Foundation Of State University Of New York Apparatus and method for real-time volume processing and universal 3D rendering
US6021241A (en) 1998-07-17 2000-02-01 North Carolina State University Systems and methods for using diffraction patterns to determine radiation intensity values for areas between and along adjacent sensors of compound sensor arrays
US7057647B1 (en) 2000-06-14 2006-06-06 E-Watch, Inc. Dual-mode camera system for day/night or variable zoom operation
US6833865B1 (en) 1998-09-01 2004-12-21 Virage, Inc. Embedded metadata engines in digital capture devices
US6577342B1 (en) 1998-09-25 2003-06-10 Intel Corporation Image sensor with microlens material structure
US6320979B1 (en) 1998-10-06 2001-11-20 Canon Kabushiki Kaisha Depth of field enhancement
US6201899B1 (en) 1998-10-09 2001-03-13 Sarnoff Corporation Method and apparatus for extended depth of field imaging
US6169285B1 (en) 1998-10-23 2001-01-02 Adac Laboratories Radiation-based imaging system employing virtual light-responsive elements
EP1008956A1 (en) 1998-12-08 2000-06-14 Synoptics Limited Automatic image montage system
JP2000207549A (ja) 1999-01-11 2000-07-28 Olympus Optical Co Ltd 画像処理装置
US7469381B2 (en) 2007-01-07 2008-12-23 Apple Inc. List scrolling and document translation, scaling, and rotation on a touch-screen display
US6137634A (en) 1999-02-01 2000-10-24 Intel Corporation Microlens array
US6424351B1 (en) 1999-04-21 2002-07-23 The University Of North Carolina At Chapel Hill Methods and systems for producing three-dimensional images using relief textures
KR100346259B1 (ko) 1999-05-29 2002-07-26 엘지전자주식회사 다수개의 영역특징정보를 이용한 이미지 검색 방법
JP2000350071A (ja) 1999-06-02 2000-12-15 Nikon Corp 電子スチルカメラ
JP3595759B2 (ja) 1999-07-02 2004-12-02 キヤノン株式会社 撮像装置および撮像システム
US7015954B1 (en) 1999-08-09 2006-03-21 Fuji Xerox Co., Ltd. Automatic video system using multiple cameras
US6768980B1 (en) 1999-09-03 2004-07-27 Thomas W. Meyer Method of and apparatus for high-bandwidth steganographic embedding of data in a series of digital signals or measurements such as taken from analog data streams or subsampled and/or transformed digital data
US6597859B1 (en) 1999-12-16 2003-07-22 Intel Corporation Method and apparatus for abstracting video data
US6483535B1 (en) 1999-12-23 2002-11-19 Welch Allyn, Inc. Wide angle lens system for electronic imagers having long exit pupil distances
US6221687B1 (en) 1999-12-23 2001-04-24 Tower Semiconductor Ltd. Color image sensor with embedded microlens array
US6476805B1 (en) 1999-12-23 2002-11-05 Microsoft Corporation Techniques for spatial displacement estimation and multi-resolution operations on light fields
AU2001229402A1 (en) 2000-01-13 2001-07-24 Digimarc Corporation Authenticating metadata and embedding metadata in watermarks of media signals
WO2001061483A2 (en) 2000-02-14 2001-08-23 Geophoenix, Inc. System and method for graphical programming
US20010048968A1 (en) 2000-02-16 2001-12-06 Cox W. Royall Ink-jet printing of gradient-index microlenses
US6681195B1 (en) 2000-03-22 2004-01-20 Laser Technology, Inc. Compact speed measurement system with onsite digital image capture, processing, and portable display
US6460997B1 (en) 2000-05-08 2002-10-08 Alcon Universal Ltd. Apparatus and method for objective measurements of optical systems using wavefront analysis
CN1214268C (zh) 2000-05-19 2005-08-10 蒂博尔·包洛格 用于显示三维图像的方法和装置
JP3748786B2 (ja) 2000-06-19 2006-02-22 アルプス電気株式会社 表示装置および画像信号の処理方法
US6868191B2 (en) 2000-06-28 2005-03-15 Telefonaktiebolaget Lm Ericsson (Publ) System and method for median fusion of depth maps
US7092014B1 (en) 2000-06-28 2006-08-15 Microsoft Corporation Scene capturing and view rendering based on a longitudinally aligned camera array
US9189069B2 (en) 2000-07-17 2015-11-17 Microsoft Technology Licensing, Llc Throwing gestures for mobile devices
US7085409B2 (en) 2000-10-18 2006-08-01 Sarnoff Corporation Method and apparatus for synthesizing new video and/or still imagery from a collection of real video and/or still imagery
US7034866B1 (en) 2000-11-22 2006-04-25 Koninklijke Philips Electronics N.V. Combined display-camera for an image processing system
IL139995A (en) 2000-11-29 2007-07-24 Rvc Llc System and method for spherical stereoscopic photographing
US7003061B2 (en) * 2000-12-21 2006-02-21 Adobe Systems Incorporated Image extraction from complex scenes in digital video
ATE505905T1 (de) 2001-02-09 2011-04-15 Canon Kk Informationsverarbeitungsgerät und seine steuerverfahren, computerprogramm, und speichermedium
US7102666B2 (en) 2001-02-12 2006-09-05 Carnegie Mellon University System and method for stabilizing rotational images
US6924841B2 (en) 2001-05-02 2005-08-02 Agilent Technologies, Inc. System and method for capturing color images that extends the dynamic range of an image sensor using first and second groups of pixels
US7480796B2 (en) 2001-06-07 2009-01-20 Kwan Sofware Engineering, Inc. System and method for authenticating data using incompatible digest functions
US6842297B2 (en) 2001-08-31 2005-01-11 Cdm Optics, Inc. Wavefront coding optics
US7239345B1 (en) 2001-10-12 2007-07-03 Worldscape, Inc. Camera arrangements with backlighting detection and methods of using same
WO2003036566A2 (de) 2001-10-22 2003-05-01 Leica Microsystems Wetzlar Gmbh Verfahren und vorrichtung zur erzeugung lichtmikroskopischer, dreidimensionaler bilder
US7929808B2 (en) 2001-10-30 2011-04-19 Hewlett-Packard Development Company, L.P. Systems and methods for generating digital images having image meta-data combined with the image data
US20030210329A1 (en) 2001-11-08 2003-11-13 Aagaard Kenneth Joseph Video system and methods for operating a video system
US7120293B2 (en) 2001-11-30 2006-10-10 Microsoft Corporation Interactive images
WO2003052465A2 (en) 2001-12-18 2003-06-26 University Of Rochester Multifocal aspheric lens obtaining extended field depth
US7053953B2 (en) 2001-12-21 2006-05-30 Eastman Kodak Company Method and camera system for blurring portions of a verification image to show out of focus areas in a captured archival image
JP3997085B2 (ja) 2001-12-28 2007-10-24 キヤノン株式会社 画像生成装置
US7046292B2 (en) 2002-01-16 2006-05-16 Hewlett-Packard Development Company, L.P. System for near-simultaneous capture of multiple camera images
ITTO20020103A1 (it) 2002-02-06 2003-08-06 Fioravanti Srl Sistema per l'illuminazione anteriore di un autoveicolo.
US7017144B2 (en) 2002-06-17 2006-03-21 Microsoft Corporation Combined image views and method of creating images
US6744109B2 (en) 2002-06-26 2004-06-01 Agilent Technologies, Inc. Glass attachment over micro-lens arrays
US20040012688A1 (en) 2002-07-16 2004-01-22 Fairchild Imaging Large area charge coupled device camera
US20040012689A1 (en) 2002-07-16 2004-01-22 Fairchild Imaging Charge coupled devices in tiled arrays
AU2003274951A1 (en) 2002-08-30 2004-03-19 Orasee Corp. Multi-dimensional image system for digital image input and output
US7778438B2 (en) 2002-09-30 2010-08-17 Myport Technologies, Inc. Method for multi-media recognition, data conversion, creation of metatags, storage and search retrieval
US7061485B2 (en) 2002-10-31 2006-06-13 Hewlett-Packard Development Company, Lp. Method and system for producing a model from optical images
US7206022B2 (en) 2002-11-25 2007-04-17 Eastman Kodak Company Camera system with eye monitoring
US20040114176A1 (en) 2002-12-17 2004-06-17 International Business Machines Corporation Editing and browsing images for virtual cameras
EP1584067A2 (en) 2003-01-16 2005-10-12 D-blur Technologies LTD. C/o Yossi Haimov CPA Camera with image enhancement functions
JP4324404B2 (ja) 2003-04-22 2009-09-02 富士フイルム株式会社 固体撮像装置及びデジタルカメラ
US7164807B2 (en) 2003-04-24 2007-01-16 Eastman Kodak Company Method and system for automatically reducing aliasing artifacts
US7025515B2 (en) 2003-05-20 2006-04-11 Software 2000 Ltd. Bit mask generation system
EP1635138A4 (en) 2003-05-29 2011-05-04 Olympus Corp STEREO OPTICAL MODULE AND STEREO CAMERA
CN100417198C (zh) 2003-05-29 2008-09-03 松下电器产业株式会社 摄像装置和摄像方法
US7620218B2 (en) 2006-08-11 2009-11-17 Fotonation Ireland Limited Real-time face tracking with reference images
JP4148041B2 (ja) 2003-06-27 2008-09-10 ソニー株式会社 信号処理装置および信号処理方法、並びにプログラムおよび記録媒体
JP2005094740A (ja) 2003-08-08 2005-04-07 Ricoh Co Ltd 画像処理装置、画像形成装置及び画像処理方法
US7044912B2 (en) 2003-08-28 2006-05-16 Siemens Medical Solutions Usa Inc. Diagnostic medical ultrasound system having method and apparatus for storing and retrieving 3D and 4D data sets
US7262771B2 (en) 2003-10-10 2007-08-28 Microsoft Corporation Systems and methods for all-frequency relighting using spherical harmonics and point light distributions
JP2005143094A (ja) 2003-10-14 2005-06-02 Canon Inc 画像検証システム、管理方法、及びコンピュータ読み取り可能な記憶媒体
US7078260B2 (en) 2003-12-31 2006-07-18 Dongbu Electronics Co., Ltd. CMOS image sensors and methods for fabricating the same
JP4525089B2 (ja) 2004-01-27 2010-08-18 フジノン株式会社 オートフォーカスシステム
US20050212918A1 (en) 2004-03-25 2005-09-29 Bill Serra Monitoring system and method
ES2217986B1 (es) 2004-04-27 2005-08-16 Fico Mirrors, S.A. Mecanismo de abatimiento para retrovisores exteriores de vehiculos automoviles.
US7436403B2 (en) 2004-06-12 2008-10-14 University Of Southern California Performance relighting and reflectance transformation with time-multiplexed illumination
CN101019151A (zh) 2004-07-23 2007-08-15 松下电器产业株式会社 图像处理装置以及图像处理方法
US20060023066A1 (en) 2004-07-27 2006-02-02 Microsoft Corporation System and Method for Client Services for Interactive Multi-View Video
CA2576026A1 (en) 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Walk-up printing
US7329856B2 (en) 2004-08-24 2008-02-12 Micron Technology, Inc. Image sensor having integrated infrared-filtering optical device and related method
US7477304B2 (en) 2004-08-26 2009-01-13 Micron Technology, Inc. Two narrow band and one wide band color filter for increasing color image sensor sensitivity
TWI242368B (en) 2004-09-02 2005-10-21 Asia Optical Co Inc Image capturing system of image formation on curved surface
US7336430B2 (en) 2004-09-03 2008-02-26 Micron Technology, Inc. Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and a centrally obscured aperture
JP2006078738A (ja) 2004-09-09 2006-03-23 Fuji Photo Film Co Ltd カメラシステム、カメラ本体およびカメラヘッド
JP4587166B2 (ja) 2004-09-14 2010-11-24 キヤノン株式会社 移動体追跡システム、撮影装置及び撮影方法
US20060056604A1 (en) 2004-09-15 2006-03-16 Research In Motion Limited Method for scaling images for usage on a mobile communication device
US8750509B2 (en) 2004-09-23 2014-06-10 Smartvue Corporation Wireless surveillance system releasably mountable to track lighting
US7936392B2 (en) 2004-10-01 2011-05-03 The Board Of Trustees Of The Leland Stanford Junior University Imaging arrangements and methods therefor
JP2006107213A (ja) 2004-10-06 2006-04-20 Canon Inc 立体画像印刷システム
US7417670B1 (en) 2005-01-12 2008-08-26 Ambarella, Inc. Digital video camera with binning or skipping correction
US7532214B2 (en) 2005-05-25 2009-05-12 Spectra Ab Automated medical image visualization using volume rendering with local histograms
US7745772B2 (en) 2005-05-30 2010-06-29 Nikon Corporation Image forming state detection device
KR101120092B1 (ko) 2005-06-04 2012-03-23 삼성전자주식회사 복합 영상 신호의 화질 개선 방법, 그 장치 및 복합 영상신호의 디코딩 방법 및 장치
US7577309B2 (en) 2005-06-18 2009-08-18 Muralidhara Subbarao Direct vision sensor for 3D computer vision, digital imaging, and digital video
JP4826152B2 (ja) 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
US20070019883A1 (en) 2005-07-19 2007-01-25 Wong Earl Q Method for creating a depth map for auto focus using an all-in-focus picture and two-dimensional scale space matching
US8601475B2 (en) 2005-08-02 2013-12-03 Aol Inc. Download and upload of email messages using control commands in a client/server web application
US8237801B2 (en) 2005-08-05 2012-08-07 The Innovation Science Fund I, LLC Image processing system and communication method
JP3930898B2 (ja) 2005-08-08 2007-06-13 松下電器産業株式会社 画像合成装置および画像合成方法
US8310554B2 (en) 2005-09-20 2012-11-13 Sri International Method and apparatus for performing coordinated multi-PTZ camera tracking
JP4718952B2 (ja) 2005-09-27 2011-07-06 富士フイルム株式会社 画像補正方法および画像補正システム
US20070081081A1 (en) 2005-10-07 2007-04-12 Cheng Brett A Automated multi-frame image capture for panorama stitching using motion sensor
WO2007044725A2 (en) 2005-10-07 2007-04-19 The Board Of Trustees Of The Leland Stanford Junior University Microscopy arrangements and approaches
US9270976B2 (en) 2005-11-02 2016-02-23 Exelis Inc. Multi-user stereoscopic 3-D panoramic vision system and method
US7409149B2 (en) 2005-11-03 2008-08-05 International Business Machines Corporation Methods for improved autofocus in digital imaging systems
US20070103558A1 (en) 2005-11-04 2007-05-10 Microsoft Corporation Multi-view video delivery
US7523405B2 (en) 2005-11-16 2009-04-21 Microsoft Corporation Displaying 2D graphic content using depth wells
US7623726B1 (en) 2005-11-30 2009-11-24 Adobe Systems, Incorporated Method and apparatus for using a virtual camera to dynamically refocus a digital image
US7286295B1 (en) 2005-11-30 2007-10-23 Sandia Corporation Microoptical compound lens
US7945653B2 (en) 2006-10-11 2011-05-17 Facebook, Inc. Tagging digital media
JP4874641B2 (ja) 2005-12-16 2012-02-15 Ｈｏｙａ株式会社 自動焦点調節装置を備えたカメラ
US8243157B2 (en) 2006-02-07 2012-08-14 The Board Of Trustees Of The Leland Stanford Junior University Correction of optical aberrations
US8358354B2 (en) 2009-01-26 2013-01-22 The Board Of Trustees Of The Leland Stanford Junior University Correction of optical abberations
US7614018B1 (en) 2006-02-13 2009-11-03 Google Inc. Web based user interface for selecting options
US7748022B1 (en) 2006-02-21 2010-06-29 L-3 Communications Sonoma Eo, Inc. Real-time data characterization with token generation for fast data retrieval
US7590344B2 (en) 2006-02-28 2009-09-15 Microsoft Corp. Adaptive processing for images captured with flash
JP5186727B2 (ja) 2006-03-31 2013-04-24 株式会社ニコン プロジェクタ付き電子カメラ、投影装置および電子機器
US7609906B2 (en) 2006-04-04 2009-10-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring and displaying 3D light fields
US7620309B2 (en) 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
IES20060564A2 (en) 2006-05-03 2006-11-01 Fotonation Vision Ltd Improved foreground / background separation
US7724952B2 (en) 2006-05-15 2010-05-25 Microsoft Corporation Object matting using flash and no-flash images
CN101449586B (zh) 2006-05-25 2012-08-29 汤姆逊许可证公司 用于加权编码的方法和***
US8213734B2 (en) 2006-07-07 2012-07-03 Sony Ericsson Mobile Communications Ab Active autofocus window
JP2008022372A (ja) 2006-07-13 2008-01-31 Canon Inc 改竄検知情報生成装置、撮像装置、改竄検知情報生成方法、プログラムおよび記憶媒体
CN101512553B (zh) 2006-07-16 2012-06-20 西姆比有限公司 用于虚拟内容安置的***和方法
JP5041757B2 (ja) 2006-08-02 2012-10-03 パナソニック株式会社 カメラ制御装置およびカメラ制御システム
US7813586B2 (en) 2006-08-07 2010-10-12 Mela Sciences, Inc. Reducing noise in digital images
US7953277B2 (en) 2006-09-05 2011-05-31 Williams Robert C Background separated images for print and on-line use
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
US8155478B2 (en) 2006-10-26 2012-04-10 Broadcom Corporation Image creation with software controllable depth of field
JP2008129554A (ja) 2006-11-27 2008-06-05 Sanyo Electric Co Ltd 撮像装置及びオートフォーカス制御方法
AU2006246497B2 (en) 2006-11-30 2010-02-11 Canon Kabushiki Kaisha Method and apparatus for hybrid image compression
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
JP4569561B2 (ja) 2006-12-01 2010-10-27 富士フイルム株式会社 画像ファイル作成装置
US20130113981A1 (en) 2006-12-01 2013-05-09 Lytro, Inc. Light field camera image, file and configuration data, and methods of using, storing and communicating same
US20100265385A1 (en) 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US8559705B2 (en) 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
EP1927949A1 (en) 2006-12-01 2008-06-04 Thomson Licensing Array of processing elements with local registers
US8103111B2 (en) 2006-12-26 2012-01-24 Olympus Imaging Corp. Coding method, electronic camera, recording medium storing coded program, and decoding method
US9602838B2 (en) 2006-12-28 2017-03-21 Thomson Licensing Method and apparatus for automatic visual artifact analysis and artifact reduction
JP4947639B2 (ja) 2007-01-19 2012-06-06 浜松ホトニクス株式会社 反射型位相変装置及び反射型位相変調装置の設定方法
US7872796B2 (en) 2007-01-25 2011-01-18 Adobe Systems Incorporated Light field microscope with lenslet array
US8538210B2 (en) 2007-02-01 2013-09-17 Alliance Fiber Optic Products, Inc. Micro free-space WDM device
US7792423B2 (en) 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
CN100585453C (zh) 2007-02-09 2010-01-27 奥林巴斯映像株式会社 解码方法及解码装置
JP5034556B2 (ja) 2007-02-27 2012-09-26 株式会社ニコン 焦点検出装置および撮像装置
US8077964B2 (en) 2007-03-19 2011-12-13 Sony Corporation Two dimensional/three dimensional digital information acquisition and display device
US20080253652A1 (en) 2007-04-10 2008-10-16 Aricent Inc. Method of demosaicing a digital mosaiced image
WO2008128205A1 (en) 2007-04-13 2008-10-23 Presler Ari M Digital cinema camera system for recording, editing and visualizing images
US20080260291A1 (en) 2007-04-17 2008-10-23 Nokia Corporation Image downscaling by binning
US7936377B2 (en) 2007-04-30 2011-05-03 Tandent Vision Science, Inc. Method and system for optimizing an image for improved analysis of material and illumination image features
US8494304B2 (en) 2007-05-11 2013-07-23 Xerox Corporation Punched hole detection and removal
JP5109803B2 (ja) 2007-06-06 2012-12-26 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
JP2008312080A (ja) 2007-06-18 2008-12-25 Sony Corp 撮像装置及び撮像方法
US8290358B1 (en) 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
JP4967873B2 (ja) 2007-07-13 2012-07-04 ソニー株式会社 撮像装置
US7982776B2 (en) 2007-07-13 2011-07-19 Ethicon Endo-Surgery, Inc. SBI motion artifact removal apparatus and method
US8085391B2 (en) 2007-08-02 2011-12-27 Aptina Imaging Corporation Integrated optical characteristic measurements in a CMOS image sensor
WO2009020977A1 (en) 2007-08-06 2009-02-12 Adobe Systems Incorporated Method and apparatus for radiance capture by multiplexing in the frequency domain
JP5203655B2 (ja) 2007-09-07 2013-06-05 キヤノン株式会社 コンテンツ表示装置及びその表示方法
US8253824B2 (en) 2007-10-12 2012-08-28 Microsoft Corporation Multi-spectral imaging
US7956924B2 (en) 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
JP4905326B2 (ja) 2007-11-12 2012-03-28 ソニー株式会社 撮像装置
US8488834B2 (en) 2007-11-15 2013-07-16 Certifi-Media Inc. Method for making an assured image
US8229294B2 (en) 2007-12-10 2012-07-24 Mitsubishi Electric Research Laboratories, Inc. Cameras with varying spatio-angular-temporal resolutions
JP5018504B2 (ja) 2008-01-21 2012-09-05 株式会社ニコン データ処理装置，撮像装置，データ処理プログラム
US7962033B2 (en) 2008-01-23 2011-06-14 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
US8189065B2 (en) 2008-01-23 2012-05-29 Adobe Systems Incorporated Methods and apparatus for full-resolution light-field capture and rendering
JP4941332B2 (ja) 2008-01-28 2012-05-30 ソニー株式会社 撮像装置
JP4483951B2 (ja) 2008-01-28 2010-06-16 ソニー株式会社 撮像装置
KR101445606B1 (ko) 2008-02-05 2014-09-29 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체
US8577216B2 (en) 2008-02-13 2013-11-05 Qualcomm Incorporated Auto-focus calibration for image capture device
US9094675B2 (en) 2008-02-29 2015-07-28 Disney Enterprises Inc. Processing image data from multiple cameras for motion pictures
JP2009246745A (ja) 2008-03-31 2009-10-22 Panasonic Corp 撮像装置、撮像モジュール、電子スチルカメラ、及び電子ムービーカメラ
EP2107446A1 (en) 2008-04-04 2009-10-07 ETH Zurich System and a method for tracking input devices on LC-displays
US8155456B2 (en) 2008-04-29 2012-04-10 Adobe Systems Incorporated Method and apparatus for block-based compression of light-field images
US7780364B2 (en) 2008-05-01 2010-08-24 Mitsubishi Electric Research Laboratories, Inc. Apparatus and method for reducing glare in images
US20100097444A1 (en) 2008-10-16 2010-04-22 Peter Lablans Camera System for Creating an Image From a Plurality of Images
JP4524717B2 (ja) 2008-06-13 2010-08-18 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
KR101483714B1 (ko) 2008-06-18 2015-01-16 삼성전자 주식회사 디지털 촬상 장치 및 방법
CN101309359B (zh) 2008-06-20 2013-02-06 埃派克森微电子(上海)股份有限公司 使用哑像素消除固定模式噪声的***及方法
US20090321861A1 (en) 2008-06-26 2009-12-31 Micron Technology, Inc. Microelectronic imagers with stacked lens assemblies and processes for wafer-level packaging of microelectronic imagers
JP5525703B2 (ja) 2008-07-10 2014-06-18 オリンパス株式会社 画像再生表示装置
US8736751B2 (en) 2008-08-26 2014-05-27 Empire Technology Development Llc Digital presenter for displaying image captured by camera with illumination system
US7587109B1 (en) 2008-09-02 2009-09-08 Spectral Imaging Laboratory Hybrid fiber coupled artificial compound eye
US20100107100A1 (en) 2008-10-23 2010-04-29 Schneekloth Jason S Mobile Device Style Abstraction
US8201951B2 (en) 2008-11-19 2012-06-19 Seiko Epson Corporation Catadioptric projectors
AU2008246243B2 (en) 2008-11-19 2011-12-22 Canon Kabushiki Kaisha DVC as generic file format for plenoptic camera
WO2010065344A1 (en) 2008-11-25 2010-06-10 Refocus Imaging, Inc. System of and method for video refocusing
GB2465793A (en) 2008-11-28 2010-06-02 Sony Corp Estimating camera angle using extrapolated corner locations from a calibration pattern
DK200801722A (en) 2008-12-05 2010-06-06 Unisensor As Optical sectioning of a sample and detection of particles in a sample
US8289440B2 (en) 2008-12-08 2012-10-16 Lytro, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US8013904B2 (en) 2008-12-09 2011-09-06 Seiko Epson Corporation View projection matrix based high performance low latency display pipeline
US7949252B1 (en) 2008-12-11 2011-05-24 Adobe Systems Incorporated Plenoptic camera with large depth of field
US9635253B2 (en) 2009-01-05 2017-04-25 Duke University Multiscale telescopic imaging system
JP5355208B2 (ja) 2009-05-01 2013-11-27 富士フイルム株式会社 ３次元表示装置及びデジタルズーム補正方法
WO2010081229A1 (en) 2009-01-19 2010-07-22 The University Of British Columbia Multiplexed imaging
US8315476B1 (en) 2009-01-20 2012-11-20 Adobe Systems Incorporated Super-resolution with the focused plenoptic camera
US8189089B1 (en) 2009-01-20 2012-05-29 Adobe Systems Incorporated Methods and apparatus for reducing plenoptic camera artifacts
US7687757B1 (en) 2009-01-29 2010-03-30 Visera Technologies Company Limited Design of microlens on pixel array
US8195040B2 (en) 2009-02-10 2012-06-05 Canon Kabushiki Kaisha Imaging apparatus, flash device, and control method thereof
US8589374B2 (en) 2009-03-16 2013-11-19 Apple Inc. Multifunction device with integrated search and application selection
US8797321B1 (en) 2009-04-01 2014-08-05 Microsoft Corporation Augmented lighting environments
US20100253782A1 (en) 2009-04-07 2010-10-07 Latent Image Technology Ltd. Device and method for automated verification of polarization-variant images
US8908058B2 (en) 2009-04-18 2014-12-09 Lytro, Inc. Storage and transmission of pictures including multiple frames
US20120249550A1 (en) 2009-04-18 2012-10-04 Lytro, Inc. Selective Transmission of Image Data Based on Device Attributes
EP2244484B1 (en) 2009-04-22 2012-03-28 Raytrix GmbH Digital imaging method for synthesizing an image using data recorded with a plenoptic camera
US8358365B2 (en) 2009-05-01 2013-01-22 Samsung Electronics Co., Ltd. Photo detecting device and image pickup device and method thereon
US8345144B1 (en) 2009-07-15 2013-01-01 Adobe Systems Incorporated Methods and apparatus for rich image capture with focused plenoptic cameras
US8228417B1 (en) 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
US8097894B2 (en) 2009-07-23 2012-01-17 Koninklijke Philips Electronics N.V. LED with molded reflective sidewall coating
US8654234B2 (en) 2009-07-26 2014-02-18 Massachusetts Institute Of Technology Bi-directional screen
WO2011013079A1 (en) 2009-07-30 2011-02-03 Primesense Ltd. Depth mapping based on pattern matching and stereoscopic information
US8497914B2 (en) 2009-08-10 2013-07-30 Wisconsin Alumni Research Foundation Vision system and method for motion adaptive integration of image frames
JP5350123B2 (ja) 2009-08-10 2013-11-27 株式会社日立ハイテクノロジーズ 荷電粒子線装置及び画像表示方法
CA2772607A1 (en) 2009-09-01 2011-03-10 Prime Focus Vfx Services Ii Inc. System and process for transforming two-dimensional images into three-dimensional images
US8228413B2 (en) 2009-09-01 2012-07-24 Geovector Corp. Photographer's guidance systems
WO2011029209A2 (en) 2009-09-10 2011-03-17 Liberovision Ag Method and apparatus for generating and processing depth-enhanced images
KR101600010B1 (ko) 2009-09-22 2016-03-04 삼성전자주식회사 모듈레이터, 모듈레이터를 이용한 광 필드 데이터 획득 장치, 모듈레이터를 이용한 광 필드 데이터 처리 장치 및 방법
EP2486727A4 (en) 2009-10-05 2014-03-12 Icvt Ltd METHOD AND SYSTEM FOR PROCESSING AN IMAGE
DE102009049387B4 (de) 2009-10-14 2016-05-25 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung, Bildverarbeitungsvorrichtung und Verfahren zur optischen Abbildung
US8624925B2 (en) 2009-10-16 2014-01-07 Qualcomm Incorporated Content boundary signaling techniques
US8502909B2 (en) 2009-10-19 2013-08-06 Pixar Super light-field lens
US8259198B2 (en) 2009-10-20 2012-09-04 Apple Inc. System and method for detecting and correcting defective pixels in an image sensor
US9131116B2 (en) 2009-10-30 2015-09-08 Sony Corporation Information processing apparatus, tuner, and information processing method
US8358691B1 (en) * 2009-10-30 2013-01-22 Adobe Systems Incorporated Methods and apparatus for chatter reduction in video object segmentation using a variable bandwidth search region
WO2011060809A1 (en) 2009-11-17 2011-05-26 Telefonaktiebolaget L M Ericsson (Publ) Synchronization of cameras for multi-view session capturing
CN102483510B (zh) 2009-11-20 2015-04-15 富士胶片株式会社 固态成像装置
KR101608970B1 (ko) 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
US8400555B1 (en) 2009-12-01 2013-03-19 Adobe Systems Incorporated Focused plenoptic camera employing microlenses with different focal lengths
AU2009243486B2 (en) 2009-12-02 2012-12-13 Canon Kabushiki Kaisha Processing captured images having geolocations
US8716953B2 (en) 2009-12-07 2014-05-06 At&T Intellectual Property I, L.P. Mechanisms for light management
KR101367820B1 (ko) 2009-12-21 2014-02-27 한국전자통신연구원 이동 가능한 다시점 영상 획득 시스템 및 다시점 영상 전처리 방법
US8330720B2 (en) 2009-12-18 2012-12-11 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. Optical navigation system and method for performing self-calibration on the system using a calibration cover
JP5490514B2 (ja) 2009-12-22 2014-05-14 三星電子株式会社 撮像装置及び撮像方法
WO2011081187A1 (ja) 2009-12-28 2011-07-07 株式会社ニコン 撮像素子、および、撮像装置
WO2011092609A1 (en) 2010-01-29 2011-08-04 Koninklijke Philips Electronics N.V. Interactive lighting control system and method
US8465699B2 (en) 2010-02-19 2013-06-18 Pacific Biosciences Of California, Inc. Illumination of integrated analytical systems
US8749620B1 (en) 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
US8400533B1 (en) 2010-02-23 2013-03-19 Xilinx, Inc. Methods of reducing aberrations in a digital image
US20110205384A1 (en) 2010-02-24 2011-08-25 Panavision Imaging, Llc Variable active image area image sensor
US8817015B2 (en) 2010-03-03 2014-08-26 Adobe Systems Incorporated Methods, apparatus, and computer-readable storage media for depth-based rendering of focused plenoptic camera data
US8411948B2 (en) * 2010-03-05 2013-04-02 Microsoft Corporation Up-sampling binary images for segmentation
US8989436B2 (en) 2010-03-30 2015-03-24 Nikon Corporation Image processing method, computer-readable storage medium, image processing apparatus, and imaging apparatus
JP2011217062A (ja) 2010-03-31 2011-10-27 Sony Corp カメラシステム、信号遅延量調整方法及びプログラム
US9100581B2 (en) 2010-04-02 2015-08-04 Microsoft Technology Licensing, Llc Time interleaved exposures and multiplexed illumination
JP4888579B2 (ja) 2010-04-21 2012-02-29 パナソニック電工株式会社 視機能検査装置
TW201138466A (en) 2010-04-23 2011-11-01 Hon Hai Prec Ind Co Ltd Video camera and method for monitoring videos of a person or an object
JP5449536B2 (ja) 2010-04-28 2014-03-19 富士フイルム株式会社 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置
US9053573B2 (en) * 2010-04-29 2015-06-09 Personify, Inc. Systems and methods for generating a virtual camera viewpoint for an image
US20110273466A1 (en) 2010-05-10 2011-11-10 Canon Kabushiki Kaisha View-dependent rendering system with intuitive mixed reality
KR101756910B1 (ko) 2010-05-11 2017-07-26 삼성전자주식회사 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법
US20110292258A1 (en) 2010-05-28 2011-12-01 C2Cure, Inc. Two sensor imaging systems
US9008457B2 (en) * 2010-05-31 2015-04-14 Pesonify, Inc. Systems and methods for illumination correction of an image
EP2390772A1 (en) 2010-05-31 2011-11-30 Sony Ericsson Mobile Communications AB User interface with three dimensional user input
US8406556B2 (en) 2010-06-10 2013-03-26 Microsoft Corporation Light transport reconstruction from sparsely captured images
JP2012003679A (ja) 2010-06-21 2012-01-05 Kyocera Mita Corp 画像形成装置用追加アプリケーションのセキュリティ確保方法、画像形成システム及び画像形成装置
JP2012013730A (ja) 2010-06-29 2012-01-19 Kowa Co 望遠レンズユニット
US8493432B2 (en) 2010-06-29 2013-07-23 Mitsubishi Electric Research Laboratories, Inc. Digital refocusing for wide-angle images using axial-cone cameras
US8724000B2 (en) 2010-08-27 2014-05-13 Adobe Systems Incorporated Methods and apparatus for super-resolution in integral photography
US8803918B2 (en) 2010-08-27 2014-08-12 Adobe Systems Incorporated Methods and apparatus for calibrating focused plenoptic camera data
US8866822B2 (en) 2010-09-07 2014-10-21 Microsoft Corporation Alternate source for controlling an animation
WO2012038924A2 (en) 2010-09-22 2012-03-29 Nds Limited Enriching digital photographs
US9232123B2 (en) 2010-10-06 2016-01-05 Hewlett-Packard Development Company, L.P. Systems and methods for acquiring and processing image data produced by camera arrays
EP2633361A1 (en) 2010-10-26 2013-09-04 BAE Systems Plc. Display assembly, in particular a head-mounted display
CA2819324A1 (en) 2010-11-25 2012-05-31 Lester Kirkland An imaging robot
WO2012072606A1 (en) 2010-11-29 2012-06-07 DigitalOptics Corporation Europe Limited Portrait image synthesis from multiple images captured on a handheld device
US8867823B2 (en) * 2010-12-03 2014-10-21 National University Corporation Nagoya University Virtual viewpoint image synthesizing method and virtual viewpoint image synthesizing system
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
JP5906062B2 (ja) 2010-12-17 2016-04-20 キヤノン株式会社 撮像装置およびその制御方法
US9179134B2 (en) 2011-01-18 2015-11-03 Disney Enterprises, Inc. Multi-layer plenoptic displays that combine multiple emissive and light modulating planes
US8908013B2 (en) 2011-01-20 2014-12-09 Canon Kabushiki Kaisha Systems and methods for collaborative image capturing
US8768102B1 (en) 2011-02-09 2014-07-01 Lytro, Inc. Downsampling light field images
US8665440B1 (en) 2011-02-10 2014-03-04 Physical Optics Corporation Pseudo-apposition eye spectral imaging system
JP5689707B2 (ja) 2011-02-15 2015-03-25 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および、表示制御方法
US20140176592A1 (en) 2011-02-15 2014-06-26 Lytro, Inc. Configuring two-dimensional image processing based on light-field parameters
US8666191B2 (en) 2011-03-02 2014-03-04 Canon Kabushiki Kaisha Systems and methods for image capturing
JP5623313B2 (ja) 2011-03-10 2014-11-12 キヤノン株式会社 撮像装置および撮像光学系
US8619179B2 (en) 2011-03-28 2013-12-31 Canon Kabushiki Kaisha Multi-modal image capture apparatus with a tunable spectral response
JP5325255B2 (ja) 2011-03-31 2013-10-23 富士フイルム株式会社 立体画像表示装置、立体画像表示方法および立体画像表示プログラム
JP5786412B2 (ja) 2011-03-31 2015-09-30 ソニー株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US8849132B2 (en) 2011-03-31 2014-09-30 Eastman Kodak Company Compensating for periodic nonuniformity in electrophotographic printer
US9313390B2 (en) 2011-04-08 2016-04-12 Qualcomm Incorporated Systems and methods to calibrate a multi camera device
KR101824005B1 (ko) 2011-04-08 2018-01-31 엘지전자 주식회사 이동 단말기 및 그의 영상 깊이감 조절방법
WO2012149971A1 (en) 2011-05-04 2012-11-08 Sony Ericsson Mobile Communications Ab Method, graphical user interface, and computer program product for processing of a light field image
JP5956808B2 (ja) 2011-05-09 2016-07-27 キヤノン株式会社 画像処理装置およびその方法
JP2012252321A (ja) 2011-05-10 2012-12-20 Canon Inc 画像撮影システムおよびその制御方法
JP5917017B2 (ja) 2011-05-11 2016-05-11 キヤノン株式会社 画像処理装置及びその制御方法、並びにプログラム
US8531581B2 (en) 2011-05-23 2013-09-10 Ricoh Co., Ltd. Focusing and focus metrics for a plenoptic imaging system
US8605199B2 (en) 2011-06-28 2013-12-10 Canon Kabushiki Kaisha Adjustment of imaging properties for an imaging assembly having light-field optics
US20130002936A1 (en) 2011-06-30 2013-01-03 Nikon Corporation Image pickup apparatus, image processing apparatus, and storage medium storing image processing program
US8908062B2 (en) 2011-06-30 2014-12-09 Nikon Corporation Flare determination apparatus, image processing apparatus, and storage medium storing flare determination program
WO2013005365A1 (ja) * 2011-07-01 2013-01-10 パナソニック株式会社 画像処理装置、画像処理方法、プログラム、集積回路
US9100587B2 (en) 2011-07-22 2015-08-04 Naturalpoint, Inc. Hosted camera remote control
US9184199B2 (en) 2011-08-01 2015-11-10 Lytro, Inc. Optical assembly including plenoptic microlens array
US8432435B2 (en) 2011-08-10 2013-04-30 Seiko Epson Corporation Ray image modeling for fast catadioptric light field rendering
US8764633B2 (en) 2011-08-12 2014-07-01 Intuitive Surgical Operations, Inc. Feature differentiation image capture unit and method in a surgical instrument
JP5824297B2 (ja) 2011-08-30 2015-11-25 キヤノン株式会社 画像処理装置及び方法、及び撮像装置
US9014470B2 (en) * 2011-08-31 2015-04-21 Adobe Systems Incorporated Non-rigid dense correspondence
JP5206853B2 (ja) 2011-09-08 2013-06-12 カシオ計算機株式会社 補間画像生成装置、再構成画像生成装置、補間画像生成方法及びプログラム
US8879901B2 (en) 2011-09-13 2014-11-04 Caldwell Photographic, Inc. Optical attachment for reducing the focal length of an objective lens
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US8593564B2 (en) 2011-09-22 2013-11-26 Apple Inc. Digital camera including refocusable imaging mode adaptor
JP6140709B2 (ja) 2011-09-28 2017-05-31 ペリカン イメージング コーポレイション 明視野画像ファイルを符号化および復号するためのシステムおよび方法
US20130088616A1 (en) 2011-10-10 2013-04-11 Apple Inc. Image Metadata Control Based on Privacy Rules
JP5389139B2 (ja) 2011-10-14 2014-01-15 株式会社東芝 電子機器及び表示制御方法
US8953094B2 (en) 2011-11-10 2015-02-10 Apple Inc. Illumination system
JP6019568B2 (ja) 2011-11-28 2016-11-02 ソニー株式会社 画像処理装置および方法、記録媒体、並びに、プログラム
US8854724B2 (en) 2012-03-27 2014-10-07 Ostendo Technologies, Inc. Spatio-temporal directional light modulator
US9264627B2 (en) 2012-01-09 2016-02-16 Lifetouch Inc. Video photography system
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
JP5924978B2 (ja) 2012-02-28 2016-05-25 キヤノン株式会社 画像処理装置および画像処理方法
US8831377B2 (en) 2012-02-28 2014-09-09 Lytro, Inc. Compensating for variation in microlens position during light-field image processing
US8811769B1 (en) 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
US8948545B2 (en) 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
US9420276B2 (en) 2012-02-28 2016-08-16 Lytro, Inc. Calibration of light-field camera geometry via robust fitting
EP2635022A1 (en) 2012-02-29 2013-09-04 Flir Systems AB A method and system for performing alignment of a projection image to detected infrared (IR) radiation information
US8416240B1 (en) 2012-04-02 2013-04-09 Google Inc. Determining 3D model information from stored images
US8994845B2 (en) 2012-04-27 2015-03-31 Blackberry Limited System and method of adjusting a camera based on image data
EP2820838B1 (en) 2012-05-09 2020-01-08 Lytro, Inc. Optimization of optical systems for improved light field capture and manipulation
JP5657182B2 (ja) 2012-05-10 2015-01-21 富士フイルム株式会社 撮像装置及び信号補正方法
US8736710B2 (en) 2012-05-24 2014-05-27 International Business Machines Corporation Automatic exposure control for flash photography
US9031319B2 (en) 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US8953882B2 (en) 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US8872946B2 (en) 2012-05-31 2014-10-28 Apple Inc. Systems and methods for raw image processing
US9179126B2 (en) 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
US9307252B2 (en) 2012-06-04 2016-04-05 City University Of Hong Kong View synthesis distortion model for multiview depth video coding
US9253373B2 (en) 2012-06-06 2016-02-02 Apple Inc. Flare detection and mitigation in panoramic images
US9053582B2 (en) 2012-06-11 2015-06-09 Disney Enterprises, Inc. Streaming light propagation
US9083935B2 (en) 2012-06-15 2015-07-14 Microsoft Technology Licensing, Llc Combining multiple images in bracketed photography
US10129524B2 (en) 2012-06-26 2018-11-13 Google Llc Depth-assigned content for depth-enhanced virtual reality images
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US9607424B2 (en) 2012-06-26 2017-03-28 Lytro, Inc. Depth-assigned content for depth-enhanced pictures
US20130342700A1 (en) 2012-06-26 2013-12-26 Aharon Kass System and method for using pattern matching to determine the presence of designated objects in digital images
GB2503654B (en) 2012-06-27 2015-10-28 Samsung Electronics Co Ltd A method and apparatus for outputting graphics to a display
US8978981B2 (en) 2012-06-27 2015-03-17 Honeywell International Inc. Imaging apparatus having imaging lens
US8897562B2 (en) 2012-06-29 2014-11-25 Adobe Systems Incorporated Adaptive trimap propagation for video matting
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US9860443B2 (en) 2012-08-20 2018-01-02 The Regents Of The University Of California Monocentric lens designs and associated imaging systems having wide field of view and high resolution
EP4296963A3 (en) 2012-08-21 2024-03-27 Adeia Imaging LLC Method for depth detection in images captured using array cameras
US9214013B2 (en) 2012-09-14 2015-12-15 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
US9940901B2 (en) 2012-09-21 2018-04-10 Nvidia Corporation See-through optical image processing
US20140096038A1 (en) 2012-09-28 2014-04-03 Interactive Memories, Inc. Method for Editing Font Size for Font Arranged in a Layout on an Electronic Interface using Real Time Visual Input
US8799756B2 (en) 2012-09-28 2014-08-05 Interactive Memories, Inc. Systems and methods for generating autoflow of content based on image and user analysis as well as use case data for a media-based printable product
US8799829B2 (en) 2012-09-28 2014-08-05 Interactive Memories, Inc. Methods and systems for background uploading of media files for improved user experience in production of media-based products
US9237263B2 (en) 2012-10-05 2016-01-12 Vidinoti Sa Annotation method and apparatus
US9595553B2 (en) 2012-11-02 2017-03-14 Heptagon Micro Optics Pte. Ltd. Optical modules including focal length adjustment and fabrication of the optical modules
US8997021B2 (en) 2012-11-06 2015-03-31 Lytro, Inc. Parallax and/or three-dimensional effects for thumbnail image displays
US20140139538A1 (en) 2012-11-19 2014-05-22 Datacolor Holding Ag Method and apparatus for optimizing image quality based on measurement of image processing artifacts
US9001226B1 (en) 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
JP5777825B2 (ja) 2012-12-05 2015-09-09 富士フイルム株式会社 撮像装置、異常斜め入射光検出方法及びプログラム、並びに記録媒体
US9092890B2 (en) 2012-12-20 2015-07-28 Ricoh Company, Ltd. Occlusion-aware reconstruction of three-dimensional scenes from light field images
US9070050B2 (en) 2012-12-20 2015-06-30 Rovi Guides, Inc. Methods and systems for customizing a plenoptic media asset
JP6220125B2 (ja) 2012-12-28 2017-10-25 キヤノン株式会社 撮像装置およびその制御方法
US8860819B2 (en) 2013-01-08 2014-10-14 Peripheral Vision, Inc. Automated lighting system characterization device and system
WO2014113583A1 (en) 2013-01-18 2014-07-24 Intel Corporation Variance estimation light field reconstruction for defocus blur
US9686537B2 (en) 2013-02-05 2017-06-20 Google Inc. Noise models for image processing
JP6055332B2 (ja) 2013-02-12 2016-12-27 キヤノン株式会社 画像処理装置、撮像装置、制御方法、及びプログラム
US9769365B1 (en) 2013-02-15 2017-09-19 Red.Com, Inc. Dense field imaging
US9201193B1 (en) 2013-02-18 2015-12-01 Exelis, Inc. Textured fiber optic coupled image intensified camera
US9456141B2 (en) 2013-02-22 2016-09-27 Lytro, Inc. Light-field based autofocus
JP2014199393A (ja) 2013-03-13 2014-10-23 株式会社東芝 画像表示装置
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US20140300753A1 (en) 2013-04-04 2014-10-09 Apple Inc. Imaging pipeline for spectro-colorimeters
US9224782B2 (en) 2013-04-19 2015-12-29 Semiconductor Components Industries, Llc Imaging systems with reference pixels for image flare mitigation
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US9519144B2 (en) 2013-05-17 2016-12-13 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display having a defect
CN105900238B (zh) 2013-05-21 2019-06-11 弗托斯传感与算法公司 全光透镜在光传感器衬底上的单片集成
KR20140137738A (ko) * 2013-05-23 2014-12-03 삼성전자주식회사 이미지 디스플레이 방법, 이미지 디스플레이 장치 및 기록 매체
KR102088401B1 (ko) 2013-05-31 2020-03-12 삼성전자 주식회사 이미지 센서 및 이를 포함하는 촬상 장치
US9418400B2 (en) 2013-06-18 2016-08-16 Nvidia Corporation Method and system for rendering simulated depth-of-field visual effect
US8903232B1 (en) 2013-08-05 2014-12-02 Caldwell Photographic, Inc. Optical attachment for reducing the focal length of an objective lens
US20150062178A1 (en) 2013-09-05 2015-03-05 Facebook, Inc. Tilting to scroll
US9013611B1 (en) 2013-09-06 2015-04-21 Xilinx, Inc. Method and device for generating a digital image based upon a selected set of chrominance groups
JP6476658B2 (ja) 2013-09-11 2019-03-06 ソニー株式会社 画像処理装置および方法
US9030580B2 (en) 2013-09-28 2015-05-12 Ricoh Company, Ltd. Color filter modules for plenoptic XYZ imaging systems
US20150104101A1 (en) 2013-10-14 2015-04-16 Apple Inc. Method and ui for z depth image segmentation
US9294662B2 (en) 2013-10-16 2016-03-22 Broadcom Corporation Depth map generation and post-capture focusing
US9390505B2 (en) 2013-12-12 2016-07-12 Qualcomm Incorporated Method and apparatus for generating plenoptic depth maps
DE112014005866B4 (de) 2013-12-24 2018-08-02 Lytro, Inc. Verbesserung der plenoptischen Kameraauflösung
US9483869B2 (en) 2014-01-17 2016-11-01 Intel Corporation Layered reconstruction for defocus and motion blur
US9305375B2 (en) 2014-03-25 2016-04-05 Lytro, Inc. High-quality post-rendering depth blur
US9414087B2 (en) 2014-04-24 2016-08-09 Lytro, Inc. Compression of light field images
JP6327922B2 (ja) 2014-04-25 2018-05-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US8988317B1 (en) 2014-06-12 2015-03-24 Lytro, Inc. Depth determination for light field images
JP6338467B2 (ja) 2014-06-18 2018-06-06 キヤノン株式会社 撮像装置
JP2016005198A (ja) 2014-06-18 2016-01-12 キヤノン株式会社 撮像装置
US9210391B1 (en) 2014-07-31 2015-12-08 Apple Inc. Sensor data rescaler with chroma reduction
US9635332B2 (en) 2014-09-08 2017-04-25 Lytro, Inc. Saturated pixel recovery in light-field images
US9444991B2 (en) 2014-11-13 2016-09-13 Lytro, Inc. Robust layered light-field rendering
JP6473608B2 (ja) 2014-11-27 2019-02-20 三星ディスプレイ株式會社Ｓａｍｓｕｎｇ Ｄｉｓｐｌａｙ Ｃｏ．，Ｌｔｄ． 画像処理装置、画像処理方法、及びプログラム
TWI510086B (zh) 2014-12-03 2015-11-21 Nat Univ Tsing Hua 數位重對焦方法
US20160253837A1 (en) 2015-02-26 2016-09-01 Lytro, Inc. Parallax bounce
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10085005B2 (en) 2015-04-15 2018-09-25 Lytro, Inc. Capturing light-field volume image and video data using tiled light-field cameras
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US20170059305A1 (en) 2015-08-25 2017-03-02 Lytro, Inc. Active illumination for enhanced depth map generation
WO2016168415A1 (en) 2015-04-15 2016-10-20 Lytro, Inc. Light guided image plane tiled arrays with dense fiber optic bundles for light-field and high resolution image acquisition
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US20160307368A1 (en) 2015-04-17 2016-10-20 Lytro, Inc. Compression and interactive playback of light field pictures
EP3099055A1 (en) 2015-05-29 2016-11-30 Thomson Licensing Method and apparatus for displaying a light field based image on a user's device, and corresponding computer program product
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US9639945B2 (en) 2015-08-27 2017-05-02 Lytro, Inc. Depth-based application of image effects
US11293873B2 (en) 2015-09-08 2022-04-05 Xerox Corporation Methods and devices for improved accuracy of test results
US10028437B2 (en) 2015-10-06 2018-07-24 Deere & Company System for clearing a feeder house and belt pickup
US20170256036A1 (en) 2016-03-03 2017-09-07 Lytro, Inc. Automatic microlens array artifact correction for light-field images
EP3220351A1 (en) 2016-03-14 2017-09-20 Thomson Licensing Method and device for processing lightfield data
US10127712B2 (en) 2016-07-08 2018-11-13 Google Llc Immersive content framing
US10186756B2 (en) 2016-08-01 2019-01-22 Intel IP Corporation Antennas in electronic devices
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US9900510B1 (en) 2016-12-08 2018-02-20 Lytro, Inc. Motion blur for light-field images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102388391A (zh) * 2009-02-10 2012-03-21 汤姆森特许公司 基于前景-背景约束传播的视频抠图

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Video matting of complex scenes》;Chuang,Yungyu;《ACM Transactions on Graphics》;20020731;第21卷(第3期);摘要，第245-247页，附图1-4 *
Chuang,Yungyu.《Video matting of complex scenes》.《ACM Transactions on Graphics》.2002,第21卷(第3期), *

Also Published As

Publication number Publication date
US10275892B2 (en) 2019-04-30
KR102185179B1 (ko) 2020-12-01
WO2017213923A1 (en) 2017-12-14
US20170358092A1 (en) 2017-12-14
JP6655737B2 (ja) 2020-02-26
KR20180132946A (ko) 2018-12-12
EP3469788A4 (en) 2020-03-11
JP2019525515A (ja) 2019-09-05
CN109479098A (zh) 2019-03-15
EP3469788A1 (en) 2019-04-17

Similar Documents

Publication Publication Date Title
CN109479098B (zh) 多视图场景分割和传播
US11017586B2 (en) 3D motion effect from a 2D image
US10679361B2 (en) Multi-view rotoscope contour propagation
JP4740657B2 (ja) カラーセグメンテーションに基づくステレオ３次元再構成システムおよびプロセス
US11978225B2 (en) Depth determination for images captured with a moving camera and representing moving features
JP5156837B2 (ja) 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
Bai et al. Video snapcut: robust video object cutout using localized classifiers
JP4879326B2 (ja) ３次元画像を合成するシステム及び方法
US9041819B2 (en) Method for stabilizing a digital video
US20130127988A1 (en) Modifying the viewpoint of a digital image
US8611642B2 (en) Forming a steroscopic image using range map
Zhi et al. Toward dynamic image mosaic generation with robustness to parallax
US20130129192A1 (en) Range map determination for a video frame
WO2012058490A2 (en) Minimal artifact image sequence depth enhancement system and method
KR100953076B1 (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
AU2013216732B2 (en) Motion picture project management system
US20150379720A1 (en) Methods for converting two-dimensional images into three-dimensional images
Zhang et al. Interactive stereoscopic video conversion
US9786055B1 (en) Method and apparatus for real-time matting using local color estimation and propagation
EP2656315B1 (en) System and method for minimal iteration workflow for image sequence depth enhancement
CN116980579B (zh) 一种基于图像虚化的图像立体成像方法及相关装置
Liu et al. TrackCam: 3D-aware tracking shots from consumer video.
Liu et al. Fog effect for photography using stereo vision
Pohl et al. Semi-Automatic 2D to 3D Video Conversion
Vandewalle et al. Supervised disparity estimation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210629

CF01 Termination of patent right due to non-payment of annual fee