CN108370437A - 多视点视频稳定化 - Google Patents

多视点视频稳定化 Download PDF

Info

Publication number
CN108370437A
CN108370437A CN201680073973.5A CN201680073973A CN108370437A CN 108370437 A CN108370437 A CN 108370437A CN 201680073973 A CN201680073973 A CN 201680073973A CN 108370437 A CN108370437 A CN 108370437A
Authority
CN
China
Prior art keywords
video
video flowing
flowing
stream
disparity map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680073973.5A
Other languages
English (en)
Other versions
CN108370437B (zh
Inventor
M.埃尔乔巴西
张帆
J.J.拉特克利夫
O.内斯塔尔斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of CN108370437A publication Critical patent/CN108370437A/zh
Application granted granted Critical
Publication of CN108370437B publication Critical patent/CN108370437B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Studio Devices (AREA)

Abstract

公开与多视点视频稳定化有关的技术。这样的技术可包括：对参考视频流执行单视点视频稳定化；通过通过将对应于单视频稳定化的稳定化变换应用于初始视差图来生成目标视差图，并且至少部分基于目标视差图而对另一个视频流执行视频稳定化以生成新的稳定化的视频流，来将单视点视频稳定化传播到另一个视频流。

Description

多视点视频稳定化
对优先权的申明
本申请要求享有于2015年12月16日提交的序列号为14/971837、题为“MULTIVIEWVIDEO STABILIZATION”的美国非临时专利申请的优先权，并且所述专利申请被通过引用以其整体并入。
背景技术
光场/全光相机和多相机阵列能够提供令人印象深刻且不同寻常的体验，将图片和视频转化为更具创意的媒体。例如，代替仅仅是静止图像，来自这样的***的图像可以包括从不同视角示出视点的视差效果，在具体深度层处提供聚焦/散焦等等。在其它示例中，子弹效果视频可以用相机阵列来生成。在再一个其它示例中，球面全景图（静止或视频）可以用球面光场相机来生成。此外，头戴式显示器可以为由这样的相机***获取的内容提供浸入式体验。
因此，光场相机和显示器、多相机阵列和多视点视频正变得流行，并且可以变得普遍。类似于单视点视频，多视点视频可以由处理的设备捕获，导致多视点视频特别在浸入式头戴式显示器和/或光场显示环境中抖动且不足以观看。
当前的技术可能不足以执行高质量和/或高效的多视点视频稳定化。正是出于这些和其它考虑，才需要目前的改进。随着在各种上下文中提供多视点视频的期望变得更加广泛，这样的改进可能变得至关重要。
附图说明
在附图中通过示例的方式而非通过限制的方式来图示本文所述的材料。为了说明的简单和清楚起见，图中图示的元件不一定按比例绘制。例如，为了清楚起见，一些元件的尺寸可能相对于其它元件而被夸大。此外，在认为适当的情况下，已在图之间重复参考标签以指示对应或类似的元件。在图中：
图1图示示例性相机阵列和示例性多视点视频；
图2图示用于提供多视点视频稳定化的示例性设备；
图3图示用于同步帧的示例性多视点稳定化；
图4图示用于提供多视点视频稳定化的示例性过程；
图5图示用于提供多级多视点视频稳定化的示例性多视点视频；
图6图示用于提供多级多视点视频稳定化的示例性过程；
图7图示用于提供用户检测和修改的多视点视频稳定化的示例性过程；
图8是图示用于提供多视点视频稳定化的示例性过程的流程图；
图9是用于提供多视点视频稳定化的示例性***的说明图；
图10是示例性***的说明图；以及
图11图示全部根据本公开的至少一些实现方式布置的示例小形状因素设备。
具体实施方式
现在参照附图描述一个或多个实施例或实现方式。尽管讨论具体的配置和布置，但是应当理解：这仅仅是为了说明的目的而完成的。相关领域的技术人员将认识到：在不脱离说明书的精神和范围的情况下可以采用其它配置和布置。对于相关领域的技术人员将显而易见的是：也可以在除了本文所述的以外的各种其它***和应用中采用本文所述的技术和/或布置。
尽管下面的描述阐述例如可以在诸如片上***（SoC）架构之类的架构中体现的各种实现方式，但是本文所述的技术和/或布置的实现方式不限于特定架构和/或计算***，并且可以由用于类似目的的任何架构和/或计算***来实现。例如，采用例如多个集成电路（IC）芯片和/或封装的各种架构和/或诸如多功能设备、平板电脑、智能电话等的各种计算设备和/或消费电子（CE）设备可以实现本文所述的技术和/或布置。此外，尽管下面的描述可以阐述诸如逻辑实现方式、***组件的类型和相互关系、逻辑分割/集成选择等之类的许多具体细节，但是可以在没有这样的具体细节的情况下实施要求保护的主题。在其它实例中，可以不详细示出诸如例如控制结构和完整软件指令序列之类的一些材料，以便不模糊本文公开的材料。
本文公开的材料可以用硬件、固件、软件或其任何组合来实现。本文公开的材料还可以被实现为存储在机器可读介质上的指令，该机器可读介质可以由一个或多个处理器读取和执行。机器可读介质可以包括用于以由机器（例如，计算设备）可读的形式存储或发送信息的任何介质和/或机制。例如，机器可读介质可以包括只读存储器（ROM）；随机存取存储器（RAM）；磁盘存储介质；光学存储介质；闪存设备；电学、光学、声学或其它形式的传播信号（例如，载波、红外信号、数字信号等）等等。
说明书中对“一个实现方式”、“实现方式”、“示例性实现方式”或示例或实施例等的引用指示所述的实现方式可以包括特定的特征、结构或特性，但是每个实施例可能不一定包括特定的特征、结构或特性。此外，这样的短语不一定是指相同的实现方式。此外，当结合实施例描述特定的特征、结构或特性时，认为结合无论是否在本文中明确描述的其它实现方式来实现这样的特征、结构或特性在本领域技术人员的知识范围内。
本文所述的方法、设备、装置、计算平台和物品涉及多视点视频稳定化，并且特别涉及向多视点视频的其它视点传播单视点视频稳定化。
如上所述，多视点视频可以由处理的设备捕获，导致多视点视频抖动且不足以观看。这样的多视点视频的稳定化在一些上下文中对于用户享受这样的视频可能是必要的。此外，使用或涉及多视点视频的应用（例如，拼接球面视频全景图）可能需要多视点视频被稳定化，使得应用的初始输入被稳定化。这样的预处理可以改善来自这样的应用的输出的产生的质量。本文讨论的技术提供高质量的多视点视频稳定化结果，并且可以提供一致稳定化的多视点视频，这可以被提供为用于其它应用的预处理和/或提供为在向用户呈现多视点视频之前的处理。产生的多视点视频可以被稳定化，使得其不使例如人类视觉***紧张。
在一些实施例中，提供多视点视频稳定化可以包括：对参考视频流执行单视点视频稳定化以生成稳定化参考视频流。参考流例如可以是多视点视频的任何流。通过通过将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和其它视频流的同步帧的初始视差图并且通过至少最小化目标视差图的垂直分量或水平分量来生成目标视差图，并且基于目标视差图而对第二视频流执行视频稳定化以生成另一个稳定化的视频流，可以将单视点视频稳定化传播到多视点视频的一个或多个其它视频流。例如，垂直或水平分量可以垂直于视频的观众的瞳孔间轴或期望的瞳孔间轴，并且垂直或水平分量的最小化可以包括将分量设置成零。
这样的技术可以为任何数量的视频流提供多视点视频稳定化。此外，在一些实施例中，可以分阶段执行多视点视频稳定化，使得可以将多视点视频稳定化从第一参考视频流传播到用于多视点视频的其它区域的一个或多个辅助参考视频流，并且可以将视频稳定化从每个辅助参考视频流传播到每个特定辅助参考视频流的区域中的其它视频流。
图1图示根据本公开的至少一些实现方式布置的示例性相机阵列101和示例性多视点视频102。如图1中所示，相机阵列101可以包括用于获得同步多视点视频102的任何数量的相机，所述同步多视点视频102可以具有对应数量的视频流。如本文关于多视点视频所使用的，术语同步用于指示多视点视频的视频流各自包括同步或基本上同步（例如，在相同或基本上相同的时间提供）的视频帧。相机阵列101可以包括任何合适数量的相机，并且相关联数量的视频流可以被获得。在各种示例中，相机阵列包括9个相机（例如，以3×3网格）、16个相机（例如，以4×4网格）等等，使得可以提供多达400个相机或更多的任何数量的相机。此外，在图示的示例中，相机阵列101可以包括均匀间隔并围绕中心以网格图案布置的相机；然而，相机阵列101可以包括任何合适的布置和间隔。例如，相机阵列101的相机可能不是均匀间隔的，并且可以另一个图案（例如，循环地、以矩形、仅仅沿着水平线、仅仅沿着垂直线等等）来布置。此外，虽然相对于相机阵列101进行图示，但是包括多个视频流的多视点视频102可以使用诸如光场/全光相机等等之类的任何合适的***来获得。
例如，本文讨论的技术可以为由诸如相机阵列101之类的相机阵列或者光场相机同步捕获的N个视频流的输入提供一致稳定化的N个视频流的输出。可以提供这样的稳定化，使得避免或减轻多视点视频的观众的眼睛疲劳。例如，与可能是抖动的原始获得的相机阵列或光场内容相反，基于本文讨论的处理，可以为用户提供平滑且稳定化的相机阵列或光场内容。在其它上下文中，这样的稳定化可以是预处理稳定化，其提供用于由多视点视频应用等等使用的高质量同步和稳定化的视频。
图2图示根据本公开的至少一些实现方式布置的用于提供多视点视频稳定化的示例性设备200。如图2中所示，设备200可以包括视差模块201、视差模块202、单视频稳定化模块203、稳定化传播模块204和稳定化传播模块205。设备200可以包括任何数量的视差模块和稳定化传播模块，以如本文所讨论地传播由单视频稳定化模块203执行的单视频稳定化。例如，对于N个视频流，设备200可以包括N-1个视差模块和N-1个稳定化传播模块。然而，在一些实施例中，并行处理等等可以减少所需模块的数量。例如，可以在设备200中提供可以如本文所讨论地提供视差图和稳定化传播的任何数量的模块。
设备200可以是任何合适的形状因素的设备。例如，设备200可以是计算机，膝上型计算机，平板电脑，智能电话，平板手机，数码相机，显示设备，游戏设备，诸如头戴式设备、智能眼镜、智能手表等等之类的可穿戴设备。在示例中，设备200可以实现视频流水线以生成稳定化的多视点视频。在一些示例中，设备200可以实现或包括相机阵列或光场相机等等，其可以生成诸如多视点视频102之类的多视点视频。在其它示例中，设备200可以从另一个设备或***接收诸如多视点视频102之类的多视点视频。如本文使用术语，设备200可以被表征为设备、***、多视点视频稳定化***等等。
如所示出的，设备200可以生成、接收或以其它方式获得输入的多视点视频210，其可以包括任何数量的同步输入视频流，诸如视频流211、212、213。视频流211、212、213可以采用任何合适的格式并且可以各自包括在视频流211、212、213上同步的帧。还如所示出的，设备200可以选择多视点视频210的视频流中的一个作为参考视频流。例如，设备200的控制器（未示出）可以选择视频流211、212、213的一个视频流作为参考视频流。在图2的示例中，视频流211被选为参考视频流（RV）。在实施例中，参考视频流被选为多视点视频210的左上视频流；然而，可以选择任何视频流，诸如另一个角落视频流、中心或中央视频流等等。可以相对于参考视频流211的稳定化来稳定化其它视频流，如本文进一步讨论的。这样的其它视频流可以被表征或标记为视频流V2（视频流212），V3（未示出），...，VN（视频流213）。
单视点稳定化模块203可以接收参考视频流211，并且单视点稳定化模块203可以对参考视频流211执行单视点稳定化以生成稳定化参考视频流（SRV）217。单视点稳定化模块203可以使用任何合适一种或多种技术来执行这样的单视点稳定化。在实施例中，单视点稳定化包括2D稳定化技术。这样的稳定化技术可以提出提供相对低的计算复杂度的优点。在另一个实施例中，单视点稳定化包括子空间稳定化技术，其可以提供特别用于纹理场景的计算效率和稳定化质量的平衡。
此外，为参考视频流211执行的单视点稳定化可以被传播到多视点视频210的其它视频流，诸如示范性视频流212（标记为视频2）和213（标记为视频N）。这样的稳定化传播可以提供从参考视频到剩余视频的、服从对高质量深度感知的约束的一致传播，如本文进一步讨论的。例如，如所示出的，视差模块201可以确定针对参考视频流211和视频流212的初始视差图（IDM）214，并且视差模块202可以确定针对参考视频流211和视频流213的初始视差图（IDM）215。类似地，附加的视差模块可以确定针对参考视频和任何其它视频流的初始视差图。例如，初始视差图214包括针对参考视频流211和视频流212的两个单独同步帧的每个集合或者在参考视频流211与视频流212的两个单独同步帧的每个集合之间的视差图，使得在时间t处提供针对时间t处的参考视频流211的帧和在时间t处的视频流212的帧或者在时间t处的参考视频流211的帧与在时间t处的视频流212的帧之间提供视差图。类似地，初始视差图215包括针对参考视频流211和视频流212的两个单独同步帧的每个集合或者在参考视频流211和视频流212的两个单独同步帧的每个集合之间的视差图。
初始视差图214、215和任何附加的初始视差图可以使用任何合适的一种或多种技术来提供。例如，这样的技术可以包括立体匹配技术、光流技术等等。在实施例中，这样的初始视差图可以经由设备200的图像或视频预处理流水线来提供。初始视差图可以具有与多视点视频210的视频流相同的分辨率，或者初始视差图的分辨率相对于多视点视频210的视频流可能较低。
还如所示出的，为参考视频流211执行的单视点稳定化可以由稳定化变换/变形（ST/W）信号216来表征，该信号可以被提供给诸如稳定化传播模块204、205之类的稳定化传播模块。稳定化变换/变形信号216可以包括指示将参考视频流211的每个帧变换到稳定化参考视频流217的每个对应帧的任何合适的数据结构、变换映射、变形、变形映射等等。例如，稳定化变换/变形信号216可以指示参考视频流211的帧与稳定化参考视频流217的帧之间的特征点的运动，如本文进一步讨论的。
诸如稳定化传播模块204、205之类的稳定化传播模块可以接收输入的多视点视频210的对应视频流、对应的初始视差图以及稳定化变换/变形信号216，并且这样的稳定化传播模块可以生成稳定化的多视点视频220的对应的稳定化视频流。例如，稳定化传播模块204可以接收视频流212、初始视差图214以及稳定化变换/变形信号216，并且稳定化传播模块204可以生成稳定化视频流218。类似地，稳定化传播模块205可以接收视频流213、初始视差图215以及稳定化变换/变形信号216，并且稳定化传播模块205可以生成稳定化视频流219。如所讨论的，可以经由设备200为输入的多视点视频210的任何数量的视频流提供任何数量的这样的稳定化传输模块。
例如，从参考视频流211到多视点视频210的其它视频流的单视点稳定化传播可以用对可以最终观看稳定化的多视点视频220的用户的视觉***的敏感性来执行。相对于人的不适，人类立体视觉对垂直视差（例如，垂直于瞳孔间轴的视差）敏感。例如，大于15弧分的垂直视差甚至短暂地可能在多视点视频的观众中引起不适。为了从参考视频流211向多视点视频210的其它视频流传播减少或消除这样的视差和用户不适的稳定化，本文讨论的传播技术可以合并诸如立体约束之类的约束。例如，这样的约束可以至少部分地保留水平（或垂直）视差图分量，并设置成零或最小化垂直（或水平）视差图分量。使用这样的约束，可以有效地保留多视点之间的原始几何关系，并且可以去除或减少不期望的立体视差。
图3图示根据本公开的至少一些实现方式布置的用于同步帧300的示例性多视点稳定化。如图3中所示，同步帧300可以包括参考视频流211的帧311、初始视差图215的帧315、视频流213的帧313、稳定化参考视频流217的帧317、目标视差图321的帧322以及对应于视频流213（请参考图1）的稳定化视频流219（SV2）的帧319。
例如，可以在被表征为V 1的参考视频流211与被表征为V 2的诸如视频流213之类的任何其它视频流之间执行稳定化传播。如所讨论的，可以接收或生成在视频流211与视频流213之间的初始视差图215。这样的初始视差图215可以被表征为D。如相对于图2的单视频稳定化模块203所讨论的，可以使用任何合适的单视点视频稳定化技术来为参考视频流211V 1执行单视点稳定化，以提供可以被表征为的稳定化参考视频流217。例如，对于每个特征点，诸如参考视频流211 V 1中的特征点301，单视点视频稳定化可以确定目标位置，诸如稳定化参考视频流217 中的目标位置或特征点304。例如，帧311的特征点301可以对应于帧317的特征点304，使得帧311与帧317之间的变换映射或变形函数将特征点301平移到特征点304（连同任何数量的其它特征点）。例如，参考视频流211 V 1与稳定化参考视频流217 之间的映射可以由如本文所讨论的稳定化变换/变形信号216来表示。
为了将参考视频流217（例如，从V 1到）的稳定化传播到诸如视频流213（例如V 2）之类的任何其它视频流，可以使用来自视差图的指导。然而，参考视频流211 V 1的稳定化已经变换了其形状，并且原始视差图D可能不再匹配稳定化参考视频流217。为了支持稳定化传播，可以在初始视差图215 D的初始视差图上应用（例如，由任何稳定化传播模块）将参考视频流211 V 1的稳定化转换成稳定化参考视频流217 的变换映射或变形函数（例如，如由稳定化变换/变形信号216所指示），以生成可以被表征为的目标视差图321的目标视差图（例如，帧322）。此外，在生成目标视差图321 时或基于目标视差图321 生成目标视差矢量时，目标视差图的水平或垂直分量可以被最小化（例如，被设置成零或小数量等等），如以下进一步讨论的。
如所讨论的，可以检测诸如稳定化参考视频流217 中的特征点301之类的特征点（例如，这样的特征可以是哈里斯角或尺度不变特征变换（SIFT）点等等）。在稳定化参考视频流217 中，诸如特征点304之类的对应特征点例如可以是稳定化参考视频流217中的对应稳定化特征点。此外，诸如特征点303之类的视频流213 V 2中的特征点可以对应于诸如特征点301之类的参考视频流211 V 1中的特征点。例如，特征点303可以是相对于初始视差图215的视差矢量302做出的特征点301的平移。为了生成可以被表征为的稳定化视频219中诸如特征点306之类的特征点的位置，可以鼓励参考稳定化视频217和稳定化视频219的每个特征点对（，）以重视最优目标视差矢量，诸如目标视差图321的视差值或视差矢量305。例如，如果参考视频流211和视频流213水平对齐，如在图3的示例中，，使得是目标水平视差（在变形之后）并且垂直视差被设置成0（或者一些其它最小量）。如果参考视频流211和视频流213垂直对齐，，使得是目标垂直视差（在变形之后）并且水平视差被设置成0（或者一些其它最小量）。如果参考视频流211和视频流213相对于彼此是对角线，，使得是目标水平视差并且是目标垂直视差（在变形之后）。
此外，为了确定稳定化视频219中的特征点的位置，可以如等式（1）中所示地来定义能量项：
其中E d 可以是用于维持如由目标视差矢量（例如，）调整的特征点306 与特征点304之间的接近度的能量项。例如，能量项E d 可以是数据能量输入等等，其可以与其它输入（例如，能量项）组合，并且整体能量可以被最小化等等以确定稳定化视频流219 中诸如特征点306之类的特征点的位置。例如，这样的其它输入或能量项可以提供其它约束，诸如全局约束（例如，以限制失真）等等。
例如，可以由诸如稳定化传播模块205之类的稳定化传播模块执行稳定化视频219中诸如特征点306之类的特征点的位置的这样的确定。这样的处理的输出可以是用于稳定化视频流219 的稳定化特征点的位置。基于这样的特征点，可以将视频流213 V 2变形或变换等等，以生成稳定化视频流219 。这样的变形或变换可以使用任何合适的一种或多种技术来执行，诸如内容保留变形技术等等。此外，在帧上的稳定化特征点的序列可以在稳定化视频流219 的稳定化帧上构成或提供稳定化轨迹的集合。这样的轨迹可以被跟踪或修改等等，以改善视频流213的变形的鲁棒性。
返回到图2，如所讨论的，诸如稳定化传播模块204、205之类的任何数量的稳定化传播模块可以生成任何数量的稳定化视频流，诸如稳定化的多视点视频220的稳定化视频流218、219。稳定化的多视点视频220可以由设备200提供以用于任何合适的目的。例如，稳定化的多视点视频220可以被呈现给用户（例如，经由设备200的显示器），被发送到设备200的另一个组件或模块以用于进一步处理，被发送到远程设备以用于呈现或进一步处理，被保存到存储器等等。
图4图示根据本公开的至少一些实现方式布置的用于提供多视点视频稳定化的示例性过程400。过程400可以包括如图4中图示的一个或多个操作401-404。过程400或其部分可以由设备（例如，设备200或者本文讨论的任何其它设备或***）执行以稳定化多视点视频。可以为多视点视频的任何数量的视点、多视点视频的片段等等重复过程400或其部分。
如所示出的，过程400可以在操作401处开始，其中可以为参考视频流执行单视点视频稳定化以生成稳定化参考视频流。单视点视频稳定化可以使用诸如2D稳定化技术、子空间稳定化技术等等之类的任何合适的一种或多种技术来执行。例如，参考视频流211可以使用单视点视频稳定化技术来稳定化以生成稳定化参考视频流217。此外，这样的单视点视频稳定化可以提供稳定化变换映射、变形等等，诸如用于参考视频流的特征点的变换映射或变形。例如，单视点视频稳定化可以提供稳定化变换/变形信号216。
处理可以在操作402处继续，其中可以生成或接收用于参考视频流和第二视频流（例如，稳定化正被传播到的视频流）的对应帧的初始视差图。这样的初始视差图可以使用诸如立体匹配技术、光流技术等等之类的任何合适的一种或多种技术来生成。例如，可以生成或接收用于参考视频流211和视频流212的对应帧的初始视差图214和/或用于参考视频流211和视频流213的对应帧的初始视差图215。
处理可以在操作403处继续，其中可以为第二视频流生成目标视差图。例如，可以生成参考视频流和第二视频流的同步帧之间的目标视差图，所述生成通过在操作401处应用对应于为参考视频流执行的单视点视频稳定化的稳定化变换并且通过最小化垂直分量（如果参考视频流和第二视频流水平对齐）或水平分量（如果参考视频流和第二视频流垂直对齐）。例如，稳定化传播模块204可以生成用于稳定化视频流218的生成的目标视差图，和/或稳定化传播模块205可以生成用于稳定化视频流219的生成的目标视差图。
处理可以在操作404处继续，其中部分基于在操作403处生成的目标视差图，可以为第二视频流执行视频稳定化。例如，部分基于限制或鼓励稳定化的第二视频流中的特征点的位置与如由目标视差图修改的稳定化参考视频流中的对应特征点的位置之间的距离的减小的能量项，可以确定用于第二视频流的特征点的位置。一旦基于这样的处理确定稳定化的第二视频流中的特征点的位置，就可以基于从第二视频流到稳定化的第二视频流中的特征点的特征点的平移来将第二视频流变形以提供稳定化的第二视频流。例如，稳定化传播模块204可以对视频流212执行视频稳定化以提供稳定化视频流218，和/或传播模块205可以对视频流213执行视频稳定化以提供稳定化视频流219。
如本文所讨论的，可以相对于参考视频流为任何数量的其它视频流串行或并行地执行过程400或其部分。
在单个参考视频流和水平对齐的一个或多个其它视频流的上下文中，所述的技术可以提出减少或消除垂直视差的立体约束稳定化传播技术。例如，如所讨论的，这样的示例中的目标视差矢量可以具有：如通过基于参考视频稳定化的变形来变形初始视差图所确定的目标垂直视差，以及被最小化或设置成0等等的水平视差。例如，或者仅仅显示立体和水平视差（HPO），本文讨论的技术可以在***的所有N个视点上实施最小视差。
在多个视频流的上下文中，可以在单个参考视频流（例如，参考视频流211）与任何或所有其它视频流（例如，视频流212、213等等）之间提供这样的技术。在这样的示例中，可以如本文所讨论地基于参考视频流和正被稳定化的视频流的对齐来设置用于视频稳定化正被传播到的每个视频流的目标视差矢量。在一些示例中，例如可以并行地执行这样的处理。例如，对于全4D光场显示等等，垂直视差可以相对于用户的瞳孔间轴被最小化，而不管观察者在光场内站立或旋转的位置。在这样的上下文中，本文讨论的技术可以分别以行方式和列方式在输入图像的MxN矩阵上最小化水平和垂直视差。
此外，在多个视频流的上下文中，在一些实施例中，可以扩展这样的技术以执行多级处理，使得较早阶段处理可以与较后阶段处理解耦。
图5图示根据本公开的至少一些实现方式布置的用于提供多级多视点视频稳定化的示例性多视点视频500。如图5中所示，多视点视频500可以包括36个视频流。多视点视频500可以由诸如相机阵列101之类的相机阵列、光场相机等等来获得。虽然用在6x6网格中均匀间隔获得的36个视频流来图示，但是多视点视频500可以包括在任何合适的取向上获得的任何数量的视频流。为了相对于向多视点视频500的每个视频流传播图像稳定化来散布功率使用并改善处理速度，可以将多视点视频500的视频流的阵列（例如，包括全部36个视频流V 11- V 66）划分为子阵列501、502、503、504，并且子阵列可以同时或基本上同时被稳定化。在图示的示例中，多视点视频500被划分为各自具有相同数量（例如九个）数量的视频流的四个子阵列501、502、503、504。然而，多视点视频500可以被划分为具有包括相同或不同数量的视频流的子阵列的任何数量的子阵列。
如图5中所示，可以选择子阵列501、502、503、504中的每一个中的一个视频流作为参考视频流。在图示的示例中，参考视频流511（例如，V 11）是用于子阵列501的参考视频流，参考视频流512（例如，V 14）是用于子阵列502的参考视频流，参考视频流513（例如，V 41）是用于子阵列503的参考视频流，并且参考视频流514（例如，V 44）是用于子阵列504的参考视频流，使得参考视频流是左上角的视频流。然而，参考视频流可以在任何位置（例如，在另一个角落或者在中心处或居中设置），并且它们可以在一些子阵列中位于不同的位置。
可以如下为多视点视频500执行多级多视点视频稳定化。可以选择所选的参考视频流的主要或首要参考视频流。例如，可以选择参考视频流511作为参考视频流511、512、513、514之中的主要、首要或整体参考视频流。可以如本文所讨论地单视点稳定化主要或首要参考视频流（例如，参考视频流511）以提供参考稳定化视频流。可以使用本文讨论的稳定化传播技术将主要或首要参考视频流（例如，参考视频流511）的稳定化传播到其它参考视频流，诸如参考视频流512、513、514。用于子阵列中每一个的参考视频流的稳定化然后可以被传播到子阵列内的其它视频流。例如，可以在子阵列501内传播参考视频流511的稳定化，可以在子阵列502内传播参考视频流512的稳定化，可以在子阵列503内传播参考视频流513的稳定化，并且可以在子阵列504内传播参考视频流514的稳定化。
这样的处理可以为并行处理以及解耦处理提供机会，使得可以提供效率。虽然在图5中用两级稳定化传播来图示（例如，首先从参考视频流511传播到参考视频流512、513、514，并且然后从这样的参考视频流传播到其它子阵列流），但是可以在一些上下文中使用任何数量的级别，诸如三个或更多，以提高处理效率。
例如，为了稳定化参考视频流511、512、513、514，可以使用如本文所讨论的用于在两个视频流之间提供稳定化的技术。例如，可以使用诸如本文所讨论的技术之类的任何合适的一种或多种技术来单视点稳定化参考视频流511。如图5中所示，参考视频流511、512、513、514可以分别被表征为V 11、V 14、V 41和V 44，并且其对应的稳定化参考视频流可以被分别表征为、、和。如所讨论的，基于单视点稳定化技术，参考视频流511 V 11可以被稳定化到稳定化参考视频流。
可以使用诸如立体匹配技术、光流技术等等之类的任何合适的一种或多种技术来在参考视频流511、512、513、514之间确定视差图。在一些示例中，确定视差图可以包括预处理参考视频流511、512、513、514。参考视频流511 V 11与参考视频流512 V 14之间的视差图可以被表征为视差图D 1，并且参考视频流511 V 11与参考视频流513 V 41之间的视差图可以被表征为视差图D 4。可能不需要参考视频流511 V 11与参考视频流514 V 44之间的视差图。
为了确定目标视差图，应用于参考视频流511 V 11以提供稳定化参考视频流的相同的稳定化变换或变形函数可以应用于视差图D 1和D 4以分别提供目标视差图和。此外，在生成目标视差图时或在基于目标视差图生成目标视差矢量时，目标视差图的垂直分量可以被最小化（例如，被设置成零或小数量等等）。例如，如上所讨论的，对于稳定化视频流和中的每个特征点对（，），可以鼓励这样的点对（例如，经由如相对于等式（1）所述的能量项或函数），以重视目标视差矢量，使得，其中是目标水平视差，并且垂直视差被设置成最小值或零。基于通过应用如本文所讨论的能量函数等等确定的特征点位置，可以将视频流512 V 14变形以生成对应的稳定化视频流。
类似地，对于稳定化视频流和中的每个特征点对（，），可以鼓励这样的点对（例如，经由如相对于等式（1）所述的能量项或函数）以重视目标视差矢量，使得，其中是目标垂直视差并且水平视差被设置成最小值或零。基于通过应用如本文所讨论的能量函数等等确定的特征点位置，可以将参考视频流513 V 41变形以生成对应的稳定化视频流。此外，为了稳定化相对于参考视频流511 V 11位于对角线方向的参考视频流514 V 44，可以维持相对于参考视频流512 V 14的零水平视差以及相对于参考视频流513 V 41的零垂直视差。因此，对于稳定化视频流和中的每个特征点对（，），可以鼓励这样的点对（例如，经由如相对于等式（1）所述的能量项或函数）以重视目标视差矢量，使得，其中是目标水平视差并且是目标垂直视差。基于通过应用如本文所讨论的能量函数等等确定的特征点位置，可以将参考视频流514 V 44变形以生成对应的稳定化视频流。
此外，参考视频流511、512、513、514中每一个的稳定化可以被传播到其各自的子阵列内的视频流。例如，可以使用最小化垂直视差的技术将参考视频流511 V 11的稳定化传播到视频流V12和V13，使用最小化水平视差的技术传播到视频流V21和V31，以及使用如本文所讨论地提供对角线传播的技术传播到视差流V 22和V33。类似地，可以分别在子阵列502、503和504内传播参考视频流512、513和514的稳定化。
图6图示根据本公开的至少一些实现方式布置的用于提供多级多视点视频稳定化的示例性过程600。过程600可以包括如图6中图示的一个或多个操作601-605。过程600或其部分可以由设备（例如，设备200或本文讨论的任何其它设备或***）执行，以使用多级技术来稳定化多视点视频。可以为多视点视频的任何数量的级和/或视点等等重复过程600或其部分。
如所示出的，过程600可以在操作601处开始，其中可以分割多视点视频的同步视频流。例如，多视点视频的同步视频流可以被分割成子阵列，使得每个子阵列包括一个或多个视频流。多视点视频的同步视频流可以使用任何合适的一种或多种技术来分割。这样的子阵列可以包括在任何适当的取向上布置的相同或不同数量的视频流。在实施例中，多视点视频500可以被分割或划分成子阵列501、502、503、504。
处理可以在操作602处继续，其中可以选择多视点视频的同步视频流的整体参考视频流。整体参考视频流可以使用任何合适的一种或多种技术来选择。在实施例中，整体参考视频流可以是左上角的视频流。在实施例中，整体参考视频流可以是中心或中央视频流。例如，参考视频流511可以被选为整体参考视频流。此外，在操作602处，可以使用任何合适的一种或多种技术来选择用于分割或子阵列中的每一个的参考视频流。
处理可以在操作603处继续，其中可以为整体参考视频流执行单视点稳定化。可以使用诸如本文讨论的技术之类的任何合适的一种或多种技术来执行这样的单视点稳定化。这样的单视点稳定化可以被提供稳定化的整体参考视频流以及与单视点稳定化相关联的相关联的稳定化变换、变形映射、变形函数等等。例如，稳定化变换、变形映射、变形函数等等可以提供从整体参考视频流到稳定化的整体参考视频流的特征点的映射。
处理可以在操作604处继续，其中可以将整体参考视频流的稳定化传播到子集或子阵列参考视频流。这样的传播可以使用本文讨论的任何合适的一种或多种技术来执行。例如，传播可以包括：通过将对应于整体参考视频流的稳定化的稳定化变换、变形映射、变形函数等等应用于用于整体参考视频的帧以及子集或子阵列参考视频流的同步帧的初始视差图，生成目标视差图。在生成目标视差图期间或在为子集或子阵列参考视频流的稳定化应用约束时，目标视差图的垂直分量或水平分量可以被最小化（例如，被设置成零）。例如，如果子集或子阵列参考视频流相对于整体参考视频流是水平的，垂直分量可以被最小化，并且如果子集或子阵列参考视频流相对于整体参考视频流是垂直的，水平分量可以被最小化。此外，如果子集或子阵列参考视频流相对于整体参考视频流是对角的，目标视差图可以包括：来自整体参考视频流和与对角参考视频流垂直对齐的视频流之间的变形视差图的水平分量，以及来自整体参考视频流和与对角参考视频流水平对齐的视频流之间的变形视差图的垂直分量。
可以基于目标视差图和最小化的视差来执行对子集或子阵列参考视频流的视频稳定化，以生成稳定化的子集或子阵列参考视频流。例如，稳定化可以包括：基于稳定化的整体参考视频流的对应特征点以及目标视差图来确定用于稳定化的子集或子阵列参考视频流的特征点的位置，并且基于用于稳定化的子集或子阵列参考视频流的特征点的位置来将子集或子阵列参考视频流变形。例如，参考视频流511的视频稳定化可以被传播到参考视频流512、513、514。
处理可以在操作605处继续，其中可以将来自子集或子阵列参考视频流的稳定化传播到对应于子集或子阵列参考视频流的子集或子阵列中的其它视频流。可以与从整体参考视频流到子集或子阵列参考视频流的传播相同或相似地执行这样的稳定化传播技术。例如，为了将个别子集或子阵列参考视频流稳定化传播到子集内的第二视频流，可以通过将对应于子集或子阵列参考视频流的稳定化的稳定化变换、变形映射、变形函数等等应用于用于子集或子阵列参考视频的帧以及第二视频流的同步帧的初始视差图来生成目标视差图。在生成目标视差图期间或在为第二视频流的稳定化应用约束时，可以最小化目标视差图的垂直分量或水平分量，或者可以如所讨论地提供对角线目标视差图。
可以基于目标视差图和/或最小化视差来执行对第二视频流的视频稳定化以生成稳定化的第二视频流。例如，稳定化可以包括：基于子集或子阵列视频流的对应特征点以及目标视差图来确定用于稳定化的第二参考视频流的特征点的位置，并且基于用于稳定化的子集或子阵列参考视频流的特征点的位置来将第二视频流变形。可以在每个子集或子阵列内应用这样的技术，并且可以并行执行这样的处理。例如，参考视频流511、512、513、514的稳定化可以被分别传播到子阵列501、502、503、504中的其它视频流。
在一些实现方式中，可以在离线处理期间应用讨论的技术。在其它实现方式中，可能期望实时处理。在这样的上下文中，可能期望降低计算复杂度，同时提供高质量的多视点视频稳定化。例如，可以应用自适应感测技术来降低计算复杂度，同时为用户提供高质量的多视点视频稳定化。
图7图示根据本公开的至少一些实现方式布置的用于提供用户检测和修改的多视点视频稳定化的示例性过程700。过程700可以包括如图7中图示的一个或多个操作701-704。处理700或其部分可以由设备（例如，设备200或本文讨论的任何其它设备或***）执行，以使用多级技术来稳定化多视点视频。可以为任何数量的多视点视频片段等等重复过程700或其部分。
如所示出的，过程700可以在操作701处开始，其中可以确定正由用户观看的一个或多个流。例如，在过程700的上下文中，可能正在经由诸如平面显示器、弯曲显示器、光场显示器、头戴式显示器等等之类的任何合适的显示器向用户实时呈现多视点视频。可以使用任何合适的一种或多种技术来确定关于用户正在观看或关注多视点视频的哪个视点等等。例如，在平坦、弯曲或光场显示器的上下文中，可以执行用户的头部和/或眼睛位置检测和跟踪。这样的位置检测和跟踪技术可以包括面部检测、深度相机跟踪等等。此外，这样的技术可以与卡尔曼滤波技术等等组合，以随着用户在显示体积内以六个自由度移动而预测用户正在观察的视点。这样的位置检测和跟踪可以提供关于用户当前正在观看或关注视点阵列（例如，MxN的视点矩阵）的哪个视点的非常高的置信度。在头戴式显示器或眼镜式显示器（例如，近眼显示器）的上下文中，可以执行眼睛凝视检测和跟踪。例如，确定正被观看的视频流可以包括头部跟踪、眼睛跟踪或凝视跟踪。例如，参照图5，用户可能正在观看或关注多视点视频500的任何视频流。为了示范性目的，假定用户正在观看或关注视频流V 23。
处理可以在操作702处继续，其中可以基于如在操作701确定的正由用户观看的一个或多个流来设置参考视频流和/或稳定化传播区域。在实施例中，可以将参考视频流（例如，用于单视点稳定化）设置为正由用户观看的流。如果在操作701处确定多个流，可以将中心流或默认侧（例如，左侧或右侧）设置为参考视频流。此外，可以在操作702处设置稳定化传播区域。例如，稳定化传播区域可以包括围绕或邻近所选的参考视频流的视点区域。例如，稳定化传播区域可以包括在中心处具有参考视频流的视频流的3x3集合。例如，继续以上示例并参照图5，如果用户正在观看或关注视频流V 23，参考视频流可以是V 23并且稳定化传播区域可以包括视频流V 12、V 13、V 14、V 22、V 23、V 24、V 32、V 33和V 34。
处理可以在操作703处继续，其中可以对在操作702处选择的参考视频流执行单视点稳定化。可以使用诸如本文讨论的技术之类的任何合适的一种或多种技术来执行这样的单视点稳定化。
处理可以在操作704处继续，其中可以将在操作703处执行的单视点稳定化传播到传播区域内的其它视频流。这样的单视点稳定化可以使用本文讨论的任何合适的一种或多种技术来传播。如所讨论的，通过这样的参考视点选择以及有限的传播区域的设置可以提供降低的计算复杂度，使得可以为用户实时地执行稳定化。在图5的示例中，36视点阵列可以减少到9个视点。在其它示例中，节省可能更加显著。例如，在20x20视点***中，从稳定化400个视点到稳定化9或16个视点等等的减少可以提供显著的节省。此外，这样的技术可以在用户正在观看的区域中提供稳定化。在一些示例中，如果处理资源和/或时间允许，可以扩展初始传播区域。
图8是图示根据本公开的至少一些实现方式布置的用于提供多视点视频稳定化的示例性过程800的流程图。过程800可以包括如图8中图示的一个或多个操作801-803。过程800可以形成多视点视频稳定化技术的至少一部分。通过非限制性示例的方式，过程800可以形成如本文所讨论的由设备200执行的多视点视频稳定化技术的至少一部分。此外，本文将参考图9的***900来描述过程800。
图9是根据本公开的至少一些实现方式布置的用于提供多视点视频稳定化的示例性***900的说明图。如图9中所示，***900可以包括中央处理器901、图像处理器902、存储器903和光场相机904。还如所示出的，中央处理器901可以包括或实现视差图生成模块911、单视频稳定化模块912和稳定化传播模块913。此外，存储器903可以包括或实现原始多视点视频914和稳定化的多视点视频915。
这样的组件或模块可以被实现以执行如本文所讨论的操作。例如，视差图生成模块911可以生成如本文所讨论的视差图（例如，执行相对于视差模块201、202讨论的操作和/或体现视差模块201、202等等）。单视频稳定化模块912可以提供如本文所讨论的单视频稳定化（例如，执行相对于单视频稳定化模块203讨论的操作和/或体现单视频稳定化模块203等等）。稳定化传播模块913可以将视频稳定化传播到如本文所讨论的一个或多个其它视频序列（例如，执行相对于稳定化传播模块204、205讨论的操作和/或体现稳定化传播模块204、205等等）。在***900的示例中，存储器903可以包括原始多视点视频914和稳定化的多视点视频915，原始多视点视频914和稳定化的多视点视频915分别可以是表示输入的多视点视频210和稳定化的多视点视频220的数据结构。存储器903还可以存储视差图、视差矢量、视频帧、特征点、稳定化变换、变形图、子阵列或子扇区选择、用户跟踪数据或本文讨论的任何其它数据。
如所示出的，在一些示例中，视差图生成模块911、单视频稳定化模块912和稳定化传播模块913可以经由中央处理器901来实现。在其它示例中，视差图生成模块911、单视频稳定化模块912和稳定化传播模块913中的一个或多个或部分可以经由图像处理器901、视频处理器、图形处理器等等来实现。在又一个其它示例中，视差图生成模块911、单视频稳定化模块912和稳定化传播模块913中的一个或多个或部分可以经由图像或视频处理流水线或单元来实现。
图像处理器902可以包括可以提供如本文所讨论的操作的任何数量和类型的图形、图像或视频处理单元。在一些示例中，图像处理器902可以是图像信号处理器。这样的操作可以经由软件或硬件或其组合来实现。例如，图像处理器902可以包括专用于操纵从存储器903获得的帧数据、图像数据或视频数据的线路。中央处理器901可以包括可以为***900提供控制和其它高级功能和/或提供如本文所讨论的任何操作的任何数量和类型的处理单元或模块。存储器903可以是诸如易失性存储器（例如，静态随机存取存储器（SRAM）、动态随机存取存储器（DRAM）等等）或非易失性存储器（例如，闪存等等）等等之类的任何类型的存储器。在非限制性示例中，存储器903可以由高速缓存存储器来实现。
在实施例中，视差图生成模块911、单视频稳定化模块912和稳定化传播模块913中的一个或多个或部分可以经由图像处理器902的执行单元（EU）来实现。EU例如可以包括可编程逻辑或线路，诸如可以提供大范围的可编程逻辑功能的一个或多个逻辑核。在实施例中，视差图生成模块911、单视频稳定化模块912和稳定化传播模块913中的一个或多个或部分可以经由诸如固定功能线路等等之类的专用硬件来实现。固定功能线路可以包括专用逻辑或线路，并且可以提供可以映射到用于固定目的或功能的专用逻辑的固定功能入口点的集合。在一些实施例中，视差图生成模块911、单视频稳定化模块912和稳定化传播模块913中的一个或多个或部分可以经由专用集成电路（ASIC）来实现。ASIC可以包括被定制成执行本文讨论的操作的集成线路。
光场相机904可以包括具有用于捕获多视点视频的任何合适数量的微透镜等等的任何合适的光场相机。这样的相机也可以被表征为全光相机。在其它实施例中，可以不实现光场相机904或者可以由相机阵列等等来替换光场相机904。
返回到图8的讨论，过程800可以在操作801处开始，其中可以对参考视频流执行单视点视频稳定化以生成稳定化参考视频流。单视点视频稳定化可以使用任何合适的一种或多种技术来执行。例如，如经由中央处理器901实现的单视点稳定化模块912可以执行单视点视频稳定化。如以下所讨论的，操作802、803可以将单视点视频稳定化传播到第二视频流。
处理可以在操作802处继续，其中可以通过将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和第二视频流的同步帧的初始视差图并且通过至少最小化目标视差图的垂直分量或水平分量来生成目标视差图。例如，初始视差图可以由如经由中央处理器901实现的视差图生成模块911生成。此外，目标视差图可以由如经由中央处理器901实现的稳定化传播模块913生成。在实施例中，最小化垂直或水平分量可以包括：将用于目标视差图的每个位置的垂直分量或水平分量设置成零。例如，当参考视频流和第二视频流水平对齐时，垂直分量可以被设置成零，并且当参考视频流和第二视频流垂直对齐时，水平分量可以被设置成零。
处理可以在操作803处继续，其中可以至少部分基于目标视差图来执行对第二视频流的视频稳定化以生成稳定化的第二视频流。例如，如经由中央处理器901实现的稳定化传播模块913可以对第二视频流执行视频稳定化。在实施例中，对第二视频流执行视频稳定化可以包括：基于稳定化参考视频流的对应帧的对应特征点以及目标视差图来确定用于第二视频流的稳定化帧的特征点的位置，并且基于用于第二视频流的稳定化帧的特征点的位置来将第二视频流的同步帧变形。
操作802、803可以被重复任何次数以将单视点视频稳定化传播到其它视频流。在实施例中，通过通过将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和第三视频流的同步的第二帧的第二初始视差图，并且通过最小化第二目标视差图的垂直分量来生成第二目标视差图，并且至少部分基于第二目标视差图而对第三视频流执行视频稳定化以生成稳定化的第三视频流，可以将单视点视频稳定化传播到第三视频流。例如，可以在目标视差图中最小化水平分量。
在另一个实施例中，通过通过将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和第四视频流的同步帧的第二初始视差图，并且通过基于稳定化变换的第二视差图来设置第二目标视差图的垂直分量以及基于稳定化变换的视差图来设置第二目标视差图的水平分量以使得第二视频流与参考视频流水平对齐、第四视频流与参考视频流垂直对齐、并且如所讨论的，第三视频流与参考视频流对角线对齐，来生成第二目标视差图，并且至少部分基于第二目标视差图而对第三视频流执行视频稳定化以生成稳定化的第三视频流，可以将单视点视频稳定化传播到相对于参考视频流对角的第三视频流。
此外，在一些实施例中，操作802、803可能以在操作803处作为参考视频帧稳定化的一个或多个视频流而被重复。这样的处理可以提供多级多视点稳定化传播。在实施例中，可以将多视点视频（例如，集合）的多个同步流分割成多视点视频的同步流的子集，使得参考视频流在第一子集中并且第二视频流在第二子集中，并且单视点视频稳定化可以被传播到第三子集中的第三视频流（基于用于第三视频流的操作802、803的实现方式）。例如，至少部分地并行执行将单视点视频稳定化传播到第二视频流和第三视频流。
每个子集中参考视频流的稳定化可以被传播到各自子集中的其它视频流。例如，来自第二视频流的视频稳定化可以被传播到第二子集中的一个或多个其它视频流，并且来自第三视频流的视频稳定化可以被传播到第三子集中的一个或多个其它视频流（基于用于第三视频流的操作802、803的实现方式）。例如，可以至少部分地并行执行这样的传播。
在一些实施例中，可以应用自适应感测技术等等来减少正被稳定化的视频流的数量。在实施例中，可以确定与多视点视频的观众相关联的一个或多个观看的视频流，并且可以至少部分基于与观众相关联的一个或多个观看的视频流来设置参考视频流。例如，中央处理器901和/或图像处理器902可以确定一个或多个观看的视频流，并且基于一个或多个观看的视频流来设置参考视频流。在实施例中，确定与观众相关联的一个或多个观看的视频流可以包括头部跟踪、眼睛跟踪、凝视跟踪等等。
本文所述的***的各种组件可以用软件、固件和/或硬件和/或其任何组合来实现。例如，本文讨论的设备或***的各种组件可以至少部分地由诸如可以在多功能设备或计算***（诸如例如，膝上型计算机、平板电脑或智能电话）中找到的片上计算***（SoC）的硬件来提供。本领域的技术人员可以认识到：本文所述的***可以包括未在对应附图中描绘的附加组件。例如，本文讨论的***可以包括为了清楚而未描绘的附加组件，诸如图像预处理线路、存储器控制器等等。
尽管本文讨论的示例性过程的实现方式可以包括以图示的次序示出的所有操作的执行，但是本公开在这方面不受限制，并且在各种示例中，本文的示例性过程的实现方式可以仅仅包括所示的操作的子集、以不同于图示的次序执行的操作、或者附加操作。
另外，可以响应于由一个或多个计算机程序产品提供的指令来执行本文讨论的操作中的任何一个或多个。这样的程序产品可以包括提供指令的信号承载介质，该指令在由例如处理器执行时可以提供本文所述的功能性。计算机程序产品可以一个或多个机器可读介质的任何形式来提供。因而，例如，包括一个或多个图形处理单元或者一个或多个处理器核的处理器可以响应于由一个或多个机器可读介质传送给处理器的程序代码和/或指令或指令集来执行本文的示例性过程的块中的一个或多个。通常，机器可读介质可以程序代码和/或指令或指令集的形式传送软件，该软件可以使得本文所述的设备和/或***中的任何一个实现本文讨论的任何操作或者如本文讨论的任何其它模块或组件。
如在本文所述的任何实现方式中所使用的，术语“模块”是指被配置成提供本文所述的功能性的软件逻辑、固件逻辑、硬件逻辑和/或线路的任何组合。该软件可以体现为软件包、代码和/或指令集或指令，并且如在本文所述的任何实现方式中使用的“硬件”例如可以单独或以任何组合地包括硬连线线路、可编程线路、状态机线路、固定功能线路、执行单元线路和/或存储由可编程线路执行的指令的固件。模块可以共同或单独地体现为形成较大***（例如集成电路（IC）、片上***（SoC）等等）的部分的线路。
图10是根据本公开的至少一些实现方式布置的示例性***1000的说明图。在各种实现方式中，***1000可以是计算***，但是***1000不限于此上下文。例如，***1000可以被合并到个人计算机（PC）、膝上型计算机、超便携式计算机、平板电脑、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理（PDA）、蜂窝电话、组合蜂窝电话/PDA、电视、智能设备（例如，智能电话、智能平板电脑或智能电视）、可穿戴设备（例如，智能手表或智能眼镜）、移动互联网设备（MID）、消息传送设备、数据通信设备、***设备、扫描仪、打印机、多功能设备等等。
在各种实现方式中，***1000包括耦合到显示器1020的平台1002。平台1002可以从诸如一个或多个内容服务设备1030或一个或多个内容递送设备1040之类的内容设备、或者诸如光场相机904或相机阵列之类的其它内容源接收内容。例如，平台1002可以从光场相机904或任何其它内容源接收未加工的图像或视频数据。包括一个或多个导航功能部件的导航控制器1050可以用于与例如平台1002和/或显示器1020交互。以下更详细地描述这些组件中的每一个。
在各种实现方式中，平台1002可以包括芯片组1005、处理器1010、存储器1012、天线1013、储存器1014、图形子***1015、应用1016、图像信号处理器1017和/或无线电设备1018的任何组合。芯片组1005可以提供处理器1010、存储器1012、储存器1014、图形子***1015、应用1016、图像信号处理器1017和/或无线电设备1018之间的相互通信。例如，芯片组1005可以包括能够提供与储存器1014的相互通信的存储适配器（未描绘）。
处理器1010可以被实现为复杂指令集计算机（CISC）或精简指令集计算机（RISC）处理器、x86指令集兼容处理器、多核或任何其它微处理器或中央处理单元（CPU）。在各种实现方式中，处理器1010可以是一个或多个双核处理器、一个或多个双核移动处理器等等。
存储器1012可以被实现为易失性存储器设备，诸如但不限于随机存取存储器（RAM）、动态随机存取存储器（DRAM）或静态RAM（SRAM）。
储存器1014可以被实现为非易失性存储器设备，诸如但不限于磁盘驱动器、光盘驱动器、磁带驱动器、内部存储设备、附接的存储设备、闪存、电池备份SDRAM（同步DRAM）和/或网络可访问的存储设备。在各种实现方式中，例如，当包括多个硬盘驱动器时，储存器1014可以包括为有价值的数字媒体增加存储性能增强保护的技术。
图像信号处理器1017可以被实现为用于图像处理的专用数字信号处理器等等。在一些示例中，图像信号处理器1017可以基于单指令多数据或多指令多数据架构等等来实现。在一些示例中，图像信号处理器1017可以被表征为媒体处理器。如本文所讨论的，图像信号处理器1017可以基于片上***架构和/或基于多核架构来实现。
图形子***1015可以执行诸如静止或视频之类的图像的处理以用于显示。图形子***1015例如可以是图形处理单元（GPU）、视觉处理单元（VPU）或图像处理单元。在一些示例中，图形子***1015可以执行如本文所讨论的扫描图像渲染。模拟或数字接口可以用于通信地耦合图形子***1015和显示器1020。例如，接口可以是高清晰度多媒体接口、DisplayPort、无线HDMI和/或无线HD兼容技术中的任何一个。图形子***1015可以被集成到处理器1010或芯片组1005中。在一些实现方式中，图形子***1015可以是通信地耦合到芯片组1005的独立设备。
可以在各种硬件架构中实现本文所述的图形和/或视频处理技术。例如，图形和/或视频功能性可以被集成在芯片组内。替代地，可以使用分立的图形和/或图像处理器和/或专用集成电路。作为再一个实现方式，图形和/或视频功能可以由包括多核处理器的通用处理器提供。在进一步的实施例中，可以在消费电子设备中实现功能。
无线电设备1018可以包括能够使用各种合适的无线通信技术来发送和接收信号的一个或多个无线电设备。这样的技术可能涉及跨过一个或多个无线网络的通信。示例性无线网络包括（但不限于）无线局域网（WLAN）、无线个域网（WPAN）、无线城域网（WMAN）、蜂窝网络和卫星网络。在跨过这样的网络通信时，无线电设备1018可以根据任何版本中的一个或多个适用标准操作。
在各种实现方式中，显示器1020可以包括任何平板监视器或显示器。显示器1020例如可以包括计算机显示屏、触摸屏显示器、视频监视器、类电视设备和/或电视。显示器1020可以是数字和/或模拟的。在各种实现方式中，显示器1020可以是全息显示器。而且，显示器1020可以是可以接收视觉投影的透明表面。这样的投影可以传达各种形式的信息、图像和/或对象。例如，这样的投影可以是用于移动增强现实（MAR）应用的视觉覆盖。在一个或多个软件应用1016的控制下，平台1002可以在显示器1020上显示用户界面1022。
在各种实现方式中，例如，一个或多个内容服务设备1030可以由任何国家、国际和/或独立的服务托管，并且因而可经由互联网访问平台1002。一个或多个内容服务设备1030可以耦合到平台1002和/或耦合到显示器1020。平台1002和/或一个或多个内容服务设备1030可以耦合到网络1060以向网络1060和从网络1060传送（例如，发送和/或接收）媒体信息。一个或多个内容递送设备1040还可以耦合到平台1002和/或耦合到显示器1020。
在各种实现方式中，一个或多个内容服务设备1030可以包括能够递送数字信息和/或内容的有线电视盒、个人计算机、网络、电话、互联网使能的设备或电器，以及能够经由网络1060或直接在内容提供商与平台1002和/显示器1020之间单向或双向地通信内容的任何其它类似的设备。将意识到：可以经由网络1060向***1000中的组件以及内容提供商中的任何一个或从其单向和/或双向地传送内容。内容的示例可以包括任何媒体信息，例如包括视频、音乐、医疗和游戏信息等等。
一个或多个内容服务设备1030可以接收诸如包括媒体信息、数字信息的有线电视节目之类的内容和/或其它内容。内容提供商的示例可以包括任何有线或***或无线电或互联网内容提供商。提供的示例并不意味着以任何方式限制根据本公开的实现方式。光场相机904可以包括可以提供多视点视频的任何光场相机、全光相机或相机阵列。
在各种实现方式中，平台1002可以从具有一个或多个导航功能部件的导航控制器1050接收控制信号。例如，导航控制器1050的导航功能部件可以用于与用户界面1022交互。在各种实施例中，导航控制器1050可以是指向设备，该指向设备可以是允许用户将空间（例如，连续和多维）数据输入到计算机中的计算机硬件组件（具体地，人机界面（humaninterface）设备）。诸如图形用户界面（GUI）、电视和监视器之类的许多***允许用户使用物理手势控制计算机或电视并向其提供数据。
可以通过在显示器上显示的指针、光标、对光环或其它视觉指示器的移动而在显示器（例如，显示器1020）上复制导航控制器1050的导航功能部件的移动。例如，在软件应用1016的控制下，位于导航控制器1050上的导航功能部件例如可以被映射到在用户界面1022上显示的虚拟导航功能部件。在各种实施例中，导航控制器1050可能不是单独的组件，而是可以被集成到平台1002和/或显示器1020中。然而，本公开不限于本文所示或所述的元件或者在本文所示或所述的上下文中不受限制。
在各种实现方式中，例如，当被使能时，驱动器（未示出）可以包括使得用户能够在初始启动之后用按钮的触摸来立即打开和关闭类似电视的平台1002的技术。即使当平台被“关闭”时，程序逻辑也可以允许平台1002将内容流式传输到媒体适配器或者一个或多个其它内容服务设备1030或一个或多个内容递送设备1040。另外，芯片组1005例如可以包括对5.1环绕声音频和/或高清7.1环绕声音频的硬件和/或软件支持。驱动器可以包括用于集成图形平台的图形驱动器。在各种实施例中，图形驱动器可以包括***组件互连（PCI）Express图形卡。
在各种实现方式中，可以集成***1000中所示的组件中的任何一个或多个。例如，例如可以集成平台1002和一个或多个内容服务设备1030，或者可以集成平台1002和一个或多个内容递送设备1040，或者可以集成平台1002、一个或多个内容服务设备1030和一个或多个内容递送设备1040。在各种实施例中，平台1002和显示器1020可以是集成单元。例如，可以集成显示器1020和一个或多个内容服务设备1030，或者可以集成显示器1020和一个或多个内容递送设备1040。这样的示例并不意味着限制本公开。
在各种实施例中，***1000可以被实现为无线***、有线***或两者的组合。当被实现为无线***时，***1000可以包括适合于通过无线共享介质通信的组件和接口，诸如一个或多个天线、发送器、接收器、收发器、放大器、滤波器、控制逻辑等等。无线共享介质的示例可以包括无线频谱的部分，诸如RF频谱等等。当被实现为有线***时，***1000可以包括适合于通过有线通信介质通信的组件和接口，诸如输入/输出（I/O）适配器、将I/O适配器与对应的有线通信介质连接的物理连接器、网络接口卡（NIC）、盘控制器、视频控制器、音频控制器等等。有线通信介质的示例可以包括导线、电缆、金属引线、印刷电路板（PCB）、背板、交换机结构、半导体材料、双绞线、同轴电缆、光纤等等。
平台1002可以建立一个或多个逻辑或物理信道以传送信息。该信息可以包括媒体信息和控制信息。媒体信息可以指表示意欲用于用户的内容的任何数据。内容的示例例如可以包括来自语音对话、视频会议、流式传输视频、电子邮件（“电子邮件”）消息、语音邮件消息、字母数字符号、图形、图像、视频、文本等等的数据。来自语音对话的数据例如可以是言语信息、静音时段、背景噪声、舒适噪声、音调等等。控制信息可以指表示意欲用于自动化***的命令、指令或控制字的任何数据。例如，控制信息可以用于通过***路由媒体信息，或者指示节点以预定方式处理媒体信息。然而，实施例不限于图10中所示或所述的元件或者在图10中所示或所述的上下文中不受限制。
如上所述，可以不同的物理风格或形状因素体现***1000。图11图示根据本公开的至少一些实现方式布置的示例性小形状因素设备1100。在一些示例中，***1000可以经由设备1100来实现。在其它示例中，其它设备或***或其部分可以经由设备1100来实现。在各种实施例中，例如，设备1100可以被实现为具有无线能力的移动计算设备。例如，移动计算设备可以指具有处理***和移动电源或电力供应（诸如一个或多个电池）的任何设备。
移动计算设备的示例可以包括个人计算机（PC）、膝上型计算机、超便携式计算机、平板电脑、触摸板、便携式计算机、手持式计算机、掌上型计算机、个人数字助理（PDA）、蜂窝电话、组合式蜂窝电话/PDA、智能设备（例如，智能电话、智能平板电脑或智能移动电视）、移动互联网设备（MID）、消息传送设备、数据通信设备、相机等等。
移动计算设备的示例还可以包括被布置成由人穿戴的计算机，诸如手腕计算机、手指计算机、戒指计算机、眼镜计算机、带夹计算机、臂带计算机、鞋计算机、服装计算机和其它可穿戴计算机。在各种实施例中，例如，移动计算设备可以被实现为能够执行计算机应用以及语音通信和/或数据通信的智能电话。虽然可以通过示例的方式用被实现为智能电话的移动计算设备来描述一些实施例，但是可以意识到：也可以使用其它无线移动计算设备来实现其它实施例。实施例在这样的上下文中不受限制。
如图11中所示，设备1100可以包括具有前部1101和后部1102的外壳。设备1100包括显示器1104、输入/输出（I/O）设备1106和集成天线1108。设备1100还可以包括导航功能部件1112。I/O设备1106可以包括用于将信息输入到移动计算设备中的任何合适的I/O设备。用于I/O设备1106的示例可以包括字母数字键盘、数字小键盘、触摸板、输入键、按钮、开关、麦克风、扬声器、语音识别设备和软件等等。信息也可以通过麦克风（未示出）的方式输入到设备1100中，或者可以由语音识别设备数字化。如所示出的，设备1100可以包括相机1105（例如，包括镜头、光圈和成像传感器）以及集成到设备1100的后部1102（或其它地方）中的闪光灯1110和集成到设备的前部1101中的相机1115。相机1105和闪光灯1110和/或相机1115可以是相机模块的组件，以引起将图像数据处理成流式传输的视频，该视频例如被输出到显示器1104和/或经由天线1108从设备1100远程通信。此外，设备1100可以包括光场相机904，其可以包括用于提供如本文所讨论的多视点视频的任何合适的相机。
各种实施例可以使用硬件元件、软件元件或两者的组合来实现。硬件元件的示例可以包括处理器、微处理器、电路、电路元件（例如晶体管、电阻器、电容器、电感器等等）、集成电路、专用集成电路（ASIC）、可编程逻辑器件（PLD）、数字信号处理器（DSP）、现场可编程门阵列（FPGA）、逻辑门、寄存器、半导体器件、芯片、微芯片、芯片组等等。软件的示例可以包括软件组件、程序、应用、计算机程序、应用程序、***程序、机器程序、操作***软件、中间件、固件、软件模块、例程、子程序、功能、方法、程序、软件接口、应用程序接口（API）、指令集、计算代码、计算机代码、代码段、计算机代码段、字、值、符号或其任何组合。确定是否使用硬件元件和/或软件元件来实现实施例可以根据任何数量的因素而变化，诸如期望的计算速率、功率水平、耐热性、处理周期预算、输入数据速率、输出数据速率、存储器资源、数据总线速度和其它设计或性能约束。
至少一个实施例的一个或多个方面可以由存储在机器可读介质上的代表性指令来实现，该机器可读介质表示处理器内的各种逻辑，该指令在由机器读取时使机器制造逻辑以执行本文所述的技术。被称为IP核的这样的表示可以存储在有形的机器可读介质上并且被供应给各种客户或制造设施，以加载到实际制造逻辑或处理器的制造机器中。
尽管已经参照各种实现方式描述了本文阐述的某些特征，但是该描述不旨以限制意义被解释。因此，本文所述的实现方式的各种修改以及对本公开所属领域的技术人员显而易见的其它实现方式被认为位于本公开的精神和范围内。
在一个或多个第一实施例中，一种用于提供多视点视频稳定化的方法包括：对参考视频流执行单视点视频稳定化以生成稳定化参考视频流，并且通过通过将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和第二视频流的同步帧的初始视差图并且通过至少最小化目标视差图的垂直分量或水平分量来生成目标视差图，并且至少部分基于目标视差图而对第二视频流执行视频稳定化以生成稳定化的第二视频流，而将单视点视频稳定化传播到第二视频流。
进一步对于第一实施例，最小化垂直或水平分量包括将用于目标视差图的每个位置的垂直或水平分量设置成零。
进一步对于第一实施例，最小化垂直或水平分量包括：将用于目标视差图的每个位置的垂直或水平分量设置成零，并且当参考视频流和第二视频流水平对齐时，垂直分量被设置成零，并且当参考视频流和第二视频流垂直对齐时，水平分量被设置成零。
进一步对于第一实施例，对第二视频流执行视频稳定化包括：基于稳定化参考视频流的对应帧的对应特征点以及目标视差图来确定用于第二视频流的稳定化帧的特征点的位置，并且基于用于第二视频流的稳定化帧的特征点的位置而将第二视频流的同步帧变形。
进一步对于第一实施例，该方法进一步包括：将多视点视频的多个同步流分割成多视点视频的同步流的多个子集，其中参考视频流在第一子集中并且第二视频流在第二子集中，并且将单视点视频稳定化传播到同步流的多个子集的第三子集中的第三视频流。
进一步对于第一实施例，该方法进一步包括：将多视点视频的多个同步流分割成多视点视频的同步流的多个子集，其中参考视频流在第一子集中并且第二视频流在第二子集中，并且将单视点视频稳定化传播到同步流的多个子集的第三子集中的第三视频流，并且至少部分地并行执行将单视点视频稳定化传播到第二视频流和第三视频流。
进一步对于第一实施例，该方法进一步包括：将视频稳定化从第二视频流传播到第二子集中的一个或多个其它视频流，并且至少部分地并行于将视频稳定化从第二视频流传播到第二子集中的一个或多个其它视频流，将视频稳定化从第三视频流传播到第三子集中的一个或多个其它视频流。
进一步对于第一实施例，该方法进一步包括：通过通过将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和第三视频流的同步的第二帧的第二初始视差图并且通过最小化第二目标视差图的垂直分量来生成第二目标视差图，其中在目标视差图中最小化水平分量，并且至少部分基于第二目标视差图而对第三视频流执行视频稳定化以生成稳定化的第三视频流，而将单视点视频稳定化传播到第三视频流。
进一步对于第一实施例，该方法进一步包括：通过通过将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和第四视频流的同步帧的第二初始视差图并且通过基于稳定化变换的第二视差图来设置第二目标视差图的垂直分量并基于稳定化变换的视差图来设置第二目标视差图的水平分量来生成第二目标视差图，其中第二视频流与参考视频流水平对齐，第四视频流与参考视频流垂直对齐，并且第三视频流与参考视频流对角对齐，并且至少部分基于第二目标视差图而对第三视频流执行视频稳定化以生成稳定化的第三视频流，而将单视点视频稳定化传播到第三视频流。
进一步对于第一实施例，该方法进一步包括：确定与多视点视频的观众相关联的一个或多个观看的视频流，并且至少部分基于与观众相关联的一个或多个观看的视频流来设置参考视频流。
进一步对于第一实施例，该方法进一步包括：确定与多视点视频的观众相关联的一个或多个观看的视频流，并且至少部分基于与观众相关联的一个或多个观看的视频流来设置参考视频流，并且确定与观众相关联的一个或多个观看的视频流包括头部跟踪、眼睛跟踪或凝视跟踪中的至少一个，并且参考视频流是一个或多个观看的视频流中的一个。
在一个或多个第二实施例中，一种用于提供多视点视频稳定化的***包括：被配置成存储参考视频流和第二视频流的存储器，以及耦合到存储器的处理器，该处理器对参考视频流执行单视点视频稳定化以生成稳定化参考视频流，并且将单视点视频稳定化传播到第二视频流，其中处理器传播单视点视频稳定化包括：处理器基于将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和第二视频流的同步帧的初始视差图并且至少最小化目标视差图的垂直分量或水平分量来生成目标视差图，并且至少部分基于目标视差图而对第二视频流执行视频稳定化以生成稳定化的第二视频流。
进一步对于第二实施例，最小化垂直或水平分量包括：处理器将用于目标视差图的每个位置的垂直或水平分量设置成零。
进一步对于第二实施例，最小化垂直或水平分量包括：处理器将用于目标视差图的每个位置的垂直或水平分量设置成零，并且当参考视频流和第二视频流水平对齐时，垂直分量被设置成零，并且当参考视频流和第二视频流垂直对齐时，水平分量被设置成零。
进一步对于第二实施例，处理器对第二视频流执行视频稳定化包括：处理器基于稳定化参考视频流的对应帧的对应特征点以及目标视差图来确定用于第二视频流的稳定化帧的特征点的位置，并且基于用于第二视频流的稳定化帧的特征点的位置而将第二视频流的同步帧变形。
进一步对于第二实施例，处理器进一步将多视点视频的多个同步流分割成多视点视频的同步流的多个子集，其中参考视频流在第一子集中并且第二视频流在第二子集中，并且将单视点视频稳定化传播到同步流的多个子集的第三子集中的第三视频流。
进一步对于第二实施例，处理器进一步将多视点视频的多个同步流分割成多视点视频的同步流的多个子集，其中参考视频流在第一子集中并且第二视频流在第二子集中，并且将单视点视频稳定化传播到同步流的多个子集的第三子集中的第三视频流，并且处理器至少部分地并行执行将单视点视频稳定化传播到第二视频流和第三视频流。
进一步对于第二实施例，处理器进一步将多视点视频的多个同步流分割成多视点视频的同步流的多个子集，其中参考视频流在第一子集中并且第二视频流在第二子集中，并且将单视点视频稳定化传播到同步流的多个子集的第三子集中的第三视频流，并且处理器进一步将视频稳定化从第二视频流传播到第二子集中的一个或多个其它视频流，并且至少部分地并行于将视频稳定化从第二视频流传播到第二子集中的一个或多个其它视频流，将视频稳定化从第三视频流传播到第三子集中的一个或多个其它视频流。
进一步对于第二实施例，处理器进一步将多视点视频的多个同步流分割成多视点视频的同步流的多个子集，其中参考视频流在第一子集中并且第二视频流在第二子集中，并且将单视点视频稳定化传播到同步流的多个子集的第三子集中的第三视频流，和/或将视频稳定化从第二视频流传播到第二子集中的一个或多个其它视频流，并且至少部分地并行于将视频稳定化从第二视频流传播到第二子集中的一个或多个其它视频流，将视频稳定化从第三视频流传播到第三子集中的一个或多个其它视频流。
进一步对于第二实施例，处理器进一步将单视点视频稳定化传播到第三视频流，其中处理器将单视点视频稳定化传播到第三视频流包括：处理器基于将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和第三视频流的同步的第二帧的第二初始视差图并且通过最小化第二目标视差图的垂直分量来生成第二目标视差图，其中在目标视差图中最小化水平分量，并且至少部分基于第二目标视差图而对第三视频流执行视频稳定化以生成稳定化的第三视频流。
进一步对于第二实施例，处理器进一步将单视点视频稳定化传播到第三视频流，其中处理器将单视点视频稳定化传播到第三视频流包括：处理器基于将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和第四视频流的同步帧的第二初始视差图来生成第二目标视差图，并且处理器基于稳定化变换的第二视差图来设置第二目标视差图的垂直分量并基于稳定化变换的视差图来设置第二目标视差图的水平分量，其中第二视频流与参考视频流水平对齐，第四视频流与参考视频流垂直对齐，并且第三视频流与参考视频流对角对齐，并且至少部分基于第二目标视差图而对第三视频流执行视频稳定化以生成稳定化的第三视频流。
进一步对于第二实施例，处理器进一步确定与多视点视频的观众相关联的一个或多个观看的视频流，并且至少部分基于与观众相关联的一个或多个观看的视频流来设置参考视频流。
进一步对于第二实施例，处理器进一步确定与多视点视频的观众相关联的一个或多个观看的视频流，并且至少部分基于与观众相关联的一个或多个观看的视频流来设置参考视频流，并且处理器确定与观众相关联的一个或多个观看的视频流包括：处理器执行头部跟踪、眼睛跟踪或凝视跟踪中的至少一个，并且参考视频流是一个或多个观看的视频流中的一个。
在一个或多个第三实施例中，一种***包括：用于对参考视频流执行单视点视频稳定化以生成稳定化参考视频流的装置，以及用于将单视点视频稳定化传播到第二视频流的装置，包括：用于通过将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和第二视频流的同步帧的初始视差图并且通过至少最小化目标视差图的垂直分量或水平分量来生成目标视差图的装置，以及用于至少部分基于目标视差图而对第二视频流执行视频稳定化以生成稳定化的第二视频流的装置。
进一步对于第三实施例，最小化垂直或水平分量包括将用于目标视差图的每个位置的垂直或水平分量设置成零，并且其中当参考视频流和第二视频流水平对齐时，垂直分量被设置成零，并且当参考视频流和第二视频流垂直对齐时，水平分量被设置成零。
进一步对于第三实施例，用于对第二视频流执行视频稳定化的装置包括：用于基于稳定化参考视频流的对应帧的对应特征点以及目标视差图来确定用于第二视频流的稳定化帧的特征点的位置的装置，以及用于基于用于第二视频流的稳定化帧的特征点的位置而将第二视频流的同步帧变形的装置。
进一步对于第三实施例，该***进一步包括：用于将多视点视频的多个同步流分割成多视点视频的同步流的多个子集的装置，其中参考视频流在第一子集中并且第二视频流在第二子集中，以及用于将单视点视频稳定化传播到同步流的多个子集的第三子集中的第三视频流的装置。
进一步对于第三实施例，该***进一步包括：用于将单视点视频稳定化传播到第三视频流的装置，包括：用于通过将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和第四视频流的同步帧的第二初始视差图并且通过基于稳定化变换的第二视差图来设置第二目标视差图的垂直分量并基于稳定化变换的视差图来设置第二目标视差图的水平分量来生成第二目标视差图的装置，其中第二视频流与参考视频流水平对齐，第四视频流与参考视频流垂直对齐，并且第三视频流与参考视频流对角对齐，以及用于至少部分基于第二目标视差图而对第三视频流执行视频稳定化以生成稳定化的第三视频流的装置。
进一步对于第三实施例，该***进一步包括：用于确定与多视点视频的观众相关联的一个或多个观看的视频流的装置，以及用于至少部分基于与观众相关联的一个或多个观看的视频流来设置参考视频流的装置。
在一个或多个第四实施例中，至少一个机器可读介质包括多个指令，所述多个指令响应于在设备上被执行而使得设备通过以下步骤提供多视点视频稳定化：对参考视频流执行单视点视频稳定化以生成稳定化参考视频流，并且通过通过将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和第二视频流的同步帧的初始视差图并且通过至少最小化目标视差图的垂直分量或水平分量来生成目标视差图，并且至少部分基于目标视差图而对第二视频流执行视频稳定化以生成稳定化的第二视频流，而将单视点视频稳定化传播到第二视频流。
进一步对于第四实施例，最小化垂直或水平分量包括将用于目标视差图的每个位置的垂直或水平分量设置成零，并且当参考视频流和第二视频流水平对齐时，垂直分量被设置成零，并且当参考视频流和第二视频流垂直对齐时，水平分量被设置成零。
进一步对于第四实施例，对第二视频流执行视频稳定化包括：基于稳定化参考视频流的对应帧的对应特征点以及目标视差图，确定用于第二视频流的稳定化帧的特征点的位置，并且基于用于第二视频流的稳定化帧的特征点的位置，将第二视频流的同步帧变形。
进一步对于第四实施例，该机器可读介质进一步包括多个指令，所述多个指令响应于在设备上被执行而使得设备通过以下步骤提供多视点视频稳定化：将多视点视频的多个同步流分割成多视点视频的同步流的多个子集，其中参考视频流在第一子集中并且第二视频流在第二子集中，并且将单视点视频稳定化传播到同步流的多个子集的第三子集中的第三视频流。
进一步对于第四实施例，该机器可读介质进一步包括多个指令，所述多个指令响应于在设备上被执行而使得设备通过以下步骤提供多视点视频稳定化：将多视点视频的多个同步流分割成多视点视频的同步流的多个子集，其中参考视频流在第一子集中并且第二视频流在第二子集中，并且将单视点视频稳定化传播到同步流的多个子集的第三子集中的第三视频流，并且将视频稳定化从第二视频流传播到第二子集中的一个或多个其它视频流，并且至少部分地并行于将视频稳定化从第二视频流传播到第二子集中的一个或多个其它视频流，将视频稳定化从第三视频流传播到第三子集中的一个或多个其它视频流。
进一步对于第四实施例，该机器可读介质进一步包括多个指令，所述多个指令响应于在设备上被执行而使得设备通过以下步骤提供多视点视频稳定化：通过通过将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和第四视频流的同步帧的第二初始视差图并且通过基于稳定化变换的第二视差图来设置第二目标视差图的垂直分量并基于稳定化变换的视差图来设置第二目标视差图的水平分量来生成第二目标视差图，其中第二视频流与参考视频流水平对齐，第四视频流与参考视频流垂直对齐，并且第三视频流与参考视频流对角对齐，并且至少部分基于第二目标视差图而对第三视频流执行视频稳定化以生成稳定化的第三视频流，而将单视点视频稳定化传播到第三视频流。
进一步对于第四实施例，该机器可读介质进一步包括多个指令，所述多个指令响应于在设备上被执行而使得设备通过以下步骤提供多视点视频稳定化：确定与多视点视频的观众相关联的一个或多个观看的视频流，并且至少部分基于与观众相关联的一个或多个观看的视频流而设置参考视频流。
在一个或多个第五实施例中，至少一个机器可读介质可以包括多个指令，所述多个指令响应于在计算设备上被执行而使得计算设备执行根据以上实施例中的任何一个的方法。
在一个或多个第六实施例中，一种装置可以包括用于执行根据以上实施例中的任何一个的方法的装置。
将认识到：实施例不限于如此描述的实施例，而是可以在不脱离所附权利要求的范围的情况下用修改和变更来实施。例如，以上实施例可以包括特征的具体组合。然而，以上实施例在这方面不受限制，并且在各种实现方式中，以上实施例可以包括仅仅执行这样的特征的子集，执行这样的特征的不同次序，执行这样的特征的不同组合，和/或执行除了明确列出的特征之外的附加特征。因此，实施例的范围应当参照所附权利要求连同这样的权利要求所授权的等同物的全部范围来确定。

Claims (31)

1. 一种用于提供多视点视频稳定化的方法，包括：
对参考视频流执行单视点视频稳定化以生成稳定化参考视频流；以及
通过以下步骤将单视点视频稳定化传播到第二视频流：
通过将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和第二视频流的同步帧的初始视差图，并且通过至少最小化目标视差图的垂直分量或水平分量，生成目标视差图；以及
至少部分基于目标视差图，对第二视频流执行视频稳定化以生成稳定化的第二视频流。
2.根据权利要求1所述的方法，其中最小化垂直或水平分量包括将用于目标视差图的每个位置的垂直或水平分量设置成零。
3.根据权利要求2所述的方法，其中当参考视频流和第二视频流水平对齐时，垂直分量被设置成零，并且当参考视频流和第二视频流垂直对齐时，水平分量被设置成零。
4. 根据权利要求1所述的方法，其中对第二视频流执行视频稳定化包括：
基于稳定化参考视频流的对应帧的对应特征点以及目标视差图，确定用于第二视频流的稳定化帧的特征点的位置；以及
基于用于第二视频流的稳定化帧的特征点的位置，将第二视频流的同步帧变形。
5. 根据权利要求1所述的方法，进一步包括：
将多视点视频的多个同步流分割成多视点视频的同步流的多个子集，其中参考视频流在第一子集中并且第二视频流在第二子集中；以及
将单视点视频稳定化传播到同步流的多个子集的第三子集中的第三视频流。
6.根据权利要求5所述的方法，其中至少部分地并行执行将单视点视频稳定化传播到第二视频流和第三视频流。
7. 根据权利要求5所述的方法，进一步包括：
将视频稳定化从第二视频流传播到第二子集中的一个或多个其它视频流；以及
至少部分地并行于将视频稳定化从第二视频流传播到第二子集中的一个或多个其它视频流，将视频稳定化从第三视频流传播到第三子集中的一个或多个其它视频流。
8.根据权利要求1所述的方法，进一步包括：
通过以下步骤将单视点视频稳定化传播到第三视频流：
通过将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和第三视频流的同步的第二帧的第二初始视差图并且通过最小化第二目标视差图的垂直分量来生成第二目标视差图，其中在目标视差图中最小化水平分量；以及
至少部分基于第二目标视差图，对第三视频流执行视频稳定化以生成稳定化的第三视频流。
9.根据权利要求1所述的方法，进一步包括：
通过以下步骤将单视点视频稳定化传播到第三视频流：
通过将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和第四视频流的同步帧的第二初始视差图并且通过基于稳定化变换的第二视差图来设置第二目标视差图的垂直分量并基于稳定化变换的视差图来设置第二目标视差图的水平分量来生成第二目标视差图，其中第二视频流与参考视频流水平对齐，第四视频流与参考视频流垂直对齐，并且第三视频流与参考视频流对角对齐；以及
至少部分基于第二目标视差图，对第三视频流执行视频稳定化以生成稳定化的第三视频流。
10. 根据权利要求1所述的方法，进一步包括：
确定与多视点视频的观众相关联的一个或多个观看的视频流；以及
至少部分基于与观众相关联的一个或多个观看的视频流，设置参考视频流。
11.根据权利要求10所述的方法，其中确定与观众相关联的一个或多个观看的视频流包括头部跟踪、眼睛跟踪或凝视跟踪中的至少一个，并且参考视频流是一个或多个观看的视频流中的一个。
12. 一种用于提供多视点视频稳定化的***，包括：
存储器，被配置成存储参考视频流和第二视频流；以及
耦合到存储器的处理器，处理器对参考视频流执行单视点视频稳定化以生成稳定化参考视频流，并且将单视点视频稳定化传播到第二视频流，其中处理器传播单视点视频稳定化包括：处理器基于将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和第二视频流的同步帧的初始视差图并且至少最小化目标视差图的垂直分量或水平分量来生成目标视差图，并且至少部分基于目标视差图而对第二视频流执行视频稳定化以生成稳定化的第二视频流。
13.根据权利要求12所述的***，其中最小化垂直或水平分量包括：处理器将用于目标视差图的每个位置的垂直或水平分量设置成零，其中当参考视频流和第二视频流水平对齐时，垂直分量被设置成零，并且当参考视频流和第二视频流垂直对齐时，水平分量被设置成零。
14.根据权利要求12所述的***，其中处理器对第二视频流执行视频稳定化包括：处理器基于稳定化参考视频流的对应帧的对应特征点以及目标视差图来确定用于第二视频流的稳定化帧的特征点的位置，并且基于用于第二视频流的稳定化帧的特征点的位置而将第二视频流的同步帧变形。
15.根据权利要求12所述的***，其中处理器进一步将多视点视频的多个同步流分割成多视点视频的同步流的多个子集，其中参考视频流在第一子集中并且第二视频流在第二子集中，并且将单视点视频稳定化传播到同步流的多个子集的第三子集中的第三视频流。
16.根据权利要求15所述的***，其中处理器进一步将视频稳定化从第二视频流传播到第二子集中的一个或多个其它视频流，并且至少部分地并行于将视频稳定化从第二视频流传播到第二子集中的一个或多个其它视频流，将视频稳定化从第三视频流传播到第三子集中的一个或多个其它视频流。
17.根据权利要求12所述的***，其中处理器进一步将单视点视频稳定化传播到第三视频流，其中处理器将单视点视频稳定化传播到第三视频流包括：处理器基于将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和第四视频流的同步帧的第二初始视差图来生成第二目标视差图，并且处理器基于稳定化变换的第二视差图来设置第二目标视差图的垂直分量并基于稳定化变换的视差图来设置第二目标视差图的水平分量，其中第二视频流与参考视频流水平对齐，第四视频流与参考视频流垂直对齐，并且第三视频流与参考视频流对角对齐，并且至少部分基于第二目标视差图而对第三视频流执行视频稳定化以生成稳定化的第三视频流。
18.根据权利要求12所述的***，其中处理器进一步确定与多视点视频的观众相关联的一个或多个观看的视频流，并且至少部分基于与观众相关联的一个或多个观看的视频流来设置参考视频流。
19. 一种***，包括：
用于对参考视频流执行单视点视频稳定化以生成稳定化参考视频流的装置；以及
用于将单视点视频稳定化传播到第二视频流的装置，包括：
用于通过将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和第二视频流的同步帧的初始视差图并且通过至少最小化目标视差图的垂直分量或水平分量来生成目标视差图的装置；以及
用于至少部分基于目标视差图而对第二视频流执行视频稳定化以生成稳定化的第二视频流的装置。
20.根据权利要求19所述的***，其中最小化垂直或水平分量包括将用于目标视差图的每个位置的垂直或水平分量设置成零，并且其中当参考视频流和第二视频流水平对齐时，垂直分量被设置成零，并且当参考视频流和第二视频流垂直对齐时，水平分量被设置成零。
21. 根据权利要求19所述的***，其中用于对第二视频流执行视频稳定化的装置包括：
用于基于稳定化参考视频流的对应帧的对应特征点以及目标视差图来确定用于第二视频流的稳定化帧的特征点的位置的装置；以及
用于基于用于第二视频流的稳定化帧的特征点的位置而将第二视频流的同步帧变形的装置。
22. 根据权利要求19所述的***，进一步包括：
用于将多视点视频的多个同步流分割成多视点视频的同步流的多个子集的装置，其中参考视频流在第一子集中并且第二视频流在第二子集中；以及
用于将单视点视频稳定化传播到同步流的多个子集的第三子集中的第三视频流的装置。
23.根据权利要求19所述的***，进一步包括：
用于将单视点视频稳定化传播到第三视频流的装置，包括：
用于通过将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和第四视频流的同步帧的第二初始视差图并且通过基于稳定化变换的第二视差图来设置第二目标视差图的垂直分量并基于稳定化变换的视差图来设置第二目标视差图的水平分量来生成第二目标视差图的装置，其中第二视频流与参考视频流水平对齐，第四视频流与参考视频流垂直对齐，并且第三视频流与参考视频流对角对齐；以及
用于至少部分基于第二目标视差图而对第三视频流执行视频稳定化以生成稳定化的第三视频流的装置。
24. 根据权利要求19所述的***，进一步包括：
用于确定与多视点视频的观众相关联的一个或多个观看的视频流的装置；以及
用于至少部分基于与观众相关联的一个或多个观看的视频流来设置参考视频流的装置。
25. 包括多个指令的至少一个机器可读介质，所述多个指令响应于在设备上被执行而使得设备通过以下步骤提供多视点视频稳定化：
对参考视频流执行单视点视频稳定化以生成稳定化参考视频流；以及
通过以下步骤将单视点视频稳定化传播到第二视频流：
通过将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和第二视频流的同步帧的初始视差图，并且通过至少最小化目标视差图的垂直分量或水平分量，生成目标视差图；以及
至少部分基于目标视差图，对第二视频流执行视频稳定化以生成稳定化的第二视频流。
26.根据权利要求25所述的机器可读介质，其中最小化垂直或水平分量包括将用于目标视差图的每个位置的垂直或水平分量设置成零，并且其中当参考视频流和第二视频流水平对齐时，垂直分量被设置成零，并且当参考视频流和第二视频流垂直对齐时，水平分量被设置成零。
27. 根据权利要求25所述的机器可读介质，其中对第二视频流执行视频稳定化包括：
基于稳定化参考视频流的对应帧的对应特征点以及目标视差图，确定用于第二视频流的稳定化帧的特征点的位置；以及
基于用于第二视频流的稳定化帧的特征点的位置，将第二视频流的同步帧变形。
28. 根据权利要求25所述的机器可读介质，进一步包括多个指令，所述多个指令响应于在设备上被执行而使得设备通过以下步骤提供多视点视频稳定化：
将多视点视频的多个同步流分割成多视点视频的同步流的多个子集，其中参考视频流在第一子集中并且第二视频流在第二子集中；以及
将单视点视频稳定化传播到同步流的多个子集的第三子集中的第三视频流。
29. 根据权利要求28所述的机器可读介质，进一步包括多个指令，所述多个指令响应于在设备上被执行而使得设备通过以下步骤提供多视点视频稳定化：
将视频稳定化从第二视频流传播到第二子集中的一个或多个其它视频流；以及
至少部分地并行于将视频稳定化从第二视频流传播到第二子集中的一个或多个其它视频流，将视频稳定化从第三视频流传播到第三子集中的一个或多个其它视频流。
30.根据权利要求25所述的机器可读介质，进一步包括多个指令，所述多个指令响应于在设备上被执行而使得设备通过以下步骤提供多视点视频稳定化：
通过以下步骤将单视点视频稳定化传播到第三视频流：
通过将对应于单视频稳定化的稳定化变换应用于用于参考视频的帧和第四视频流的同步帧的第二初始视差图并且通过基于稳定化变换的第二视差图来设置第二目标视差图的垂直分量并基于稳定化变换的视差图来设置第二目标视差图的水平分量来生成第二目标视差图，其中第二视频流与参考视频流水平对齐，第四视频流与参考视频流垂直对齐，并且第三视频流与参考视频流对角对齐；以及
至少部分基于第二目标视差图，对第三视频流执行视频稳定化以生成稳定化的第三视频流。
31. 根据权利要求25所述的机器可读介质，进一步包括多个指令，所述多个指令响应于在设备上被执行而使得设备通过以下步骤提供多视点视频稳定化：
确定与多视点视频的观众相关联的一个或多个观看的视频流；以及
至少部分基于与观众相关联的一个或多个观看的视频流，设置参考视频流。
CN201680073973.5A 2015-12-16 2016-11-08 多视点视频稳定化 Active CN108370437B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/971837 2015-12-16
US14/971,837 US10477181B2 (en) 2015-12-16 2015-12-16 Multiview video stabilization
PCT/US2016/061005 WO2017105674A1 (en) 2015-12-16 2016-11-08 Multiview video stabilization

Publications (2)

Publication Number Publication Date
CN108370437A true CN108370437A (zh) 2018-08-03
CN108370437B CN108370437B (zh) 2021-11-09

Family

ID=59057409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680073973.5A Active CN108370437B (zh) 2015-12-16 2016-11-08 多视点视频稳定化

Country Status (3)

Country Link
US (1) US10477181B2 (zh)
CN (1) CN108370437B (zh)
WO (1) WO2017105674A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10545215B2 (en) * 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US11310481B2 (en) * 2017-10-26 2022-04-19 Sony Corporation Imaging device, system, method and program for converting a first image into a plurality of second images
CN107864374A (zh) * 2017-11-17 2018-03-30 电子科技大学 一种维持视差的双目视频稳像方法
KR20220013183A (ko) 2020-07-24 2022-02-04 삼성전자주식회사 영상 복원 장치 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101035261A (zh) * 2007-04-11 2007-09-12 宁波大学 一种交互式多视点视频***的图像信号处理方法
CN101276060A (zh) * 2007-03-29 2008-10-01 三星电子株式会社 控制立体视图或多视图序列图像的动态深度的方法和装置
US20130010073A1 (en) * 2011-07-08 2013-01-10 Do Minh N System and method for generating a depth map and fusing images from a camera array
US20140037192A1 (en) * 2010-09-02 2014-02-06 Edge 3 Technologies, Inc. Apparatus and Method for Disparity Map Generation
WO2014031795A1 (en) * 2012-08-21 2014-02-27 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
US20150146029A1 (en) * 2013-11-26 2015-05-28 Pelican Imaging Corporation Array Camera Configurations Incorporating Multiple Constituent Array Cameras

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9131155B1 (en) * 2010-04-07 2015-09-08 Qualcomm Technologies, Inc. Digital video stabilization for multi-view systems
US9041819B2 (en) 2011-11-17 2015-05-26 Apple Inc. Method for stabilizing a digital video
US9655994B2 (en) * 2012-07-25 2017-05-23 William F. McKay Delivery systems
US9380295B2 (en) * 2013-04-21 2016-06-28 Zspace, Inc. Non-linear navigation of a three dimensional stereoscopic display

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101276060A (zh) * 2007-03-29 2008-10-01 三星电子株式会社 控制立体视图或多视图序列图像的动态深度的方法和装置
CN101035261A (zh) * 2007-04-11 2007-09-12 宁波大学 一种交互式多视点视频***的图像信号处理方法
US20140037192A1 (en) * 2010-09-02 2014-02-06 Edge 3 Technologies, Inc. Apparatus and Method for Disparity Map Generation
US20130010073A1 (en) * 2011-07-08 2013-01-10 Do Minh N System and method for generating a depth map and fusing images from a camera array
WO2014031795A1 (en) * 2012-08-21 2014-02-27 Pelican Imaging Corporation Systems and methods for parallax detection and correction in images captured using array cameras
US20150146029A1 (en) * 2013-11-26 2015-05-28 Pelican Imaging Corporation Array Camera Configurations Incorporating Multiple Constituent Array Cameras

Also Published As

Publication number Publication date
WO2017105674A1 (en) 2017-06-22
US20170180699A1 (en) 2017-06-22
CN108370437B (zh) 2021-11-09
US10477181B2 (en) 2019-11-12

Similar Documents

Publication Publication Date Title
US12028502B2 (en) Three dimensional glasses free light field display using eye location
US9618747B2 (en) Head mounted display for viewing and creating a media file including omnidirectional image data and corresponding audio data
KR101691833B1 (ko) 이동 단말기 및 이것의 영상 촬영 제어 방법
KR101685980B1 (ko) 이동 단말기 및 그 제어방법
US9189825B2 (en) Electronic device and method for displaying stereoscopic image
CN106919248A (zh) 应用于虚拟现实的内容传输方法以及设备
KR20160139461A (ko) 헤드 마운티드 디스플레이 및 그 제어 방법
KR20150090183A (ko) 3-d 플레놉틱 비디오 이미지들을 생성하는 시스템 및 방법
CN108370437A (zh) 多视点视频稳定化
US20130167092A1 (en) Electronic device having 3-dimensional display and method of operating thereof
CN108432237A (zh) 电子设备以及用于电子设备的控制方法
CN114051617A (zh) 用于跨多个计算设备分布神经网络的***和方法
CN113763532A (zh) 基于三维虚拟对象的人机交互方法、装置、设备及介质
CN106303491A (zh) 图像处理方法及装置
CN111915481A (zh) 图像处理方法、装置、电子设备及介质
JP6712557B2 (ja) ステレオ立体視装置
CN115661320A (zh) 图像处理方法及电子设备
US10585286B2 (en) System and method for displaying real or virtual scene
Okaichi et al. Integral three-dimensional display system with wide viewing zone and depth range using time-division display and eye-tracking technology
CN106303493A (zh) 图像处理方法及装置
CN106303494B (zh) 视频处理方法及装置
CN110728744B (zh) 一种体绘制方法、装置及智能设备
CN104025152B (zh) 通过使用加权的查找表对局部对比度补偿的简化
CN106303492A (zh) 视频处理方法及装置
CN108415681A (zh) 显示装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant