CN109863754A - 用于直播流化的虚拟现实360度视频相机*** - Google Patents

用于直播流化的虚拟现实360度视频相机*** Download PDF

Info

Publication number
CN109863754A
CN109863754A CN201780042769.1A CN201780042769A CN109863754A CN 109863754 A CN109863754 A CN 109863754A CN 201780042769 A CN201780042769 A CN 201780042769A CN 109863754 A CN109863754 A CN 109863754A
Authority
CN
China
Prior art keywords
image data
video image
camera
imaging system
cameras
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780042769.1A
Other languages
English (en)
Other versions
CN109863754B (zh
Inventor
C.周
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Westbit Co Ltd
Original Assignee
Westbit Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Westbit Co Ltd filed Critical Westbit Co Ltd
Publication of CN109863754A publication Critical patent/CN109863754A/zh
Application granted granted Critical
Publication of CN109863754B publication Critical patent/CN109863754B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2181—Source of audio or video content, e.g. local disk arrays comprising remotely distributed storage units, e.g. when movies are replicated over a plurality of video servers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本公开涉及包括多个相机的成像***和方法，多个相机被配置为基于环境的相应视场捕捉视频图像数据。多个相机中的每个相机经由通信接口通信地耦合到多个相机中的相邻相机。每个相机可以执行包括捕捉相应视场的视频图像数据和确定重叠区域的操作。重叠区域包括由相应相机和至少一个相邻相机捕捉的视频图像数据的重叠部分。该操作还包括基于重叠区域对捕捉到的相应视场的视频图像数据进行裁剪和变形，以形成相应经处理的视频图像数据。经处理的视频图像数据可以经由多个数据块链路上传到云服务器并提供至客户端设备。

Description

用于直播流化的虚拟现实360度视频相机***
相关申请的交叉引用
本申请是2016年6月7日提交的第62/347,077号美国临时专利申请的非临时申请，该临时专利申请的内容通过引用合并于此。
背景技术
流式(Streaming)360度视频内容可以为虚拟现实(VR)和增强现实(AR)应用提供沉浸式环境。
发明内容
一方面，提供了一种成像***。成像***包括多个相机，被配置为基于环境的相应视场捕捉视频图像数据。多个相机中的每个相机经由通信接口通信地耦合到多个相机中的相邻相机。多个相机中的每个相机包括至少一个处理器和存储器。至少一个处理器执行存储在存储器中的指令以执行操作。操作包括捕捉相应视场的视频图像数据并确定重叠区域。重叠区域包括由相应相机和至少一个相邻相机捕捉的视频图像数据的重叠部分。操作还包括基于重叠区域对捕捉到的相应视场的视频图像数据进行裁剪(cropping)和变形(warping)，以形成相应经处理的视频图像数据。
一方面，提供了一种方法。该方法包括接收与成像***的多个相机中的相应相机相关联的经处理的视频图像数据。多个相机中的每个相机被配置为捕捉环境的相应视场的视频图像。经处理的视频图像数据包括基于重叠区域被裁剪和变形的视频图像数据。重叠区域包括由多个相机中的至少两个相邻相机捕捉的视频图像数据的重叠部分。该方法还包括经由多个通信链路向客户端设备提供流式视频(streamed video)。流式视频基于经处理的视频图像数据。
一方面，提供了一种***。该***包括用于执行本文描述的其他相应方面的操作的各种装置。
通过阅读以下详细描述并参考适当的附图，这些以及其他实施例、方面、优点和替代方案对于本领域普通技术人员将变得显而易见。此外，应该理解的是，本发明内容以及本文提供的其他描述和附图旨在仅通过示例的方式说明实施例，并且如此一来，许多变型是可能的。例如，结构元件和处理步骤可以重新排列、组合、分配、消除或以其他方式改变，同时保持在所要求保护的实施例的范围内。
附图说明
图1示出了传统的虚拟现实360°视频流化管线(streaming pipeline)。
图2示出了传统的虚拟现实360°视频流化管线。
图3示出了传统的虚拟现实360°视频流化管线。
图4示出了传统的虚拟现实360°视频流化管线。
图5示出了根据示例实施例的分布式虚拟现实360°视频捕捉、处理和流化***。
图6示出了根据示例实施例的***。
图7示出了根据示例实施例的具有分离的相机的***。
图8示出了根据示例实施例的几何相机布置。
图9A和9B示出了根据示例实施例的单元间连接。
图10示出了根据示例实施例的邻近相机单元中的变形和裁剪。
图11A和11B示出了根据示例实施例的通过估计深度图来对图像帧变形和裁剪。
图12示出了根据示例实施例的通过图形切割对图像帧的变形和裁剪。
图13示出了根据示例实施例的从捕捉到消费的直播流。
图14示出了根据示例实施例的从捕捉到消费的直播流。
具体实施方式
本文描述了示例方法、设备和***。应当理解，词语“示例”和“示例性”在本文中用于表示“用作示例、实例或说明”。本文中描述为“示例”或“示例性”的任何实施例或特征并不必要被解释为比其他实施例或特征更优选或更具优势。在不脱离本文提出的主题的范围的情况下，可以利用其他实施例，并且可以进行其他改变。
因此，本文描述的示例实施例不意味着限制。如在此一般描述的和在附图中示出的本公开的各方面可以以各种不同的配置来布置、替换、组合、分离和设计，所有这些都在本文中考虑到。
此外，除非上下文另有所指，否则每个附图中示出的特征可以彼此组合使用。因此，附图通常应被视为一个或多个整体实施例的组成方面，应理解并非所有示出的特征对于每个实施例都是必需的。
I.概述
虚拟现实(VR)360°视频从生产到消费具有很长的管线(pipeline)。图1示出了传统的虚拟现实360°视频流化管线100。(1)它以VR 360°相机开始，该相机通常由多个相机组成。这些相机安装在装备(rig)上，并且每个相机布置成捕捉不同的视角。这些相机包括重叠的视场(FOV)，以通过图像拼接(stitch)覆盖整个360×180度的球形视图。(2)将来自每个相机的数据读入到处理单元中，该处理单元将多个视频流对齐并拼接成一个360°流；(3)然后可以编辑该360°流；(4)然后对经编辑的视频进行编码并上传到云端；(5)然后该视频在云端被转码并准备好流化；(6)视频内容被分发至客户端；(7)客户端应用接收该内容并为最终用户渲染/显示它们。
在实际实现中，该管线可能会分成几个组件。例如，图2示出了传统的虚拟现实360°视频流化管线200，其由A.360°相机、B.强大的计算机、C.强大的云服务器、以及D.VR头盔或智能电话构成。在此配置中，强大的计算机(C)做了大量繁重的工作，从拼接、编辑、编码到上传。请注意，计算机从360°相机接收巨大量的数据，拼接和编码的计算成本是高昂的，本地存储必须足够大以容纳大数据，并且需要花费大量时间和带宽将经处理的视频上传到因特网中的云端。由于这些困难，使得此计算机必须是超级强大的(快速I/IO、大量内存、快速CPU或GPU、以及快速的因特网连接)，这是昂贵的。更重要的是，虽然360°相机可以为了更高的质量而轻松扩展以包含更多的相机，但相应地扩展该强大的计算机是困难的。因此，此解决方案通常对于直播流化而言无法足够快速地处理数据。
图3示出了传统的虚拟现实360°视频流化管线300，其中编码和上传是用(一个或多个)专用设备完成的，并且该强大的计算机仅处理视频编辑和拼接。但同样，随着360°相机的扩展，拼接可能对于直播流化而言无法足够快速地完成；并且另外，一个专用设备可能无法实时地编码高分辨率(例如4K、8K、12K)视频。
另一个传统的虚拟现实360°视频流化管线400如图4所示。拼接和编码是用360°相机中的硬件解决方案完成的，该强大的计算机进行进一步编辑和编码(如果需要的话)并上传最终结果。在这种配置中，VR相机中的工作通常非常繁重，以至于经常不得不牺牲视频质量和分辨率。
我们针对VR 360°视频捕捉和直播流化提出分布式架构。图5示出了根据示例实施例的分布式虚拟现实360°视频捕捉、处理和流化***500。***的每个相机都集成有处理器(CPU、GPU)、储存体和传输单元。因此，每个相机可以合并到集成模块中。该模块可以被配置为针对小的FOV执行图像捕捉、变形、拼接、编辑、编码、转码、上传。此VR 360°视频相机***由K个集成相机模块组成。这些模块彼此通信以获得最佳拼接，并且可以并行执行操作。
由于来自每个集成相机模块的视频都经过了仔细的变形和裁剪，因此无需再对齐来将它们拼接在一起。可以选择以相对低的计算成本在云端将所有视频拼接在一起，或者选择在最终显示设备(例如，VR头盔、智能电话等)上的渲染期间将它们拼接。
II.示例***
A.集成相机单元
在一个实施例中，相机、处理器、储存体和传输模块的集成单元可以制成一个模块，如图6所示。即，图6示出了根据示例实施例的***600。
在另一个实施例中，相机可以与其他组件在物理上分离，如图7所示。图7示出了根据示例实施例的具有分离的相机的***700。这样的布置可以使得更容易将相机附接到VR360°相机装备上的正确位置。
每个相机单元还可以包括麦克风，使得所有相机单元一起能够在不同方向上记录和流化声音。
B.VR 360°相机***的几何结构
VR 360°相机***可由各种数量的相机构成。这些相机可以以各种方式几何布置，以覆盖期望的FOV。图8示出了根据示例实施例的几何相机布置800。图8示出了覆盖完整球形的视野的14个相机单元的示例性几何布置。上部的相机1(平面1)面向上，并用鱼眼镜头覆盖100°×100°的FOV。平面2中的相机2-7面向外，并覆盖50°×360°的FOV的圆柱视野，其中的每个视野覆盖50°×65°的FOV，在连续(例如，邻近和/或相邻的)相机之间具有5°水平重叠。***的下半部分(例如，相机8-14)可以相对于上半部分对称。
如果期望小于球形的FOV，或者如果每个单独的相机具有更大的FOV，则可以实现更少的相机。如果期望相机之间的更多重叠(例如，为了更容易拼接、更多冗余)，或者如果每个单独相机具有更小的FOV，则可以实现更多的相机。
在示例实施例中，可以沿每个平面(例如，在每个视点处)布置一对相机，以为每个视野提供立体视图。
另外，尽管本公开提供了涉及360°视频的示例，但是可以应用相同的方法和***来提供具有小于360°的视场的视频。
C.相机单元之间的互连
在所提出的VR 360°相机***中，每个相机单元以以下方式处理视频帧：来自不同相机单元的输出帧可以被直接拼接以形成球形视图，或者可以被拼接以形成需少量进一步处理的球形视图。在这种情况下，每个相机需要从其相邻相机单元(例如，相邻相机)接收信息，以执行图像处理(例如，变形和/或裁剪)。
在一个实施例中，这些相机单元经由有线或无线通信接口(例如，蓝牙、蓝牙低功耗、WiFi或其他类型的通信协议)彼此直接连接，如图9A所示。图9A示出了单元间(inter-unit)连接。在另一个实施例中，每个相机单元可以经由有线或无线通信接口连接到中央集线器(hub)设备，如图9B所示。该互连允许相机单元在运行时交换用于每个相机单元上的相应图像处理的信息。
在一个实施例中，可以预校准每个相机的几何位置，这可以避免运行时期间相机之间的通信。这以拼接质量为代价简化了***。例如，高质量的拼接是相机的几何布置以及成像对象的空间位置两者的结果。
电池可以包含也可以不包含在集成单元中。例如，成像***可以是外部供电的。附加地或替代地，电池可以为成像***提供一些或全部电力。
在示例实施例中，网络设备可以合并在VR相机***与云服务器之间的通信链路和硬件架构中，以便加速或帮助促进上传过程。
III.示例方法
A.相机同步
所提出的VR 360°相机***中的每个相机单元捕捉球形视野的一部分。为将来自每个相机的图像一起拼接成360°图像帧(和360°视频)，需要同步每个相机单元中的图像捕捉。可以基于相机之间的通信，来同步相机***时钟。附加地或替代地，可以在相机捕捉视频的同时，发射同步闪光。在这种情况下，可以通过从相应视频数据中找到捕捉了该同步闪光的帧，来同步相机。附加地或替代地，可以通过分析最终视频片段(clip)(例如，通过在相同时间停止相机的视频捕捉)，来同步相机。
如果所有相机都是同步的，则对于任何给定时间t，在目标360°视频中，可以在每个视频片段上定位最接近t的一帧，并且将它们拼接在一起。这里可以在时间维度中使用线性插值，从而得到更好的平滑度。
B.用于视频拼接的变形和裁剪
1.背景
视频拼接难度可以源于：1)镜头失真；以及2)相机之间的视场视差(disparity)。镜头失真可以通过相机校准很大程度地校正，这可以在运行时之前或在运行时完成。相机视差是依赖于场景的，并且可以使用视频正被捕捉时的相机重叠来解决。
来自一个相机单元的帧与来自其相邻相机单元的那些帧重叠。图10示出了来自不同相机单元的两个帧。重叠的区域使用红色矩形标记。这些重叠区域被用于对帧进行变形和裁剪。一旦对各个帧执行了这种变形和/或裁剪，就可以无缝地对帧进行拼接，如图所示。
可以以各种方式传输重叠区域的信息。1)可以向其相邻相机单元传输最大可能的重叠区域(如图10中的红色矩形所示)；2)可以检测这些区域中的特征点(例如，尺度不变特征变换(SIFT)点)，并将这些特征点传输到其相邻的相机单元；3)可以传输像素的重叠区域和检测到的特征点两者；4)可以对于每个帧、或帧的周期性或非周期性间隔，来传输这些信息。例如，响应于捕捉的场景改变了阈值量(例如，基于图像直方图或另一图像度量)和/或已知重叠区域附近的特征移动了超过阈值距离，可以将关于重叠区域的信息传输到相邻相机。
2.每个相机单元的视频变形和裁剪
图11A和11B示出了根据示例实施例的通过估计深°图来对图像帧进行变形和裁剪。图11A和11B示出了2D视野中的示例，其中五个相机在360°视野中均匀分布，每个相机覆盖90°FOV。在一种方法中，每个相机单元负责产生来自中心点的视点(point of view)的最终的72°的图像，使得对来自五个相机的所有帧进行组合产生了来自单个视点O的一个360°的帧。在校准期间，预先确定每个相机单元负责的FOV。
如图11B所示，利用来自视点A的图像F1和分别来自相邻相机的来自点B和C的图像F2和F3，存在各种方式产生来自单个视点O的图像，示例处理如图11B所示：
1.在F1与F2之间，计算F1最右边的像素P1的视差，然后推断出该像素的深度。
2.在F1与F3之间，计算F1最左边的像素P2的视差，然后推断出该像素的深度。
3.估计F1中其他像素的深度，使用P1和P2的深度的线性插值。
4.随着每个像素的深度被估计，我们可以将F1重映射到对于视点O的目标72°。
不需要明确地计算出深度以产生目标图像。另一示例性解决方案如图12所示。图12示出了根据示例实施例的通过图形切割(cut)对图像帧的变形和裁剪。
1.对于来自点A的每一帧(2)，取可能重叠的区域。例如，来自视点C和A的区域W和U、以及来自视点A和B的区域P和Q。
2.对于每对重叠区域，找到使W与U之间、以及P与Q之间的不连续性最小化的最佳切割，如(4)和(5)所示。在文献中已经提出了许多图形切割算法。
3.如(6)所示，从帧1裁剪掉区域W和区域Q，然后将其余区域水平地变形成图像的矩形。
4.实际上，每个帧可以与其相邻的相机具有四个重叠区域。结果，可以在四个方向上裁剪帧1，如(7)所示的W、V、Q、Y。然后将其余区域水平地和垂直地变形为最终的矩形图像。
5.来自所有相机的经裁剪和变形的帧将覆盖整个球形视野，具有减少量的拼接伪影(artifact)。
在一个实施例中，对于时间平滑性，当在重叠区域之间找到最佳切割时，可以提出额外的平滑约束(例如，执行边缘对齐、运动补偿、颜色/形状匹配、色调映射、曝光校正等)。
可以对于每个帧或对于帧的周期性或非周期性间隔，来完成该处理。可以基于图像处理周期之间的相应图像中的估计出的移动速率和/或其他变化，来内插该图形切割(例如，裁剪和变形)。
C.数据储存体
来自每个相机单元的视频数据可以立即保存到本地储存体，或者也可以在保存到本地储存体之前首先被裁剪和变形(如之前部分中所描述的)。
在保存到本地储存体中的一个文件之前，还可以对视频数据进行编码(例如，H.264、VP8、VP9等)。视频数据还可以被编码成本地储存体中的一系列小的数据块文件(trunk file)，用于以后的流化(例如，HLS、DASH)。
D.视频数据上传和直播流
无论是否保存到本地储存体，经处理的视频数据都可以实时上传到云端。对于如图13所示的示例，随着视频数据被编码成小的数据块，每个数据块可以立即上传到云端。图13示出了根据示例实施例的从捕捉到消费的直播流1300。
在这种情况下，云端能够经由各种流协议(例如，HLS、DASH等)向多个用户广播。
注意，VR 360°相机***由许多相机单元构成。每个单元将一个数据流上传到云端，如图13所示。可以在云端流服务器中创建元数据，以描述VR 360°相机***的几何信息和其他视频元数据(例如，帧速率、分辨率、视频格式、视频/音频编解码器等)。
1.客户端应用上的流和拼接
客户端设备上的应用首先从流服务器抓取元数据，然后连接到所有所需的视频数据块列表。该应用被设计为根据需要对所需的视频数据块进行流化和同步、将它们拼接在一起、渲染到屏幕，从而为最终用户提供VR 360°视频。在2016年4月8日提交的第62/320,451号美国临时专利申请中描述了一种可能的应用解决方案。
2.在云端上拼接，然后流化到客户端应用
还可以在云端上拼接来自的所有相机单元的视频数据。由于所有数据在上传之前已经被对齐，因此拼接的计算量相对较低并且可以实时完成。在拼接之后，拼接后的视频数据看起来是常规视频流，其可以经由常规流化协议(例如，HLS、DASH等)流化到客户端设备。
3.结合云拼接和客户端拼接
还可以在云端上拼接低分辨率360°视频，并在客户端应用中拼接高分辨率360°视频。为了节省云端上的计算，VR 360°相机***中的每个相机单元可以向云端上传两个系列的数据块，一个高分辨率数据块和一个低分辨率数据块，如图14所示。图14示出了根据示例实施例的从捕捉到消费的直播流1400。
图中所示的特定布置不应视为限制。应该理解的是，其他实施例可以包括给定附图中所示的每个元件的更多或更少。此外，可以组合或省略一些所示元件。此外，说明性实施例可包括图中未示出的元件。
表示信息处理的步骤或块可以对应于可以被配置为执行本文描述的方法或技术的特定逻辑功能的电路。替代地或另外地，表示信息处理的步骤或块可以对应于模块、段或程序代码的一部分(包括相关数据)。程序代码可以包括可由处理器执行的一个或多个指令，用于实现方法或技术中的特定逻辑功能或动作。程序代码和/或相关数据可以存储在任何类型的计算机可读介质上，例如包括磁盘、硬盘驱动器或其他存储介质的存储设备。
计算机可读介质还可以包括非暂时性计算机可读介质，诸如计算机可读介质，其存储短时间段的数据，如寄存器存储器、处理器高速缓存和随机存取存储器(RAM)。计算机可读介质还可以包括非暂时性计算机可读介质，其存储程序代码和/或数据更长的时间段。因此，计算机可读介质可以包括二级或持久长期存储，例如只读存储器(ROM)、光盘或磁盘、光盘只读存储器(CD-ROM)。计算机可读介质还可以是任何其他易失性或非易失性存储***。计算机可读介质可以被认为是计算机可读存储介质，例如有形存储设备。
虽然已经公开了各种示例和实施例，但是其他示例和实施例对于本领域技术人员而言将是显而易见的。各种公开的示例和实施例是出于说明的目的而不是限制性的，真实范围由所附权利要求指示。

Claims (21)

1.一种成像***，包括：
多个相机，被配置为基于环境的相应视场捕捉视频图像数据，其中所述多个相机中的每个相机经由一个或多个通信接口通信地耦合到所述多个相机中的相邻相机，其中所述多个相机中的每个相机包括至少一个处理器和存储器，其中所述至少一个处理器执行存储在存储器中的指令以便执行操作，所述操作包括：
捕捉相应视场的视频图像数据；
确定重叠区域，其中所述重叠区域包括由相应相机和至少一个相邻相机捕捉的视频图像数据的重叠部分；以及
基于所述重叠区域对捕捉到的相应视场的视频图像数据进行裁剪和变形，以形成相应经处理的视频图像数据。
2.根据权利要求1所述的成像***，其中确定所述重叠区域包括经由所述通信接口从至少一个相邻相机接收重叠信息。
3.根据权利要求1所述的成像***，其中所述操作还包括经由所述通信接口向至少一个相邻相机传输指示所述重叠区域的信息。
4.根据权利要求1所述的成像***，其中所述操作还包括实时地将所述经处理的视频图像数据上传到服务器。
5.根据权利要求1所述的成像***，其中所述操作还包括：
经由所述通信接口接收指示时间参考的信息；以及
基于所述时间参考进行至少一个操作。
6.根据权利要求5所述的成像***，其中所述操作还包括：在捕捉视频图像数据的同时，捕捉环境的视场中的同步闪光，其中所述时间参考包括所述同步闪光。
7.根据权利要求5所述的成像***，其中所述操作还包括：在捕捉视频图像数据的同时，中断所述多个相机中的每个相机的视频图像数据捕捉，其中所述时间参考包括相应最终视频图像数据帧的至少一个时间戳。
8.根据权利要求1所述的成像***，其中所述操作还包括确定视频图像数据的重叠部分内的重叠像素的部分，其中确定所述重叠区域是基于所述重叠像素的部分。
9.根据权利要求1所述的成像***，其中所述操作还包括确定视频图像数据的重叠部分内的至少一个图像特征点，其中确定所述重叠区域是基于所述图像特征点。
10.根据权利要求9所述的成像***，其中所述至少一个图像特征点包括至少一个结构不变函数转移(SIFT)点。
11.根据权利要求1所述的成像***，其中所述成像***包括具有十四个面的三维物体，并且其中所述多个相机包括沿每个面布置的至少一个相机。
12.根据权利要求1所述的成像***，其中所述多个相机中的每个相机包括至少一个麦克风。
13.一种方法，包括：
接收与成像***的多个相机中的相应相机相关联的经处理的视频图像数据，其中所述多个相机中的每个相机被配置为捕捉环境的相应视场的视频图像，其中所述经处理的视频图像数据包括基于重叠区域被裁剪和变形的视频图像数据，其中所述重叠区域包括由所述多个相机中的至少两个相邻相机捕捉的视频图像数据的重叠部分；以及
经由多个通信链路向客户端设备提供流式视频，其中所述流式视频是基于所述经处理的视频图像数据。
14.根据权利要求13所述的方法，还包括拼接所述经处理的视频图像数据的低分辨率表示以提供低分辨率360度视频图像数据，其中所述流式视频包括所述低分辨率360度视频图像数据。
15.根据权利要求13所述的方法，还包括拼接所述经处理的视频图像数据以提供高分辨率360度视频图像数据，其中所述流式视频包括所述高分辨率360度视频图像数据。
16.根据权利要求13所述的方法，还包括向所述客户端设备提供元数据，其中所述元数据包括关于与所述成像***相关联的多个相机的几何布置的信息。
17.根据权利要求13所述的方法，其中所述流式视频根据流化通信协议来提供，其中所述流化通信协议包括HTTP直播流化(HLS)或HTTP上的动态活动流化(DASH)中的至少一种。
18.根据权利要求13所述的方法，还包括：
接收指示时间参考的信息；以及
基于所述时间参考来拼接来自相邻视场的经处理的视频图像数据。
19.根据权利要求18所述的方法，其中拼接所述经处理的视频图像数据包括基于所述时间参考将经处理的视频图像与邻近的经处理的视频图像的时间内插表示进行拼接。
20.根据权利要求13所述的方法，其中所述客户端设备被配置为拼接所述流式视频的至少一部分以便提供360度视频图像数据。
21.根据权利要求13所述的方法，其中接收所述经处理的视频图像数据由云服务器***执行。
CN201780042769.1A 2016-06-07 2017-06-07 用于直播流化的虚拟现实360度视频相机*** Expired - Fee Related CN109863754B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662347077P 2016-06-07 2016-06-07
US62/347,077 2016-06-07
PCT/US2017/036385 WO2017214291A1 (en) 2016-06-07 2017-06-07 Virtual reality 360-degree video camera system for live streaming

Publications (2)

Publication Number Publication Date
CN109863754A true CN109863754A (zh) 2019-06-07
CN109863754B CN109863754B (zh) 2021-12-28

Family

ID=60482419

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780042769.1A Expired - Fee Related CN109863754B (zh) 2016-06-07 2017-06-07 用于直播流化的虚拟现实360度视频相机***

Country Status (5)

Country Link
US (1) US10652517B2 (zh)
EP (1) EP3466080A4 (zh)
JP (1) JP6742444B2 (zh)
CN (1) CN109863754B (zh)
WO (1) WO2017214291A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581364A (zh) * 2019-09-30 2021-03-30 西安诺瓦星云科技股份有限公司 图像处理方法及装置、视频处理器
CN114556912A (zh) * 2019-10-17 2022-05-27 株式会社东海理化电机制作所 图像处理装置和图像处理程序

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018067728A1 (en) * 2016-10-04 2018-04-12 Livelike Inc. Picture-in-picture base video streaming for mobile devices
CN107967665B (zh) * 2016-10-20 2021-07-13 株式会社理光 图像处理方法和图像处理装置
CN108153412A (zh) * 2017-12-11 2018-06-12 虚拟现实(深圳)智能科技有限公司 局域网vr直播方法及***
US11055348B2 (en) * 2017-12-29 2021-07-06 Facebook, Inc. Systems and methods for automatically generating stitched media content
GB2570298A (en) * 2018-01-17 2019-07-24 Nokia Technologies Oy Providing virtual content based on user context
CN108858187B (zh) * 2018-06-01 2021-12-28 南京理工大学 一种带电接搭引流线作业现场的快速重构方法
US10623791B2 (en) 2018-06-01 2020-04-14 At&T Intellectual Property I, L.P. Field of view prediction in live panoramic video streaming
US10812774B2 (en) 2018-06-06 2020-10-20 At&T Intellectual Property I, L.P. Methods and devices for adapting the rate of video content streaming
US10616621B2 (en) 2018-06-29 2020-04-07 At&T Intellectual Property I, L.P. Methods and devices for determining multipath routing for panoramic video content
US11019361B2 (en) 2018-08-13 2021-05-25 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic view of a camera for capturing video content
US10708494B2 (en) 2018-08-13 2020-07-07 At&T Intellectual Property I, L.P. Methods, systems and devices for adjusting panoramic video content
KR102613098B1 (ko) * 2019-01-23 2023-12-12 한화비전 주식회사 이미지 센서 모듈
CN110113629B (zh) * 2019-04-22 2021-07-27 山西共致科技有限公司 一种照片直播***及其方法
US20220360865A1 (en) * 2019-07-03 2022-11-10 Beijing Xiaomi Mobile Software Co., Ltd. Method, system and apparatus for building virtual reality environment
KR102295264B1 (ko) 2019-11-28 2021-08-30 주식회사 알파서클 하나의 스트리밍영상을 이용하여 복수의 가상현실영상을 재생하는 가상현실영상재생장치 및 방법
CN116406461B (zh) * 2020-10-13 2023-10-20 弗莱瑞尔公司 通过自动分析传感器数据生成物理结构和环境的测量结果
US11483368B1 (en) 2021-07-06 2022-10-25 City University Of Hong Kong Video streaming method and system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
US20110199372A1 (en) * 2010-02-15 2011-08-18 Sony Corporation Method, client device and server
US20130141526A1 (en) * 2011-12-02 2013-06-06 Stealth HD Corp. Apparatus and Method for Video Image Stitching
CN103501409A (zh) * 2013-10-01 2014-01-08 中国人民解放军国防科学技术大学 一种超高分辨率全景高速球一体机***
US20140375759A1 (en) * 2013-06-25 2014-12-25 Omnivision Technologies, Inc. Method And Apparatus For Distributed Image Processing In Cameras For Minimizing Artifacts In Stitched Images
WO2016024892A1 (en) * 2014-08-13 2016-02-18 Telefonaktiebolaget L M Ericsson (Publ) Immersive video
US20170048464A1 (en) * 2015-08-14 2017-02-16 Vivotek Inc. Multi-lens camera and monitoring system

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3530652B2 (ja) * 1995-09-26 2004-05-24 キヤノン株式会社 画像合成方法及び画像合成装置
JP2001204015A (ja) * 2000-01-18 2001-07-27 Sony Corp 周囲カメラ・システム、周囲カメラの撮像画像に基づいて周囲画像を生成する方法、隣接カメラによる撮像画像の接続処理装置及び方法、並びに、隣接カメラを用いた距離測定装置及び方法
US20040100443A1 (en) * 2002-10-18 2004-05-27 Sarnoff Corporation Method and system to allow panoramic visualization using multiple cameras
US7428000B2 (en) * 2003-06-26 2008-09-23 Microsoft Corp. System and method for distributed meetings
JP4606989B2 (ja) * 2005-10-07 2011-01-05 富士フイルム株式会社 撮影装置
US7697839B2 (en) * 2006-06-30 2010-04-13 Microsoft Corporation Parametric calibration for panoramic camera systems
JP4345829B2 (ja) * 2007-03-09 2009-10-14 ソニー株式会社 画像表示システム、画像表示装置、画像表示方法およびプログラム
US8724007B2 (en) * 2008-08-29 2014-05-13 Adobe Systems Incorporated Metadata-driven method and apparatus for multi-image processing
WO2010052550A2 (en) * 2008-11-05 2010-05-14 Easywalk Capital S.A. System and method for creating and broadcasting interactive panoramic walk-through applications
US8237771B2 (en) * 2009-03-26 2012-08-07 Eastman Kodak Company Automated videography based communications
WO2010124074A1 (en) * 2009-04-22 2010-10-28 Terrence Dashon Howard System for merging virtual reality and reality to provide an enhanced sensory experience
WO2011091604A1 (zh) * 2010-01-29 2011-08-04 华为终端有限公司 视频通信的方法、装置和***
KR101335391B1 (ko) * 2010-04-12 2013-12-03 한국전자통신연구원 영상 합성 장치 및 그 방법
KR101776702B1 (ko) * 2011-03-25 2017-09-08 한화테크윈 주식회사 3차원 영상을 생성하는 감시 카메라 및 그 방법
US8792405B2 (en) * 2011-11-15 2014-07-29 Verizon Patent And Licensing Inc. Adaptive bandwidth for media content
US20130250040A1 (en) * 2012-03-23 2013-09-26 Broadcom Corporation Capturing and Displaying Stereoscopic Panoramic Images
DE102012205902A1 (de) * 2012-04-11 2013-10-17 Tyco Electronics Amp Gmbh Weggeber zum berührungslosen Messen einer Position mittels einer Vielzahl von in Reihe angeordneten Magnetfeldsensoren
US9204041B1 (en) * 2012-07-03 2015-12-01 Gopro, Inc. Rolling shutter synchronization
US9241103B2 (en) * 2013-03-15 2016-01-19 Voke Inc. Apparatus and method for playback of multiple panoramic videos with control codes
US9369662B2 (en) * 2013-04-25 2016-06-14 Microsoft Technology Licensing, Llc Smart gallery and automatic music video creation from a set of photos
US20150095964A1 (en) * 2013-10-01 2015-04-02 Opentv, Inc. Bumper video carousel for digital video delivery
US20150138311A1 (en) * 2013-11-21 2015-05-21 Panavision International, L.P. 360-degree panoramic camera systems
US20150316835A1 (en) * 2014-05-01 2015-11-05 Ryan Douglas Scott Camera positioning and mounting apparatus
US20150346812A1 (en) * 2014-05-29 2015-12-03 Nextvr Inc. Methods and apparatus for receiving content and/or playing back content
US10257494B2 (en) 2014-09-22 2019-04-09 Samsung Electronics Co., Ltd. Reconstruction of three-dimensional video
US20160094810A1 (en) * 2014-09-30 2016-03-31 Verizon Patent And Licensing Inc. System and method for providing neighborhood services through networked cameras
JP6004071B2 (ja) * 2015-11-06 2016-10-05 カシオ計算機株式会社 表示制御装置、表示制御方法及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101146231A (zh) * 2007-07-03 2008-03-19 浙江大学 根据多视角视频流生成全景视频的方法
US20110199372A1 (en) * 2010-02-15 2011-08-18 Sony Corporation Method, client device and server
US20130141526A1 (en) * 2011-12-02 2013-06-06 Stealth HD Corp. Apparatus and Method for Video Image Stitching
US20140375759A1 (en) * 2013-06-25 2014-12-25 Omnivision Technologies, Inc. Method And Apparatus For Distributed Image Processing In Cameras For Minimizing Artifacts In Stitched Images
CN103501409A (zh) * 2013-10-01 2014-01-08 中国人民解放军国防科学技术大学 一种超高分辨率全景高速球一体机***
WO2016024892A1 (en) * 2014-08-13 2016-02-18 Telefonaktiebolaget L M Ericsson (Publ) Immersive video
US20170048464A1 (en) * 2015-08-14 2017-02-16 Vivotek Inc. Multi-lens camera and monitoring system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
张洋，李庆忠等: "一种多摄像机全景视频图像快速拼接算法", 《光电子·激光》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112581364A (zh) * 2019-09-30 2021-03-30 西安诺瓦星云科技股份有限公司 图像处理方法及装置、视频处理器
CN112581364B (zh) * 2019-09-30 2024-04-09 西安诺瓦星云科技股份有限公司 图像处理方法及装置、视频处理器
CN114556912A (zh) * 2019-10-17 2022-05-27 株式会社东海理化电机制作所 图像处理装置和图像处理程序

Also Published As

Publication number Publication date
JP6742444B2 (ja) 2020-08-19
JP2019524020A (ja) 2019-08-29
CN109863754B (zh) 2021-12-28
EP3466080A4 (en) 2020-01-08
US10652517B2 (en) 2020-05-12
WO2017214291A1 (en) 2017-12-14
US20170352191A1 (en) 2017-12-07
EP3466080A1 (en) 2019-04-10

Similar Documents

Publication Publication Date Title
CN109863754A (zh) 用于直播流化的虚拟现实360度视频相机***
US9930238B2 (en) Image stitching
US9973694B1 (en) Image stitching to form a three dimensional panoramic image
JP6021541B2 (ja) 画像処理装置及び方法
JP5596146B2 (ja) トランスポート・プロトコルに従って３次元ビデオデータをカプセル化すること
US20140241576A1 (en) Apparatus and method for camera tracking
US20130063549A1 (en) Systems and methods for converting video
KR20130107840A (ko) 실감 파노라마 영상 생성을 위한 3ｄ 데이터 포맷 생성／소비 장치 및 방법
WO2020004013A1 (ja) 画像処理装置および画像処理方法
WO2019198501A1 (ja) 画像処理装置、画像処理方法、プログラム、および画像伝送システム
KR20120078949A (ko) 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체
JP7344988B2 (ja) ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品
US9208549B2 (en) Method and apparatus for color transfer between images
WO2020179473A1 (ja) 画像処理装置、画像生成方法、および、画像処理方法
Eisert et al. Volumetric video–acquisition, interaction, streaming and rendering
KR102019879B1 (ko) 가상 카메라를 이용한 게임 내 360 vr 영상 획득 장치 및 방법
KR101920113B1 (ko) 임의시점 영상생성 방법 및 시스템
Kovacs et al. 3D capturing using multi-camera rigs, real-time depth estimation and depth-based content creation for multi-view and light-field auto-stereoscopic displays
US20210037230A1 (en) Multiview interactive digital media representation inventory verification
US11272209B2 (en) Methods and apparatus for determining adjustment parameter during encoding of spherical multimedia content
Hu et al. A multi-user oriented live free-viewpoint video streaming system based on view interpolation
WO2024014197A1 (ja) 映像処理装置、映像処理方法およびプログラム
KR20190072742A (ko) 캘리브레이션된 멀티 카메라 입력 기반 실시간 초다시점 중간시점 영상 합성 방법 및 시스템
JP2022553846A (ja) 任意ビューの生成
Duchêne et al. A stereoscopic movie player with real-time content adaptation to the display geometry

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211228

CF01 Termination of patent right due to non-payment of annual fee