CN110651482B - 发信isobmff的球面区域信息的方法和装置 - Google Patents

发信isobmff的球面区域信息的方法和装置 Download PDF

Info

Publication number
CN110651482B
CN110651482B CN201880022454.5A CN201880022454A CN110651482B CN 110651482 B CN110651482 B CN 110651482B CN 201880022454 A CN201880022454 A CN 201880022454A CN 110651482 B CN110651482 B CN 110651482B
Authority
CN
China
Prior art keywords
spherical
track
region
visual
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880022454.5A
Other languages
English (en)
Other versions
CN110651482A (zh
Inventor
王新
陈鲁林
赖柏霖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN110651482A publication Critical patent/CN110651482A/zh
Application granted granted Critical
Publication of CN110651482B publication Critical patent/CN110651482B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Library & Information Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频处理方法包括：接收虚拟现实内容；编码从该虚拟现实内容获得的视频数据，以生成一部分已编码的比特流；以及将该部分已编码的比特流封装成至少一个国际标准化组织基本媒体文件格式的文件。在一个示例性实施方式中，该国际标准化组织基本媒体文件格式的文件可以包括与球面视觉轨道关联的时变元数据轨道，其中该时变元数据轨道被设置以发信关联的该球面数据轨道包含自至少一个区域视觉轨道所组成的至少一个球面区域。在另一个示例性的实施方式中，该国际标准化组织基本媒体文件格式的文件可以包括与区域视觉轨道关联的时变元数据轨道，其中该时变元数据轨道被设置以发信关联的该区域视觉轨道组成承载在至少一个球面视觉轨道中的至少一个球面区域。此外，本发明还提供相关的视频处理装置。

Description

发信ISOBMFF的球面区域信息的方法和装置
交叉申请
本申请要求2017年3月30日提交的申请号为62/478,676的美国临时申请的权益，其以引用的方式并入此处。
技术领域
本发明涉及处理虚拟现实内容(virtual reality，VR)，特别是涉及一种发信国际标准化组织基本媒体文件格式(ISO Base Media File Format，ISOBMFF)的球面区域信息的方法和装置。
背景技术
最近，虚拟现实已得到主要由消费设备的目前市场可用性所驱动的重点关注，例如，头戴式显示器(head-mounted display，HMD)。具有头戴式显示器的虚拟现实与不同应用程序相关。向用户显示宽领域的视图内容的能力可用于提供身临其境的视觉体验。现实世界的环境必须在所有方向上被捕捉，得到全向虚拟现实内容。随着摄像机装置和头戴式显示器的进步，因为表示这种360度内容所需的较高比特率，全向虚拟现实内容的传输可能很快成为瓶颈。
近些年，如由大型行业参与所证明，围绕虚拟现实已存在大量的活动。例如，由于期望消费者关于虚拟现实的头戴式显示器的日益普及将导致虚拟现实内容的增长需求，各个公司也已经开始研发全向摄像机以允许获取360°内容。但是，适当标准的缺乏，以及相应的降低的互操作性将变成一个问题。因此，运动图像专家组(Moving Picture ExpertsGroup，MPEG)已经启动了一个称为全向媒体应用格式(Omnidirectional MediaApplication Format，OMAF)的项目，其旨在标准化360°音频-视频内容的存储和传输格式。在OMAF的上下文中，存储和传输格式是基于国际标准化组织基本媒体文件格式。然而，关于虚拟现实内容存储和传输的开发标准，还存在很大改进空间。
发明内容
所要求保护的本发明的目的之一是，提供一种发信用于国际标准化组织基本媒体文件格式的球面区域信息的方法和装置。
根据本发明的第一方面，公开了一种示例性的视频处理方法。示例性的视频处理方法包括：接收虚拟现实内容；编码从虚拟现实内容获得的视觉数据，以生成一部分已编码的比特流；由文件封装电路将部分已编码的比特流封装成至少一个国际标准化组织基本媒体文件格式的文件，其中，至少一个国际标准化组织基本媒体文件格式的文件包括与球面视觉轨道关联的时变元数据轨道，且时变元数据轨道被设置以发信关联的球面视觉轨道包含自至少一个区域视觉轨道所组成的至少一个球面区域。
根据本发明的第二方面，公开了一种示例性的视频处理方法。示例性的视频处理方法包括：接收虚拟现实内容；编码从虚拟现实内容获得的视觉数据，以生成一部分已编码的比特流；由文件封装电路将部分已编码的比特流封装成至少一个国际标准化组织基本媒体文件格式的文件，其中，至少一个国际标准化组织基本媒体文件格式的文件包括与球面视觉轨道关联的时变元数据轨道，且时变元数据轨道被设置以发信关联的区域视觉轨道组成承载在至少一个球面视觉轨道中的至少一个球面区域。
根据本发明的第三方面，公开了一种示例性的视频处理方法。示例性的视频处理方法包括：接收至少一个国际标准化组织基本媒体文件格式的文件，其中虚拟现实内容透过至少一个国际标准化组织基本媒体文件格式的文件进行传输，至少一个国际标准化组织基本媒体文件格式的文件包括与球面视觉轨道关联的时变元数据轨道，且时变元数据轨道发信关联的球面视觉轨道包含自至少一个区域视觉轨道组成的至少一个球面区域；解封装至少一个国际标准化组织基本媒体文件格式的文件以获得一部分已编码的比特流和发信时变元数据轨道的元数据；根据元数据解码部分已编码的比特流；以及根据部分已编码的比特流的解码结果驱动显示屏。
根据本发明的第四方面，公开了一种示例性的视频处理方法。示例性的视频处理方法包括：接收至少一个国际标准化组织基本媒体文件格式的文件，其中虚拟现实内容透过至少一个国际标准化组织基本媒体文件格式的文件进行传输，至少一个国际标准化组织基本媒体文件格式的文件包括与区域视觉轨道关联的时变元数据轨道，且时变元数据轨道发信关联的区域视觉轨道组成承载在至少一个球面视觉轨道中的至少一个球面区域；解封装至少一个国际标准化组织基本媒体文件格式的文件以获得一部分已编码的比特流和发信时变元数据轨道的元数据；根据元数据解码部分已编码的比特流；以及根据部分已编码的比特流的解码结果驱动显示屏。
此外，与上述视频处理方法相关的视频处理装置被提供。
在阅读以下对各图及图式中所例示的优选实施例的详细发信之后，本发明的这些及其它目标无疑将对本领域技术人员显而易见。
附图发信
图1是根据本发明实施例的虚拟现实***的示意图。
图2是根据本发明实施例的球体上球面区域的第一形状类型的示意图。
图3是根据本发明实施例的球体上球面区域的第二形状类型的示意图。
图4是根据本发明实施例的主球面视觉轨道和球面区域元数据(metadata)轨道之间的关联(association)的示意图。
图5是根据本发明实施例的包含在承载在球面视觉轨道v中的球面视频内容中的单个球面区域的示意图。
图6是根据本发明实施例的与球面视觉轨道关联且以ISOBMFF进行封装的一个时变元数据轨道的示意图。
图7是根据本发明实施例的包含在承载在球面视觉轨道v中的球面视频内容中的多个球面区域的示意图。
图8是根据本发明实施例的与球面视觉轨道关联且以ISOBMFF进行封装的另一时变元数据轨道的示意图。
图9是根据本发明的实施例的与区域视觉轨道关联且以ISOBMFF进行封装的示意图。
图10是根据本发明实施例的用球面区域和区域视觉轨道本身的球面坐标和尺寸所定义的区域视觉轨道的组成(contribution)部分的示意图。
具体实施方式
本发信书及权利要求通篇中所用的某些用语指代特定部件。如本领域技术人员可以理解的是，电子设备制造商可利用不同名称来指代同一个部件。本文并非以名称来区分部件，而是以功能来区分部件。在以下发信书及权利要求中，用语“包括”是开放式的限定符语，因此其应被解释为意指“包括但不限于…”。另外，用语“耦合”旨在意指间接电连接或直接电连接。因此，当一个装置耦合到另一装置时，则这种连接可以是直接电连接或透过其他装置及连接部而实现的间接电连接。
图1是示出了根据本发明实施例的虚拟现实***的示意图。虚拟现实***100包括两个视频处理装置(例如，源电子设备102和目标电子设备104)。源电子设备102包括视频获取设备112，转换电路114，视频编码器116和文件封装电路118。视频获取设备112是提供虚拟现实内容(如全向虚拟现实内容)Bv的虚拟现实内容提供器。例如，视频获取设备112可以是用于获取不同方向上的场景Av的摄像机集合，从而覆盖整个环境的多个获取的图像由视频获取设备112产生。在其他一些实施例中，覆盖整个环境的多个获取的图像可以从多于一个源电子设备、多于一个视频获取设备或者至少一个源电子设备与至少一个视频获取设备的组合接收。在本实施例中，视频获取设备112可配备有视频缝合(stitching)能力。因此，由视频获取设备112的不同摄像机获取的内容可被缝合在一起以形成缝合图像。另外，缝合图像还可以被投影到三维(three-dimensional，3D)投影结构(如球体)上。因此，视频获取设备112可以提供在球体上的虚拟现实内容Bv。
转换电路114耦接在视频获取设备112和视频编码器116之间。转换电路114透过将视觉预处理应用到三维空间中的虚拟现实内容Bv，在二维(two-dimensional，2D)平面上生成图像Dv。当虚拟现实内容Bv对应于三维空间中的球体时，在转换电路114处所执行的视觉预处理可以包括投影和可选的区域式填充(region-wise packing)。因此，当可选的区域式填充不被应用到投影图像时，图像Dv可以是该投影图像，或者当可选的区域式填充被应用到投影图像时，图像Dv可以是填充图像。三维投影结构(如球体)上的虚拟现实内容Bv还可以透过360°虚拟现实投影格式被排列在二维投影图像上。例如，360°虚拟现实投影格式可以是等角投影(equirectangular projection，ERP)格式或立方体映像投影(cubemapprojection，CMP)格式。假设使用可选的区域式填充，则二维投影图像上的区域还被映像到二维填充图像上。区域式填充处理可在编码之前被应用于具有特定投影布局(如ERP布局或紧凑CMP布局)的投影图像。例如，投影图像被划分成多个矩形区域，并且区域式填充可被应用于矩形区域，以用于将矩形区域填充到填充图像。关于投影图像的矩形区域，在将矩形区域式填充到填充图像之前，区域式填充可以将平移、缩放、旋转和/或镜像应用到矩形区域。
图像Dv可以是自转换电路114产生的视频帧序列中的一个视频帧。视频编码器116是编码电路，其用于编码/压缩该图像Dv，以产生部分已编码的比特流。在接收到来自视频编码器116的该部分已编码的比特流(其包括图像Dv的编码数据Ev)之后，文件封装电路118将该部分已编码的比特流与附加的元数据Dm一起封装到一个或多个ISOBMFF文件F中。例如，附加的元数据Dm可以提供用于HTTP(DASH)上的动态适应性流的附加发信。
在本发明的一些实施例中，基于视端口的流方案(如基于片段或基于子图像的流方案)可以被使用以用于360°视频传输。根据基于片段的流方案，图像Dv被分割成多个片段(或子图像)，其中每个片段(或子图像)被独立地编解码。换句话说，图像Dv的片段是图像Dv的空间部分(即，子图像)，并且通常是矩形形状。此外，相同片段的内容可以用不同质量和比特率进行编解码，以生成编码片段的变形，或者可以用不同编码器和保护方案进行编解码，以生成编码片段的变形。在这种情况下，每个ISOBMFF文件F是基于片段的文件。文件封装电路118将相同片段的每个编码变形封装到变形轨道(即，变形子图像轨道)中，并且将相同片段的所有编码变形的变形轨道封装到相同的ISOBMFF文件F中。元数据Dm可以包括透过使用轨道元数据框(box)直接放置在视觉轨道中的元数据，和/或可以包括放置在与视觉轨道关联的元数据轨道(如时变元数据轨道)中的元数据。例如，用于发信的元数据Dm可以包括投影/方向信息，填充信息，子图像合成信息，感兴趣区域(region of interest，ROI)信息，视端口信息等。
可选地，图像Dv可以由球体上的虚拟现实内容Bv直接进行设置。因此，在自视频编码器116接收部分已编码的比特流(其包括图像Dv的编码数据Ev)之后，文件封装电路118将该部分已编码的比特流与附加的元数据Dm一起封装到一个或多个ISOBMFF文件F中，其中球面视觉轨道(即虚拟现实三维视频轨道)被包括在该ISOBMFF文件F中，并且球面区域视觉轨道(即，区域三维视频轨道)被包括在该ISOBMFF文件F中。然而，这仅用于发信目的，并不意味着是对本发明的限制。也就是说，在本发明的一些实施例中，可以省略球面视频轨道(即虚拟现实三维视频轨道)的发信。例如，球面视频轨道(即虚拟现实三维视频轨道)可以是从虚拟现实应用端(即目标电子设备104)处执行的轨道推导获得的推导(derived)轨道。
文件封装电路118透过传输装置103将ISOBMFF文件F输出到目标电子设备104。例如，传输装置103可以是有线/无线通信链路，并且利用单播、多播或广播传输透过HTTP将ISOBMFF文件F传输到目标电子设备104。
目标电子设备104可以是头戴式显示器。如图1所示，目标电子设备104包括文件解封装电路120，视频解码器122，图像渲染电路124和显示屏126。文件解封装电路120自传输装置103接收ISOBMFF文件F’。如果没有传输错误，文件解封装电路120接收的ISOBMFF文件F’应当与文件封装电路118输出的ISOBMFF文件F相同。在接收到ISOBMFF檔F’之后，文件解封装电路120将ISOBMFF文件F’解封装成部分已编码的比特流(其中包括待重构的图像的编码数据E’v)，和/或从ISOBMFF文件F’中提取/解析附加的元数据D’m。如果没有传输错误和解封装错误，从ISOBMFF文件F’中提取/解析的元数据D’m应该与添加到ISOBMFF文件F的元数据Dm相同。
视频解码器122耦接于文件解封装电路120和图像渲染电路124之间，且是用于根据提取的/解析的元数据D’m解码该部分已编码的比特流的解码电路。例如，视频解码器122解码该部分已编码的比特流，以获得由元数据D’m指定的球体上的球面区域(如视端口或感兴趣区域)的解码数据D’v。图像渲染电路124是后处理电路，其用于根据从视端口的解码数据中获得的显示数据A’v在显示屏126上渲染并显示球面区域。换句话说，图像渲染电路124根据该部分已编码的比特流的解码结果来驱动显示屏126。
当三维球面视觉(特别是视频)内容包含感兴趣区域(Region of Interes,ROI)或用于视端口的区域时，最新的OMAF标准草案提供ISOBMFF的球面区域定义，其透过‘cdsc’(内容描述)轨道参考的方式，可以被承载在时变元数据轨道(timed metadata track)中，并与球面视觉轨道关联。
对于球面区域(例如感兴趣区域或视端口)发信，定义了至少两种形状类型：由四个大圆界定的一种，由两个偏航圆和两个俯仰圆界定的另一种。图2是示出根据本发明实施例的球体上的球面区域SR的第一形状类型的示意图。自位于虚拟现实服务提供器端(即源电子设备102)处的文件封装电路118生成的ISOBMFF文件F至少包括与球体上的球面区域SR的方向关联的第一参数center_yaw和第二参数center_pitch，其中第一参数center_yaw和第二参数center_pitch分别表示球面区域SR的中心PV的偏航角和俯仰角。换句话说，第一参数center_yaw和第二参数center_pitch决定球面区域SR的球面坐标。第一参数center_yaw和第二参数center_pitch均被发信给虚拟现实应用端(即目标电子设备104)。在虚拟现实应用端(即目标电子设备104)处的文件解封装电路120接收到ISOBMFF文件F’之后，从ISOBMFF文件F’提取/解析第一参数center_yaw和第二参数center_pitch以指示球面区域SR的中心PV。
进一步地，在虚拟现实服务提供器端(即源电子设备102)处的文件封装电路118生成的ISOBFFF文件F还可以至少包括与球体上的球面区域SR关联的第四个参数hor_range和第五参数ver_range，其中第四参数hor_range表示球面区域SR的水平范围，第五参数ver_range表示球面区域SR的垂直范围。换句话说，第四参数hor_range和第五参数ver_range决定了球面区域SR的水平尺寸和垂直尺寸(即覆盖)。第四参数hor_range和第五参数ver_range也被发信到虚拟现实应用端(即目标电子设备104)。在虚拟现实应用端(即目标电子设备104)处的文件解封装电路120接收到ISOBMFF文件F’之后，从ISOBMFF文件F’提取/解析第四参数hor_range和第五参数ver_range以分别指示球面区域SR的水平范围和垂直范围。如图2所示，球面区域SR的边界由四个大圆C1，C2，C3和C4决定，每个圆与球相交并且位于透过球心的平面上。
图3是示出根据本发明实施例的球体上的球面区域SR的第二形状类型的示意图。球面区域SR的边界由两个偏航圆Y1和Y2以及两个俯仰圆P1和P2决定。每个偏航圆是球体上的一个圆，其连接具有相同偏航角值的所有点。每个俯仰圆是球体上的一个圆，其连接具有相同俯仰角值的所有点。
具体地，球面区域定义具有以下样本条目语法：
Figure GDA0003094377630000081
Figure GDA0003094377630000091
以及下面的样本语法：
Figure GDA0003094377630000092
图4是根据本发明实施例的主球面视觉轨道和球面区域元数据轨道之间的关联的示意图。例如，ISOBMFF文件F/F’可以包括具有媒体内容vs(其被包含在类型‘mdat’的数据框中)的现有球面视觉轨道v(其包含在类型‘trak’的轨道框中)。另外，ISOBMFF文件F/F’还可以包括球面区域元数据轨道m(其被包含在类型‘trak’的轨道框中)，其具有媒体内容ms(其包含在类型‘mdat’的数据框中)。球面区域元数据轨道m可以是时变元数据轨道，并且可以关联于或可以参考现有视觉轨道v，以在现有球面视觉轨道v中提供关于媒体内容的元数据。
然而，使用这种机制，一个仅可以发信参考视觉轨道v中的主球面视觉样本包含由时变元数据轨道m中的球面区域定义(样本条目及样本)所指定的球面区域。由于球面区域元数据轨道m仅发信球面视觉轨道v具有在球面区域元数据轨道m中定义的球面区域，当球面区域内容存在并且被承载在其他n(n≥1)个视觉轨道中时，这种机制不指定主球面视觉轨道v如何与承载视觉轨道的其他球面区域关联。
此外，不存在最新的OMAF标准草案中定义的时变元数据，以用于可以与视觉轨道关联，并用于指示其如何与球面视觉轨道的元数据中发信的区域相关的球面区域。
为了解决上述问题，本发明提出了用于发信球面视觉轨道及承载或组成OMAF的ISOBMFF的(球面或二维投影的)区域视觉轨道的关联的方法，以便增强OMAF标准以支持更多的感兴趣区域和视端口相关的使用实例和需求。
更具体地，当(主)球面视觉轨道v中存在承载或组成(contribute to)球面区域内容R1，...，Rk，k≥1的(球面或二维投影的)区域视觉轨道v1，...，vn，n≥0时，本发明提供有效的机制，以在如下情景中进行发信，其中参考视觉轨道是包含球面区域的球面轨道v，或者是组成球面区域的区域视觉轨道vi，1≤i≤n：
1.球面视觉内容包含单个球面区域：时变元数据轨道m发信参考(主)球面视觉轨道v包含一球面区域，该球面区域由其球面坐标和尺寸定义，由球面区域标识符id标识，并由区域视觉轨道v1，...，vn组成(或承载在区域视觉轨道v1，...，vn中)。对于用于发信包含多个球面区域的信号，这依赖于使用与球面视觉轨道关联的多个时变元数据轨道。
2.球面视觉内容包含多个球面区域：时变元数据轨道m发信参考(主)球面视觉轨道v包含多个球面区域，每个球面区域由其球面坐标和尺寸定义，由球面区域标识符id标识，并被承载在多个区域视觉轨道v1，...，vn中。
3.区域视觉内容组成单个球面区域：时变元数据轨道m’发信参考区域视觉轨道v’组成(主)视觉轨道的球面区域，其由球面区域标识符id标识，并且来自于v’的组成部分由球面区域和轨道v’本身的球面坐标和尺寸进行定义。对于发信多个球面区域的组成，这依赖于使用与区域视觉轨道关联的多个时变元数据轨道。
注意的是，某人可以以区域的形式来定义球面区域，其中任何区域或者完全属于球面区域，或者根本不组成球面区域。在这种情况下，组成部分的信号的发信可以被省略。还注意的是，发信主视觉轨道v以确保区域视觉轨道所组成的球面区域的唯一性以及确保容易定位，。如果球面区域的标识可以被做成唯一的并且容易访问的，则主视觉轨道v的发信也可以被省略。
4.区域视觉内容组成多个球面区域：时变元数据轨道m’发信参考区域视觉轨道v’组成多个球面区域，并且对于(主)球面视觉轨道v的且由标识符id标识的每个球面组成区域，来自于v’的组成部分由球面区域和轨道v’本身的球面坐标和尺寸来定义。
本发明的有益效果包括透过各自关联的时变元数据轨道的包含(主)球面视觉轨道的球面区域和组成(区域)视觉轨道的球面区域之间的可行且双方式的关联，从而容易访问和切换可以从一种类型的轨道到另一种轨道进行实现，以用于诸如感兴趣区域/视端口处理，存储，传输，注释和渲染的目的。
本发明也可以用于发信分层球面区域，其中球面区域可以具有其本身的(子)球面区域。在这些情景中，组成区域视觉轨道的球面区域也可以是包含主视觉轨道的球面区域，并且一个或多个时变元数据轨道可以用于发信其所组成的球面区域，以及一个或多个时变元数据轨道可以用于发信其所包含的球面区域。
本发明还提供了一个不同的实施例，以用于在样本条目和样本语法中定义球面区域，其是更优化和简洁的。另外，本发明可以被扩展以包括其他形状的球面区域，例如圆形，三角形和正方形。
值得注意的是，本发明中所定义的样本条目类型和类别的名称是说明性的，并且其定义可以被优化并且变得更简洁，尤其当某些因素可以被省略，固定并假定为常量的或非时变的时。
下面结合图式进一步具体地描述在上述情景中所使用的提出的球面区域。
图5是示出根据本发明实施例的包含在承载在球面视觉轨道v中的球面视频内容中的单个球面区域的示意图。为了清楚和简洁，图5示出了二维平面上球面视频内容的矩形投影图像。实际上，该球面视频内容位于三维空间中的球体上，并且可以具有自球体投影的形状。如图5所示，承载在球面视觉轨道v中的球面视觉内容也被划分为多个球面子图像，其分别被承载在多个区域视觉轨道，即v’1，v’2，v’3和v’4中。在本实施例中，球面视觉轨道v仅包含单个球面区域(由“ROI”表示)。因此，满足上述第一种场景。应该注意的是，单个球面区域可以是感兴趣区域或视端口，这取决于实际的设计考虑。为了清楚和简洁，球面区域ROI具有矩形的形状。然而，这只是为了说明的目的，并不意味着本发明的限制。如上所述，球面区域ROI由其球面坐标(例如，center_yaw和center_pitch)和三维空间中的尺寸(例如，hor_range和ver_range)进行定义。此外，如图2所示，球面区域ROI可以由四个大圆界定(第一形状类型)，或者如图3所示，其可以由两个偏航圆和两个俯仰圆界定(第二形状类型)。
本发明提出了自虚拟现实服务提供器端(即源电子设备102)处的文件封装电路118生成的ISOBMFF文件F包括与球面视觉轨道关联的时变元数据轨道，并且时变元数据轨道由文件封装电路118进行设置，以发信关联球面视觉轨道仅包含自各个轨道标识符所标识或参考的一个或多个区域视觉轨道所组成的单个球面区域。时变元数据轨道被发送到虚拟现实应用端(即目标电子设备104)。在ISOBMFF文件F’由虚拟现实应用端(即目标电子设备104)处的文件解封装电路120接收之后，时变元数据轨道从ISOBMFF文件F’中解封装，以获得提取/解析的元数据，其表示承载在关联球面视觉轨道中的单个球面区域是自一个或多个区域视觉轨道来组成的。由时变元数据轨道发信的元数据包含以下发信处理阶段所需的信息，例如视频解码器122和图像渲染电路124。例如，文件解封装电路120对ISOBMFF文件F’进行解封装，以获得部分已编码的比特流和由时变元数据轨道发信的元数据。视频解码器122至少根据提取/解析的元数据解码该部分已编码的比特流。具体地，视频解码器122至少根据由时变元数据轨道所发信的元数据来访问并解码选定类型的视觉轨道的编码数据。图像渲染电路124根据该部分已编码的比特流的解码结果驱动显示屏126。
图6是示出根据本发明的实施例的与球面视觉轨道关联且以ISOBMFF进行封装的一个时变元数据轨道的示意图。时变元数据轨道m发信参考(主)球面视觉轨道v包含一个球面区域，其由其球面坐标(例如，center_yaw和center_pitch)和尺寸(例如，hor_range和ver_range)所定义，由唯一的球面区域标识符所标识，且由轨道标识符所标识或参考的区域视觉轨道v1,…,vn所组成(或者被承载在由轨道标识符所标识或参考的区域视觉轨道v1,…,vn中)。也就是说，时变元数据轨道m发信球面区域标识符、球面区域的球面坐标和尺寸以及区域视觉轨道的轨道标识符。以图5中所示的球面区域ROI为例，其由两个区域虚拟轨道v’2和v’4组成。因此，图6所示的区域视觉轨道v1,…,vn由v’2和v’4组成(即{v1,…,vn}＝{v’2,v’4})。
下面提供第一个场景的更多细节，其中球面视觉内容包含单个球面区域。
1.球面视觉轨道包含单个球面区域的信号的发信
本发明的一个实施例指定了时变元数据，以用于发信(主)球面视觉轨道包含单个球面区域，且多个(球面或二维投影的)区域视觉轨道组成该球面区域。更具体地，时变元数据轨道m发信参考(主)球面视觉轨道v包含球面区域，其由其球面坐标和尺寸所定义，由球面区域标识符所标识，并被承载在区域视觉轨道v1，...，vn中。
1.1样本条目
1.1.1语法
Figure GDA0003094377630000131
Figure GDA0003094377630000141
1.1.2语义
shape_type等于1指定了由四个大圆指定的区域。
shape_type等于2指定了由两个偏航圆和两个俯仰圆指定的区域。
shape_type值等于0和大于1被保留。
dynamic_range_flag等于0指定了该区域的水平范围和垂直范围在参考本样本条目的所有样本中保持不变。dynamic_range_flag等于1指定了该区域的水平范围和垂直范围用样本格式来表示。
static_hor_range和static_ver_range分别指定了该区域的水平和垂直范围，以用于参考本样本条目且以0.01度为单位的每个样本。
static_hor_range和static_ver_range指定了透过该区域的中心点的这些范围。
1.2样本格式
1.2.1语法
Figure GDA0003094377630000142
Figure GDA0003094377630000151
该语法还可以被增强成如下，以相对于球面区域的球面坐标和尺寸，指定每个组成轨道所组成的球面区域的一部分。
Figure GDA0003094377630000152
该语法还可以被增强成如下，以相对于组成轨道自身的球面坐标和尺寸，指定每个组成轨道的球面区域的一部分。
Figure GDA0003094377630000161
1.2.2语义
sr_id指定该球面区域的标识符。其值相对于参考轨道所包含的其他球面区域而言是唯一的。
center_yaw和center_pitch指定相对于全球坐标***的以0.01度为单位所指定的区域的中心点。center_yaw将在-18000至17999的范围内，包括两端点。center_pitch将在-9000至9000的范围内，包括两端点。
hor_range和ver_range，当存在时，分别指定以0.01度为单位所指定的区域的水平范围和垂直范围。hor_range和ver_range指定了透过该区域的中心点的范围。
num_region_tracks指定其内容组成球面区域的区域虚拟轨道的数量。当其等于0时，这意味着除了包含球面区域的参考轨道之外不存在组成球面区域的(可能可用的或已知的)视觉轨道。
track_id指定其内容组成球面区域的区域视觉轨道的标识符。其不应等于参考(主)球面视觉轨道的标识符。
region_portion_yaw和region_portion_pitch指定track_id的组成轨道将组成的球面区域上的部分的中心点。
portion_hor_range和portion_ver_range分别指定以0.01度为单位所指定的track_id的组成轨道将组成的部分的水平范围和垂直范围。portion_hor_range和portion_ver_range指定了透过区域的中心点的范围。
track_portion_yaw和track_portion_pitch指定track_id的组成轨道将组成的区域上的部分的中心点。
图7是示出根据本发明根据本发明实施例的包含在承载在球面视觉轨道中的球面视频内容中的多个球面区域的示意图。为了清楚和简洁，图7示出了二维平面上球面视频内容的矩形投影图像。实际上，该球面视频内容位于三维空间中的球体上，并且可以具有自球体投影的形状。如图7所示，承载在球面视觉轨道v中的球面视觉内容也被划分为多个球面子图像，其分别被承载在多个区域视觉轨道，即v’1，v’2，v’3和v’4中。在本实施例中，球面视觉轨道v包含两个球面区域(由“ROI1”和“ROI2”表示)。因此，满足上述第二种场景。应该注意的是，这些球面区域可以是感兴趣区域或视端口，这取决于实际的设计考虑。为了清楚和简洁，球面区域ROI1和球面区域ROI2中的每个具有矩形的形状。然而，这只是为了说明的目的，并不意味着本发明的限制。如上所述，球面区域ROI1和球面区域ROI2中的每个由其球面坐标(例如，center_yaw和center_pitch)和三维空间中的尺寸(例如，hor_range和ver_range)进行定义。此外，如图2所示，球面区域ROI1可以由四个大圆(第一形状类型)界定，或者如图3所示，其可以由两个偏航圆和两个俯仰圆(第二形状类型)限定。同样地，如图2所示，球面区域ROI2可以由四个大圆(第一形状类型)界定，或者如图3所示，其可以由两个偏航圆和两个俯仰圆(第二形状类型)限定。
本发明提出了自虚拟现实服务提供器端(即源电子设备102)处的文件封装电路118生成的ISOBMFF文件F包括与球面视觉轨道关联的时变元数据轨道，并且时变元数据轨道由文件封装电路118进行设置，以发信关联球面视觉轨道包含多个球面区域，每个球面轨道是自一个或多个区域视觉轨道组成的。时变元数据轨道被发信到虚拟现实应用端(即目标电子设备104)。在ISOBMFF文件F’由虚拟现实应用端(即目标电子设备104)处的文件解封装电路120接收之后，时变元数据轨道从ISOBMFF文件F’中解封装，以获得提取/解析的元数据，其表示承载在关联球面视觉轨道中的多个球面区域是自一个或多个区域视觉轨道来组成的。由时变元数据轨道发信的元数据包含以下发信处理阶段所需的信息，例如视频解码器122和图像渲染电路124。例如，文件解封装电路120对ISOBMFF文件F’进行解封装，以获得部分已编码的比特流和由时变元数据轨道发信的元数据。视频解码器122至少根据提取/解析的元数据解码部分已编码的比特流。具体地，视频解码器122至少根据由时变元数据轨道所发信的元数据来访问并解码选定类型的视觉轨道的编码数据。图像渲染电路124根据部分已编码的比特流的解码结果驱动显示屏126。
图8是示出根据本发明的实施例的与球面视觉轨道相关且以ISOBMFF进行封装的另一个时变元数据轨道的示意图。时变元数据轨道m发信参考(主)球面视觉轨道v包含多个球面区域，每个球面区域由其球面坐标(例如，center_yaw和center_pitch)和尺寸(例如，hor_range和ver_range)所定义，由唯一的球面区域标识符所标识，且由轨道标识符所标识或参考的区域视觉轨道v1,…,vn所组成(或者被承载在由轨道标识符所标识或参考的区域视觉轨道v1,…,vn中)。也就是说，时变元数据轨道m发信球面区域标识符、球面区域的球面坐标和尺寸以及区域视觉轨道的轨道标识符。以图7中所示的球面区域ROI1和球面区域ROI2为例，球面区域ROI1由两个区域虚拟轨道v’2和v’4所组成，球面区域ROI1单独由区域虚拟轨道v’4所组成。由于球面视觉轨道v中承载有两个球面区域，即ROI1和ROI2，图8所示的时变元数据轨道具有两个感兴趣区域元数据样本的集合，其指定组成区域视觉轨道
Figure GDA0003094377630000192
和组成区域视觉轨道
Figure GDA0003094377630000193
其中k＝2。关于第一球面区域(即ROI1)，图8所示的区域视觉轨道
Figure GDA0003094377630000194
由v’2和v’4设置(即
Figure GDA0003094377630000195
Figure GDA0003094377630000196
)。关于第二球面区域(即，ROI2)，图8所示的区域视觉轨道
Figure GDA0003094377630000197
Figure GDA0003094377630000198
由v’4设置(即
Figure GDA0003094377630000199
其中k＝2)。
下面提供第二个场景的更多细节，其中球面视觉内容包含多个球面区域。
2.主球面视觉轨道包含多个球面区域的发信
当主球面视觉轨道包含需要发信的多于一个球面区域时，在单个时变元数据轨道中将其一起发信是方便的，即使可能使用多个时变元数据轨道，其中一个时变元数据轨道用于每个球面区域。
本发明的一个实施例指定了时变元数据，以用于发信(主)球面视觉轨道包含多个球面区域，且多个(球面或二维投影的)区域视觉轨道组成该球面区域。更具体地，时变元数据轨道m发信参考(主)球面视觉轨道v包含球面区域，其由其球面坐标和尺寸所定义，由球面区域标识符所标识，并被承载在区域视觉轨道v1，...，vn中。
本部分的剩余部分中所公开的实施例是建立在单个球面区域实例中的样本条目和样本的基本定义之上。在单个球面区域情况下，其他可选、增强和变形实施例可以基于单个球面区域实例中的类似的可选、增强和变形定义来获得。
2.1样本条目
2.1.1语法
Figure GDA0003094377630000191
Figure GDA0003094377630000201
2.1.2语义
shape_type等于1指定了由四个大圆指定的区域。
shape_type等于2指定了由两个偏航圆和两个俯仰圆指定的区域。
shape_type值等于0和大于1被保留。
dynamic_range_flag等于0指定了该区域的水平范围和垂直范围在参考本样本条目的所有样本中保持不变。dynamic_range_flag等于1指定了该区域的水平范围和垂直范围用样本格式来表示。
static_hor_range和static_ver_range分别指定了该区域的水平和垂直范围，以用于参考本样本条目且以0.01度为单位的每个样本。static_hor_range和static_ver_range指定了透过该区域的中心点的这些范围。
num_spherical_regions指定了参考本样本条目的样本中的球面区域的数量。
2.2样本格式
2.2.1语法
Figure GDA0003094377630000202
Figure GDA0003094377630000211
2.2.2语义
sr_id指定该球面区域的标识符。其值相对于参考轨道所包含的其他球面区域而言是唯一的。
center_yaw和center_pitch指定相对于全球坐标***的以0.01度为单位所指定的区域的中心点。center_yaw将在-18000至17999的范围内，包括两端点。center_pitch将在-9000至9000的范围内，包括两端点。
hor_range和ver_range，当存在时，分别指定以0.01度为单位所指定的区域的水平范围和垂直范围。hor_range和ver_range指定了透过该区域的中心点的范围。
num_region_tracks指定其内容组成球面区域的区域虚拟轨道的数量。当其等于0时，这意味着除了包含球面区域的参考轨道之外不存在组成球面区域的(可能可用的或已知的)视觉轨道。
track_id指定其内容组成球面区域的区域视觉轨道的标识符。其不应等于参考(主)球面视觉轨道的标识符。
如图5所示，区域视觉轨道v’2和v’4中的每一个仅组成单个球面区域ROI。具体地，区域视觉轨道v’2组成球面区域ROI的上部分，区域视觉轨道v’4组成球面区域ROI的下部分。因此，上面提到的第三种场景由图5中所示的区域视觉轨道v’2和v’4中的每个来满足。
如图7所示，区域视觉轨道v’2仅组成单个球面区域ROI1。具体地，区域视觉轨道v’2组成球面区域ROI1的上部分。因此，上面提到的第三种场景也由图7中所示的区域视觉轨道v’2来满足。
本发明提出了自虚拟现实服务提供器端(即源电子设备102)处的文件封装电路118生成的ISOBMFF文件F包括与球面视觉轨道关联的时变元数据轨道，并且时变元数据轨道由文件封装电路118进行设置，以发信关联球面视觉轨道仅包含承载在一个球面视觉轨道中的单个球面区域。时变元数据轨道被发送到虚拟现实应用端(即目标电子设备104)。在ISOBMFF文件F’由虚拟现实应用端(即目标电子设备104)处的文件解封装电路120接收之后，时变元数据轨道从ISOBMFF文件F’中解封装，以获得提取/解析的元数据，其表示关联区域视觉轨道仅组成承载在一个球面视觉轨道中的单个球面区域。由时变元数据轨道发信的元数据包含以下发信处理阶段所需的信息，例如视频解码器122和图像渲染电路124。例如，文件解封装电路120对ISOBMFF文件F’进行解封装，以获得部分已编码的比特流和由时变元数据轨道发信的元数据。视频解码器122至少根据提取/解析的元数据解码该部分已编码的比特流。具体地，视频解码器122至少根据由时变元数据轨道所发信的元数据来访问并解码选定类型的视觉轨道的编码数据。图像渲染电路124根据该部分已编码的比特流的解码结果驱动显示屏126。
图9是示出根据本发明的实施例的与区域视觉轨道相关且以ISOBMFF进行封装的时变元数据轨道的示意图。时变元数据轨道m’发信参考区域视觉轨道v’组成由轨道标识符标识的(主)球面视觉轨道v的球面区域，其由球面区域标识符(如roi_id)标识。也就是说，时变元数据轨道m’发信球面区域的球面区域标识符，以及球面视觉轨道的轨道标识符。
图5中所示的球面视觉轨道v仅具有自区域虚拟轨道v’2和v’4组成的单个球面区域ROI。此外，区域虚拟轨道v’2和v’4中的每一个仅组成单个球面区域。因此，图9中所示的区域视觉轨道{v1,…,v’,…,vn}由v’2和v’4组成(即{v1,…,v’,…,vn}＝{v’2,v’4}，其中v’＝v’2或v’4)。ISOBMFF文件F/F’包括一个元数据轨道m’，其发信关联区域视觉轨道v’2(v’＝v’2)组成由球面区域标识符roi_id所标识且承载在球面视觉轨道v中的球面区域ROI，并且还包括另一个元数据轨道m’，其发信关联区域视觉轨道v’4(v’＝v’4)组成由球面区域标识符roi_id标识且承载在球面视觉轨道v中的同一球面区域ROI。
图7中所示的球面视觉轨道v具有自区域虚拟轨道v’2和区域虚拟轨道v’4组成的多个球面区域，即ROI1和ROI2。此外，区域虚拟轨道v’2仅组成单个球面区域ROI1，区域虚拟轨道v’4组成多个球面区域ROI1和ROI2。因此，图9所示的区域视觉轨道{v1,…,v’,…,vn}由v’2和v’4组成(即{v1,…,v’,…,vn}＝{v’2,v’4}，其中v’＝v’2)。ISOBMFF文件F/F’包括一个元数据轨道m’，其发信关联的区域视觉轨道v’2(v’＝v’2)组成由球面区域标识符roi_id所标识且承载在球面视觉轨道v中的球面区域ROI1。
与区域视觉轨道v’关联的时变元数据轨道m’可以透过发信一个或球面区域和区域视觉轨道v’本身中至少一个的球面坐标和尺寸来进一步定义自区域视觉轨道v’组成的部分。图10是根据本发明实施例的用球面区域和区域视觉轨道本身的球面坐标和尺寸定义的区域视觉轨道的组成部分的示意图。为了清楚和简洁，图10示出了二维平面上球面视频内容的矩形投影图像。实际上，该球面视频内容位于三维空间中的球体上，并且可以具有自球体投影的形状。应该注意的是，具有矩形形状的球面区域和具有矩形形状的每个球面区域部分仅用于说明性目的，而不意味着对本发明的限制。另外，如图2所示，球面区域可以由四个大圆圆界定(第一形状类型)，或者如图3所示，其可以由两个偏航圆圆和两个俯仰圆圆界定(第二形状类型)。
如上所述，图5中的区域视觉轨道v’2仅组成单个球面区域(特别是球面区域ROI的上部分)。自区域视觉轨道v’2组成的球面区域ROI的上部分被指定在与区域视觉轨道v’2关联的元数据轨道中。在本发明的一些实施例中，用球面区域的球面坐标和尺寸方面，与区域视觉轨道v’(例如，v’2)关联的时变元数据轨道m’指定区域视觉轨道v’所组成的球面区域的一部分(例如，球面区域ROI的上部分)。例如，时变元数据轨道m’被设置，以用球面区域的球面坐标和尺寸，发信关联区域视觉轨道v’(例如，v’2)所组成的球面区域的部分的球面坐标(例如，region_portion_yaw和region_portion_pitch)和尺寸(例如，region_hor_range和region_ver_range)。
在本发明的一些实施例中，用区域视觉轨道v’本身的球面坐标和尺寸，与区域视觉轨道v’(例如，v’2)关联的时变元数据轨道m’还可以指定区域视觉轨道v’所组成的球面区域的一部分(例如，球面区域ROI的上部分)。例如，时变元数据轨道m’被设置，以用区域视觉轨道v’(例如，v’2)的球面区域的球面坐标和尺寸，以进一步发信关联的区域视觉轨道v’所组成的球面区域的一部分的球面坐标(例如，region_portion_yaw和region_portion_pitch)和尺寸(例如，region_hor_range和region_ver_range)。
下面提供第三个场景的更多细节，其中球面视觉内容组成单个球面区域。
3.区域视频轨道组成单个球面区域的发信
本发明的实施例指定时变元数据轨道，以用于发信(球面或投影二维)区域视觉轨道组成单个球面区域的一部分。更具体地，时变元数据轨道m’发信参考区域视觉轨道v’组成(主)球面视觉轨道的球面区域，其由球面区域标识符id标识，并且自v’组成的部分是用该球面区域和轨道v’自身的球面坐标和尺寸进行定义的。
基于优化、增强和变形而获得的更多实施例可以透过考虑用于发信主球面视觉轨道包含单个球面区域的那些实施例来获得，例如球面区域是静态的，并且组成部分是非时变的。
3.1样本条目
3.1.1语法
Figure GDA0003094377630000241
Figure GDA0003094377630000251
3.1.2语义
shape_type等于1指定了由四个大圆指定的区域。
shape_type等于2指定了由两个偏航圆和两个俯仰圆指定的区域。
shape_type值等于0和大于1被保留。
dynamic_range_flag等于0指定了该区域的水平范围和垂直范围在参考本样本条目的所有样本中保持不变。dynamic_range_flag等于1指定了该区域的水平范围和垂直范围用样本格式来表示。
static_hor_range和static_ver_range分别指定了该区域的水平和垂直范围，以用于参考本样本条目且以0.01度为单位的每个样本。static_hor_range和static_ver_range指定透过该区域的中心点的这些范围。
3.2样本格式
3.2.1语法
Figure GDA0003094377630000252
Figure GDA0003094377630000261
3.2.2语义
sr_id指定该球面区域的标识符。其值相对于参考轨道所包含的其他球面区域而言是唯一的。
track_id指定包含该球面区域的主球面视觉轨道的标识符。
region_portion_yaw和region_portion_pitch指定参考轨道将组成的球面区域上的一部分的中心点。
portion_hor_range和portion_ver_range分别指定了参考轨道所组成的且以0.01度为单位所指定的部分的水平范围和垂直范围。
portion_hor_range和portion_ver_range指定了透过该区域的中心点的该范围。
track_portion_yaw和track_portion_pitch指定参考轨道将组成的区域上的部分的中心点，该部分区域由参考轨道组成。
如图7所示，区域视觉轨道v’4组成多个球面区域，即ROI1和ROI2。具体地，区域视觉轨道v’4组成球面区域ROI1的下部分，并且也组成整个球面区域ROI2。因此，上述第四种情景由如图7所示的区域视觉轨道v’4来满足。本发明提出了自虚拟现实服务提供器端(即源电子设备102)处的文件封装电路118生成的ISOBMFF文件F包括与球面视觉轨道关联的时变元数据轨道，并且时变元数据轨道由文件封装电路118进行设置，以发信关联球面视觉轨道组成承载在一个或多个球面视觉轨道中的多个球面区域。时变元数据轨道被发信到虚拟现实应用端(即目标电子设备104)。在ISOBMFF檔F’由虚拟现实应用端(即目标电子设备104)处的文件解封装电路120接收之后，时变元数据轨道从ISOBMFF文件F’中解封装，以获得提取/解析的元数据，其表示关联区域视觉轨道组成承载在一个或多个球面视觉轨道中的多个球面区域。由时变元数据轨道发信的元数据包含以下发信处理阶段所需的信息，例如视频解码器122和图像渲染电路124。例如，文件解封装电路120对ISOBMFF文件F’进行解封装，以获得部分已编码的比特流和由时变元数据轨道发信的元数据。视频解码器122至少根据提取/解析的元数据解码该部分已编码的比特流。具体地，视频解码器122至少根据由时变元数据轨道所发信的元数据来访问并解码选定类型的视觉轨道的编码数据。图像渲染电路124根据该部分已编码的比特流的解码结果驱动显示屏126。
在与区域视觉轨道相关且以ISOBMFF进行封装的一时变元数据轨道的一个实施例中，时变元数据轨道m’发信参考区域视觉轨道v’组成多个球面区域。图7所示的球面视觉轨道v具有自区域虚拟轨道v’2和v’4组成的多个球面区域，即ROI1和ROI2。此外，区域虚拟轨道v’2仅组成单个球面区域，区域虚拟轨道v’4组成多个球面区域。
在第一种情况下，由相同区域视觉轨道v’所组成的球面区域被承载在同一球面视觉轨道v中。因此，由第一球面区域标识符roi_id1所标识并承载在第一球面视觉轨道v1中的第一球面区域是承载在图7中所示的球面视觉轨道v中的球面区域ROI1，其中v1＝v；以及，由第n球面区域标识符roi_idn标识并承载在第n球面视觉轨道vn中的第n球面区域是承载在图7中所示的球面视觉轨道v中的球面区域ROI2，其中vn＝v。由于从{v1，...，vn}中选择的球面视觉轨道vi是球面视觉轨道v，所以区域视觉轨道
Figure GDA0003094377630000271
仅由v’4组成(即
Figure GDA0003094377630000272
其中v’＝v’4)。ISOBMFF文件F/F’包括一个元数据轨道m’，其发信关联的区域视觉轨道v’4(v’＝v’4)组成由球面区域标识符roi_id1标识且承载在由轨道标识符标识或参考的球面轨道v中的球面区域ROI1，并且其还组成由球面区域标识符roi_id2标识且承载在由轨道标识符标识或参考的球面轨道v中的球面区域ROI2。也就是说，时变元数据轨道m’发信球面区域的球面区域标识符以及球面视觉轨道的轨道标识符。
在第二种情况下，由相同区域视觉轨道v’组成的球面区域可以被承载在对应于不同球体上的球面视觉内容的不同球面视觉轨道{v1,…,vn}中，其中v1≠vn。因此，对于从{v1,…,vn}中选择的任何球面视觉轨道vi，其可以包括由区域视觉轨道v’组成的球面区域。因此，ISOBMFF文件F/F’包括一个元数据轨道m’，其发信关联的区域视觉轨道v’组成由不同球面区域标识符{roi_id1，...，roi_idn}标识且承载在分别由各自的轨道标识符标识或参考的不同球面视觉轨道{v1,…,vn}中。也就是说，时变元数据轨道m’发信球面区域的球面区域标识符以及球面视觉轨道的轨道标识符。
进一步地，在任何上述情况下，对于由球面区域标识符{roi_id1，...，roi_idn}标识并且承载在(主)球面视觉轨道{v1,…,vn}中的每个组成球面区域，如图10所示，自区域视觉轨道v’组成的部分是用球面区域和区域视觉轨道v’自身中至少一个的球面坐标和尺寸进行定义。也就是说，相对于球面区域的球面坐标和尺寸，与区域视觉轨道v’关联的时变元数据轨道m’可以指定区域视觉轨道v’所组成的球面区域的一部分，并且相对于区域视觉轨道v’本身的球面坐标和尺寸，可以还指定区域视觉轨道v’所组成的球面区域的部分。
下面提供了第四个场景的更多细节，其中区域视觉内容组成多个球面区域。
4.区域视频轨道组成多个球面区域的发信
当区域视觉轨道组成多于一个球面区域时，在单个时变元数据轨道内将这些球面区域一起发信也可以是更紧凑和方便的，即使可能使用多个时变元数据轨道，其中一个时变元数据轨道用于每个球面区域。
本发明的实施例指定了时变元数据轨道，以用于发信(球面或二维投影的)区域视觉轨道组成多个球面区域。更具体地，时变元数据轨道m′发信参考区域视觉轨道v′组成多个球面区域，并且对于(主)球面视觉轨道v的由球面区域标识符id标识的每个球面区域，自v’组成的部分是用球面区域和轨道v’自身的球面坐标和尺寸进行定义的。
4.1样本条目
4.1.1语法
Figure GDA0003094377630000281
Figure GDA0003094377630000291
4.1.2语义
shape_type等于1指定了由四个大圆指定的区域。
shape_type等于2指定了由两个偏航圆和两个俯仰圆指定的区域。
shape_type值等于0和大于1被保留。
dynamic_range_flag等于0指定了该区域的水平范围和垂直范围在参考本样本条目的所有样本中保持不变。dynamic_range_flag等于1指定了该区域的水平范围和垂直范围用样本格式来表示。
static_hor_range和static_ver_range分别指定了该区域的水平范围和垂直范围，以用于参考本样本条目且以0.01度为单位的每个样本。static_hor_range和static_ver_range指定了透过该区域的中心点的这些范围。
num_spherical_regions指定了参考本样本条目的样本中的球面区域的数量。
4.2样本格式
4.2.1语法
Figure GDA0003094377630000292
Figure GDA0003094377630000301
4.2.2语义
num_contributed_spherical regions指定关联媒体样本组成其内容的球面区域的数量。
sr_id该球面区域的标识符。其值相对于参考轨道所包含的其他球面区域而言是唯一的。
track_id指定包含该球面区域的主球面视觉轨道的标识符。
region_portion_yaw和region_portion_pitch指定参考轨道将组成的球面区域上的部分的中心点。
portion_hor_range和portion_ver_range分别指定由该参考轨道将组成且以0.01为单位所指定的部分的水平范围和垂直范围。portion_hor_range和portion_ver_range指定了透过该区域中心点的该范围。
track_portion_yaw和track_portion_pitch指定参考轨道将组成的区域上的部分的中心点。
依据本发明一实施方式,提供一种视频处理方法，包括：接收虚拟现实内容；编码从虚拟现实内容获得的视频数据，以生成一部分已编码的比特流；以及文件封装电路将部分已编码的比特流封装成至少一个国际标准化组织基本媒体文件格式的文件，其中至少一个国际标准化组织基本媒体文件格式的文件包括与球面视觉轨道关联的时变元数据轨道，且时变元数据轨道被设置以发信关联的球面数据轨道包含自至少一个区域视觉轨道所组成的至少一个球面区域。
依据本发明另一实施方式,提供一种视频处理方法，包括接收虚拟现实内容；编码自虚拟现实内容获得的视频数据，以生成一部分已编码的比特流；以及文件封装电路将部分已编码的比特流封装成至少一个国际标准化组织基本媒体文件格式的文件，其中至少一个国际标准化组织基本媒体文件格式的文件包括与区域视觉轨道关联的时变元数据轨道，且时变元数据轨道被设置以发信关联的区域视觉轨道组成承载在至少一个球面视觉轨道中的至少一个球面区域。
依据本发明另一实施方式,提供一种视频处理方法，包括接收至少一个国际标准化组织基本媒体文件格式的文件，其中虚拟现实内容透过至少一个国际标准化组织基本媒体文件格式的文件进行传输，至少一个国际标准化组织基本媒体文件格式的文件包括与球面视觉轨道关联的时变元数据轨道，且时变元数据轨道发信关联的球面数据轨道包含自至少一个区域视觉轨道组成的至少一个球面区域；解封装至少一个国际标准化组织基本媒体文件格式的文件以获得一部分已编码的比特流和由时变元数据轨道发信的元数据；至少根据元数据解码部分已编码的比特流；以及根据部分已编码的比特流的解码结果驱动显示屏。
依据本发明另一实施方式,提供一种视频处理方法，包括接收至少一个国际标准化组织基本媒体文件格式的文件，其中虚拟现实内容透过至少一个国际标准化组织基本媒体文件格式的文件进行传输，至少一个国际标准化组织基本媒体文件格式的文件包括与区域视觉轨道关联的时变元数据轨道，且时变元数据轨道发信关联的区域视觉轨道组成承载在至少一个球面视觉轨道中的至少一个球面区域；解封装至少一个国际标准化组织基本媒体文件格式的文件以获得一部分已编码的比特流和由时变元数据轨道发信的元数据；根据元数据解码部分已编码的比特流；以及根据部分已编码的比特流的解码结果驱动显示屏。
依据本发明另一实施方式,提供一种视频处理装置，包括转换电路，用于接收虚拟现实内容；视频编码器，用于透过编码变换电路从虚拟现实内容获得的视频数据，生成一部分已编码的比特流；以及文件封装电路，用于将部分已编码的比特流封装成至少一个国际标准化组织基本媒体文件格式的文件，其中至少一个国际标准化组织基本媒体文件格式的文件包括与球面视觉轨道关联的时变元数据轨道，且时变元数据轨道被设置以发信关联的该球面数据轨道包含由至少一个区域视觉轨道所组成的至少一个球面区域。
依据本发明另一实施方式,提供一种视频处理装置，包括转换电路，用于接收虚拟现实内容；视频编码器，用于透过编码变换电路从该虚拟现实内容获得的视频数据，生成一部分已编码的比特流；以及文件封装电路，用于将部分已编码的比特流封装成至少一个国际标准化组织基本媒体文件格式的文件，其中至少一个国际标准化组织基本媒体文件格式的文件包括与区域视觉轨道关联的时变元数据轨道，且时变元数据轨道被设置以发信关联的该区域视觉轨道组成承载在至少一个球面视觉轨道中的至少一个球面区域。
依据本发明另一实施方式,提供一种视频处理装置，包括文件解封装电路，用于接收至少一个国际标准化组织基本媒体文件格式的文件，其中透过至少一个国际标准化组织基本媒体文件格式的文件，并解封装至少一个国际标准化组织基本媒体文件格式的文件以获得一部分已编码的比特流和由该时变元数据轨道发信的元数据，其中虚拟现实内容透过至少一个国际标准化组织基本媒体文件格式的文件进行传输，至少一个国际标准化组织基本媒体文件格式的文件包括与球面视觉轨道关联的时变元数据轨道，且时变元数据轨道发信关联的该球面数据轨道包含自至少一个区域视觉轨道组成的至少一个球面区域；视频解码器，用于根据元数据解码部分已编码的比特流；以及图像渲染电路，用于根据部分已编码的比特流的解码结果驱动显示屏。
依据本发明另一实施方式,提供一种视频处理装置，包括文件解封装电路，用于接收至少一个国际标准化组织基本媒体文件格式的文件，并解封装至少一个国际标准化组织基本媒体文件格式的文件以获得一部分已编码的比特流和由时变元数据轨道发信的元数据，其中虚拟现实内容透过至少一个国际标准化组织基本媒体文件格式的文件进行传输，至少一个国际标准化组织基本媒体文件格式的文件包括与区域视觉轨道关联的时变元数据轨道，且时变元数据轨道发信关联的区域数据轨道组成承载在至少一个球面视觉轨道中的至少一个球面区域；视频解码器，用于根据元数据解码部分已编码的比特流；以及图像渲染电路，用于根据部分已编码的比特流的解码结果驱动显示屏。
本领域技术人员易知，可在保持本发明的教示内容的同时对装置及方法作出诸多修改及变动。因此，以上公开内容应被视为仅受随附权利要求的范围的限制。

Claims (34)

1.一种视频处理方法，包括：
接收虚拟现实内容；
编码从该虚拟现实内容获得的视频数据，以生成一部分已编码的比特流；以及
由文件封装电路将该部分已编码的比特流封装成至少一个国际标准化组织基本媒体文件格式的文件，其中该至少一个国际标准化组织基本媒体文件格式的文件包括与球面视觉轨道关联的时变元数据轨道，且该时变元数据轨道被设置以发信指示该时变元数据轨道所关联的该球面视觉轨道承载的球面内容包含至少一个球面区域，其中当该至少一个球面区域包含多个球面区域时，该多个球面区域中的每一球面区域由至少一个区域视觉轨道所承载，该时变元数据轨道被设置以发信指示该至少一个区域视觉轨道的标识符。
2.根据权利要求1所述的视频处理方法，其特征在于，该时变元数据轨道被设置，以进一步发信该至少一个球面区域中每一个的球面区域标识符，以及该至少一个区域视觉轨道中每一个的轨道标识符。
3.根据权利要求1所述的视频处理方法，其特征在于，该时变元数据轨道被设置以进一步发信该至少一个球面区域中每一个的球面坐标和尺寸。
4.根据权利要求1所述的视频处理方法，其特征在于，关联的该球面视觉轨道仅包含单个球面区域，且该时变元数据轨道指示该单个球面区域被承载在该至少一个区域视觉轨道中。
5.根据权利要求4所述的视频处理方法，其特征在于，该至少一个区域视觉轨道的数量大于1。
6.根据权利要求1所述的视频处理方法，其特征在于，关联的该球面视觉轨道包含多个球面区域，且该时变元数据轨道发信该多个球面区域被承载在多个区域视觉轨道中，其中该多个球面区域中的每一个被承载在至少一个区域视觉轨道中。
7.根据权利要求6所述的视频处理方法，其特征在于，该多个区域视觉轨道中至少一个的数量大于1。
8.根据权利要求6所述的视频处理方法，其特征在于，该多个区域视觉轨道分别与多个时变元数据轨道关联。
9.一个视频处理方法，包括：
接收虚拟现实内容；
编码自该虚拟现实内容获得的视频数据，以生成一部分已编码的比特流；以及
由文件封装电路将该部分已编码的比特流封装成至少一个国际标准化组织基本媒体文件格式的文件，其中该至少一个国际标准化组织基本媒体文件格式的文件包括与区域视觉轨道关联的时变元数据轨道，且该时变元数据轨道被设置以发信指示该时变元数据轨道所关联的球面视觉轨道承载的球面内容包含至少一个球面区域，其中当该至少一个球面区域包含多个球面区域时，该多个球面区域中的每一球面区域由至少一个区域视觉轨道所承载，该时变元数据轨道被设置以发信指示该至少一个区域视觉轨道的标识符。
10.根据权利要求9所述的视频处理方法，其特征在于，该时变元数据轨道被设置以进一步发信该至少一个球面区域中每一个的球面区域标识符和至少一个球面视觉轨道中每一个的轨道标识符。
11.根据权利要求9所述的视频处理方法，其特征在于，该时变元数据轨道被设置为相对于该至少一个球面区域中每一个的球面坐标和尺寸，进一步发信关联的该区域视觉轨道所组成的该至少一个球面区域中每一个的一部分的球面坐标和尺寸。
12.根据权利要求9所述的视频处理方法，其特征在于，该时变元数据进一步被设置为相对于关联的该区域视觉轨道的区域上的一部分的球面坐标和尺寸，进一步发信该区域视觉轨道所组成的该至少一个球面区域中每一个的一部分的球面坐标和尺寸。
13.根据权利要求9所述的视频处理方法，其特征在于，关联的该区域视觉轨道仅组成单个球面区域。
14.根据权利要求9所述的视频处理方法，其特征在于，关联的该区域视觉轨道组成多个球面区域。
15.根据权利要求14所述的视频处理方法，其特征在于，该多个球面区域包括分别承载在对应于不同球体的不同球面视觉轨道中的多个球面区域。
16.一种视频处理方法，包括：
接收至少一个国际标准化组织基本媒体文件格式的文件，其中虚拟现实内容透过该至少一个国际标准化组织基本媒体文件格式的文件进行传输，该至少一个国际标准化组织基本媒体文件格式的文件包括与球面视觉轨道关联的时变元数据轨道，且该时变元数据轨道发信指示该时变元数据轨道所关联的该球面视觉轨道承载的球面内容包含至少一个球面区域，其中当该至少一个球面区域包含多个球面区域时，该多个球面区域中的每一球面区域由至少一个区域视觉轨道所承载，该时变元数据轨道被设置以发信指示该至少一个区域视觉轨道的标识符；
解封装该至少一个国际标准化组织基本媒体文件格式的文件以获得一部分已编码的比特流和由该时变元数据轨道发信的元数据；
至少根据该元数据解码该部分已编码的比特流；以及
根据该部分已编码的比特流的解码结果驱动显示屏。
17.根据权利要求16所述的视频处理方法，其特征在于，该时变元数据轨道被设置，以进一步发信该至少一个球面区域中每一个的球面区域标识符，以及该至少一个区域视觉轨道中每一个的轨道标识符。
18.根据权利要求16所述的视频处理方法，其特征在于，该时变元数据轨道被设置以进一步发信该至少一个球面区域中每一个的球面坐标和尺寸。
19.根据权利要求16所述的视频处理方法，其特征在于，关联的该球面视觉轨道仅包含单个球面区域，且该时变元数据轨道指示该单个球面区域被承载在该至少一个区域视觉轨道中。
20.根据权利要求19所述的视频处理方法，其特征在于，该至少一个区域视觉轨道的数量大于1。
21.根据权利要求16所述的视频处理方法，其特征在于，关联的该球面视觉轨道包含多个球面区域，且该时变元数据轨道发信该多个球面区域被承载在多个区域视觉轨道中，其中该多个球面区域中的每一个被承载在至少一个区域视觉轨道中。
22.根据权利要求21所述的视频处理方法，其特征在于，该多个区域视觉轨道中至少一个的数量大于1。
23.根据权利要求21所述的视频处理方法，其特征在于，该多个区域视觉轨道分别与多个时变元数据轨道关联。
24.一种视频处理方法，包括：
接收至少一个国际标准化组织基本媒体文件格式的文件，其中虚拟现实内容透过该至少一个国际标准化组织基本媒体文件格式的文件进行传输，该至少一个国际标准化组织基本媒体文件格式的文件包括与区域视觉轨道关联的时变元数据轨道，且该时变元数据轨道发信指示该时变元数据轨道所关联的球面视觉轨道承载的球面内容包含至少一个球面区域，其中当该至少一个球面区域包含多个球面区域时，该多个球面区域中的每一球面区域由至少一个区域视觉轨道所承载，该时变元数据轨道被设置以发信指示该至少一个区域视觉轨道的标识符；
解封装该至少一个国际标准化组织基本媒体文件格式的文件以获得一部分已编码的比特流和由该时变元数据轨道发信的元数据；
根据该元数据解码该部分已编码的比特流；以及
根据该部分已编码的比特流的解码结果驱动显示屏。
25.根据权利要求24所述的视频处理方法，其特征在于，该时变元数据轨道被设置以进一步发信该至少一个球面区域中每一个的球面区域标识符和至少一个球面视觉轨道中每一个的轨道标识符。
26.根据权利要求24所述的视频处理方法，其特征在于，该时变元数据轨道被设置为相对于该至少一个球面区域中每一个的球面坐标和尺寸，进一步发信关联的该区域视觉轨道所组成的该至少一个球面区域中每一个的一部分的球面坐标和尺寸。
27.根据权利要求24所述的视频处理方法，其特征在于，该时变元数据进一步被设置为相对于关联的该区域视觉轨道的区域上的一部分的球面坐标和尺寸，进一步发信该区域视觉轨道所组成的该至少一个球面区域中每一个的一部分的球面坐标和尺寸。
28.根据权利要求24所述的视频处理方法，其特征在于，关联的该区域视觉轨道仅组成单个球面区域。
29.根据权利要求24所述的视频处理方法，其特征在于，关联的该区域视觉轨道组成多个球面区域。
30.根据权利要求29所述的视频处理方法，其特征在于，该多个球面区域包括分别承载在对应于不同球体的不同球面视觉轨道中的多个球面区域。
31.一种视频处理装置，包括：
转换电路，用于接收虚拟现实内容；
视频编码器，用于透过编码该转换电路从该虚拟现实内容获得的视频数据，生成一部分已编码的比特流；以及
文件封装电路，用于将该部分已编码的比特流封装成至少一个国际标准化组织基本媒体文件格式的文件，其中该至少一个国际标准化组织基本媒体文件格式的文件包括与球面视觉轨道关联的时变元数据轨道，且该时变元数据轨道被设置以发信指示该时变元数据轨道所关联的该球面视觉轨道承载的球面内容包含至少一个球面区域，其中当该至少一个球面区域包含多个球面区域时，该多个球面区域中的每一球面区域由至少一个区域视觉轨道所承载，该时变元数据轨道被设置以发信指示该至少一个区域视觉轨道的标识符。
32.一种视频处理装置，包括：
转换电路，用于接收虚拟现实内容；
视频编码器，用于透过编码该转换电路从该虚拟现实内容获得的视频数据，生成一部分已编码的比特流；以及
文件封装电路，用于将该部分已编码的比特流封装成至少一个国际标准化组织基本媒体文件格式的文件，其中该至少一个国际标准化组织基本媒体文件格式的文件包括与区域视觉轨道关联的时变元数据轨道，且该时变元数据轨道被设置以发信指示该时变元数据轨道所关联的球面视觉轨道承载的球面内容包含至少一个球面区域，其中当该至少一个球面区域包含多个球面区域时，该多个球面区域中的每一球面区域由至少一个区域视觉轨道所承载，该时变元数据轨道被设置以发信指示该至少一个区域视觉轨道的标识符。
33.一种视频处理装置，包括：
文件解封装电路，用于接收至少一个国际标准化组织基本媒体文件格式的文件，其中透过该至少一个国际标准化组织基本媒体文件格式的文件，并解封装该至少一个国际标准化组织基本媒体文件格式的文件以获得一部分已编码的比特流和由时变元数据轨道发信的元数据，其中虚拟现实内容透过该至少一个国际标准化组织基本媒体文件格式的文件进行传输，该至少一个国际标准化组织基本媒体文件格式的文件包括与球面视觉轨道关联的时变元数据轨道，且该时变元数据轨道发信指示该时变元数据轨道所关联的该球面视觉轨道承载的球面内容包含至少一个球面区域，其中当该至少一个球面区域包含多个球面区域时，该多个球面区域中的每一球面区域由至少一个区域视觉轨道所承载，该时变元数据轨道被设置以发信指示该至少一个区域视觉轨道的标识符；
视频解码器，用于根据该元数据解码该部分已编码的比特流；以及
图像渲染电路，用于根据该部分已编码的比特流的解码结果驱动显示屏。
34.一种视频处理装置，包括：
文件解封装电路，用于接收至少一个国际标准化组织基本媒体文件格式的文件，并解封装该至少一个国际标准化组织基本媒体文件格式的文件以获得一部分已编码的比特流和由时变元数据轨道发信的元数据，其中虚拟现实内容透过该至少一个国际标准化组织基本媒体文件格式的文件进行传输，该至少一个国际标准化组织基本媒体文件格式的文件包括与区域视觉轨道关联的时变元数据轨道，且该时变元数据轨道发信指示该时变元数据轨道所关联的球面视觉轨道承载的球面内容包含至少一个球面区域，其中当该至少一个球面区域包含多个球面区域时，该多个球面区域中的每一球面区域由至少一个区域视觉轨道所承载，该时变元数据轨道被设置以发信指示该至少一个区域视觉轨道的标识符；
视频解码器，用于根据该元数据解码该部分已编码的比特流；以及
图像渲染电路，用于根据该部分已编码的比特流的解码结果驱动显示屏。
CN201880022454.5A 2017-03-30 2018-03-29 发信isobmff的球面区域信息的方法和装置 Active CN110651482B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762478676P 2017-03-30 2017-03-30
US62/478,676 2017-03-30
PCT/CN2018/081114 WO2018177373A1 (en) 2017-03-30 2018-03-29 Method and apparatus for signaling spherical region information in isobmff

Publications (2)

Publication Number Publication Date
CN110651482A CN110651482A (zh) 2020-01-03
CN110651482B true CN110651482B (zh) 2022-02-22

Family

ID=63674284

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880022454.5A Active CN110651482B (zh) 2017-03-30 2018-03-29 发信isobmff的球面区域信息的方法和装置

Country Status (4)

Country Link
US (1) US10819907B2 (zh)
CN (1) CN110651482B (zh)
TW (1) TWI676388B (zh)
WO (1) WO2018177373A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018131813A1 (en) * 2017-01-10 2018-07-19 Samsung Electronics Co., Ltd. Method and apparatus for generating metadata for 3d images
WO2020189983A1 (en) * 2019-03-18 2020-09-24 Samsung Electronics Co., Ltd. Method and apparatus for accessing and transferring point cloud content in 360-degree video environment
JP2022538799A (ja) * 2019-06-25 2022-09-06 北京小米移動軟件有限公司 パノラマメディア再生方法、機器及びコンピュータ読み取り可能な記憶媒体
CN112511866B (zh) * 2019-12-03 2024-02-23 中兴通讯股份有限公司 媒体资源播放方法、装置、设备和存储介质
GB2596325B (en) * 2020-06-24 2023-04-19 Canon Kk Method and apparatus for encapsulating annotated region in ISOBMFF tracks
CN114374675B (zh) * 2020-10-14 2023-02-28 腾讯科技（深圳）有限公司 媒体文件的封装方法、媒体文件的解封装方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102577309A (zh) * 2009-09-29 2012-07-11 诺基亚公司 用于动态媒体文件流送的***、方法和装置
CN104685894A (zh) * 2012-10-26 2015-06-03 英特尔公司 基于视频定向的多媒体适应
CN105830461A (zh) * 2013-12-18 2016-08-03 微软技术许可有限责任公司 使用对媒体文件格式的约束以提升性能
CN106233745A (zh) * 2013-07-29 2016-12-14 皇家Kpn公司 向客户端提供瓦片视频流

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9131033B2 (en) * 2010-07-20 2015-09-08 Qualcomm Incoporated Providing sequence data sets for streaming video data
US9363535B2 (en) * 2011-07-22 2016-06-07 Qualcomm Incorporated Coding motion depth maps with depth range variation
WO2013030458A1 (en) * 2011-08-31 2013-03-07 Nokia Corporation Multiview video coding and decoding
US20150074129A1 (en) * 2013-09-12 2015-03-12 Cisco Technology, Inc. Augmenting media presentation description and index for metadata in a network environment
EP2899904A1 (en) * 2014-01-22 2015-07-29 Radioscreen GmbH Audio broadcasting content synchronization system
US10104361B2 (en) * 2014-11-14 2018-10-16 Samsung Electronics Co., Ltd. Coding of 360 degree videos using region adaptive smoothing
US9897450B2 (en) * 2015-05-20 2018-02-20 Nokia Technologies Oy Method and apparatus to obtain differential location information
KR102013403B1 (ko) 2015-05-27 2019-08-22 구글 엘엘씨 구면 영상 스트리밍
US20160373771A1 (en) * 2015-06-18 2016-12-22 Qualcomm Incorporated Design of tracks and operation point signaling in layered hevc file format
KR102267922B1 (ko) * 2015-09-23 2021-06-22 노키아 테크놀로지스 오와이 360도 파노라마 비디오를 코딩하는 방법, 장치 및 컴퓨터 프로그램 제품
US9794574B2 (en) * 2016-01-11 2017-10-17 Google Inc. Adaptive tile data size coding for video and image compression
US11228754B2 (en) * 2016-05-06 2022-01-18 Qualcomm Incorporated Hybrid graphics and pixel domain architecture for 360 degree video
US10979691B2 (en) * 2016-05-20 2021-04-13 Qualcomm Incorporated Circular fisheye video in virtual reality
WO2017203098A1 (en) * 2016-05-24 2017-11-30 Nokia Technologies Oy Method and an apparatus and a computer program for encoding media content
US10264264B2 (en) * 2016-09-24 2019-04-16 Apple Inc. Multi-bin decoding systems and methods
CN106331732B (zh) 2016-09-26 2019-11-12 北京疯景科技有限公司 生成、展现全景内容的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102577309A (zh) * 2009-09-29 2012-07-11 诺基亚公司 用于动态媒体文件流送的***、方法和装置
CN104685894A (zh) * 2012-10-26 2015-06-03 英特尔公司 基于视频定向的多媒体适应
CN106233745A (zh) * 2013-07-29 2016-12-14 皇家Kpn公司 向客户端提供瓦片视频流
CN105830461A (zh) * 2013-12-18 2016-08-03 微软技术许可有限责任公司 使用对媒体文件格式的约束以提升性能

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Novel Virtual Reality Robot Interface for Isoglide3 Parallel Robot;Sergiu-Dan Stan,Milos Manic;《SPRINGER》;20081231;第1265-1275页 *
球面虚拟空间构造及实时漫游;李梦君;《第九届全国多媒体技术学术会议》;20011208;129-136页 *

Also Published As

Publication number Publication date
WO2018177373A1 (en) 2018-10-04
US10819907B2 (en) 2020-10-27
TW201842774A (zh) 2018-12-01
US20200053282A1 (en) 2020-02-13
TWI676388B (zh) 2019-11-01
CN110651482A (zh) 2020-01-03

Similar Documents

Publication Publication Date Title
CN110651482B (zh) 发信isobmff的球面区域信息的方法和装置
US11051040B2 (en) Method and apparatus for presenting VR media beyond omnidirectional media
US11049323B2 (en) Method and apparatus for deriving VR projection, packing, ROI and viewport related tracks in ISOBMFF and supporting viewport roll signaling
CN111837383B (zh) 发送和接收关于动态视点的坐标系的元数据的方法和装置
US11012657B2 (en) Method for processing overlay in 360-degree video system and apparatus for the same
CN111164969B (zh) 使用拼接和重新投影相关元数据发送或接收6dof视频的方法和装置
EP3542530B1 (en) Suggested viewport indication for panoramic video
EP3474562A1 (en) Method, apparatus and stream for volumetric video format
CN112702525B (zh) 编码器、视频处理方法、***和装置
KR20190094451A (ko) 360 비디오 시스템에서 오버레이 처리 방법 및 그 장치
EP3451659A1 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
US10893254B2 (en) Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
KR20190095430A (ko) 360 비디오 처리 방법 및 그 장치
EP3873095A1 (en) An apparatus, a method and a computer program for omnidirectional video

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant