CN115225937A - 沉浸式媒体提供方法、获取方法、装置、设备及存储介质 - Google Patents

沉浸式媒体提供方法、获取方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN115225937A
CN115225937A CN202210831058.5A CN202210831058A CN115225937A CN 115225937 A CN115225937 A CN 115225937A CN 202210831058 A CN202210831058 A CN 202210831058A CN 115225937 A CN115225937 A CN 115225937A
Authority
CN
China
Prior art keywords
resolution
immersive media
information
client
media content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210831058.5A
Other languages
English (en)
Other versions
CN115225937B (zh
Inventor
胡颖
许晓中
刘杉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202210831058.5A priority Critical patent/CN115225937B/zh
Publication of CN115225937A publication Critical patent/CN115225937A/zh
Application granted granted Critical
Publication of CN115225937B publication Critical patent/CN115225937B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25833—Management of client data involving client hardware characteristics, e.g. manufacturer, processing or storage capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/612—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for unicast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/04—Protocols specially adapted for terminals or networks with limited capabilities; specially adapted for terminal portability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/06—Protocols specially adapted for file transfer, e.g. file transfer protocol [FTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2387—Stream processing in response to a playback request from an end-user, e.g. for trick-play
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Library & Information Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Container Filling Or Packaging Operations (AREA)
  • Transition And Organic Metals Composition Catalysts For Addition Polymerization (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

本申请实施例提供了一种沉浸式媒体提供方法、获取方法、装置、设备及存储介质，涉及音视频技术领域。所述方法包括：客户端获取自身的能力信息，该能力信息用于指示客户端所在设备的沉浸式媒体播放能力；客户端向服务器发送能力信息；服务器根据沉浸式媒体内容的分辨率选择策略和能力信息，从沉浸式媒体内容的候选分辨率中，确定提供给客户端的目标分辨率；服务器向客户端发送目标分辨率的沉浸式媒体文件。本申请实施例提供了一种根据客户端能力自适应地选择沉浸式媒体内容的分辨率的技术方案，能够实现从满足客户端能力信息要求的候选分辨率中，选择最大分辨率提供给客户端，从而在保证用户体验的前提下，提升带宽资源的利用率。

Description

沉浸式媒体提供方法、获取方法、装置、设备及存储介质
本申请是2020年03月24日提交的申请号为202010211178.6、发明名称为“沉浸式媒体提供方法、获取方法、装置、设备及存储介质”的发明专利申请的分案申请。
技术领域
本申请实施例涉及音视频技术领域，特别涉及一种沉浸式媒体提供方法、获取方法、装置、设备及存储介质。
背景技术
沉浸式媒体(Immersive Media)也称为浸入式媒体，其目的是通过音视频技术使用户产生身临其境的视听体验。
在沉浸式媒体传输方案中，业界已支持在服务器端准备多种不同分辨率的文件轨道，但并未给出该多种不同分辨率的文件轨道的选择规则。一种方式是随机选择某一分辨率的文件轨道下发给客户端，另一种方式是将多种分辨率的文件轨道全部下发给客户端。
但是，上述两种方式均无法兼顾用户体验和带宽资源的利用率。
发明内容
本申请实施例提供了一种沉浸式媒体提供方法、获取方法、装置、设备及存储介质，可以根据客户端能力自适应地选择沉浸式媒体内容的分辨率，从而在保证用户体验的前提下，提升带宽资源的利用率。所述技术方案如下：
一方面，本申请实施例提供了一种沉浸式媒体提供方法，所述方法包括：
接收来自客户端的能力信息，所述能力信息用于指示所述客户端所在设备的沉浸式媒体播放能力；
根据沉浸式媒体内容的分辨率选择策略和所述能力信息，从所述沉浸式媒体内容的候选分辨率中，确定提供给所述客户端的目标分辨率；
向所述客户端发送所述目标分辨率的沉浸式媒体文件。
另一方面，本申请实施例提供了一种沉浸式媒体获取方法，所述方法包括：
获取客户端的能力信息，所述能力信息用于指示所述客户端所在设备的沉浸式媒体播放能力；
向服务器发送所述能力信息；
接收来自所述服务器的目标分辨率的沉浸式媒体文件，所述目标分辨率是基于沉浸式媒体内容的分辨率选择策略和所述能力信息，从所述沉浸式媒体内容的候选分辨率中确定的。
另一方面，本申请实施例提供了一种沉浸式媒体提供装置，所述装置包括：
信息接收模块，用于接收来自客户端的能力信息，所述能力信息用于指示所述客户端所在设备的沉浸式媒体播放能力；
分辨率选择模块，用于根据沉浸式媒体内容的分辨率选择策略和所述能力信息，从所述沉浸式媒体内容的候选分辨率中，确定提供给所述客户端的目标分辨率；
文件发送模块，用于向所述客户端发送所述目标分辨率的沉浸式媒体文件。
另一方面，本申请实施例提供了一种沉浸式媒体获取装置，所述装置包括：
信息获取模块，用于获取客户端的能力信息，所述能力信息用于指示所述客户端所在设备的沉浸式媒体播放能力；
信息发送模块，用于向服务器发送所述能力信息；
文件接收模块，用于接收来自所述服务器的目标分辨率的沉浸式媒体文件，所述目标分辨率是基于沉浸式媒体内容的分辨率选择策略和所述能力信息，从所述沉浸式媒体内容的候选分辨率中确定的。
再一方面，本申请实施例提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现上述沉浸式媒体提供方法，或者实现上述沉浸式媒体获取方法。
可选地，所述计算机设备为终端或服务器。
还一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述沉浸式媒体提供方法。
还一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现上述沉浸式媒体获取方法。
又一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品被处理器执行时，用于实现上述沉浸式媒体提供方法。
又一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品被处理器执行时，用于实现上述沉浸式媒体获取方法。
本申请实施例提供的技术方案可以包括如下有益效果：
通过根据客户端的能力信息和沉浸式媒体内容的分辨率选择策略，从沉浸式媒体内容的候选分辨率中，选择目标分辨率的沉浸式媒体文件发送给客户端；提供了一种根据客户端能力自适应地选择沉浸式媒体内容的分辨率的技术方案，能够实现从满足客户端能力信息要求的候选分辨率中，选择最大分辨率提供给客户端，从而在保证用户体验的前提下，提升带宽资源的利用率。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的实施环境的示意图；
图2是本申请一个实施例提供的沉浸式媒体播放***的端到端处理流程的示意图；
图3是本申请一个实施例提供的沉浸式媒体播放***的***处理架构的示意图；
图4是本申请一个实施例提供的基于沉浸式媒体应用的客户端参考模型的示意图；
图5是本申请一个实施例提供的沉浸式媒体提供方法的流程图；
图6是本申请一个实施例提供的沉浸式媒体提供装置的框图；
图7是本申请一个实施例提供的沉浸式媒体获取装置的框图；
图8是本申请一个实施例提供的服务器的结构框图；
图9是本申请一个实施例提供的终端的结构框图。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的方法的例子。
本申请实施例提供的技术方案，可应用于任何沉浸式媒体播放场景中，如沉浸式媒体点播或直播场景。
请参考图1，其示出了本申请一个实施例提供的实施环境的示意图。该实施环境可以实现成为沉浸式媒体播放***。如图1所示，该实施环境可以包括：终端10和服务器20。
终端10可以是诸如手机、平板电脑、多媒体播放设备、电视机、放映机、显示器、可穿戴设备、PC(Personal Computer，个人计算机)等电子设备。终端10中可以安装运行具有沉浸式媒体播放功能的客户端。例如，该客户端可以与服务器20进行交互，从服务器20请求获取沉浸式媒体内容，并对该获取到的沉浸式媒体内容进行播放。
服务器20用于提供沉浸式媒体内容。服务器20可以是一台服务器，也可以是由多台服务器组成的服务器集群，或者是一个云计算服务中心。
终端10和服务器20之间可通过网络30进行互相通信。该网络30可以是有线网络，也可以是无线网络。
可选地，终端10和服务器20之间还可以包括一个或多个中间节点，如CDN(ContentDelivery Network，内容分发网络)或其它中继设备或路由设备，本申请实施例对此不作限定。
如图2所示，其示出了沉浸式媒体播放***的端到端处理流程的示意图。该处理流程可以包括：内容获取与制作21、沉浸媒体编码/文件封装22、沉浸媒体传输23、沉浸媒体解码/文件解封装24、沉浸媒体渲染25等主要技术环节。其中，内容获取与制作21、沉浸媒体编码/文件封装22、沉浸媒体传输23等技术环节可以由服务器执行，沉浸媒体解码/文件解封装24、沉浸媒体渲染25等技术环节可以由终端(如客户端)执行。
如图3所示，其示出了沉浸式媒体播放***的***处理架构的示意图，包括从服务器31到终端32(客户端)的沉浸式媒体内容的处理及表述、文件格式和传输信令。
现实世界的声音-视觉场景通过音频传感器、摄像设备(如普通摄像头、立体摄像头、光场摄像头)以及传感设备(如包括激光雷达)采集，转化为一系列的数据信号后制作成虚拟现实内容呈现给用户观看。摄像设备部署在特定的位置获取一定空间内视频/图像内容，音频可以通过不同的麦克风配置来获取，视频/图像和音频在时间和空间内保持同步。对于视频/图像内容制作，可分为3DoF(Degree of Freedom，自由度)及3DoF+视频制作和6DoF视频制作。其中，DoF是指用户在观看沉浸式媒体时支持的运动并产生内容交互的自由度。
3DoF视频制作，由一组摄像机或一个带有多个摄像头和传感器的摄像设备录制而成。摄像头通常可以获取在设备中心周围所有方向的内容。
3DoF+视频制作，结合3DoF视频与深度信息制作而成。
6DoF视频制作，主要由相机阵列拍摄得到的点云、光场等形式的内容制作而成。6DoF媒体需要在编码前进行特定处理，例如点云媒体在编码前需要切割、映射等过程。
采集的音频/视频被编码成相应音视频码流，当使用点云数据或光场信息表示采集视频，需要采用其对应的编码方式(如点云编码)。然后，按一定格式(如ISOBMFF(ISOBase Media File Format，ISO基媒体文件格式)或者其它国际标准体系)将编码的媒体封装在文件容器中并对媒体的描述信息/结合描述媒体内容属性的元数据和视窗元数据，根据一个特定的媒体文件格式组成一个媒体文件或者组成一个初始化片段和媒体片段。
在服务器31中，存储了媒体呈现描述/信令信息和媒体文件资源。媒体呈现描述/信令信息给客户端提供了足够的通知信息，使得对应的媒体内容在一种传输机制下被交付到播放器并进行消费。客户端可以根据终端状态，例如头部/眼部/位置跟随、网络吞吐量等，通过质量/视点自适应动态请求媒体文件资源。
媒体文件通过传输机制(DASH(Dynamic Adaptive Streaming over HTTP，动态自适应流媒体传输)、SMT(Smart Media Transport，智能媒体传输))传输给用户终端32。用户终端32接收到媒体文件后，对文件进行解封装、解码、拼接/合成、渲染等一系列处理后可显示虚拟现实内容。
如图4所示，其示出了基于沉浸式媒体应用的客户端参考模型的示意图，其定义了客户端的各功能组件。
用户终端通过远端服务器推荐或用户自己需求的方式对媒体文件选择，从远端服务器下载或接收远端服务器推送的媒体文件，经过并由解析器41、解码器42、转换器43、渲染器44等一系列组件进行处理后，实现虚拟现实媒体内容的显示。同时，用户终端可以依据用户需求进行远程渲染。
解析器41：解析器41提供对媒体文件或分片的处理，提取基本流以及解析元数据，解析出的元数据用于渲染。解析器41可依据用户动作进行动态的信息处理(如用户头动、位置的跟随信息)，如动态选择下载的媒体分片。
解码器42：解码器42用于解码解析器41提供的媒体流，并将解码流输出到转换器43。
转换器43：转换器43根据解析器41提供的元数据，将解码后的媒体转换为球形/3D(3Dimensional，三维)视频。例如3DoF时将平面图像映射为球形，在基于映射、投影的6DoF处理时将2D(2Dimensional，二维)信息流重建成3D数据。如果有必要，可使用解析器41解析的转换元数据。
渲染器44：渲染器44使用解码的信令、渲染元数据、以及视窗的信息(或者考虑其他的可能的信息)对视频/音频进行渲染。3DoF和3DoF+主要基于当前视点、视差、深度信息等对球形媒体内容进行渲染，6DoF对当前视点对视窗内的3D媒体内容进行渲染。
传感装置45：传感装置45依据用户的移动获取当前视窗的方向以及用户的位置信息，并反馈给用户终端解析器41。用户终端可依据视窗、视窗的方向以及用户的位置信息选择下载适当的媒体，或者解析器41依据视窗、用户位置信息选择适当的媒体文件。
远程渲染平台46：远程渲染平台46部署在远端服务器，依据用户终端反馈的视窗、视窗的方向以及用户的位置信息或者媒体文件中的渲染元数据进行渲染，用户终端依据远程渲染平台的渲染媒体直接显示。
另外，在本申请实施例中，沉浸式媒体的分辨率与沉浸式媒体的主观质量、沉浸式媒体的客观质量、沉浸式媒体的清晰度等同。
沉浸式媒体的分辨率可以包括8K、4K、2K、1080p、720p等多种不同分辨率称谓。上述各种分辨率称谓所代表的典型分辨率数值(即水平x垂直方向的像素数)示例性如下表-1所示：
表-1：分辨率介绍
Figure BDA0003745575060000071
下面，将通过几个实施例，对本申请技术方案进行详细的介绍说明。
请参考图5，其示出了本申请一个实施例提供的沉浸式媒体提供方法的流程图。该方法可应用于图1所示的实施环境中。该方法可以包括如下几个步骤(501～504)：
步骤501，客户端获取自身的能力信息，该能力信息用于指示客户端所在设备的沉浸式媒体播放能力。
可选地，能力信息包括以下至少一项：设备能力信息、用户权限信息、用户带宽信息。其中，设备能力信息用于体现客户端所在设备的处理能力，如沉浸式媒体内容的渲染能力，可选地，设备能力信息用于指示客户端所在设备支持的最大分辨率，以此告知服务器该客户端所在设备能够渲染播放的最大分辨率。用户权限信息用于体现客户端对应的用户权限，如客户端中登录的用户帐号的等级和/或权限信息，可选地，用户权限信息用于指示客户端对应的用户权限所支持的最大分辨率，以此告知服务器该客户端的使用者有权限观看的最大分辨率。用户带宽信息用于体现客户端的带宽能力，如用户带宽信息用于指示客户端对应的用户带宽上限。
当然，上述介绍的能力信息仅是示例性和解释性的，在一些其它实施例中，能力信息还可以包括其它信息，本申请实施例对此不作限定。例如，能力信息还可以包括用户网络信息，以此告知服务器该客户端所使用的网络类型，如蜂窝网络或WiFi(WirelessFidelity，无线保证)网络。
步骤502，客户端向服务器发送能力信息。
客户端通过与服务器之间的网络连接，向服务器发送能力信息。相应地，服务器接收来自客户端的能力信息。
另外，能力信息可以携带在请求消息(如沉浸式媒体播放请求，用于请求播放沉浸式媒体内容)中发送，也可以单独发送，本申请实施例对此不作限定。
步骤503，服务器根据沉浸式媒体内容的分辨率选择策略和能力信息，从沉浸式媒体内容的候选分辨率中，确定提供给客户端的目标分辨率。
服务器端存储有沉浸式媒体内容，以及该沉浸式媒体内容的分辨率选择策略。该沉浸式媒体内容包括至少一种候选分辨率。可选地，该沉浸式媒体内容包括多种候选分辨率，服务器结合该沉浸式媒体内容的分辨率选择策略和客户端发送的能力信息，从该沉浸式媒体内容的多种候选分辨率中，确定提供给客户端的目标分辨率。其中，目标分辨率可以是该多种候选分辨率中的其中一种分辨率。
沉浸式媒体内容的分辨率选择策略可以预先设定并存储在服务器端。可选地，该分辨率选择策略可以是从沉浸式媒体内容的多个候选分辨率中，筛选出满足上述能力信息要求的候选分辨率，然后从该满足上述能力信息要求的候选分辨率中，选取最大分辨率作为目标分辨率。
例如，沉浸式媒体内容的候选分辨率由大到小包括：8K、4K、2K、1080p和720p。假设客户端的能力信息包括：客户端所在设备支持渲染的最大分辨率为4K，客户端对应的用户权限为普通权限，该普通权限所支持的最大分辨率为2K；那么，服务器选择2K作为目标分辨率。
又例如，沉浸式媒体内容的候选分辨率由大到小包括：8K、4K、2K、1080p和720p。假设客户端的能力信息包括：客户端所在设备支持渲染的最大分辨率为4K，客户端对应的用户权限为高级权限，该高级权限所支持的最大分辨率为8K，且客户端对应的用户带宽上限为10mbps，该用户带宽上限所支持的最大分辨率为4K；那么，服务器选择4K作为目标分辨率。
步骤504，服务器向客户端发送目标分辨率的沉浸式媒体文件。
沉浸式媒体内容可以包括上述多种候选分辨率的文件轨道，服务器确定出目标分辨率之后，将该目标分辨率的文件轨道封装为沉浸式媒体文件，下发给客户端。服务器通过与客户端之间的网络连接，向客户端发送该沉浸式媒体内容的目标分辨率的沉浸式媒体文件。相应地，客户端接收来自服务器的目标分辨率的沉浸式媒体文件。
可选地，如图5所示，本申请实施例还包括如下步骤505：
步骤505，客户端播放目标分辨率的沉浸式媒体文件。
客户端在接收到目标分辨率的沉浸式媒体文件之后，可以对该沉浸式媒体文件进行播放。
综上所述，本申请实施例提供的技术方案，通过根据客户端的能力信息和沉浸式媒体内容的分辨率选择策略，从沉浸式媒体内容的候选分辨率中，选择目标分辨率的沉浸式媒体文件发送给客户端；提供了一种根据客户端能力自适应地选择沉浸式媒体内容的分辨率的技术方案，能够实现从满足客户端能力信息要求的候选分辨率中，选择最大分辨率提供给客户端，从而在保证用户体验的前提下，提升带宽资源的利用率。
为了实现上述图5实施例所介绍的功能，需要定义沉浸式媒体内容的分辨率选择策略和候选分辨率。在示例性实施例中，沉浸式媒体内容的文件格式信息包括：分辨率选择策略信息和分辨率描述信息。其中，分辨率选择策略信息用于定义沉浸式媒体内容的分辨率选择策略，分辨率描述信息用于定义沉浸式媒体内容的候选分辨率。针对不同的沉浸式媒体内容，可以在其文件格式信息中分别定义不同的分辨率选择策略和/或定义不同的候选分辨率，从而提升针对不同沉浸式媒体内容进行分辨率自适应选择时的灵活性。
在示例性实施例中，分辨率选择策略信息包括：缩放策略类型字段，用于指示沉浸式媒体内容所采用的分辨率选择策略的类型(或称为标识)。当该缩放策略类型字段取不同的值时，表示采用不同的分辨率选择策略。各种分辨率选择策略对应的值可以进行预定义或预配置，本申请实施例对此不作限定。
例如，缩放策略类型字段的值为第一数值，表示分辨率选择策略为设备能力允许条件下，观看质量优先；缩放策略类型字段的值为第二数值，表示分辨率选择策略为设备能力允许条件下，用户带宽限制内观看质量优先。示例性地，第一数值为0，第二数值为1。当然，上述介绍的分辨率选择策略仅是示例性和解释性的，在本申请实施例中，对分辨率选择策略的数量、内容及对应的值均不作限定，这可以结合实际情况进行灵活设定。
可选地，分辨率选择策略信息还包括：缩放策略描述字段，用于提供分辨率选择策略的文本描述。缩放策略类型字段所指示的分辨率选择策略，可能会需要用到一些描述信息，如用户带宽限制等，这些描述信息可以在缩放策略描述字段中进行说明。可选地，分辨率选择策略信息还包括：缩放策略描述长度字段，用于指示缩放策略描述字段中的文本描述的长度。
在示例性实施例中，分辨率描述信息包括：数量指示字段和缩放比例指示字段。数量指示字段用于指示沉浸式媒体内容包括的缩放区域的数量，缩放比例指示字段用于指示缩放区域的缩放比例。其中，不同的缩放区域对应于不同的候选分辨率。同一个全方向的沉浸式媒体内容(如全方向视频)的球面区域或投影图像上的2D区域，其可能存在一个或者多个缩放区域，其中，不同缩放区域的视频数据具有不同的分辨率或质量。上述缩放比例是指缩放区域相对于原始区域(也即上述球面区域或2D区域)的缩放比例。
可选地，缩放比例指示字段取不同的值时，表示不同的缩放比例。各种缩放比例对应的值可以进行预定义或预配置，本申请实施例对此不作限定。例如，缩放比例指示字段的值为0，表示缩放区域相对于原始区域未进行缩放；缩放比例指示字段的值为1，表示缩放区域在宽、高上分别为原始区域的1/2；缩放比例指示字段的值为2，表示缩放区域在宽、高上分别为原始区域的1/4；缩放比例指示字段的值为3，表示缩放区域在宽、高上分别为原始区域的1/6；缩放比例指示字段的值为4，表示缩放区域在宽、高上分别为原始区域的1/8。当然，上述介绍的缩放比例仅是示例性和解释性的，在本申请实施例中，对缩放比例的数量、取值及对应的值均不作限定，这可以结合实际情况进行灵活设定。
可选地，分辨率描述信息，还包括以下字段中的至少一种：缩放算法类型字段、缩放符号类型字段、缩放区域类型字段，以及缩放区域描述字段。缩放算法类型字段用于指示缩放区域的缩放算法类型，缩放符号类型字段用于指示缩放区域的边界符号类型，缩放区域类型字段用于指示缩放区域的类型，缩放区域描述字段用于提供缩放区域的文本描述。
下面，以扩展ISOBMFF数据盒的形式举例，对沉浸式媒体内容的分辨率选择策略和候选分辨率的定义方式进行介绍说明。沉浸式媒体内容的文件格式信息可以包括如下的缩放区域结构：
Figure BDA0003745575060000111
缩放区域结构RegionWiseZoomingStruct中各字段语义如下：
num_regions：即上文介绍的数量指示字段，用于指示沉浸式媒体内容包括的缩放区域的数量。例如，该字段可以指示对应于同一个全方向视频的球面区域或投影图像上的2D区域的缩放区域的数量。可能存在一个或者多个缩放区域，其中，不同缩放区域的视频数据具有不同的分辨率或质量。
zoom_strategy_type：即上文介绍的缩放策略类型字段，用于指示沉浸式媒体内容所采用的分辨率选择策略。例如，该字段可以指示选择不同分辨率或质量的缩放区域的策略类型，示例可以如下表-2所示：
表-2：缩放策略类型字段
Figure BDA0003745575060000121
zoom_strategy_description_length：即上文介绍的缩放策略描述长度字段，用于指示缩放策略描述字段中的文本描述的长度。例如，该字段可以指示缩放策略描述部分的长度，以字节为单位。
zoom_strategy_description：即上文介绍的缩放策略描述字段，用于提供分辨率选择策略的文本描述。例如，该字段可以是以空字符结尾的UTF-8字符串，提供缩放策略(即分辨率选择策略)的文本描述。
zoom_reg_width[i]、zoom_reg_height[i]、zoom_reg_top[i]、zoom_reg_left[i]：分别定义第i个缩放区域的宽、高、垂直偏移和水平偏移，i为正整数。
zoom_ratio：即上文介绍的缩放比例指示字段，用于指示缩放区域的缩放比例。该字段允许选取的数值，指示***支持的不同缩放比例。示例性地，该字段的值与缩放比例之间的对应关系可以如下表-3所示：
表-3：缩放比例指示字段
取值 描述
0 表示缩放区域相对于原始区域未进行缩放
1 表示缩放区域在宽、高上分别为原始区域的1/2
2 表示缩放区域在宽、高上分别为原始区域的1/4
3 表示缩放区域在宽、高上分别为原始区域的1/6
4 表示缩放区域在宽、高上分别为原始区域的1/8
5～255 未定义
为便于理解上述缩放比例指示字段在实际应用中的取值，做如下举例说明：
假设原始视频轨道A对应8K分辨率，即7680x4320分辨率，则该原始视频轨道A对应的zoom_ratio为0。
假设通过视频降采样后，得到4K(3840x2160)分辨率和1080p(1920x1080)分辨率的视频轨道B与C。由7680x4320、3840x2160、1920x1080的数学关系不难得知，视频轨道B对应的缩放区域在宽、高分别为原始区域的1/2，视频轨道C对应的缩放区域在宽、高分别为原始区域的1/4。因此，视频轨道B对应的zoom_ratio为1，视频轨道C对应的zoom_ratio为2。
假设通过视频降采样后，得到影院4K(假设为4096x2160)分辨率和2K(假设为2048x1080)分辨率的视频轨道B与C。此时，即使B与C对应的缩放区域的宽、高在数学上并不严格等于原始区域的1/2与1/4。但为了避免穷举，认为视频轨道B与视频轨道C在宽、高上近似为原始视频的1/2与1/4。此时视频轨道B对应的zoom_ratio依然为1，视频轨道C对应的zoom_ratio依然为2。
zoom_algorithm_type：即上文介绍的缩放算法类型字段，用于指示缩放区域的缩放算法类型。
zoom_symbolization_type：即上文介绍的缩放符号类型字段，用于指示缩放区域的边界符号类型。
zoom_area_type：即上文介绍的缩放区域类型字段，用于指示缩放区域的类型。示例性地，该字段的值与缩放区域类型之间的对应关系可以如下表-4所示：
表-4：缩放区域类型字段
取值 描述
0 导演剪辑的缩放区域，即根据内容提供者的创作意图缩放视频
1 根据观看统计数据的测量结果选择的缩放区域
2～239 保留
240～255 未定义
zoom_description：即上文介绍的缩放区域描述字段，以空字符结尾的UTF-8字符串，用于提供缩放区域的文本描述。
在本申请实施例中，通过在沉浸式媒体内容的文件格式信息中添加字段，来定义沉浸式媒体内容的分辨率选择策略和候选分辨率，使得服务器端能够根据该文件格式信息，为客户端提供合适分辨率的沉浸式媒体文件，为实现上述基于客户端能力的分辨率自适应选择提供技术支持。
下面，结合一个例子对本申请技术方案进行介绍说明。
服务器端存储视频文件，假设未缩放的视频分辨率为8K，视频文件中包含多种分辨率(也即多种清晰度)的视频文件轨道，zoom_ratio分别为0(对应8K分辨率)，1(对应4K分辨率)，2(对应1080p分辨率)。
服务器设定清晰度选择策略为1，即设备能力允许条件下，一定带宽限制内观看质量优先，带宽限制为10mbps，在zoom_strategy_description中描述为“Limit bandwidth:10mbps”。
客户端(或称为播放器端)向服务器端发送能力信息，假设A用户设备可以消费8K视频，为普通用户；B用户设备可以消费4K视频，为高级用户；C用户设备可以消费8K视频，为高级用户。例如，高级用户比普通用户具有更高的优先级。
服务器根据上述能力信息以及分辨率选择策略，决定：
1、A用户为普通用户，需受到10mbps带宽限制，发送给A用户的视频应为8K分辨率以下且带宽小于10mbps的视频(本实施例中假设为4K视频)。该视频对应zoom_ratio为1的文件轨道。因此服务器将zoom_ratio为1的文件轨道重新封装为视频文件，发送给用户A。
2、B用户为高级用户，不受10mbps带宽限制，发送给B用户的视频应为其能消费的最高分辨率视频，即4K视频。因此服务器将zoom_ratio为1的文件轨道重新封装为视频文件，发送给用户B。
3、C用户为高级用户，不受10mbps带宽限制，发送给C用户的视频应为其能消费的最高分辨率视频，即8K视频。因此服务器将zoom_ratio为0的文件轨道重新封装为视频文件，发送给用户C。
用户A、B、C分别消费其收到的视频文件。
需要说明的是，在上述实施例中，缩放比例取值及对应的视频分辨率不局限于给出的例子。服务器端可根据已存储的不同分辨率的视频文件，选择合适的发送给对应用户。另外，服务器端可能未必存储有所有可能的缩放比例对应分辨率的视频文件。在这种情况下，可根据已有的不同分辨率的视频文件及缩放比例指示的分辨率，选择符合条件的最接近目标视频分辨率的视频文件发送给对应用户。
还需要说明的是，在上述实施例中，关于各字段的名称和描述仅是示例性和解释性的，在实现上述各字段所定义功能的前提下，各字段的名称和描述可以结合实际情况进行设定，但都应当落入本申请保护范围之内。
还需要说明的是，在上述实施例中，仅从服务器和客户端交互的角度，对本申请技术方案进行了介绍说明。上述有关服务器执行的步骤，可以单独实现成为服务器侧的沉浸式媒体提供方法；上述有关客户端执行的步骤，可以单独实现成为客户端侧的沉浸式媒体获取方法。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节，请参照本申请方法实施例。
请参考图6，其示出了本申请一个实施例提供的沉浸式媒体提供装置的框图。该装置具有实现上述沉浸式媒体提供方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的服务器，也可以设置在服务器上。该装置600可以包括：信息接收模块610、分辨率选择模块620和文件发送模块630。
信息接收模块610，用于接收来自客户端的能力信息，所述能力信息用于指示所述客户端所在设备的沉浸式媒体播放能力。
分辨率选择模块620，用于根据沉浸式媒体内容的分辨率选择策略和所述能力信息，从所述沉浸式媒体内容的候选分辨率中，确定提供给所述客户端的目标分辨率。
文件发送模块630，用于向所述客户端发送所述目标分辨率的沉浸式媒体文件。
在示例性实施例中，所述沉浸式媒体内容的文件格式信息包括：分辨率描述信息和分辨率选择策略信息；其中：所述分辨率描述信息，用于定义所述沉浸式媒体内容的候选分辨率；所述分辨率选择策略信息，用于定义所述沉浸式媒体内容的分辨率选择策略。
在示例性实施例中，所述分辨率选择策略信息包括：缩放策略类型字段，用于指示所述沉浸式媒体内容所采用的分辨率选择策略的类型。
在示例性实施例中，所述缩放策略类型字段的值为第一数值，表示所述分辨率选择策略为设备能力允许条件下，观看质量优先；所述缩放策略类型字段的值为第二数值，表示所述分辨率选择策略为设备能力允许条件下，用户带宽限制内观看质量优先。
在示例性实施例中，所述分辨率选择策略信息还包括：缩放策略描述字段，用于提供所述分辨率选择策略的文本描述；缩放策略描述长度字段，用于指示所述缩放策略描述字段中的所述文本描述的长度。
在示例性实施例中，所述分辨率描述信息，包括：数量指示字段，用于指示所述沉浸式媒体内容包括的缩放区域的数量；缩放比例指示字段，用于指示所述缩放区域的缩放比例；其中，不同的缩放区域对应于不同的候选分辨率。
在示例性实施例中，所述缩放比例指示字段的值为0，表示所述缩放区域相对于原始区域未进行缩放；所述缩放比例指示字段的值为1，表示所述缩放区域在宽、高上分别为原始区域的1/2；所述缩放比例指示字段的值为2，表示所述缩放区域在宽、高上分别为原始区域的1/4；所述缩放比例指示字段的值为3，表示所述缩放区域在宽、高上分别为原始区域的1/6；所述缩放比例指示字段的值为4，表示所述缩放区域在宽、高上分别为原始区域的1/8。
在示例性实施例中，所述分辨率描述信息，还包括：缩放算法类型字段，用于指示所述缩放区域的缩放算法类型；缩放符号类型字段，用于指示所述缩放区域的边界符号类型；缩放区域类型字段，用于指示所述缩放区域的类型；缩放区域描述字段，用于提供所述缩放区域的文本描述。
在示例性实施例中，所述能力信息包括以下至少一项：设备能力信息，用于指示所述客户端所在设备支持的最大分辨率；用户权限信息，用于指示所述客户端对应的用户权限所支持的最大分辨率；用户带宽信息，用于指示所述客户端对应的用户带宽上限。
综上所述，本申请实施例提供的技术方案，通过根据客户端的能力信息和沉浸式媒体内容的分辨率选择策略，从沉浸式媒体内容的候选分辨率中，选择目标分辨率的沉浸式媒体文件发送给客户端；提供了一种根据客户端能力自适应地选择沉浸式媒体内容的分辨率的技术方案，能够实现从满足客户端能力信息要求的候选分辨率中，选择最大分辨率提供给客户端，从而在保证用户体验的前提下，提升带宽资源的利用率。
请参考图7，其示出了本申请一个实施例提供的沉浸式媒体获取装置的框图。该装置具有实现上述沉浸式媒体获取方法示例的功能，所述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置可以是上文介绍的终端，也可以设置在终端上。该装置700可以包括：信息获取模块710、信息发送模块720和文件接收模块730。
信息获取模块710，用于获取客户端的能力信息，所述能力信息用于指示所述客户端所在设备的沉浸式媒体播放能力。
信息发送模块720，用于向服务器发送所述能力信息。
文件接收模块730，用于接收来自所述服务器的目标分辨率的沉浸式媒体文件，所述目标分辨率是基于沉浸式媒体内容的分辨率选择策略和所述能力信息，从所述沉浸式媒体内容的候选分辨率中确定的。
在示例性实施例中，所述能力信息包括以下至少一项：设备能力信息，用于指示所述客户端所在设备支持的最大分辨率；用户权限信息，用于指示所述客户端对应的用户权限所支持的最大分辨率；用户带宽信息，用于指示所述客户端对应的用户带宽上限。
综上所述，本申请实施例提供的技术方案，通过根据客户端的能力信息和沉浸式媒体内容的分辨率选择策略，从沉浸式媒体内容的候选分辨率中，选择目标分辨率的沉浸式媒体文件发送给客户端；提供了一种根据客户端能力自适应地选择沉浸式媒体内容的分辨率的技术方案，能够实现从满足客户端能力信息要求的候选分辨率中，选择最大分辨率提供给客户端，从而在保证用户体验的前提下，提升带宽资源的利用率。
需要说明的是，上述实施例提供的装置，在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置与方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
请参考图8，其示出了本申请一个实施例提供的服务器的结构框图。该服务器可用于执行上述实施例中提供的沉浸式媒体提供方法。具体来讲：
服务器800包括中央处理单元(Central Processing Unit，CPU)801、包括随机存取存储器(Random Access Memory，RAM)802和只读存储器(Read Only Memory，ROM)803的***存储器804，以及连接***存储器804和中央处理单元801的***总线805。服务器800还包括帮助计算机内的各个器件之间传输信息的基本输入/输出***(I/O(Input/Output)***)806，和用于存储操作***813、应用程序814和其他程序模块812的大容量存储设备807。
基本输入/输出***806包括有用于显示信息的显示器808和用于用户输入信息的诸如鼠标、键盘之类的输入设备809。其中显示器808和输入设备809都通过连接到***总线805的输入输出控制器810连接到中央处理单元801。基本输入/输出***806还可以包括输入输出控制器810以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器810还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备807通过连接到***总线805的大容量存储控制器(未示出)连接到中央处理单元801。大容量存储设备807及其相关联的计算机可读介质为服务器800提供非易失性存储。也就是说，大容量存储设备807可以包括诸如硬盘或者CD-ROM(CompactDisc Read-Only Memory，只读光盘)驱动器之类的计算机可读介质(未示出)。
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括RAM、ROM、EPROM(Erasable Programmable Read Only Memory，可擦除可编程只读存储器)、EEPROM(Electrically Erasable Programmable Read Only Memory，电可擦可编程只读存储器)、闪存或其他固态存储其技术，CD-ROM、DVD(Digital Video Disc，高密度数字视频光盘)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的***存储器804和大容量存储设备807可以统称为存储器。
根据本申请的各种实施例，服务器800还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器800可以通过连接在***总线805上的网络接口单元811连接到网络812，或者说，也可以使用网络接口单元811来连接到其他类型的网络或远程计算机***(未示出)。
所述存储器还包括计算机程序，该计算机程序存储于存储器中，且经配置以由一个或者一个以上处理器执行，以实现上述沉浸式媒体提供方法。
请参考图9，其示出了本申请一个实施例提供的终端900的结构框图。该终端900可以是诸如手机、平板电脑、多媒体播放设备、电视机、放映机、显示器、可穿戴设备、PC等电子设备。该终端可用于实施上述实施例中提供的沉浸式媒体获取方法。具体来讲：
通常，终端900包括有：处理器901和存储器902。
处理器901可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器901可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(FieldProgrammable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器901可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器901还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。
存储器902可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器902中的非暂态的计算机可读存储介质用于存储至少一个指令，至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集，且经配置以由一个或者一个以上处理器执行，以实现上述沉浸式媒体获取方法。
在一些实施例中，终端900还可选包括有：***设备接口903和至少一个***设备。处理器901、存储器902和***设备接口903之间可以通过总线或信号线相连。各个***设备可以通过总线、信号线或电路板与***设备接口903相连。具体地，***设备包括：射频电路904、触摸显示屏905、摄像头906、音频电路907、定位组件908和电源909中的至少一种。
本领域技术人员可以理解，图9中示出的结构并不构成对终端900的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被服务器的处理器执行时以实现上述沉浸式媒体提供方法。
在示例性实施例中，还提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在被终端的处理器执行时以实现上述沉浸式媒体获取方法。
可选地，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、固态硬盘(SSD，Solid State Drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(ReRAM,Resistance RandomAccess Memory)和动态随机存取存储器(DRAM，Dynamic Random Access Memory)。
在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品被服务器的处理器执行时，用于实现上述沉浸式媒体提供方法。
在示例性实施例中，还提供一种计算机程序产品，所述计算机程序产品被终端的处理器执行时，用于实现上述沉浸式媒体获取方法。
应当理解的是，在本文中提及的“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外，本文中描述的步骤编号，仅示例性示出了步骤间的一种可能的执行先后顺序，在一些其它实施例中，上述步骤也可以不按照编号顺序来执行，如两个不同编号的步骤同时执行，或者两个不同编号的步骤按照与图示相反的顺序执行，本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (20)

1.一种沉浸式媒体提供方法，其特征在于，所述方法包括：
接收来自客户端的能力信息，所述能力信息用于指示所述客户端所在设备的沉浸式媒体播放能力；
根据所述能力信息和沉浸式媒体内容的分辨率描述信息，从所述沉浸式媒体内容的候选分辨率中，确定提供给所述客户端的目标分辨率；其中，所述分辨率描述信息用于定义所述沉浸式媒体内容的候选分辨率；
向所述客户端发送所述目标分辨率的沉浸式媒体文件。
2.根据权利要求1所述的方法，其特征在于，所述分辨率描述信息包括数量指示字段和缩放比例指示字段；
所述数量指示字段用于指示所述沉浸式媒体内容包括的缩放区域的数量；
所述缩放比例指示字段用于指示所述沉浸式媒体内容包括的缩放区域相对于原始区域的缩放比例，不同缩放区域的视频数据具有不同的分辨率。
3.根据权利要求2所述的方法，其特征在于，
所述缩放比例指示字段的值为0，表示所述缩放区域相对于原始区域未进行缩放；
所述缩放比例指示字段的值不为0时，所述缩放比例指示字段的值用于指示所述缩放区域相对于原始区域的实际比例或近似比例。
4.根据权利要求1所述的方法，其特征在于，所述沉浸式媒体内容的文件格式信息包括：所述分辨率描述信息和分辨率选择策略信息；其中，所述分辨率选择策略信息用于定义所述沉浸式媒体内容的分辨率选择策略。
5.根据权利要求4所述的方法，其特征在于，所述分辨率选择策略信息包括：
缩放策略类型字段，用于指示所述沉浸式媒体内容所采用的分辨率选择策略的类型。
6.根据权利要求5所述的方法，其特征在于，
所述缩放策略类型字段的值为第一数值，表示所述分辨率选择策略为设备能力允许条件下，观看质量优先；
所述缩放策略类型字段的值为第二数值，表示所述分辨率选择策略为设备能力允许条件下，用户带宽限制内观看质量优先。
7.根据权利要求5所述的方法，其特征在于，所述分辨率选择策略信息还包括：
缩放策略描述字段，用于提供所述分辨率选择策略的文本描述；
缩放策略描述长度字段，用于指示所述缩放策略描述字段中的所述文本描述的长度。
8.根据权利要求1至7任一项所述的方法，其特征在于，所述能力信息包括以下至少一项：
设备能力信息，用于指示所述客户端所在设备支持的最大分辨率；
用户权限信息，用于指示所述客户端对应的用户权限所支持的最大分辨率；
用户带宽信息，用于指示所述客户端对应的用户带宽上限。
9.一种沉浸式媒体获取方法，其特征在于，所述方法包括：
获取客户端的能力信息，所述能力信息用于指示所述客户端所在设备的沉浸式媒体播放能力；
向服务器发送所述能力信息；
接收来自所述服务器的目标分辨率的沉浸式媒体文件，所述目标分辨率是根据所述能力信息和沉浸式媒体内容的分辨率描述信息，从所述沉浸式媒体内容的候选分辨率中确定的；其中，所述分辨率描述信息用于定义所述沉浸式媒体内容的候选分辨率。
10.根据权利要求9所述的方法，其特征在于，所述分辨率描述信息包括数量指示字段和缩放比例指示字段；
所述数量指示字段用于指示所述沉浸式媒体内容包括的缩放区域的数量；
所述缩放比例指示字段用于指示所述沉浸式媒体内容包括的缩放区域相对于原始区域的缩放比例，不同缩放区域的视频数据具有不同的分辨率。
11.根据权利要求10所述的方法，其特征在于，
所述缩放比例指示字段的值为0，表示所述缩放区域相对于原始区域未进行缩放；
所述缩放比例指示字段的值不为0时，所述缩放比例指示字段的值用于指示所述缩放区域相对于原始区域的实际比例或近似比例。
12.根据权利要求9所述的方法，其特征在于，所述沉浸式媒体内容的文件格式信息包括：所述分辨率描述信息和分辨率选择策略信息；其中，所述分辨率选择策略信息用于定义所述沉浸式媒体内容的分辨率选择策略。
13.根据权利要求12所述的方法，其特征在于，所述分辨率选择策略信息包括：
缩放策略类型字段，用于指示所述沉浸式媒体内容所采用的分辨率选择策略的类型。
14.根据权利要求13所述的方法，其特征在于，
所述缩放策略类型字段的值为第一数值，表示所述分辨率选择策略为设备能力允许条件下，观看质量优先；
所述缩放策略类型字段的值为第二数值，表示所述分辨率选择策略为设备能力允许条件下，用户带宽限制内观看质量优先。
15.根据权利要求13所述的方法，其特征在于，所述分辨率选择策略信息还包括：
缩放策略描述字段，用于提供所述分辨率选择策略的文本描述；
缩放策略描述长度字段，用于指示所述缩放策略描述字段中的所述文本描述的长度。
16.根据权利要求9至15任一项所述的方法，其特征在于，所述能力信息包括以下至少一项：
设备能力信息，用于指示所述客户端所在设备支持的最大分辨率；
用户权限信息，用于指示所述客户端对应的用户权限所支持的最大分辨率；
用户带宽信息，用于指示所述客户端对应的用户带宽上限。
17.一种沉浸式媒体提供装置，其特征在于，所述装置包括：
信息接收模块，用于接收来自客户端的能力信息，所述能力信息用于指示所述客户端所在设备的沉浸式媒体播放能力；
分辨率选择模块，用于根据所述能力信息和沉浸式媒体内容的分辨率描述信息，从所述沉浸式媒体内容的候选分辨率中，确定提供给所述客户端的目标分辨率；其中，所述分辨率描述信息用于定义所述沉浸式媒体内容的候选分辨率；
文件发送模块，用于向所述客户端发送所述目标分辨率的沉浸式媒体文件。
18.一种沉浸式媒体获取装置，其特征在于，所述装置包括：
信息获取模块，用于获取客户端的能力信息，所述能力信息用于指示所述客户端所在设备的沉浸式媒体播放能力；
信息发送模块，用于向服务器发送所述能力信息；
文件接收模块，用于接收来自所述服务器的目标分辨率的沉浸式媒体文件，所述目标分辨率是根据所述能力信息和沉浸式媒体内容的分辨率描述信息，从所述沉浸式媒体内容的候选分辨率中确定的；其中，所述分辨率描述信息用于定义所述沉浸式媒体内容的候选分辨率。
19.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至8任一项所述的方法，或者实现如权利要求9至16任一项所述的方法。
20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如权利要求1至8任一项所述的方法，或者实现如权利要求9至16任一项所述的方法。
CN202210831058.5A 2020-03-24 2020-03-24 沉浸式媒体提供方法、获取方法、装置、设备及存储介质 Active CN115225937B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210831058.5A CN115225937B (zh) 2020-03-24 2020-03-24 沉浸式媒体提供方法、获取方法、装置、设备及存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010211178.6A CN113453046B (zh) 2020-03-24 2020-03-24 沉浸式媒体提供方法、获取方法、装置、设备及存储介质
CN202210831058.5A CN115225937B (zh) 2020-03-24 2020-03-24 沉浸式媒体提供方法、获取方法、装置、设备及存储介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202010211178.6A Division CN113453046B (zh) 2020-03-24 2020-03-24 沉浸式媒体提供方法、获取方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN115225937A true CN115225937A (zh) 2022-10-21
CN115225937B CN115225937B (zh) 2023-12-01

Family

ID=77806310

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202210831058.5A Active CN115225937B (zh) 2020-03-24 2020-03-24 沉浸式媒体提供方法、获取方法、装置、设备及存储介质
CN202010211178.6A Active CN113453046B (zh) 2020-03-24 2020-03-24 沉浸式媒体提供方法、获取方法、装置、设备及存储介质

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010211178.6A Active CN113453046B (zh) 2020-03-24 2020-03-24 沉浸式媒体提供方法、获取方法、装置、设备及存储介质

Country Status (5)

Country Link
US (1) US20220182687A1 (zh)
EP (1) EP4009644A4 (zh)
CN (2) CN115225937B (zh)
TW (1) TWI786572B (zh)
WO (1) WO2021190221A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116347183A (zh) * 2020-06-04 2023-06-27 腾讯科技（深圳）有限公司 一种沉浸媒体的数据处理方法及相关装置
CN116233493A (zh) * 2021-09-29 2023-06-06 腾讯科技（深圳）有限公司 沉浸媒体的数据处理方法、装置、设备及可读存储介质
CN114257838B (zh) * 2021-11-29 2024-04-16 新奥特（北京）视频技术有限公司 一种视频数据处理方法、装置、电子设备和存储介质
CN115314723B (zh) * 2022-06-17 2023-12-12 百果园技术(新加坡)有限公司 一种初始档位视频流传输方法、装置、设备及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6492985B1 (en) * 1999-07-06 2002-12-10 Internet Pictures Corporation Presenting manipulating and serving immersive images
CN101420604A (zh) * 2008-11-20 2009-04-29 华为技术有限公司 一种媒体提供、下载方法及***
CN102948148A (zh) * 2010-06-18 2013-02-27 微软公司 组合多比特率与可伸缩视频编码
US20140139735A1 (en) * 2012-04-10 2014-05-22 Huawei Technologies Co., Ltd. Online Media Data Conversion Method, Online Video Playing Method and Corresponding Device
EP2961182A1 (en) * 2014-06-27 2015-12-30 Alcatel Lucent Method, system and device for navigating in ultra high resolution video content by a client device
CN107087212A (zh) * 2017-05-09 2017-08-22 杭州码全信息科技有限公司 基于空间可伸缩编码的交互式全景视频转码与播放方法及***
CN107566854A (zh) * 2016-06-30 2018-01-09 华为技术有限公司 一种媒体内容的获取和发送方法及装置
WO2018049321A1 (en) * 2016-09-12 2018-03-15 Vid Scale, Inc. Method and systems for displaying a portion of a video stream with partial zoom ratios
US20180270515A1 (en) * 2015-10-01 2018-09-20 Vid Scale, Inc. Methods and systems for client interpretation and presentation of zoom-coded content
CN109218763A (zh) * 2018-11-12 2019-01-15 青岛海信传媒网络技术有限公司 一种流媒体视频切换的方法及智能电视
US20190104326A1 (en) * 2017-10-03 2019-04-04 Qualcomm Incorporated Content source description for immersive media data

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8458753B2 (en) * 2006-02-27 2013-06-04 Time Warner Cable Enterprises Llc Methods and apparatus for device capabilities discovery and utilization within a content-based network
CN101163245B (zh) * 2007-11-27 2010-09-29 北京中星微电子有限公司 一种图像处理方法及装置
US20090184962A1 (en) * 2008-01-22 2009-07-23 Dell Product L.P. Systems and Methods for Managing Video Resolution in a Multiple-Output Information Handling System
JP5684033B2 (ja) * 2011-04-11 2015-03-11 オリンパス株式会社 撮像装置及び内視鏡装置の作動方法
US20140082661A1 (en) * 2012-03-06 2014-03-20 Google Inc. Low latency video storyboard delivery with selectable resolution levels
CN103493500A (zh) * 2012-09-04 2014-01-01 华为终端有限公司 媒体播放方法、控制点和终端
CN105306986B (zh) * 2013-05-14 2016-09-07 广东云海云计算科技有限公司 集成基本数据、正常数据解扰的dvb条件接收装置
CN103825912A (zh) * 2014-03-24 2014-05-28 联想(北京)有限公司 一种数据传输方法、电子设备及服务器
GB2558086B (en) * 2014-03-25 2019-02-20 Canon Kk Methods, devices, and computer programs for improving streaming of partitioned timed media data
US20160150212A1 (en) * 2014-11-26 2016-05-26 Sony Corporation Live selective adaptive bandwidth
CN105933726A (zh) * 2016-05-13 2016-09-07 乐视控股（北京）有限公司 虚拟现实终端及其视频分辨率的适应方法及装置
EP3466076A1 (en) * 2016-05-26 2019-04-10 VID SCALE, Inc. Methods and apparatus of viewport adaptive 360 degree video delivery
KR102545195B1 (ko) * 2016-09-12 2023-06-19 삼성전자주식회사 가상 현실 시스템에서 컨텐트 전송 및 재생 방법 및 장치
US10887379B2 (en) * 2017-09-20 2021-01-05 Verizon Patent And Licensing Inc. Dynamically determining a content delivery network from which to receive content
CN108462899B (zh) * 2018-03-19 2021-04-30 海信视像科技股份有限公司 基于设备能力的流媒体码流自适应传输方法、播放设备及播放***
GB2573543B (en) * 2018-05-09 2021-10-27 Advanced Risc Mach Ltd Graphics Processing
US20190045248A1 (en) * 2018-05-31 2019-02-07 Intel Corporation Super resolution identifier mechanism
CN110572656B (zh) * 2019-09-19 2021-11-19 江苏视博云信息技术有限公司 一种编码方法、图像处理方法、装置、***、存储介质及设备

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6492985B1 (en) * 1999-07-06 2002-12-10 Internet Pictures Corporation Presenting manipulating and serving immersive images
CN101420604A (zh) * 2008-11-20 2009-04-29 华为技术有限公司 一种媒体提供、下载方法及***
CN102948148A (zh) * 2010-06-18 2013-02-27 微软公司 组合多比特率与可伸缩视频编码
US20140139735A1 (en) * 2012-04-10 2014-05-22 Huawei Technologies Co., Ltd. Online Media Data Conversion Method, Online Video Playing Method and Corresponding Device
EP2961182A1 (en) * 2014-06-27 2015-12-30 Alcatel Lucent Method, system and device for navigating in ultra high resolution video content by a client device
US20180270515A1 (en) * 2015-10-01 2018-09-20 Vid Scale, Inc. Methods and systems for client interpretation and presentation of zoom-coded content
CN107566854A (zh) * 2016-06-30 2018-01-09 华为技术有限公司 一种媒体内容的获取和发送方法及装置
WO2018049321A1 (en) * 2016-09-12 2018-03-15 Vid Scale, Inc. Method and systems for displaying a portion of a video stream with partial zoom ratios
CN107087212A (zh) * 2017-05-09 2017-08-22 杭州码全信息科技有限公司 基于空间可伸缩编码的交互式全景视频转码与播放方法及***
US20190104326A1 (en) * 2017-10-03 2019-04-04 Qualcomm Incorporated Content source description for immersive media data
CN109218763A (zh) * 2018-11-12 2019-01-15 青岛海信传媒网络技术有限公司 一种流媒体视频切换的方法及智能电视

Also Published As

Publication number Publication date
TWI786572B (zh) 2022-12-11
TW202137770A (zh) 2021-10-01
EP4009644A4 (en) 2023-03-15
CN113453046B (zh) 2022-07-12
EP4009644A1 (en) 2022-06-08
US20220182687A1 (en) 2022-06-09
CN115225937B (zh) 2023-12-01
CN113453046A (zh) 2021-09-28
WO2021190221A1 (zh) 2021-09-30

Similar Documents

Publication Publication Date Title
CN113453046B (zh) 沉浸式媒体提供方法、获取方法、装置、设备及存储介质
KR102246002B1 (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
CN108271044B (zh) 一种信息的处理方法及装置
US20200092600A1 (en) Method and apparatus for presenting video information
EP3782368A1 (en) Processing video patches for three-dimensional content
US20200145736A1 (en) Media data processing method and apparatus
US20200145716A1 (en) Media information processing method and apparatus
CN110971564B (zh) 传输媒体数据的方法、客户端和服务器
CN107438203B (zh) 用于建立和接收清单的方法、网络设备及终端
CN110351492B (zh) 一种视频数据处理方法、装置及介质
US20230034937A1 (en) Media file encapsulating method, media file decapsulating method, and related devices
CN115225975A (zh) 多自由度场景下的沉浸式媒体获取方法、设备及存储介质
JPWO2019138929A1 (ja) 情報処理装置および方法
US20220256132A1 (en) Devices and methods for generating and rendering immersive video
KR20200008631A (ko) 360도 비디오를 전송하는 방법, 360도 비디오를 수신하는 방법, 360도 비디오 전송 장치, 360도 비디오 수신 장치
JP2019125865A (ja) 情報処理装置および方法
US20230360277A1 (en) Data processing method and apparatus for immersive media, device and storage medium
WO2023169003A1 (zh) 点云媒体的解码方法、点云媒体的编码方法及装置
US20230360678A1 (en) Data processing method and storage medium
WO2019138927A1 (ja) 情報処理装置および方法
CN117255233A (zh) 媒体信息处理方法、媒体信息播放方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40076011

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant