CN115396678A - 多媒体资源中轨道数据的处理方法、装置、介质及设备 - Google Patents

多媒体资源中轨道数据的处理方法、装置、介质及设备 Download PDF

Info

Publication number
CN115396678A
CN115396678A CN202110567993.0A CN202110567993A CN115396678A CN 115396678 A CN115396678 A CN 115396678A CN 202110567993 A CN202110567993 A CN 202110567993A CN 115396678 A CN115396678 A CN 115396678A
Authority
CN
China
Prior art keywords
track data
knowledge image
data
bitstream
knowledge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110567993.0A
Other languages
English (en)
Inventor
胡颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110567993.0A priority Critical patent/CN115396678A/zh
Priority to EP22810185.3A priority patent/EP4351142A1/en
Priority to PCT/CN2022/083956 priority patent/WO2022247452A1/zh
Priority to TW111113335A priority patent/TWI794076B/zh
Priority to US17/988,713 priority patent/US11949966B2/en
Publication of CN115396678A publication Critical patent/CN115396678A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Stored Programmes (AREA)

Abstract

本申请的实施例提供了一种多媒体资源中轨道数据的处理方法、装置、介质及设备。该多媒体资源中轨道数据的处理方法包括：接收多媒体资源对应的信令文件，所述信令文件中包含有所述多媒体资源的多个轨道数据分别对应的描述子，主位流轨道数据对应的描述子中包含的依赖项标识指向知识图像轨道数据对应的描述子；解析所述信令文件，根据所述依赖项标识确定所述主位流轨道数据与所述知识图像轨道数据之间的依赖关系；根据所述依赖关系从数据源侧依次获取所述知识图像轨道数据和所述主位流轨道数据。本申请实施例的技术方案可以根据信令文件提前获取到各个轨道数据之间的关联关系，避免了需要临时获取知识图像轨道数据而带来不必要的时延。

Description

多媒体资源中轨道数据的处理方法、装置、介质及设备
技术领域
本申请涉及计算机及通信技术领域，具体而言，涉及一种多媒体资源中轨道数据的处理方法、装置、介质及设备。
背景技术
在AVS3视频编解码技术中，为了提升视频压缩效率，提出了知识图像的概念，即在对视频序列编码时，可生成主位流(main bitstream)和知识图像位流(librarybitstream)，并且主位流内的图像帧在解码时，可以参考知识图像位流中的图像帧。但是数据接收方提前可能并不知道主位流与知识图像位流之间的关系，如果数据接收方之前并没有请求或解码相对应的知识图像轨道，则需要临时请求或解码知识图像轨道，进而会带来不必要的时延，影响用户体验。
发明内容
本申请的实施例提供了一种多媒体资源中轨道数据的处理方法、装置、介质及设备，进而至少在一定程度上可以根据信令文件提前获取到各个轨道数据之间的关联关系，避免了需要临时获取知识图像轨道数据而带来不必要的时延。
本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。
根据本申请实施例的一个方面，提供了一种多媒体资源中轨道数据的处理方法，包括：接收多媒体资源对应的信令文件，所述信令文件中包含有所述多媒体资源的多个轨道数据分别对应的描述子，所述多个轨道数据包括主位流对应的主位流轨道数据和知识图像位流对应的知识图像轨道数据，所述主位流轨道数据对应的描述子中包含的依赖项标识指向所述知识图像轨道数据对应的描述子；解析所述信令文件，根据所述依赖项标识确定所述主位流轨道数据与所述知识图像轨道数据之间的依赖关系；根据所述依赖关系从数据源侧依次获取所述知识图像轨道数据和所述主位流轨道数据。
根据本申请实施例的一个方面，提供了一种多媒体资源中轨道数据的处理方法，包括：生成多媒体资源对应的信令文件，所述信令文件中包含有所述多媒体资源的多个轨道数据分别对应的描述子，所述多个轨道数据包括主位流对应的主位流轨道数据和知识图像位流对应的知识图像轨道数据，所述主位流轨道数据对应的描述子中包含的依赖项标识指向所述知识图像轨道数据对应的描述子；将所述信令文件发送给数据接收方，以使所述数据方根据所述信令文件中的所述依赖项标识确定所述主位流轨道数据与所述知识图像轨道数据之间的依赖关系，并根据所述依赖关系从数据源侧依次获取所述知识图像轨道数据和所述主位流轨道数据。
根据本申请实施例的一个方面，提供了一种多媒体资源中轨道数据的处理装置，包括：接收单元，配置为接收多媒体资源对应的信令文件，所述信令文件中包含有所述多媒体资源的多个轨道数据分别对应的描述子，所述多个轨道数据包括主位流对应的主位流轨道数据和知识图像位流对应的知识图像轨道数据，所述主位流轨道数据对应的描述子中包含的依赖项标识指向所述知识图像轨道数据对应的描述子；解析单元，配置为解析所述信令文件，根据所述依赖项标识确定所述主位流轨道数据与所述知识图像轨道数据之间的依赖关系；获取单元，配置为根据所述依赖关系从数据源侧依次获取所述知识图像轨道数据和所述主位流轨道数据。
在本申请的一些实施例中，基于前述方案，所述知识图像轨道数据对应的描述子中包含第一元素信息，所述第一元素信息用于指示包含所述第一元素信息的描述子为知识图像轨道数据对应的描述子。
在本申请的一些实施例中，基于前述方案，所述多个轨道数据中包含至少两个知识图像轨道数据，各个知识图像轨道数据对应的描述子中包含第二元素信息，所述第二元素信息用于指示所述知识图像轨道数据所在的轨道组。
在本申请的一些实施例中，基于前述方案，各个知识图像轨道数据对应的描述子中包含第三元素信息，所述第三元素信息的值用于指示所述知识图像轨道数据是否被多个主位流轨道数据所依赖。
在本申请的一些实施例中，基于前述方案，若所述至少两个知识图像轨道数据中存在被多个主位流轨道数据所依赖的目标知识图像轨道数据，则所述目标知识图像轨道数据对应的描述子中还包含第四元素信息，所述第四元素信息用于指示所述多个主位流轨道数据中指定主位流轨道数据的帧率。
在本申请的一些实施例中，基于前述方案，各个知识图像轨道数据对应的描述子中还包含有样本索引标识，所述样本索引标识用于指示主位流轨道数据中用于索引所述知识图像轨道数据的样本索引号区间。
在本申请的一些实施例中，基于前述方案，所述样本索引标识包括第五元素信息和第六元素信息，所述第五元素信息的值指示主位流轨道数据中用于索引所述知识图像轨道数据的样本索引号最小值，所述第六元素信息的值指示主位流轨道数据中用于索引所述知识图像轨道数据的样本索引号最大值。
在本申请的一些实施例中，基于前述方案，所述主位流轨道数据中包含索引标识，所述索引标识用于指示所述主位流轨道数据所依赖的知识图像轨道数据或用于指示所述主位流轨道数据所依赖的知识图像轨道组。
在本申请的一些实施例中，基于前述方案，所述主位流轨道数据中包含轨道参考类型数据盒，所述轨道参考类型数据盒中包含参考类型字段，所述参考类型字段用于表示所述索引标识。
在本申请的一些实施例中，基于前述方案，所述主位流轨道数据中包含轨道参考数据盒，所述轨道参考数据盒包含所述轨道参考类型数据盒。
在本申请的一些实施例中，基于前述方案，所述多个轨道数据中包含至少两个知识图像轨道数据，各个知识图像轨道数据中包含有轨道组标识，所述轨道组标识用于指示所述知识图像轨道数据所在的轨道组。
在本申请的一些实施例中，基于前述方案，各个知识图像轨道数据中还包含用于指示所述知识图像轨道数据是否被多个主位流轨道数据所依赖的第一字段信息；若所述第一字段信息指示知识图像轨道数据被1个主位流轨道数据所依赖，则所述知识图像轨道数据中还包含指示主位流轨道数据中用于索引所述知识图像轨道数据的样本索引号最小值的字段，以及指示主位流轨道数据中用于索引所述知识图像轨道数据的样本索引号最大值的字段。
在本申请的一些实施例中，基于前述方案，若所述第一字段信息指示知识图像轨道数据被多个主位流轨道数据所依赖，则所述知识图像轨道数据中还包含分别指示各个主位流轨道数据中用于索引所述知识图像轨道数据的样本索引号最小值的字段、分别指示主位流轨道数据中用于索引所述知识图像轨道数据的样本索引号最大值的字段，以及用于指示所述多个主位流轨道数据中各个主位流轨道数据的帧率的字段。
在本申请的一些实施例中，基于前述方案，各个知识图像轨道数据中还包含用于指示所述知识图像轨道数据是否被多个主位流轨道数据所依赖的第一字段信息；若所述第一字段信息指示知识图像轨道数据被1个主位流轨道数据所依赖，则所述知识图像轨道数据中还包含指示主位流轨道数据中用于索引所述知识图像轨道数据的样本组数量的字段，以及指示主位流轨道数据中用于索引所述知识图像轨道数据的样本组索引号的字段。
在本申请的一些实施例中，基于前述方案，若所述第一字段信息指示知识图像轨道数据被多个主位流轨道数据所依赖，则所述知识图像轨道数据中还包含分别指示主位流轨道数据中用于索引所述知识图像轨道数据的样本组数量的字段、分别指示主位流轨道数据中用于索引所述知识图像轨道数据的样本组索引号的字段，以及用于指示所述多个主位流轨道数据中各个主位流轨道数据的帧率的字段。
在本申请的一些实施例中，基于前述方案，所述的多媒体资源中轨道数据的处理装置还包括：解码单元，配置为根据所述依赖关系确定解码顺序；根据所述解码顺序，依次对所述知识图像轨道数据和所述主位流轨道数据进行解码处理，得到所述多媒体资源。
在本申请的一些实施例中，基于前述方案，所述解码单元配置为：解码所述主位流轨道数据；在解码得到所述主位流轨道数据中需要参考知识图像轨道数据的样本索引号区间时，根据所述样本索引号区间，从多个知识图像轨道数据中确定需要参考的知识图像轨道数据；解码所述需要参考的知识图像轨道数据。
根据本申请实施例的一个方面，提供了一种多媒体资源中轨道数据的处理装置，包括：生成单元，配置为生成多媒体资源对应的信令文件，所述信令文件中包含有所述多媒体资源的多个轨道数据分别对应的描述子，所述多个轨道数据包括主位流对应的主位流轨道数据和知识图像位流对应的知识图像轨道数据，所述主位流轨道数据对应的描述子中包含的依赖项标识指向所述知识图像轨道数据对应的描述子；发送单元，配置为将所述信令文件发送给数据接收方，以使所述数据方根据所述信令文件中的所述依赖项标识确定所述主位流轨道数据与所述知识图像轨道数据之间的依赖关系，并根据所述依赖关系从数据源侧依次获取所述知识图像轨道数据和所述主位流轨道数据。
在本申请的一些实施例中，基于前述方案，所述生成单元还配置为：在生成多媒体资源对应的信令文件之前，生成主位流对应的主位流轨道数据和知识图像位流对应的知识图像轨道数据，所述主位流轨道数据中包含有索引标识，所述索引标识用于指示所述主位流轨道数据所依赖的知识图像轨道数据。
根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的多媒体资源中轨道数据的处理方法。
根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的多媒体资源中轨道数据的处理方法。
根据本申请实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实施例中提供的多媒体资源中轨道数据的处理方法。
在本申请的一些实施例所提供的技术方案中，通过接收多媒体资源对应的信令文件，根据该信令文件中包含的多个轨道数据分别对应的描述子，以及主位流轨道数据对应的描述子中包含的依赖项标识确定主位流轨道数据与知识图像轨道数据之间的依赖关系，然后根据该依赖关系从数据源侧依次获取知识图像轨道数据和主位流轨道数据，使得数据接收方能够根据信令文件提前获取到各个轨道数据之间的关联关系，以决定是否获取知识图像轨道数据以及请求何种知识图像轨道数据，在保证合理分配网络和CPU资源的前提下，避免了需要临时获取知识图像轨道数据而带来不必要的时延，有利于提升用户体验。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了可以应用本申请实施例的技术方案的示例性***架构的示意图；
图2示出视频编码装置和视频解码装置在流式传输***中的放置方式示意图；
图3示出了一个视频编码器的基本流程图；
图4示出了根据本申请的一个实施例的视频文件的整体传输流程图；
图5示出了对视频序列编码生成主位流和知识图像位流的示意图；
图6示出了根据本申请的一个实施例的多媒体资源中轨道数据的处理方法的流程图；
图7示出了根据本申请的一个实施例的多媒体资源中轨道数据的处理方法的流程图；
图8示出了根据本申请的一个实施例的多媒体资源中轨道数据的处理方法的流程图；
图9示出了根据本申请的一个实施例的多媒体资源中轨道数据的处理装置的框图；
图10示出了根据本申请的一个实施例的多媒体资源中轨道数据的处理装置的框图；
图11示出了适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
需要说明的是：在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
图1示出了可以应用本申请实施例的技术方案的示例性***架构的示意图。
如图1所示，***架构100包括多个终端装置，所述终端装置可通过例如网络150彼此通信。举例来说，***架构100可以包括通过网络150互连的第一终端装置110和第二终端装置120。在图1的实施例中，第一终端装置110和第二终端装置120执行单向数据传输。
举例来说，第一终端装置110可对视频数据(例如由终端装置110采集的视频图片流)进行编码以通过网络150传输到第二终端装置120，已编码的视频数据以一个或多个已编码视频码流形式传输，第二终端装置120可从网络150接收已编码视频数据，对已编码视频数据进行解码以恢复视频数据，并根据恢复的视频数据显示视频图片。
在本申请的一个实施例中，***架构100可以包括执行已编码视频数据的双向传输的第三终端装置130和第四终端装置140，所述双向传输比如可以发生在视频会议期间。对于双向数据传输，第三终端装置130和第四终端装置140中的每个终端装置可对视频数据(例如由终端装置采集的视频图片流)进行编码，以通过网络150传输到第三终端装置130和第四终端装置140中的另一终端装置。第三终端装置130和第四终端装置140中的每个终端装置还可接收由第三终端装置130和第四终端装置140中的另一终端装置传输的已编码视频数据，且可对已编码视频数据进行解码以恢复视频数据，并可根据恢复的视频数据在可访问的显示装置上显示视频图片。
在图1的实施例中，第一终端装置110、第二终端装置120、第三终端装置130和第四终端装置140可为服务器、个人计算机和智能电话，但本申请公开的原理可不限于此。本申请公开的实施例适用于膝上型计算机、平板电脑、媒体播放器和/或专用视频会议设备。网络150表示在第一终端装置110、第二终端装置120、第三终端装置130和第四终端装置140之间传送已编码视频数据的任何数目的网络，包括例如有线和/或无线通信网络。通信网络150可在电路交换和/或分组交换信道中交换数据。该网络可包括电信网络、局域网、广域网和/或互联网。出于本申请的目的，除非在下文中有所解释，否则网络150的架构和拓扑对于本申请公开的操作来说可能是无关紧要的。
在本申请的一个实施例中，图2示出视频编码装置和视频解码装置在流式传输环境中的放置方式。本申请所公开主题可同等地适用于其它支持视频的应用，包括例如视频会议、数字TV(television，电视机)、在包括CD、DVD、存储棒等的数字介质上存储压缩视频等等。
流式传输***可包括采集子***213，采集子***213可包括数码相机等视频源201，视频源创建未压缩的视频图片流202。在实施例中，视频图片流202包括由数码相机拍摄的样本。相较于已编码的视频数据204(或已编码的视频码流204)，视频图片流202被描绘为粗线以强调高数据量的视频图片流，视频图片流202可由电子装置220处理，电子装置220包括耦接到视频源201的视频编码装置203。视频编码装置203可包括硬件、软件或软硬件组合以实现或实施如下文更详细地描述的所公开主题的各方面。相较于视频图片流202，已编码的视频数据204(或已编码的视频码流204)被描绘为细线以强调较低数据量的已编码的视频数据204(或已编码的视频码流204)，其可存储在流式传输服务器205上以供将来使用。一个或多个流式传输客户端子***，例如图2中的客户端子***206和客户端子***208，可访问流式传输服务器205以检索已编码的视频数据204的副本207和副本209。客户端子***206可包括例如电子装置230中的视频解码装置210。视频解码装置210对已编码的视频数据的传入副本207进行解码，且产生可在显示器212(例如显示屏)或另一呈现装置上呈现的输出视频图片流211。在一些流式传输***中，可根据某些视频编码/压缩标准对已编码的视频数据204、视频数据207和视频数据209(例如视频码流)进行编码。该些标准的实施例包括ITU-T H.265。在实施例中，正在开发的视频编码标准非正式地称为下一代视频编码(Versatile Video Coding，VVC)，本申请可用于VVC标准的上下文中。
应注意，电子装置220和电子装置230可包括图中未示出的其它组件。举例来说，电子装置220可包括视频解码装置，且电子装置230还可包括视频编码装置。
在本申请的一个实施例中，以国际视频编码标准HEVC(High Efficiency VideoCoding，高效率视频编码)、VVC(Versatile Video Coding，多功能视频编码)，以及中国国家视频编码标准AVS为例，当输入一个视频帧图像之后，会根据一个块大小，将视频帧图像划分成若干个不重叠的处理单元，每个处理单元将进行类似的压缩操作。这个处理单元被称作CTU(Coding Tree Unit，编码树单元)，或者称之为LCU(Largest Coding Unit，最大编码单元)。CTU再往下可以继续进行更加精细的划分，得到一个或多个基本的编码单元CU，CU是一个编码环节中最基本的元素。以下介绍对CU进行编码时的一些概念：
预测编码(Predictive Coding)：预测编码包括了帧内预测和帧间预测等方式，原始视频信号经过选定的已重建视频信号的预测后，得到残差视频信号。编码端需要为当前CU决定选择哪一种预测编码模式，并告知解码端。其中，帧内预测是指预测的信号来自于同一图像内已经编码重建过的区域；帧间预测是指预测的信号来自已经编码过的、不同于当前图像的其它图像(称之为参考图像)。
变换及量化(Transform&Quantization)：残差视频信号经过DFT(DiscreteFourier Transform，离散傅里叶变换)、DCT(Discrete Cosine Transform，离散余弦变换)等变换操作后，将信号转换到变换域中，称之为变换系数。变换系数进一步进行有损的量化操作，丢失掉一定的信息，使得量化后的信号有利于压缩表达。在一些视频编码标准中，可能有多于一种变换方式可以选择，因此编码端也需要为当前CU选择其中的一种变换方式，并告知解码端。量化的精细程度通常由量化参数(Quantization Parameter，简称QP)来决定，QP取值较大，表示更大取值范围的系数将被量化为同一个输出，因此通常会带来更大的失真及较低的码率；相反，QP取值较小，表示较小取值范围的系数将被量化为同一个输出，因此通常会带来较小的失真，同时对应较高的码率。
熵编码(Entropy Coding)或统计编码：量化后的变换域信号将根据各个值出现的频率进行统计压缩编码，最后输出二值化(0或者1)的压缩码流。同时，编码产生其他信息，例如选择的编码模式、运动矢量数据等，也需要进行熵编码以降低码率。统计编码是一种无损的编码方式，可以有效的降低表达同样信号所需要的码率，常见的统计编码方式有变长编码(Variable Length Coding，简称VLC)或者基于上下文的二值化算术编码(ContentAdaptive Binary Arithmetic Coding，简称CABAC)。
环路滤波(Loop Filtering)：经过变化及量化的信号会通过反量化、反变换及预测补偿的操作获得重建图像。重建图像与原始图像相比由于存在量化的影响，部分信息与原始图像有所不同，即重建图像会产生失真(Distortion)。因此，可以对重建图像进行滤波操作，例如去块效应滤波(Deblocking filter，简称DB)、SAO(Sample Adaptive Offset，自适应像素补偿)或者ALF(Adaptive Loop Filter，自适应环路滤波)等滤波器，可以有效降低量化所产生的失真程度。由于这些经过滤波后的重建图像将作为后续编码图像的参考来对将来的图像信号进行预测，因此上述的滤波操作也被称为环路滤波，即在编码环路内的滤波操作。
在本申请的一个实施例中，图3示出了一个视频编码器的基本流程图，在该流程中以帧内预测为例进行说明。其中，原始图像信号sk[x,y]与预测图像信号
Figure BDA0003081529730000111
做差值运算，得到残差信号uk[x,y]，残差信号uk[x,y]经过变换及量化处理之后得到量化系数，量化系数一方面通过熵编码得到编码后的比特流，另一方面通过反量化及反变换处理得到重构残差信号u'k[x,y]，预测图像信号
Figure BDA0003081529730000112
与重构残差信号u'k[x,y]叠加生成图像信号
Figure BDA0003081529730000113
图像信号
Figure BDA0003081529730000114
一方面输入至帧内模式决策模块和帧内预测模块进行帧内预测处理，另一方面通过环路滤波输出重建图像信号s'k[x,y]，重建图像信号s'k[x,y]可以作为下一帧的参考图像进行运动估计及运动补偿预测。然后基于运动补偿预测的结果s'r[x+mx,y+my]和帧内预测结果
Figure BDA0003081529730000115
得到下一帧的预测图像信号
Figure BDA0003081529730000116
并继续重复上述过程，直至编码完成。
基于上述的编码过程，在解码端针对每一个CU，在获取到压缩码流(即比特流)之后，进行熵解码获得各种模式信息及量化系数。然后量化系数经过反量化及反变换处理得到残差信号。另一方面，根据已知的编码模式信息，可获得该CU对应的预测信号，然后将残差信号与预测信号相加之后即可得到重建信号，重建信号再经过环路滤波等操作，产生最终的输出信号。
简单而言，视频文件的整体传输过程如图4所示，通过视频采集得到视频文件，然后经过视频编码和视频文件封装处理之后，将视频文件传输给接收方，接收方接收到视频文件之后，对视频文件进行解封装，解封装之后进行时频解码处理，最后呈现解码得到的视频。
在AVS3视频编解码技术中，为了提升视频压缩效率，提出了知识图像的概念。如图5所示，在对视频序列编码时，可生成主位流(main bitstream)和知识图像位流(librarybitstream)，并且主位流内的图像帧在解码时，可以参考知识图像位流中的图像帧。
同时，相关技术中也提出了片段依赖描述子的信令，具体而言，一个@schemeIdUri属性为"urn:avs:ims:2018:ds"(dependent segment)的EssentialProperty元素表示一个片段依赖描述子。至少一个片段依赖描述子在表示层被指定，而在MPD(mediapresentation description，媒体演示说明)层和自适应集(adaptation set)层不应被指定。片段依赖描述子指示每个表示(representation)中的每个片段与其它片段(可能是同一表示中的片段、也可能是不同表示中的片段)存在非时间的依赖关系，表示被依赖的其它片段的标识(URL或indicator)和片段中用于压缩层的图像编号应该包含在该描述子中。
虽然相关技术指示了主位流中某些样本所参考的知识图像的样本的信息，也从信令层面给出了片段层级之间的依赖关系。然而这些样本级别的依赖和关联关系需要解码器在解析到具体的样本片段时才能够获取，若数据接收方之前并没有请求或解码相对应的知识图像轨道，则需要临时请求或解码知识图像轨道，进而会带来不必要的时延，影响用户体验。
因此，本申请实施例的技术方案提出了一种新的多媒体资源中轨道数据的处理方案，使得数据接收方能够根据信令文件提前获取到各个轨道数据之间的关联关系，以决定是否获取知识图像轨道数据以及请求何种知识图像轨道数据，在保证合理分配网络和CPU资源的前提下，避免了需要临时获取知识图像轨道数据而带来不必要的时延，有利于提升用户体验。
以下对本申请实施例的技术方案的实现细节进行详细阐述：
图6示出了根据本申请的一个实施例的多媒体资源中轨道数据的处理方法的流程图，该多媒体资源中轨道数据的处理方法可以由媒体播放设备来执行，该媒体播放设备可以是智能手机、平板电脑等。参照图6所示，该多媒体资源中轨道数据的处理方法至少包括步骤S610至步骤S630，详细介绍如下：
在步骤S610中，接收多媒体资源对应的信令文件，该信令文件中包含有所述多媒体资源的多个轨道数据分别对应的描述子，该多个轨道数据包括主位流对应的主位流轨道数据和知识图像位流对应的知识图像轨道数据，主位流轨道数据对应的描述子中包含的依赖项标识指向知识图像轨道数据对应的描述子。
需要说明的是：多媒体资源包含有具体的媒体资源数据，比如包含有物品A的介绍视频的具体内容(视频画面、介绍音频等)。多媒体资源对应的信令文件可以是DASH(Dynamic Adaptive Streaming over HTTP，基于HTTP的动态自适应流)信令文件。
可选地，多媒体资源的多个轨道数据中可以包含有一个知识图像轨道数据，也可以包含有多个知识图像轨道数据。
在本申请的一个实施例中，知识图像轨道数据对应的描述子中可以包含第一元素信息，该第一元素信息用于指示包含第一元素信息的描述子为知识图像轨道数据对应的描述子。
在本申请的一个实施例中，如果多媒体资源的多个轨道数据中包含有至少两个知识图像轨道数据，那么各个知识图像轨道数据对应的描述子中可以包含第二元素信息，该第二元素信息用于指示知识图像轨道数据所在的轨道组。
在本申请的一个实施例中，如果多媒体资源的多个轨道数据中包含有至少两个知识图像轨道数据，那么各个知识图像轨道数据对应的描述子中包含第三元素信息，该第三元素信息的值用于指示所述知识图像轨道数据是否被多个主位流轨道数据所依赖。比如，若该第三元素信息的值为1，则说明该知识图像轨道数据被多个主位流轨道就所依赖；若该第三元素信息的值为0，则说明该知识图像轨道数据被1个主位流轨道就所依赖。
在本申请的一个实施例中，如果多媒体资源的多个轨道数据中包含有至少两个知识图像轨道数据，且其中存在被多个主位流轨道数据所依赖的目标知识图像轨道数据，则该目标知识图像轨道数据对应的描述子中还包含第四元素信息，该第四元素信息用于指示这多个主位流轨道数据中指定主位流轨道数据的帧率。可选地，该指定主位流轨道数据可以是这多个主位流轨道数据，或者也可以是其中的部分主位流轨道数据。
在本申请的一个实施例中，如果多媒体资源的多个轨道数据中包含有至少两个知识图像轨道数据，则各个知识图像轨道数据对应的描述子中还包含样本索引标识，该样本索引标识用于指示主位流轨道数据中用于索引知识图像轨道数据的样本索引号区间。可选地，该样本索引标识包含第五元素信息和第六元素信息，该第五元素信息的值指示主位流轨道数据中用于索引知识图像轨道数据的样本索引号最小值，该第六元素信息的值指示主位流轨道数据中用于索引知识图像轨道数据的样本索引号最大值。
在步骤S620中，解析信令文件，根据依赖项标识确定主位流轨道数据与知识图像轨道数据之间的依赖关系。
在步骤S630中，根据主位流轨道数据与知识图像轨道数据之间的依赖关系，从数据源侧依次获取知识图像轨道数据和主位流轨道数据。
在本申请的一个实施例中，由于主位流轨道数据与知识图像轨道数据之间存在依赖关系，因此在获取知识图像轨道数据之后，再从数据源侧获取主位流轨道数据。
可选地，如果存在多个知识图像轨道数据，则可以先获取到主位流轨道数据需要最先参考的知识图像轨道数据，然后在解码主位流轨道数据的过程中，如果解码到需要参考其它知识图像轨道数据的位置时再获取其它知识图像轨道数据。当然也可以在获取到主位流轨道数据和所有知识图像轨道数据之后，再进行解码处理。
在本申请的一个实施例中，主位流轨道数据中可以包含索引标识，该索引标识用于指示主位流轨道数据所依赖的知识图像轨道数据或用于指示主位流轨道数据所依赖的知识图像轨道组。
可选地，主位流轨道数据中包含有轨道参考类型数据盒，该轨道参考类型数据盒中包含参考类型字段，该参考类型字段用于表示索引标识。基于此，参考类型字段的值用于指示主位流轨道数据所依赖的知识图像轨道数据或所依赖的知识图像轨道组。
在本申请的一个实施例中，主位流轨道数据中可以包含轨道参考数据盒，在这种情况下，轨道参考数据盒包含该轨道参考类型数据盒。
在本申请的一个实施例中，多媒体资源的多个轨道数据中可以包含至少两个知识图像轨道数据，各个知识图像轨道数据中包含有轨道组标识，该轨道组标识用于指示知识图像轨道数据所在的轨道组。
在本申请的一个实施例中，数据接收方在根据依赖关系从数据源侧依次获取知识图像轨道数据和主位流轨道数据之后，可以根据该依赖关系确定解码顺序；然后根据确定的解码顺序，依次对知识图像轨道数据和主位流轨道数据进行解码处理，得到多媒体资源。
在本申请的一个实施例中，可以先解码主位流轨道数据，在解码到主位流轨道数据中需要参考知识图像轨道数据的样本索引号区间时，根据该样本索引号区间，从多个知识图像轨道数据中确定需要参考的知识图像轨道数据，然后再解码需要参考的知识图像轨道数据。可选地，可以在获取到主位流轨道数据和全部的知识图像轨道数据之后，再进行解码处理；或者也可以先获取到主位流轨道数据需要最先参考的知识图像轨道数据，然后在解码主位流轨道数据的过程中，如果解码到需要参考其它知识图像轨道数据的位置时再获取其它知识图像轨道数据。
在本申请的一个实施例中，如果媒体资源包含至少两个知识图像轨道数据，那么各个知识图像轨道数据中还包含用于指示所述知识图像轨道数据是否被多个主位流轨道数据所依赖的第一字段信息。可选地，该第一字段信息比如可以是multi_main_bitstream，若multi_main_bitstream值为1，则说明知识图像轨道数据被多个主位流轨道数据所依赖；若multi_main_bitstream值为0，则说明知识图像轨道数据被1个主位流轨道数据所依赖。
在本申请的一个实施例中，如果第一字段信息指示知识图像轨道数据被1个主位流轨道数据所依赖，则知识图像轨道数据中还包含指示主位流轨道数据中用于索引知识图像轨道数据的样本索引号最小值的字段，以及指示主位流轨道数据中用于索引知识图像轨道数据的样本索引号最大值的字段。可选地，指示样本索引号最小值的字段可以是sample_number_min，指示样本索引号最大值的字段可以是sample_number_max。其中，主位流轨道数据中样本索引号最小值和样本索引号最大值之间的片段需要依赖于知识图像轨道数据。
在本申请的一个实施例中，如果第一字段信息指示知识图像轨道数据被多个主位流轨道数据所依赖，则知识图像轨道数据中还包含分别指示各个主位流轨道数据中用于索引知识图像轨道数据的样本索引号最小值的字段、分别指示主位流轨道数据中用于索引知识图像轨道数据的样本索引号最大值的字段，以及用于指示多个主位流轨道数据中各个主位流轨道数据的帧率的字段。类似地，指示样本索引号最小值的字段可以是sample_number_min，指示样本索引号最大值的字段可以是sample_number_max。
在本申请的一个实施例中，如果第一字段信息指示知识图像轨道数据被1个主位流轨道数据所依赖，则知识图像轨道数据中还包含指示主位流轨道数据中用于索引知识图像轨道数据的样本组数量的字段，以及指示主位流轨道数据中用于索引知识图像轨道数据的样本组索引号的字段。可选地，指示样本组数量的字段可以是num_sample_groups，指示样本组索引号的字段可以是group_description_index。
在本申请的一个实施例中，如果第一字段信息指示知识图像轨道数据被多个主位流轨道数据所依赖，则知识图像轨道数据中还包含分别指示主位流轨道数据中用于索引知识图像轨道数据的样本组数量的字段、分别指示主位流轨道数据中用于索引知识图像轨道数据的样本组索引号的字段，以及用于指示多个主位流轨道数据中各个主位流轨道数据的帧率的字段。类似地，指示样本组数量的字段可以是num_sample_groups，指示样本组索引号的字段可以是group_description_index。
图6是从媒体资源的接收方来阐述本申请实施例的技术方案，以下结合图7从数据源侧来对本申请实施例的实现细节做进一步说明：
图7示出了根据本申请的一个实施例的多媒体资源中轨道数据的处理方法的流程图，该多媒体资源中轨道数据的处理方法可以由媒体生成设备来执行，该媒体生成设备可以是智能手机、平板电脑等。参照图7所示，该多媒体资源中轨道数据的处理方法至少包括步骤S710至步骤S720，详细介绍如下：
在步骤S710中，生成多媒体资源对应的信令文件，该信令文件中包含有多媒体资源的多个轨道数据分别对应的描述子，该多个轨道数据包括主位流对应的主位流轨道数据和知识图像位流对应的知识图像轨道数据，该主位流轨道数据对应的描述子中包含的依赖项标识指向知识图像轨道数据对应的描述子。
需要说明的是：多媒体资源包含有具体的媒体资源数据，比如包含有物品A的介绍视频的具体内容(视频画面、介绍音频等)。多媒体资源对应的信令文件可以是DASH信令文件。
可选地，多媒体资源的多个轨道数据中可以包含有一个知识图像轨道数据，也可以包含有多个知识图像轨道数据。
在本申请的一个实施例中，知识图像轨道数据对应的描述子中可以包含第一元素信息，该第一元素信息用于指示包含第一元素信息的描述子为知识图像轨道数据对应的描述子。
在本申请的一个实施例中，如果多媒体资源的多个轨道数据中包含有至少两个知识图像轨道数据，那么各个知识图像轨道数据对应的描述子中可以包含第二元素信息，该第二元素信息用于指示知识图像轨道数据所在的轨道组。
在本申请的一个实施例中，如果多媒体资源的多个轨道数据中包含有至少两个知识图像轨道数据，那么各个知识图像轨道数据对应的描述子中包含第三元素信息，该第三元素信息的值用于指示所述知识图像轨道数据是否被多个主位流轨道数据所依赖。比如，若该第三元素信息的值为1，则说明该知识图像轨道数据被多个主位流轨道就所依赖；若该第三元素信息的值为0，则说明该知识图像轨道数据被1个主位流轨道就所依赖。
在本申请的一个实施例中，如果多媒体资源的多个轨道数据中包含有至少两个知识图像轨道数据，且其中存在被多个主位流轨道数据所依赖的目标知识图像轨道数据，则该目标知识图像轨道数据对应的描述子中还包含第四元素信息，该第四元素信息用于指示这多个主位流轨道数据中指定主位流轨道数据的帧率。可选地，该指定主位流轨道数据可以是这多个主位流轨道数据，或者也可以是其中的部分主位流轨道数据。
在本申请的一个实施例中，如果多媒体资源的多个轨道数据中包含有至少两个知识图像轨道数据，则各个知识图像轨道数据对应的描述子中还包含样本索引标识，所述样本索引标识用于指示主位流轨道数据中用于索引所述知识图像轨道数据的样本索引号区间。可选地，该样本索引标识包括第五元素信息和第六元素信息，该第五元素信息的值指示主位流轨道数据中用于索引知识图像轨道数据的样本索引号最小值，该第六元素信息的值指示主位流轨道数据中用于索引知识图像轨道数据的样本索引号最大值。
在步骤S720中，将信令文件发送给数据接收方，以使数据方根据信令文件中的依赖项标识确定主位流轨道数据与知识图像轨道数据之间的依赖关系，并根据依赖关系从数据源侧依次获取知识图像轨道数据和主位流轨道数据。
在本申请的一个实施例中，数据源侧在生成多媒体资源对应的信令文件之前，还可以生成主位流对应的主位流轨道数据和知识图像位流对应的知识图像轨道数据，该主位流轨道数据中包含有索引标识，该索引标识用于指示主位流轨道数据所依赖的知识图像轨道数据或用于指示主位流轨道数据所依赖的知识图像轨道组。
可选地，主位流轨道数据中包含有轨道参考类型数据盒，该轨道参考类型数据盒中包含参考类型字段，该参考类型字段用于表示索引标识。基于此，参考类型字段的值用于指示主位流轨道数据所依赖的知识图像轨道数据或所依赖的知识图像轨道组。
在本申请的一个实施例中，主位流轨道数据中可以包含轨道参考数据盒，在这种情况下，轨道参考数据盒包含该轨道参考类型数据盒。
在本申请的一个实施例中，多媒体资源的多个轨道数据中可以包含至少两个知识图像轨道数据，各个知识图像轨道数据中包含有轨道组标识，该轨道组标识用于指示知识图像轨道数据所在的轨道组。
可选地，知识图像轨道组数据的其它相关内容可以参照前述实施例的技术方案，不再赘述。
以上分别从数据接收方和数据源侧阐述了本申请实施例的技术方案，以下结合图8从整体上对本申请实施例的实现细节做进一步说明：
如图8所示，以服务端作为数据源侧、客户端作为数据接收方为例进行说明，具体可以包括如下步骤S801至步骤S807：
在步骤S801中，服务端生成位流。
在本申请的一个实施例中，服务端可以在视频编码环节，生成主位流，以及一个或多个知识图像位流。
在步骤S802中，服务端封装生成轨道数据。
在本申请的一个实施例中，服务端在视频文件封装环节，可以将主位流封装为单独的文件轨道，将每个知识图像位流也封装为单独的文件轨道，并根据主位流和知识图像位流之间在解码时的参考关系，将主位流轨道和知识图像轨道通过轨道间的索引关系进行关联。如果主位流轨道需要参考多个知识图像轨道，那么这些知识图像轨道可通过轨道组进行关联，并在轨道组内通过样本索引范围信息、描述信息等区分不同的知识图像轨道。
可选地，一个主位流轨道可以关联至一个知识图像轨道，也可以关联至一个知识图像轨道组。多个主位流轨道(一般为同一内容不同帧率的多个轨道)也可以关联至同一个知识图像轨道或知识图像轨道组。
在步骤S803中，服务端生成DASH信令。
在本申请的一个实施例中，服务端在信令生成环节，可以将知识图像位流对应的媒体资源进行特殊标记，并指示主位流媒体资源和知识图像位流媒体资源之间的依赖关系。若主位流媒体资源需要参考多个知识图像媒体资源，则这些知识图像媒体资源可以互相关联并采用样本索引范围信息、描述信息等进行区分。
在步骤S804中，服务端向客户端发送DASH信令。
在步骤S805中，客户端根据DASH信令向服务端请求媒体文件。
在本申请的一个实施例中，客户端根据信令文件判断所需的媒体资源是否依赖知识图像位流对应的媒体资源，如果依赖，则优先请求知识图像位流对应的媒体资源。如果依赖多个知识图像位流对应的媒体资源，则根据当前呈现的帧所属的样本索引范围信息来请求对应的媒体资源。
在步骤S806中，服务端向客户端传输媒体文件。
在步骤S807中，客户端解封装媒体文件，呈现对应的媒体资源。
在本申请的一个实施例中，客户端请求对应的媒体资源后，可以根据文件轨道之间的索引关系，优先解码知识图像位流对应的轨道数据。如果存在知识图像轨道组，即主位流对应的轨道数据依赖多个知识图像位流对应的轨道数据，则根据当前呈现的帧所属的样本索引范围信息来解码对应的轨道数据。
为了实现前述实施例的技术方案，本申请的实施例添加了一些描述性字段信息。以下以扩展ISOBMFF数据盒和DASH MPD信令的形式举例，定义了相关的字段以支持AVS3知识图像技术，具体如下：
1、定义知识图像轨道和主位流轨道之间的索引关系：
在本申请的一个实施例中，主位流轨道可以通过轨道索引数据盒索引至其解码所依赖的知识图像轨道。主位流轨道的TrackReferenceBox(轨道参考数据盒)中应添加对应的TrackReferenceTypeBoxes(轨道参考类型数据盒)，该TrackReferenceTypeBoxes数据盒中通过track_IDs指示当前主位流轨道索引的知识图像轨道或知识图像轨道组。
具体地，主位流轨道和知识图像轨道之间的索引通过TrackReferenceTypeBoxes中对应的reference_type(参考类型)索引类型标识，该类型字段定义如下：
'a3lr'：被索引的轨道为当前轨道对应的知识图像轨道。
可选地，一个主位流轨道可以通过'a3lr'索引至一个知识图像轨道或知识图像轨道组；多个主位流轨道可以通过'a3lr'索引至一个知识图像轨道或知识图像轨道组。
2、定义知识图像轨道组：
在本申请的一个实施例中，如果一个主位流轨道需要参考多个知识图像轨道，那么这些知识图像轨道应该通过知识图像轨道组进行关联。可选地，知识图像轨道组的一种定义如下：
Figure BDA0003081529730000201
Figure BDA0003081529730000211
在上述的定义中，知识图像轨道组是通过扩展轨道组数据盒得到，以'a3lg'轨道组类型标识。在所有包含'a3lg'类型TrackGroupTypeBox的轨道中，组ID相同的轨道属于同一个轨道组。Avs3LibraryGroupBox中各字段语义如下：
multi_main_bitstream指示该知识图像轨道是否被多个主位流轨道参考，该字段取值为1表示该知识图像轨道被多个主位流轨道参考；该字段取值为0表示该知识图像轨道仅被一个主位流轨道参考。可选地，该字段默认值为0。
sample_number_min指示主位流轨道或特定帧率的主位流轨道中索引当前知识图像轨道的样本索引号最小值。
sample_number_max指示主位流轨道或特定帧率的主位流轨道中索引当前知识图像轨道的样本索引号最大值。
frame_rate：当该知识图像轨道被多个主位流轨道参考时，指示多个主位流轨道中某个轨道的帧率。
track_description是以空字符结尾的字符串，指示该知识图像轨道的描述信息。可选的，还可以利用样本群组信息来区分同一知识图像轨道组中的不同轨道，具体地，知识图像轨道组的另一种定义如下：
Figure BDA0003081529730000212
Figure BDA0003081529730000221
在上述的定义中，知识图像轨道组是通过扩展轨道组数据盒得到，以'a3lg'轨道组类型标识。在所有包含'a3lg'类型TrackGroupTypeBox的轨道中，组ID相同的轨道属于同一个轨道组。Avs3LibraryGroupBox中各字段语义如下：
multi_main_bitstream指示该知识图像轨道是否被多个主位流轨道参考，该字段取值为1表示该知识图像轨道被多个主位流轨道参考；该字段取值为0表示该知识图像轨道仅被一个主位流轨道参考。可选地，该字段默认值为0。
num_sample_groups指示主位流轨道或特定帧率的主位流轨道中索引当前知识图像轨道的LibrarySampleGroupEntry样本组的数目。
group_description_index指示主位流轨道或特定帧率的主位流轨道中索引当前知识图像轨道的LibrarySampleGroupEntry样本组的索引号。
frame_rate：当该知识图像轨道被多个主位流轨道参考时，指示多个主位流轨道中某个轨道的帧率。
track_description是以空字符结尾的字符串，指示该知识图像轨道的描述信息。
3、在DASH信令扩展中，定义了知识图像描述子：
在本申请的一个实施例中，知识图像描述子Avs3Library为SupplementalProperty元素，其@schemeIdUri属性为"urn:avs:ims:2018:av3l"。该描述子可存在于adaptation set(自适应集)层级或representation(表示)层级。该描述子存在于adaptation set层级时，描述该adaptation set内所有的representation；该描述子存在于representation层级时，描述对应的representation。Avs3Library描述子指示知识图像representation的相关属性，具体属性如下表1所示：
Figure BDA0003081529730000231
表1
在表1中，“使用方法(Use)”列中的“0…N”表示的个数(具体为整数)，O表示Optional(即可选的)，CM表示Conditional Mandatory(即条件强制)。“数据类型(Datatype)”列中的xs表示的是short int(短整型)类型。
在一个具体示例中，假设服务端存在媒体内容A和媒体内容B，服务端分别对其进行编码，生成bitstream。具体地，针对媒体内容A，生成主位流StreamA和知识图像位流StreamAL；针对媒体内容B，生成主位流StreamB。
在生成位流之后，服务端将StreamA封装为TrackA(轨道A)、将StreamAL封装为TrackAL，并在TrackA中使用'a3lr'类型的TrackReferenceTypeBox索引至TrackAL。
此外，服务端将StreamB封装为TrackB，由于TrackB没有对应的知识图像轨道，则TrackB中无需包含'a3lr'类型的TrackReferenceTypeBox。
在进行封装之后，对于TrackA和TrackAL，服务端分别作为1个representation进行描述(即RA和RAL)，其中RA的@dependencyId(依赖项标识)属性应该指向RAL，表示RA的消费依赖于RAL，且RAL需以Avs3Library描述子进行描述。对于TrackB，服务端将其作为1个representation进行描述(即RB)，无需特殊扩展。
在对轨道数据进行描述之后，服务端据此生成DASH信令，并将信令文件发送给客户端。
客户端在接收到信令文件之后，可以根据信令文件确定描述子之间的依赖关系，比如RA依赖于RAL且RAL为知识图像媒体资源。假设客户端1需要请求RA对应的媒体资源，客户端2需要请求RB对应的媒体资源，那么客户端1需要先向服务端请求RAL对应的媒体资源，然后再向服务端请求RA对应的媒体资源。而客户端2可以直接请求RB对应的媒体资源。
客户端1在接收到收到RAL对应的媒体资源和RA对应的媒体资源后，优先解码RAL对应的媒体资源，然后再解码RA对应的媒体资源。而客户端2在接收到RB对应的媒体资源之后，可以直接解码RB对应的媒体资源。
在上述示例中，媒体内容中包含了一个主位流和一个知识图像位流，以下以媒体内容中包含了一个主位流和多个知识图像位流为例进行再次说明：
在本申请的一个具体示例中，假设服务端存在媒体内容A，服务端对其进行编码，生成主位流StreamA和知识图像位流StreamAL1、StreamAL2。
在生成位流之后，服务端将StreamA封装为TrackA、将StreamAL1封装为TrackAL1、将StreamAL2封装为TrackAL2。同时，将TrackAL1和TrackAL2以类型为'a3lg'的轨道组进行关联，其中的参数如下：
TrackAL1：{group_id＝100；sample_number_min＝0；sample_number_max＝100}
TrackAL2：{group_id＝100；sample_number_min＝101；sample_number_max＝200}
此时在TrackA中使用'a3lr'类型的TrackReferenceTypeBox索引至对应的轨道组(通过group_id进行索引，在该示例中group_id为100)。
在进行封装之后，对于TrackA、TrackAL1和TrackAL2，服务端分别作为1个representation进行描述(即RA、RAL1和RAL2)，其中RA的@dependencyId(依赖项标识)属性应该指向RAL1和RAL2，表示RA的消费依赖于RAL1和RAL2。且RAL1和RAL2需以Avs3Library描述子进行描述，具体如下：
RAL1：{group_id＝100；sample_number_min＝0；sample_number_max＝100}
RAL2：{group_id＝100；sample_number_min＝101；sample_number_max＝200}
在对轨道数据进行描述之后，服务端据此生成DASH信令，并将信令文件发送给客户端。
客户端在接收到信令文件之后，可以根据信令文件确定描述子之间的依赖关系，比如RA依赖于RAL1和RAL2，且RAL1和RAL2为知识图像媒体资源，RAL1对应的是RA中靠前的样本。假设客户端1需要请求RA对应的媒体资源，那么客户端1需要先向服务端请求RAL1和RA对应的媒体资源。当客户端1消费RA至接近第101个样本时，再向服务端请求RAL2对应的媒体资源。
本申请上述实施例的技术方案针对AVS3编解码标准中的知识图像这一特性，提出了一种文件轨道层面的封装和传输信令指示方法。通过本申请实施例的技术方案，可以在文件轨道层级灵活关联知识图像轨道和主位流轨道，并通过信令指示这种关联关系。在数据传输阶段，客户端可以根据这些信息决定是否请求知识图像轨道以及请求何种知识图像轨道。同样地，在解码阶段，客户端可以根据这些信息决定解码不同轨道的顺序，最终合理地分配网络和CPU资源。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的多媒体资源中轨道数据的处理方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的多媒体资源中轨道数据的处理方法的实施例。
图9示出了根据本申请的一个实施例的多媒体资源中轨道数据的处理装置的框图，该多媒体资源中轨道数据的处理装置可以设置在媒体播放设备内，该媒体播放设备可以是智能手机、平板电脑等。
参照图9所示，根据本申请的一个实施例的多媒体资源中轨道数据的处理装置900，包括：接收单元902、解析单元904和获取单元906。
其中，接收单元902配置为接收多媒体资源对应的信令文件，所述信令文件中包含有所述多媒体资源的多个轨道数据分别对应的描述子，所述多个轨道数据包括主位流对应的主位流轨道数据和知识图像位流对应的知识图像轨道数据，所述主位流轨道数据对应的描述子中包含的依赖项标识指向所述知识图像轨道数据对应的描述子；解析单元904配置为解析所述信令文件，根据所述依赖项标识确定所述主位流轨道数据与所述知识图像轨道数据之间的依赖关系；获取单元906配置为根据所述依赖关系从数据源侧依次获取所述知识图像轨道数据和所述主位流轨道数据。
在本申请的一些实施例中，基于前述方案，所述知识图像轨道数据对应的描述子中包含第一元素信息，所述第一元素信息用于指示包含所述第一元素信息的描述子为知识图像轨道数据对应的描述子。
在本申请的一些实施例中，基于前述方案，所述多个轨道数据中包含至少两个知识图像轨道数据，各个知识图像轨道数据对应的描述子中包含第二元素信息，所述第二元素信息用于指示所述知识图像轨道数据所在的轨道组。
在本申请的一些实施例中，基于前述方案，各个知识图像轨道数据对应的描述子中包含第三元素信息，所述第三元素信息的值用于指示所述知识图像轨道数据是否被多个主位流轨道数据所依赖。
在本申请的一些实施例中，基于前述方案，若所述至少两个知识图像轨道数据中存在被多个主位流轨道数据所依赖的目标知识图像轨道数据，则所述目标知识图像轨道数据对应的描述子中还包含第四元素信息，所述第四元素信息用于指示所述多个主位流轨道数据中指定主位流轨道数据的帧率。
在本申请的一些实施例中，基于前述方案，各个知识图像轨道数据对应的描述子中还包含样本索引标识，所述样本索引标识用于指示主位流轨道数据中用于索引所述知识图像轨道数据的样本索引号区间。
在本申请的一些实施例中，基于前述方案，所述样本索引标识包括第五元素信息和第六元素信息，所述第五元素信息的值指示主位流轨道数据中用于索引所述知识图像轨道数据的样本索引号最小值，所述第六元素信息的值指示主位流轨道数据中用于索引所述知识图像轨道数据的样本索引号最大值。
在本申请的一些实施例中，基于前述方案，所述主位流轨道数据中包含索引标识，所述索引标识用于指示所述主位流轨道数据所依赖的知识图像轨道数据或用于指示所述主位流轨道数据所依赖的知识图像轨道组。
在本申请的一些实施例中，基于前述方案，所述主位流轨道数据中包含轨道参考类型数据盒，所述轨道参考类型数据盒中包含参考类型字段，所述参考类型字段用于表示所述索引标识。
在本申请的一些实施例中，基于前述方案，所述主位流轨道数据中包含轨道参考数据盒，所述轨道参考数据盒包含所述轨道参考类型数据盒。
在本申请的一些实施例中，基于前述方案，所述多个轨道数据中包含至少两个知识图像轨道数据，各个知识图像轨道数据中包含有轨道组标识，所述轨道组标识用于指示所述知识图像轨道数据所在的轨道组。
在本申请的一些实施例中，基于前述方案，各个知识图像轨道数据中还包含用于指示所述知识图像轨道数据是否被多个主位流轨道数据所依赖的第一字段信息；若所述第一字段信息指示知识图像轨道数据被1个主位流轨道数据所依赖，则所述知识图像轨道数据中还包含指示主位流轨道数据中用于索引所述知识图像轨道数据的样本索引号最小值的字段，以及指示主位流轨道数据中用于索引所述知识图像轨道数据的样本索引号最大值的字段。
在本申请的一些实施例中，基于前述方案，若所述第一字段信息指示知识图像轨道数据被多个主位流轨道数据所依赖，则所述知识图像轨道数据中还包含分别指示各个主位流轨道数据中用于索引所述知识图像轨道数据的样本索引号最小值的字段、分别指示主位流轨道数据中用于索引所述知识图像轨道数据的样本索引号最大值的字段，以及用于指示所述多个主位流轨道数据中各个主位流轨道数据的帧率的字段。
在本申请的一些实施例中，基于前述方案，各个知识图像轨道数据中还包含用于指示所述知识图像轨道数据是否被多个主位流轨道数据所依赖的第一字段信息；若所述第一字段信息指示知识图像轨道数据被1个主位流轨道数据所依赖，则所述知识图像轨道数据中还包含指示主位流轨道数据中用于索引所述知识图像轨道数据的样本组数量的字段，以及指示主位流轨道数据中用于索引所述知识图像轨道数据的样本组索引号的字段。
在本申请的一些实施例中，基于前述方案，若所述第一字段信息指示知识图像轨道数据被多个主位流轨道数据所依赖，则所述知识图像轨道数据中还包含分别指示主位流轨道数据中用于索引所述知识图像轨道数据的样本组数量的字段、分别指示主位流轨道数据中用于索引所述知识图像轨道数据的样本组索引号的字段，以及用于指示所述多个主位流轨道数据中各个主位流轨道数据的帧率的字段。
在本申请的一些实施例中，基于前述方案，所述的多媒体资源中轨道数据的处理装置900还包括：解码单元，配置为根据所述依赖关系确定解码顺序；根据所述解码顺序，依次对所述知识图像轨道数据和所述主位流轨道数据进行解码处理，得到所述多媒体资源。
在本申请的一些实施例中，基于前述方案，所述解码单元配置为：解码所述主位流轨道数据；在解码到所述主位流轨道数据中需要参考知识图像轨道数据的样本索引号区间时，根据所述样本索引号区间，从多个知识图像轨道数据中确定需要参考的知识图像轨道数据；解码所述需要参考的知识图像轨道数据。
图10示出了根据本申请的一个实施例的多媒体资源中轨道数据的处理装置的框图，该多媒体资源中轨道数据的处理装置可以设置在媒体生成设备内，该媒体生成设备可以是智能手机、平板电脑等。
参照图10所示，根据本申请的一个实施例的多媒体资源中轨道数据的处理装置1000，包括：生成单元1002和发送单元1004。
其中，生成单元1002配置为生成多媒体资源对应的信令文件，所述信令文件中包含有所述多媒体资源的多个轨道数据分别对应的描述子，所述多个轨道数据包括主位流对应的主位流轨道数据和知识图像位流对应的知识图像轨道数据，所述主位流轨道数据对应的描述子中包含的依赖项标识指向所述知识图像轨道数据对应的描述子；发送单元1004配置为将所述信令文件发送给数据接收方，以使所述数据方根据所述信令文件中的所述依赖项标识确定所述主位流轨道数据与所述知识图像轨道数据之间的依赖关系，并根据所述依赖关系从数据源侧依次获取所述知识图像轨道数据和所述主位流轨道数据。
在本申请的一些实施例中，基于前述方案，所述生成单元1002还配置为：在生成多媒体资源对应的信令文件之前，生成主位流对应的主位流轨道数据和知识图像位流对应的知识图像轨道数据，所述主位流轨道数据中包含有索引标识，所述索引标识用于指示所述主位流轨道数据所依赖的知识图像轨道数据。
图11示出了适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
需要说明的是，图11示出的电子设备的计算机***1100仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图11所示，计算机***1100包括中央处理单元(Central Processing Unit，CPU)1101，其可以根据存储在只读存储器(Read-Only Memory，ROM)1102中的程序或者从存储部分1108加载到随机访问存储器(Random Access Memory，RAM)1103中的程序而执行各种适当的动作和处理，例如执行上述实施例中所述的方法。在RAM 1103中，还存储有***操作所需的各种程序和数据。CPU 1101、ROM 1102以及RAM 1103通过总线1104彼此相连。输入/输出(Input/Output，I/O)接口1105也连接至总线1104。
以下部件连接至I/O接口1105：包括键盘、鼠标等的输入部分1106；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分1107；包括硬盘等的存储部分1108；以及包括诸如LAN(Local AreaNetwork，局域网)卡、调制解调器等的网络接口卡的通信部分1109。通信部分1109经由诸如因特网的网络执行通信处理。驱动器1110也根据需要连接至I/O接口1105。可拆卸介质1111，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器1110上，以便于从其上读出的计算机程序根据需要被安装入存储部分1108。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分1109从网络上被下载和安装，和/或从可拆卸介质1111被安装。在该计算机程序被中央处理单元(CPU)1101执行时，执行本申请的***中限定的各种功能。
需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。其中，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
作为另一方面，本申请还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本申请的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本申请实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本申请实施方式的方法。
本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (20)

1.一种多媒体资源中轨道数据的处理方法，其特征在于，包括：
接收多媒体资源对应的信令文件，所述信令文件中包含有所述多媒体资源的多个轨道数据分别对应的描述子，所述多个轨道数据包括主位流对应的主位流轨道数据和知识图像位流对应的知识图像轨道数据，所述主位流轨道数据对应的描述子中包含的依赖项标识指向所述知识图像轨道数据对应的描述子；
解析所述信令文件，根据所述依赖项标识确定所述主位流轨道数据与所述知识图像轨道数据之间的依赖关系；
根据所述依赖关系从数据源侧依次获取所述知识图像轨道数据和所述主位流轨道数据。
2.根据权利要求1所述的多媒体资源中轨道数据的处理方法，其特征在于，所述知识图像轨道数据对应的描述子中包含第一元素信息，所述第一元素信息用于指示包含所述第一元素信息的描述子为知识图像轨道数据对应的描述子。
3.根据权利要求1所述的多媒体资源中轨道数据的处理方法，其特征在于，所述多个轨道数据中包含至少两个知识图像轨道数据，各个知识图像轨道数据对应的描述子中包含第二元素信息，所述第二元素信息用于指示所述知识图像轨道数据所在的轨道组。
4.根据权利要求3所述的多媒体资源中轨道数据的处理方法，其特征在于，各个知识图像轨道数据对应的描述子中包含第三元素信息，所述第三元素信息的值用于指示所述知识图像轨道数据是否被多个主位流轨道数据所依赖。
5.根据权利要求4所述的多媒体资源中轨道数据的处理方法，其特征在于，若所述至少两个知识图像轨道数据中存在被多个主位流轨道数据所依赖的目标知识图像轨道数据，则所述目标知识图像轨道数据对应的描述子中还包含第四元素信息，所述第四元素信息用于指示所述多个主位流轨道数据中指定主位流轨道数据的帧率。
6.根据权利要求3所述的多媒体资源中轨道数据的处理方法，其特征在于，各个知识图像轨道数据对应的描述子中还包含样本索引标识，所述样本索引标识用于指示主位流轨道数据中用于索引所述知识图像轨道数据的样本索引号区间。
7.根据权利要求6所述的多媒体资源中轨道数据的处理方法，其特征在于，所述样本索引标识包括第五元素信息和第六元素信息，所述第五元素信息的值指示主位流轨道数据中用于索引所述知识图像轨道数据的样本索引号最小值，所述第六元素信息的值指示主位流轨道数据中用于索引所述知识图像轨道数据的样本索引号最大值。
8.根据权利要求1所述的多媒体资源中轨道数据的处理方法，其特征在于，所述主位流轨道数据中包含索引标识，所述索引标识用于指示所述主位流轨道数据所依赖的知识图像轨道数据或用于指示所述主位流轨道数据所依赖的知识图像轨道组。
9.根据权利要求8所述的多媒体资源中轨道数据的处理方法，其特征在于，所述主位流轨道数据中包含轨道参考类型数据盒，所述轨道参考类型数据盒中包含参考类型字段，所述参考类型字段用于表示所述索引标识。
10.根据权利要求9所述的多媒体资源中轨道数据的处理方法，其特征在于，所述主位流轨道数据中包含轨道参考数据盒，所述轨道参考数据盒包含所述轨道参考类型数据盒。
11.根据权利要求1所述的多媒体资源中轨道数据的处理方法，其特征在于，所述多个轨道数据中包含至少两个知识图像轨道数据，各个知识图像轨道数据中包含有轨道组标识，所述轨道组标识用于指示所述知识图像轨道数据所在的轨道组。
12.根据权利要求11所述的多媒体资源中轨道数据的处理方法，其特征在于，各个知识图像轨道数据中还包含用于指示所述知识图像轨道数据是否被多个主位流轨道数据所依赖的第一字段信息；
若所述第一字段信息指示知识图像轨道数据被1个主位流轨道数据所依赖，则所述知识图像轨道数据中还包含指示主位流轨道数据中用于索引所述知识图像轨道数据的样本索引号最小值的字段，以及指示主位流轨道数据中用于索引所述知识图像轨道数据的样本索引号最大值的字段；和/或
若所述第一字段信息指示知识图像轨道数据被1个主位流轨道数据所依赖，则所述知识图像轨道数据中还包含指示主位流轨道数据中用于索引所述知识图像轨道数据的样本组数量的字段，以及指示主位流轨道数据中用于索引所述知识图像轨道数据的样本组索引号的字段。
13.根据权利要求12所述的多媒体资源中轨道数据的处理方法，其特征在于，若所述第一字段信息指示知识图像轨道数据被多个主位流轨道数据所依赖，则所述知识图像轨道数据中还包含分别指示各个主位流轨道数据中用于索引所述知识图像轨道数据的样本索引号最小值的字段、分别指示主位流轨道数据中用于索引所述知识图像轨道数据的样本索引号最大值的字段，以及用于指示所述多个主位流轨道数据中各个主位流轨道数据的帧率的字段；和/或
若所述第一字段信息指示知识图像轨道数据被多个主位流轨道数据所依赖，则所述知识图像轨道数据中还包含分别指示主位流轨道数据中用于索引所述知识图像轨道数据的样本组数量的字段、分别指示主位流轨道数据中用于索引所述知识图像轨道数据的样本组索引号的字段，以及用于指示所述多个主位流轨道数据中各个主位流轨道数据的帧率的字段。
14.根据权利要求1至13中任一项所述的多媒体资源中轨道数据的处理方法，其特征在于，所述处理方法还包括：
根据所述依赖关系确定解码顺序；
根据所述解码顺序，依次对所述知识图像轨道数据和所述主位流轨道数据进行解码处理，得到所述多媒体资源。
15.根据权利要求14所述的多媒体资源中轨道数据的处理方法，其特征在于，根据所述解码顺序，依次对所述知识图像轨道数据和所述主位流轨道数据进行解码处理，包括：
解码所述主位流轨道数据；
在解码到所述主位流轨道数据中需要参考知识图像轨道数据的样本索引号区间时，根据所述样本索引号区间，从多个知识图像轨道数据中确定需要参考的知识图像轨道数据；
解码所述需要参考的知识图像轨道数据。
16.一种多媒体资源中轨道数据的处理方法，其特征在于，包括：
生成多媒体资源对应的信令文件，所述信令文件中包含有所述多媒体资源的多个轨道数据分别对应的描述子，所述多个轨道数据包括主位流对应的主位流轨道数据和知识图像位流对应的知识图像轨道数据，所述主位流轨道数据对应的描述子中包含的依赖项标识指向所述知识图像轨道数据对应的描述子；
将所述信令文件发送给数据接收方，以使所述数据方根据所述信令文件中的所述依赖项标识确定所述主位流轨道数据与所述知识图像轨道数据之间的依赖关系，并根据所述依赖关系从数据源侧依次获取所述知识图像轨道数据和所述主位流轨道数据。
17.根据权利要求16所述的多媒体资源中轨道数据的处理方法，其特征在于，在生成多媒体资源对应的信令文件之前，所述处理方法还包括：
生成主位流对应的主位流轨道数据和知识图像位流对应的知识图像轨道数据，所述主位流轨道数据中包含有索引标识，所述索引标识用于指示所述主位流轨道数据所依赖的知识图像轨道数据。
18.一种多媒体资源中轨道数据的处理装置，其特征在于，包括：
接收单元，配置为接收多媒体资源对应的信令文件，所述信令文件中包含有所述多媒体资源的多个轨道数据分别对应的描述子，所述多个轨道数据包括主位流对应的主位流轨道数据和知识图像位流对应的知识图像轨道数据，所述主位流轨道数据对应的描述子中包含的依赖项标识指向所述知识图像轨道数据对应的描述子；
解析单元，配置为解析所述信令文件，根据所述依赖项标识确定所述主位流轨道数据与所述知识图像轨道数据之间的依赖关系；
获取单元，配置为根据所述依赖关系从数据源侧依次获取所述知识图像轨道数据和所述主位流轨道数据。
19.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至15中任一项所述的多媒体资源中轨道数据的处理方法，或实现如权利要求16至17中任一项所述的多媒体资源中轨道数据的处理方法。
20.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至15中任一项所述的多媒体资源中轨道数据的处理方法，或实现如权利要求16至17中任一项所述的多媒体资源中轨道数据的处理方法。
CN202110567993.0A 2021-05-24 2021-05-24 多媒体资源中轨道数据的处理方法、装置、介质及设备 Pending CN115396678A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202110567993.0A CN115396678A (zh) 2021-05-24 2021-05-24 多媒体资源中轨道数据的处理方法、装置、介质及设备
EP22810185.3A EP4351142A1 (en) 2021-05-24 2022-03-30 Method and apparatus for processing track data in multimedia resource, and medium and device
PCT/CN2022/083956 WO2022247452A1 (zh) 2021-05-24 2022-03-30 多媒体资源中轨道数据的处理方法、装置、介质及设备
TW111113335A TWI794076B (zh) 2021-05-24 2022-04-07 多媒體資源中軌道資料的處理方法、裝置、媒體及設備
US17/988,713 US11949966B2 (en) 2021-05-24 2022-11-16 Processing method, apparatus, medium and device for track data in multimedia resource

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110567993.0A CN115396678A (zh) 2021-05-24 2021-05-24 多媒体资源中轨道数据的处理方法、装置、介质及设备

Publications (1)

Publication Number Publication Date
CN115396678A true CN115396678A (zh) 2022-11-25

Family

ID=84113731

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110567993.0A Pending CN115396678A (zh) 2021-05-24 2021-05-24 多媒体资源中轨道数据的处理方法、装置、介质及设备

Country Status (5)

Country Link
US (1) US11949966B2 (zh)
EP (1) EP4351142A1 (zh)
CN (1) CN115396678A (zh)
TW (1) TWI794076B (zh)
WO (1) WO2022247452A1 (zh)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3387835A1 (en) * 2015-12-11 2018-10-17 VID SCALE, Inc. Scheduling multiple-layer video segments
US10778993B2 (en) * 2017-06-23 2020-09-15 Mediatek Inc. Methods and apparatus for deriving composite tracks with track grouping
CN111416976B (zh) * 2019-01-08 2023-12-08 浙江大学 视频解码方法、视频编码方法、装置、设备及存储介质
CN111526365B (zh) * 2019-02-01 2023-10-13 浙江大学 位流检验方法、解码方法及其装置
CN111526368B (zh) * 2019-02-03 2021-09-03 华为技术有限公司 视频解码方法、视频编码方法、装置、设备及存储介质
WO2020229734A1 (en) * 2019-05-16 2020-11-19 Nokia Technologies Oy An apparatus, a method and a computer program for handling random access pictures in video coding

Also Published As

Publication number Publication date
EP4351142A1 (en) 2024-04-10
TWI794076B (zh) 2023-02-21
US11949966B2 (en) 2024-04-02
TW202247666A (zh) 2022-12-01
US20230188812A1 (en) 2023-06-15
WO2022247452A1 (zh) 2022-12-01

Similar Documents

Publication Publication Date Title
TWI519135B (zh) 視訊解碼裝置
WO2020220884A1 (zh) 视频序列的帧内预测方法及装置
US20140016703A1 (en) Methods and devices for controlling spatial access granularity in compressed video streams
CN112565815B (zh) 文件封装方法、文件传输方法、文件解码方法及相关设备
EP3780612A1 (en) Coding and decoding methods and devices
WO2022174660A1 (zh) 视频编解码方法、装置、计算机可读介质及电子设备
US20240080487A1 (en) Method, apparatus for processing media data, computer device and storage medium
US20230082784A1 (en) Point cloud encoding and decoding method and apparatus, computer-readable medium, and electronic device
CN111182310A (zh) 视频处理方法、装置、计算机可读介质及电子设备
EP4354868A1 (en) Media data processing method and related device
WO2022042325A1 (zh) 视频处理方法、装置、设备及存储介质
TWI794076B (zh) 多媒體資源中軌道資料的處理方法、裝置、媒體及設備
WO2021263251A1 (en) State transition for dependent quantization in video coding
CN108432251B (zh) 比特流变换设备、比特流变换方法、分发***、分发方法以及计算机可读存储介质
WO2023130893A1 (zh) 流媒体传输方法、装置、电子设备及计算机可读存储介质
JP6748657B2 (ja) 圧縮ビデオビットストリームに付属メッセージデータを含めるシステムおよび方法
WO2022174701A1 (zh) 视频编解码方法、装置、计算机可读介质及电子设备
CN112449185B (zh) 视频解码方法、编码方法、装置、介质及电子设备
US20240144439A1 (en) Filtering method and apparatus, computer-readable medium
CN112449184B (zh) 变换系数优化方法、编解码方法、装置、介质及电子设备
US20230061573A1 (en) Point Cloud Encoding and Decoding Method and Apparatus, Computer-Readable Medium, and Electronic Device
EP4124045A1 (en) Video decoding method, video encoding method, apparatus, medium, and electronic device
CN115209141A (zh) 视频编解码方法、装置、计算机可读介质及电子设备
CN114979656A (zh) 视频编解码方法、装置、计算机可读介质及电子设备
JP2023165673A (ja) ムービーレベルトラックグループ情報ボックスに基づくメディアファイルにおけるプレセレクション情報のシグナリング

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination