CN110225371A - 一种基于媒体自身属性以支持空间分块的存储与传输方法 - Google Patents

Abstract

本发明提供一种基于媒体自身属性以支持空间分块的存储与传输方法，针对多媒体内容空间分块，在MMT中添加分块关联信息，所述分块关联信息是用于标识原多媒体内容与其空间分块之间的关联关系的信息，同时将分块关联信息与多媒体内容自身属性相结合。本发明有利于在存储和传输时都能准确索引到原多媒体内容及其空间分块内容，改进了现有的依赖于传输对原多媒体内容及其空间分块内容关联关系进行描述的严重缺陷。

Description

一种基于媒体自身属性以支持空间分块的存储与传输方法

技术领域

本发明涉及一种数字媒体技术的存储和传输方法，具体地，涉及一种在互联网(Internet)中基于多媒体内容自身属性以支持空间分块的存储和传输方法。

背景技术

随着数字媒体技术的快速发展，互联网中产生的多媒体内容呈现***式的增长，特别是360度全景视频和超高分辨率视频业务(如4K，8K等)的广泛应用，多媒体服务给网络带宽造成了愈加沉重的负担。同时，终端呈现设备越来越多样化，例如超高清电视、平板电脑、智能手机等，由于硬件能力的限制，部分设备并不支持超高分辨率视频的解码及呈现。

当前一些多媒体协议提出将超高分辨率的视频在空间上进行分块，构建独立于原视频编解码的分块视频，并通过信令表的形式在传输过程中对原视频与分块视频之间的关联信息进行说明，以针对不同的终端呈现设备，并结合网络带宽状况支持超高分辨率视频的完整呈现或部分呈现。然而，该种传输信令表的形式并未结合多媒体内容自身的属性去考虑，仅能够在传输过程中对原视频与分块视频之间的关联关系进行标识。一旦脱离传输，原视频与分块视频之间在空间上的固有联系便无法体现出来。如此一来，不仅破坏了原视频与分块视频、分块视频与分块视频之间的关联体系，不利于视频分块后对多媒体内容的管理，而且可能会造成已缓存内容的重复传输，降低了数据传输的效率并徒增了网络带宽的压力。此外，重复的媒体内容占据着大量的存储空间，在资源利用上存在极大的浪费。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于媒体自身属性以支持空间分块的存储与传输方法，解决了现有的依赖于传输对原多媒体内容及其空间分块关联关系进行描述所带来的问题，充分利用了多媒体内容自身属性对其空间分块进行有效存储及高效传输。

为实现上述目的，本发明采用了以下技术方案：

本发明的目的是提供一种基于多媒体内容自身属性以支持空间分块的存储和传输方法，具体为：针对多媒体内容空间分块，在MMT(多媒体终端)中添加分块关联信息，所述分块关联信息是用于标识原多媒体内容与其空间分块之间的关联关系的信息，同时将分块关联信息与多媒体内容自身属性相结合，以在存储和传输时都能准确索引到原多媒体内容及其空间分块。

本发明中，需添加的用于标识原多媒体内容与其空间分块之间关联关系的信息可以多样，优选地，可以由以下一组信息为例实现：

信息一：指示多媒体内容是否为多媒体内容空间分块；

信息二：用于指示多媒体空间内容分块空间尺寸及其与原多媒体内容相对位置的刻度；

信息三：在信息二的基础上，指示多媒体内容空间分块的高度尺寸及其相对于原多媒体内容在垂直方向上的位置；

信息四：在信息三的基础上，指示多媒体内容空间分块的宽度尺寸及其相对于原多媒体内容在水平方向上的位置。

所述多媒体内容，可以是视频、图像、音频等等。

本发明中，至于将分块关联信息与多媒体内容自身属性相结合的方法也可以有多种，优选地，可以由以下两种方法为例实现，两者可以结合使用：

方法一：将原多媒体内容与多媒体内容空间分块作为同一个媒体资源Asset，在构成Asset的媒体处理单元(Media Processing Unit，MPU)封装中添加分块关联信息，融为MPU固有属性，并结合媒体数据单元在Asset中的标号mpu_sequence_number确立原多媒体内容与其空间分块之间的固有联系；

方法二：将原多媒体内容与其空间分块作为不同的Asset，构建信念表或者描述子，并结合MPU自身属性，即MPU所属的Asset的标识asset_id确立原多媒体内容与其空间分块之间的固有联系。

进一步的，所述方法一，具体为：令处于同一个Asset中的原MPU与其空间分块MPU具有相同的mpu_sequence_number，因此若想区分原MPU与其空间分块MPU，需添加分块关联信息，而具体的添加方式也可以多种多样，可以由以下角度为例进行考虑：

1、选择性地在MPU封装格式中的Media Processing Unit(“mmpu”)Box里设置一个分块标识字段，该字段用于指示该多媒体内容是否为多媒体内容空间分块。

2、无论原MPU或其空间分块MPU，在MPU封装格式中的Media Processing Unit(“mmpu”)Box中以强制或可选的方式添加一字段，该字段用于标识原多媒体内容与其空间分块之间的关联关系，以在涉及空间分块时能唯一标识MPU。

3、对原MPU及其空间分块MPU进行分类，结合该分类标识符，以可选的方式实现仅对多媒体内容空间分块MPU添加相应字段，该字段用于标识原多媒体内容与其空间分块之间的关联关系的信息，以在涉及空间分块时能唯一标识MPU。

进一步的，所述方法二，具体为：令处于不同Asset中的原MPU及其空间分块MPU具有相同的mpu_sequence_number，且利用MPU的自身属性assed_id作为标识原Asset与其空间分块Asset之间关联关系的基础，同时围绕分块关联信息构建原Asset与其空间分块Asset之间的关联关系。关联关系的表述形式可以有多种，可以由以下角度为例进行考虑：

1、选择性地在描述Asset属性的预留数据里取出或新开辟一字段，该字段用于指示该多媒体内容是否为空间分块Asset，以区别原Asset与空间分块Asset。

2、构建信令信息tile_association_message()，用于描述媒体资源中原Asset与其空间分块Asset之间的空间关联关系。

3、构建信令表tile_association_table()，用于描述媒体资源中原Asset与其空间分块Asset之间的空间关联关系。

4、构建描述子tile_association_descriptor()，用于描述媒体资源中原Asset与其空间分块Asset之间的空间关联关系。

具体的，所述基于多媒体内容自身属性以支持空间分块的存储和传输方法，步骤如下：

S1：服务器端准备原多媒体内容及其空间分块；

S2：利用分块关联信息标识原多媒体内容与其空间分块在空间上的关联关系；

S3：用户请求原多媒体内容的某一空间分块内容，客户端将接收到的MPU存储到本地，并更新本地存储数据库；

S4：用户请求原多媒体内容其他视角的内容，客户端检查本地数据库中已有的空间分块内容，并根据用户需求及分块关联信息请求空间上剩余的MPU。

需要注意的是，终端设备的编解码能力限制了客户端所能播放的最大视角的多媒体内容。以上步骤采用了客户端驱动的模式为例进行说明，同样的方法也可以采用服务器端驱动等模式来实现，具体步骤如下所示：

S1：服务器端准备原多媒体内容及其空间分块；

S2：利用分块关联信息标识原多媒体内容与其空间分块在空间上的关联关系；

S3：服务器端获取用户的终端设备编解码能力，并发送适配的原多媒体内容的某一空间分块内容；

S4：客户端将接收到的MPU存储到本地，并更新本地存储数据库；

S5：服务器端需向用户发送原多媒体内容其他视角的内容时，首先检查客户端的本地数据库中已有的空间分块内容，再根据分块关联信息发送空间上剩余的MPU。

与现有技术相比，本发明具有如下的有益效果：

本发明提供了一种基于多媒体内容自身属性以支持空间分块的存储和传输方法。针对多媒体内容空间分块，在MMT中添加必要的信息以标识原多媒体内容与其分块之间的关联关系，同时将分块关联信息与多媒体内容自身属性相结合，有利于在存储和传输时都能准确索引到原多媒体内容及其空间分块，改进了现有的依赖于传输对原多媒体内容及其空间分块关联关系进行描述的严重缺陷。

更进一步的，采用本发明中的技术，由于将多媒体内容自身属性结合到空间分块的描述中，维持并确立了原多媒体内容与其空间分块、多媒体内容空间分块与多媒体内容空间分块之间的关联体系，即使脱离传输，原多媒体内容与其空间分块之间在空间上的固有联系依旧存在，有利于多媒体内容空间分块后对多媒体内容的管理，提高了有效数据存储及传输的效率，缓解了网络带宽的压力。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明一实施例中分块关联信息实例示意图；

图2为本发明一实施例中构建分块关联关系的具体实施方案一示意图；

图3为本发明一实施例中构建分块关联关系的具体实施方案二示意图；

图4为本发明本发明一实施例中更改MMT协议传输包中负载头部构造的实例示意图；

图5为应用本发明技术实现分块内容存储和传输的一实施例流程图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

如今，互联网技术飞速发展，为支持流化传输，在时域上对多媒体内容进行碎片化处理的思想和技术逐渐趋于成熟。然而，伴随着360度全景视频和超高分辨率视频业务的兴起，多媒体服务给网络带宽造成了愈加沉重的负担。同时，终端呈现设备多种多样，且其对超高分辨率视频的解码能力参差不齐。因此，在空间域上对多媒体内容进行分块存储及传输的技术已成为发展的趋势。如何像时域中一样，在空间域上对分块处理后的多媒体内容碎片进行标识，并建立用于存储和传输的固有联系，是亟待解决的问题。

具体来说，涉及空间分块的多媒体内容多种多样，包括视频、图像等，本发明中以视频为例进行说明。服务器端存储原视频及其空间分块视频，设法从多媒体内容自身的属性出发，标识原视频与空间分块视频、空间分块视频与空间分块视频之间的关联关系，构建适用于多媒体内容空间分块的存储与传输方法。结合个人偏好、终端呈现设备的能力以及网络带宽等，用户可以请求原视频或其分块视频。如果用户所请求的视频在空间上已有部分缓存于终端设备，且剩余部分在服务器端也是独立存储的，则***仅需通过基于多媒体内容自身属性的空间关联关系给用户传送所需内容。

针对以上问题，可以通过如下方法有效地解决：合理地添加分块关联信息，用于标识原视频与其空间分块视频之间关联关系的信息，分块关联信息可以多样，比如可以由以下一组信息为例实现，其中：

is_tile：指示该多媒体内容是否为空间分块视频；

tile_scale_height：用于在高度上指示空间分块视频空间尺寸及其与原视频相对位置的刻度；

tile_scale_width：用于在宽度上指示空间分块视频空间尺寸及其与原视频相对位置的刻度；

tile_height_top、tile_height_bottom：在tile_scale_height的基础上，指示空间分块视频的高度尺寸及其相对于原视频在垂直方向上的位置；

tile_width_left、tile_width_right：在tile_scale_width的基础上，指示空间分块视频的宽度尺寸及其相对于原视频在水平方向上的位置。

以下实施例中为了描述方便，引用上述的一组分块关联信息描述，但在其他实施例中，也可以或可能是其他的信息。

以MMT为例，合理地添加分块关联信息，即is_tile、tile_scale_height、tile_scale_width、tile_height_top、tile_height_bottom、tile_width_left、tile_width_right，并结合MPU自身属性asset_id、mpu_sequence_number构建多媒体内容(后文以视频业务为例)与其空间分块之间的固有关联关系。

在本发明某些实施例中，具体实施包括以下两方面：

一、分块关联信息的确立

为了描述原视频与空间分块视频之间的关联关系，必须要添加必要的标识信息，即分块关联信息。优选地，可以根据需要合理地添加如下字段：

1.is_tile(1bit)：指示该MPU是否是空间分块视频。

·取值为“1”，说明该MPU单元是完整视频的空间分块；

·取值为“0”，说明该MPU单元是完整视频。

2.tile_scale_height(8bits)：用于在高度上指示空间分块MPU空间尺寸及其与完整MPU相对位置的刻度，取值范围为“1-255”。

3.tile_scale_width(8bits)：用于在宽度上指示空间分块MPU空间尺寸及其与完整MPU相对位置的刻度，取值范围为“1-255”。

4.tile_height_top(8bits)：在tile_scale_height的基础上，指示空间分块MPU上边沿相对于完整MPU上边沿的刻度单元数，取值范围为“0-254”；

5.tile_height_bottom(8bits)：在tile_scale_height的基础上，指示空间分块MPU下边沿相对于完整MPU上边沿的刻度单元数，取值范围为“1-255”。

6.tile_width_left(8bits)：在tile_scale_width的基础上，指示空间分块MPU左边沿相对于完整MPU左边沿的刻度单元数，取值范围为“0-254”；

7.tile_width_right(8bits)：在tile_scale_width的基础上，指示空间分块MPU右边沿相对于完整MPU左边沿的刻度单元数，取值范围为“1-255”。

需要注意的是，本发明中只是以上述字段为例对分块关联信息进行说明，并不局限于以上字段及其大小。为了更好的理解以上字段的含义，可参见附图1所示的应用实例。

二、构建原视频与分块视频之间关联关系

为构建原视频与空间分块视频之间的关联关系，可以从以下两个角度去考虑：

1.增加MPU的固有属性，以标识空间分块关联关系；

2.利用MPU自身已有属性，并结合信令信息以标识空间分块关联关系。

因此，具体实施方案可以有以下两种，且两者可以结合使用：

方案一：将原视频与其空间分块视频作为同一个Asset，如附图2所示。在MPU封装中添加分块关联信息，融为MPU固有属性，并结合mpu_sequence_number确立原视频与其空间分块视频之间的固有联系。

由于分块关联信息的具体添加方式可以有多种，优选地，从以下角度进行考虑：

1)选择性地添加分块标识字段，以区别原MPU及其空间分块MPU。以将is_tile作为分块标识字段为例，作为一个优选方式，可以采用如下所示进行标识：

2)无论原MPU或其空间分块MPU，都以强制性的方式在“mmpu”Box中的mpu_sequence_number后添加相应字段，该字段用于标识原多媒体内容与其空间分块之间的关联关系的信息，以在涉及空间分块时能唯一标识MPU。以添加字段tile_scale_height、tile_scale_width、tile_height_top、tile_height_bottom、tile_width_left、tile_width_right为例，作为一个优选方式，可以采用如下所示进行标识：

3)对原MPU及其空间分块MPU进行分类，结合该分类标识符，以可选的方式实现仅对多媒体内容空间分块MPU添加相应字段，该字段用于标识原多媒体内容与其空间分块之间的关联关系的信息，以在涉及空间分块时能唯一标识MPU。以将is_tile作为分类标识符，并添加字段tile_scale_height、tile_scale_width、tile_height_top、tile_height_bottom、tile_width_left、tile_width_right为例，作为一个优选方式，可以采用如下所示进行标识：

由于在MPU的封装中添加了以上字段融为其固有属性，则mpu_sequence_number不再足以在Asset中唯一标识MPU。因此，在传输过程中，若想以MPU为单位进行传输，还必须要将以上字段与mpu_sequence_number相结合，以在同一Asset中唯一标识MPU。举例来说，利用MMT协议进行打包传输时，可以在MMT协议传输包中的负载头部开辟新的字段，根据应用需求灵活地添加相应的分块关联信息。具体实例如图4所示，其中，“t”指代字段is_tile；“reserved”指代7bits的保留字段；“tile_scale_h”指代字段tile_scale_height；“tile_scale_w”指代字段tile_scale_width；“tile_height_t”指代字段tile_height_top；“tile_height_b”指代字段tile_height_bottom；“tile_width_l”指代字段tile_width_left；“tile_width_r”tile_width_right。

方案二：将原视频与其空间分块视频作为不同的Asset，如附图3所示。可以选择性地添加分块标识字段，构建信念信息、信令表或者描述子，并结合MPU自身属性asset_id确立原视频与其空间分块视频之间的固有联系。

1)分块标识字段

方案二中，分块标识字段的添加较为灵活。下面给出一种应用实例，即基于提供单个数据包消费所需信息的信令表MP_table()，在描述Asset的预留字段里取出一个比特作为分块标识字段is_tile。如下所示：

当is_tile取值为“1”时，代表该Asset属于空间分块。

2)由于结合多媒体内容自身属性以表述原视频与其空间分块视频之间关联关系的信令信息、信令表及描述子的具体表现形式可以有很多种，优选地，可以分别参见以下三种形式：

信令信息形式：构建信令信息tile_association_message()，描述媒体资源中原Asset与其空间分块Asset之间的关联关系。作为一个优选方式，可以采用如下所示形式：

信令表形式：构建信令表tile_association_table()，描述媒体资源中原Asset与其空间分块Asset之间的关联关系。作为一个优选方式，可以采用如下所示形式：

以上信令信息、信令表的示例中，除了上文中已给出定义的字段，tiledasset_number指示被空间分块的原Asset的总数；第一个asset_id()指示被空间分块Asset所属的原Asset的asset_id；tile_scale_number指示被空间分块的原Asset所支持的刻度类型数；tile_number指示基于某刻度的空间分块数；第二个asset_id()指示空间分块Asset的asset_id。

描述子形式：添加描述子tile_association_descriptor()，以标识空间分块Asset与原Asset在空间上的关联关系。作为一个优选方式，tile_association_descriptor()的语法定义如下所示：

以上描述子形式的示例中，除了上文中已给出定义的字段，asset_id()指示该Asset所属的被空间分块的原Asset的asset_id。若该Asset本身即是空间分块前的原Asset，可以有多种方式标识出来，例如将字段asset_id()设置为其自身的asset_id。

描述子tile_association_descriptor()的具体添加位置可以根据应用灵活安排。举例来说，可以基于提供单个数据包消费所需信息的信令表MP_table()，在MP_table()的asset_descriptors{}内添加tile_association_descriptor()以标识该空间分块Asset与原Asset在空间上的关联关系。

基于上述表述，以下给出一具体应用实例：

为更加清楚地阐明本发明中提出的基于多媒体内容自身属性以支持空间分块的存储和传输方法，图5结合上文中方案一及方案二中的信令信息形式的方法，并采用客户端驱动的模式，举例说明了一个具体的实现流程。

由图5可以看出，服务器端将完整视频在空间上分成了四等份，分别了空间分块视频1、2、3、4，且用分块关联信息标识了各视频的属性。

当客户端登录服务时，服务器端会发送信令信息，然后客户端接收并解析tile_association_message()、CI与HTML文件，并更新本地维护的MPU存储数据库。

当用户请求空间分块1的视频时，客户端通过检查tile_association_message()找出空间分块1所属的Asset的asset_id()，并且向服务器端请求该Asset下的MPU并存储在本地播放给用户，并且更新本地数据库。

当用户所请求的视频内容同时包含空间分块1和空间分块2时，通过检查tile_association_message()和本地数据库，得到空间分块2所属的Asset的asset_id()，并向服务器端请求属于空间分块2的MPU碎片。

客户端接收到空间分块2的视频后，与空间分块1的视频重组为用户所请求的媒体内容。

本发明以上部分实施例以MMT为例，阐明所提出的解决方案，但是这些方案同样也可以用于其它文件封装、传输***和协议里。

应当理解的是，以上实施例是本发明部分针对视频多媒体内容的部分实施例，本发明同样适用于其他多媒体内容的存储和传输，比如图像等。这对于本领域技术人员来说是能够实现的。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (10)

1.一种多媒体内容的存储与传输方法，其特征在于，

采用分块关联信息对原多媒体内容及其所对应的多媒体内容空间分块进行索引，从而对多媒体内容进行存储与传输，

其中，所述分块关联信息结合于多媒体内容的自身属性信息中，

所述分块关联信息用于标识原多媒体内容与其多媒体内容空间分块之间的关联关系。

2.根据权利要求1所述的多媒体内容的存储与传输方法，其特征在于，

存储与传输的所述多媒体内容为原多媒体内容和/或与原多媒体内容所对应的多媒体内容空间分块。

3.根据权利要求1所述的多媒体内容的存储与传输方法，其特征在于，将所述分块关联信息结合于多媒体内容的自身属性信息中包括如下步骤：

将原多媒体内容与多媒体内容空间分块作为相同的媒体资源，在多媒体处理单元的封装中添加分块关联信息，其中，所述原多媒体内容与多媒体内容空间分块均由多媒体处理单元组成。

4.根据权利要求1所述的多媒体内容的存储与传输方法，其特征在于，将所述分块关联信息结合于多媒体内容中包括如下步骤：

将原多媒体内容与多媒体内容空间分块作为不同的媒体资源，构建信念表或描述子，通过多媒体处理单元所属的媒体资源的标识确立原多媒体内容与其多媒体内容空间分块之间的固有联系。

5.根据权利要求1所述的多媒体内容的存储与传输方法，其特征在于，

所述分块关联信息包括：

信息一：指示多媒体内容是否为多媒体内容空间分块；

信息二：指示多媒体内容空间分块的空间尺寸及其与原多媒体内容相对位置的刻度。

6.根据权利要求5所述的多媒体内容的存储与传输方法，其特征在于，

所述指示多媒体内容空间分块的空间尺寸及其与原多媒体内容相对位置的刻度的方法包括：指示多媒体内容空间分块的高度尺寸及其相对于原多媒体内容在垂直方向上的位置，和指示多媒体内容空间分块的宽度尺寸及其相对于原多媒体内容在水平方向上的位置。

7.一种多媒体内容的存储与传输方法，其特征在于，包括如下步骤：

准备原多媒体内容及其多媒体内容空间分块；

利用分块关联信息标识原多媒体内容与多媒体内容空间分块在空间上的关联关系；

请求多媒体内容的某一多媒体内容空间分块，将接收到的媒体处理单元进行存储，并更新存储数据库；

根据用户需求、存储数据库中已有的多媒体内容空间分块信息和分块关联信息，请求剩余的媒体处理单元；

其中，所述分块关联信息结合于多媒体内容的自身属性信息中，所述原多媒体内容及多媒体内容空间分块均由多媒体处理单元组成。

8.根据权利要求7所述的多媒体内容的存储与传输方法，其特征在于，所述准备多媒体内容及其多媒体内容空间分块包括如下子步骤：

将源内容分成子图像序列；

每个子图像序列覆盖全向视频内容的空间区域的子集；

将每个子图像序列彼此独立地编码为单层比特流；

将每个子图像比特流被封装于文件中作为轨道并用于流式传输；

每个轨道都能够被独立解码。

9.一种基于多媒体内容的存储与传输方法，所述方法包括：

准备原多媒体内容及其多媒体内容空间分块；

利用分块关联信息标识原多媒体内容与其多媒体内容空间分块在空间上的关联关系；

获取终端设备的编解码能力，并发送多媒体内容空间分块；

对媒体处理单元进行存储，并更新存储数据库；

根据存储数据库中已有的多媒体内容空间分块和分块关联信息，发送剩余的媒体处理单元；

其中，所述分块关联信息结合于多媒体内容的自身属性信息中，所述多媒体内容及多媒体内容空间分块均由多媒体处理单元组成。

10.根据权利要求9所述的多媒体内容的存储与传输方法，其特征在于，所述准备多媒体内容及其多媒体内容空间分块包括如下子步骤：

将源内容分成子图像序列；

每个子图像序列覆盖全向视频内容的空间区域的子集；

将每个子图像序列彼此独立地编码为单层比特流；

将每个子图像比特流被封装于文件中作为轨道并用于流式传输；

每个轨道都能够被独立解码。