CN104718746B - 用于媒体传输和存储的随机访问信息封装的方法和仪器 - Google Patents

Abstract

提供一种用于媒体存储或媒体传输目的，对视频数据附加随机访问信息的方法和仪器，因此能够在视频流上执行有效的流操作。该信息以描述符的方式或作为数据结构被附加到媒体传输格式头中或媒体存储格式头中。

Description

用于媒体传输和存储的随机访问信息封装的方法和仪器

技术领域

本发明涉及视频编码，并且更具体的是，涉及用于媒体传输和存储目的视频数据的随机访问信息的封装。

背景技术

现今，视频应用正在迅速发展，并且由于更高的清晰度、更高的帧速率和更高的压缩率的发展倾向，目前主流的视频压缩标准H.264/MPEG-4高级视频编码(AVC)的局限性变得尤为突出。

鉴于这种情况，ITU-T视频编码专家组(VCEG)和ISO/IEC运动图像专家组(MPEG)在被称为视频编码联合小组(JCT-VC)的团队中工作，共同开发下一代视频压缩标准，即，高效视频编码(HEVC)标准。

HEVC的设计采用了最新的现有技术和算法的进展以解决视频内容、视频进入到宽带网络的更广泛的使用、移动设备的多样化、照相机和显示器的越来越高的分辨率、以及日益增长的高视频质量的持续需求。JCT-VC的项目的主要目标是使用相对于AVC所要求的比特速率的实质节省(例如，减少一半)来到达相同等级的视频质量。在这个阶段，HEVC的能力的初始测量表明它的性能已经满足或超过由该任务所设定的目标。

到目前为止，HEVC文本规范草案7已经发布。但是HEVC标准的内容仍在修改和充实。HEVC标准的第一个版本预期在2013年1月完成，届时调整文本将由ITU-T和ISO/IEC公布。

目前，需要一种技术允许在视频流上执行更有效的操作。

发明概要

本发明的目的是提供一种能够在视频流上执行更有效操作的用于处理视频数据的方法、仪器和***。

为了达到该目的，本发明提供一种用于处理视频数据的方法，其包括：

对视频数据附加随机访问信息；

其中随机访问信息包括随机访问点(RAP)信息和流访问点(SAP)信息。

优选的是，该方法还包括存储附加之后的视频数据或在网络上传输附加之后的视频数据。

优选的是，RAP信息包括以下一个或多个RAP类型：

RAP类型1：纯净随机访问(clean random access)(CRA)图片；

RAP类型2：断链访问(broken link access)(BLA)图片；

RAP类型3：没有相关的标记为丢弃(TFD)图片的BLA图片；

RAP类型4：没有引导图片的BLA图片；

RAP类型5：没有引导图片的即时解码刷新(IDR)图片；

RAP类型6：可以具有引导图片的IDR图片。

优选的是，SAP信息包括以下一个或多个SAP类型：

SAP类型1：从该点开始可解码所有图片，并且第一个解码的图片具有比较晚解码的图片更低的显示时间标签(PTS)；

SAP类型2：从该点开始可解码所有图片，并且较晚解码的图片具有比第一个解码的图片更低的PTS；

SAP类型3：从该点开始不可解码所有图片，但是第一个图片是可解码的，并且不可解码的图片具有比第一个解码的图片更低的PTS。

优选的是，随机访问信息由一个或多个标志指示。

优选的是，随机访问信息物理上附加到视频数据。

优选的是，随机访问信息虚拟附加到视频数据。

优选的是，对视频数据附加随机访问信息的步骤包括：

将随机访问信息包括在分离文件或数据结构中；以及

将随机访问信息关联到视频数据。

优选的是，随机访问信息通过一个或多个指针被关联到视频数据。

优选的是，对视频数据附加随机访问信息的步骤包括：

如果视频数据将要被存储，则将随机访问信息包括在数据结构中；或者

如果视频数据将要在网络上传输，则将随机访问信息包括在数据头或描述符中。

优选的是，视频数据是已压缩的视频流。

为了达到上述目的，本发明还提供了一种用于处理视频数据的仪器，其包括：

附加模块，其被配置为对视频数据附加随机访问信息；

其中随机访问信息包括随机访问点(RAP)信息和流访问点(SAP)信息。

优选的是，仪器还包括存储模块，其配置为存储附加之后的视频数据或在网络上传输附加之后的视频数据。

优选的是，附加模块还被配置为使用一个或多个标志来指示随机访问信息。

优选的是，附加模块被配置为将随机访问信息物理上附加到视频数据。

优选的是，附加模块被配置为对视频数据虚拟附加随机访问信息。

优选的是，附加模块被配置为通过以下方式来附加随机访问信息：

将随机访问信息包括在分离文件或数据结构中；以及

将随机访问信息关联到视频数据。

优选的是，附加模块被配置为使用一个或多个指针将随机访问信息关联到视频数据。

优选的是，附加模块被配置为通过以下方式来附加随机访问信息：

如果视频数据将要被存储，则将随机访问信息包括在数据结构中；或者

如果视频数据将要在网络上传输，则将随机访问信息包括在数据头或描述符中。

为了到达上述目的，本发明还提供一种用于处理视频数据的***，其包括：

用于生成视频数据的仪器；以及

如上述所定义的仪器。

本发明提供的用于媒体传输或媒体存储目的的处理视频数据的方法、仪器和***能够在视频流上执行有效的流操作，诸如执行特技播放功能。

附图简要说明

图1示出了根据本发明的实施例的方法的流程图。

图2示出了根据本发明的另一个实施例的用于处理视频数据的仪器的结构。

图3示出了根据本发明的另一个实施例的***。

本发明优选的实施例

视频流的随机访问指的是用于在不同于流开始的点处开始视频流的解码过程的行为。视频流的随机访问性质的信息使在视频流上执行操作成为可能。这样的操作包括特技播放功能。

图1展示根据本发明的实施例的用于附加视频数据的随机访问信息的方法的流程图。该方法包括以下步骤：

步骤10：生成视频数据诸如视频流。该视频流优选的是已压缩的。

步骤20：对已生成的视频数据附加随机访问信息。

步骤30：存储该视频数据或在网络上传输该视频数据。

已压缩的视频流的随机访问信息分成两类——即，随机访问点(RAP)信息和流访问点(SAP)信息。区分SAP信息和RAP信息是可能的。在ISO/MPEG的HEVC视频压缩标准中存在几个SAP类型和几个RAP类型。本发明的实施例提供用于独立识别SAP类型和RAP类型的方法。在例子中，SAP类型和RAP类型可以由标志指示。

下面是关于要求HEVC视频压缩数据信令的SAP类型和RAP类型的更多的细节：

RAP类型1：CRA图片；

RAP类型2：BLA图片；

RAP类型3：没有相关的TFD图片的BLA图片；

RAP类型4：没有引导图片的BLA图片；

RAP类型5：没有引导图片的IDR图片；

RAP类型6：IDR图片(可以具有引导图片)。

SAP类型1：

·从该点开始可解码所有图片

·第一个解码的图片具有比之后解码的图片更低的PTS。

SAP类型2：

·从该点开始可解码所有图片

·之后解码的图片具有比第一个解码的图片更低的PTS。

SAP类型3：

·从该点开始不可解码所有图片

·第一个图片是可解码的

·不可解码的图片具有比第一个解码的图片更低的PTS。

以下缩写用于上述列表：

(1)RAP:随机访问点；

(2)SAP:流访问点；

(3)CRA:纯净随机访问(CRA)图片：一种RAP图片，对于该种RAP图片，每个分片(slice)具有等于CRA_NUT的网络抽象层单元类型(nal_unit_type)；

(4)PTS：显示时间标签；

(5)BLA:断链访问(BLA)图片(BLA访问单元：一个访问单元，在该访问单元中编码的图片是BLA图片)；

(6)IDR：即时解码刷新(IDR)图片:一种RAP图片，对于该种RAP图片，每个分片具有等于IDR_W_LP或IDR_N_LP的网络抽象层单元类型；

(7)TFD:标记为丢失。

已压缩的数据通常在网络上传输或者其被存储。对于这两种情况，相关的视频有效载荷的随机访问性质的信息有助于有效的流分层处理。该信息可以被物理上附加到已压缩的视频数据。可替代的是，这样的信息可以被虚拟附加。在媒体传输和存储的上下文中，虚拟附加的一个例子是，在该例子中随机访问信息从分离文件或数据结构中获得，并且在该例子中存在将随机访问信息关联到视频流的指针或相似的机制。

随机访问信息附加到已压缩的视频数据成为媒体传输格式或媒体存储格式被称为封装。根据本发明的一个实施例，用于媒体传输目的的随机访问信息的附加可以呈数据头或描述符的形式，而用于媒体存储目的的随机访问信息的附加可以呈数据结构的形式。

本发明还提供一种用于执行前述的随机访问信息的附加操作的仪器。根据在图2中所示出的实施例，用于附加视频数据的随机访问信息的仪器包括附加模块，所述附加模块被配置为对已生成视频数据附加随机访问信息。已生成的视频数据可以是压缩的视频流。仪器还包括存储模块，在随机访问信息附加之后，视频数据通过存储模块被存储或在网络上传输。

此外，附加模块还可以被配置为使用一个或多个标志来指示随机访问信息。附加模块可以被配置为将随机访问信息物理上附加到已生成的视频数据，或虚拟地附加信息。在媒体传输和存储的上下文中，一个虚拟附加的例子是将随机访问信息包括在分离文件或数据结构中，并且使用指针或相似的机制来将随机访问信息关联到视频流。附加模块可以被配置为以数据头或描述符的形式附加随机访问信息用于媒体传输目的，并且以数据结构的形式附加随机访问信息用于媒体存储目的。

根据如在图3中所示出的实施例，本发明还提供一种用于处理视频数据的***，该***包括：用于生成视频数据的仪器；以及如上所定义的用于处理视频数据的仪器。

本领域的技术人员应该理解本发明中的方法和仪器可以由硬件、软件或固件来实现。例如，它们可以由通用计算装置、或计算装置可执行的程序实现，从而可以存储在存储媒体或集成电路中。

上面所描述的内容仅仅是本发明的优选的实施例并不旨在限制本发明。对本领域的技术人员，本发明可以有各种修改和变型。在不违背本发明的本质和原则下，所有的修改、等效替换、改进等等，均需落入本发明的保护范围内。

工业应用性

在本发明中提供的用于媒体传输或媒体存储的附加视频数据的随机访问信息的方法和仪器能够在视频流上执行有效的流操作，诸如执行特技播放功能。本发明可适用于视频编码领域。

Claims (14)

1.一种用于处理视频数据的方法，包括：

在媒体传输格式或媒体存储格式中对视频数据附加随机访问信息；

其中所述随机访问信息包括：随机访问点RAP信息和流访问点SAP信息；

其中，所述RAP信息包括以下RAP类型中的一个或多个：

RAP类型1：纯净随机访问CRA图片；

RAP类型2：断链访问BLA图片；

RAP类型3：没有相关的标记为丢弃TFD的图片的BLA图片；

RAP类型4：没有引导图片的BLA图片；

RAP类型5：没有引导图片的即时解码刷新IDR图片；

RAP类型6：能够具有引导图片的IDR图片；

其中，所述视频数据是已压缩的视频流，所述随机访问信息由一个或多个标志指示；

对所述视频数据附加所述随机访问信息的步骤包括：

如果所述视频数据将被存储，则将所述随机访问信息包括在数据结构中；

如果所述视频数据将要在网络上传输，则将所述随机访问信息包括在数据头或描述符中。

2.根据权利要求1所述的方法，还包括在所述附加之后存储所述视频数据或在网络上传输所述视频数据。

3.根据权利要求1所述的方法，其中，所述SAP信息包括以下SAP类型中的一个或多个：

SAP类型1：从该点开始可解码所有图片，并且第一个解码的图片具有比较晚解码的图片更低的显示时间标签PTS；

SAP类型2：从该点开始可解码所有图片，并且较晚解码的图片具有比第一个解码的图片更低的PTS；

SAP类型3：从该点开始不可解码所有图片，但是第一个图片是可解码的，并且不可解码的图片具有比第一个解码的图片更低的PTS。

4.根据权利要求1所述的方法，其中，所述随机访问信息物理上附加到所述视频数据。

5.根据权利要求1所述的方法，其中，所述随机访问信息对所述视频数据是虚拟地附加的。

6.根据权利要求5所述的方法，其中，对所述视频数据附加所述随机访问信息的步骤包括：

将所述随机访问信息包括在分离文件或数据结构中；以及

将所述随机访问信息关联到所述视频数据。

7.根据权利要求6所述的方法，其中，所述随机访问信息通过一个或多个指针被关联到所述视频数据。

8.一种用于处理视频数据的仪器，包括：

附加模块，所述附加模块被配置为在媒体传输格式或媒体存储格式中对视频数据附加随机访问信息；

其中所述随机访问信息包括：随机访问点RAP信息和流访问点SAP信息；

其中，所述RAP信息包括以下RAP类型中的一个或多个：

RAP类型1：纯净随机访问CRA图片；

RAP类型2：断链访问BLA图片；

RAP类型3：没有相关的标记为丢弃TFD的图片的BLA图片；

RAP类型4：没有引导图片的BLA图片；

RAP类型5：没有引导图片的即时解码刷新IDR图片；

RAP类型6：能够具有引导图片的IDR图片；

其中，所述视频数据是已压缩的视频流，所述附加模块还被配置为使用一个或多个标志来指示所述随机访问信息；

其中，所述附加模块被配置为通过以下方式附加所述随机访问信息：

如果所述视频数据将被存储，则将所述随机访问信息包括在数据结构中；

如果所述视频数据将在网络上传输，则将所述随机访问信息包括在数据头或描述符中。

9.根据权利要求8所述的仪器，还包括存储模块，所述存储模块被配置为在所述附加之后存储所述视频数据或在网络上传输所述视频数据。

10.根据权利要求8所述的仪器，其中，所述附加模块被配置为将所述随机访问信息物理上附加到所述视频数据。

11.根据权利要求8所述的仪器，其中，所述附加模块被配置为对所述视频数据虚拟附加所述随机访问信息。

12.根据权利要求11所述的仪器，其中，所述附加模块被配置为通过以下方式附加所述随机访问信息：

将所述随机访问信息包括在分离文件或数据结构中；以及

将所述随机访问信息关联到所述视频数据。

13.根据权利要求12所述的仪器，其中，所述附加模块被配置为使用一个或多个指针将所述随机访问信息关联到所述视频数据。

14.一种用于处理视频数据的***，包括：

用于生成视频数据的仪器；以及

如权利要求8-13中的任一项所述的仪器。