CN106961613A - 一种流式实时转码点播方法及*** - Google Patents

Abstract

本申请提供一种流式实时转码点播方法及***，其中，所述方法包括：按照预设格式将上传的音视频文件解封装，以得到所述音视频文件对应的视频流、音频流以及辅助数据文件；根据所述视频流和音频流，生成时间轴与字节流偏移的映射表；接收客户端发来的转码播放请求，并根据所述转码播放请求中的请求参数，对所述视频流和音频流进行分片和编码；将编码后的音频流和视频流按照指定格式进行封装，并将封装后的流媒体文件返回至所述客户端处。本申请提供的一种流式实时转码点播方法及***，能够减少开发者的负担，同时能够提高音视频点播的效率。

Description

一种流式实时转码点播方法及***

技术领域

本申请涉及音视频处理技术领域，特别涉及一种流式实时转码点播方法及***。

背景技术

目前国内主流的视频服务平台，都主要采用的异步转码方式进行点播。通常，异步转码技术是将源音视频按照预设的转码配置进行异步转码，持久化存储转码结果，再按流媒体协议进行点播分发。

然而，异步转码技术通常存在如下的局限性：

1)异步转码通常需要用户提供回调接口或者主动的进行状态轮询，确认转码结果后才能进行音视频内容分发，内容分发与音视频转码耦合。这种流程会增加开发者的负担，也会对业务流程造成影响；

2)异步转码的参数往往需要预设，即只能预先设定有限的转码参数组，不能实时进行调整。一旦开发者修改预设参数，往往需要经过修改配置、重新转码、重新分发的过程，增加开发者负担；

3)无法满足终端用户诸如视频的实时截取、编辑和快速预览的灵活需求，从而导致音视频点播的效率偏低。

由上可见，当前的异步转码的点播方式，不仅会增加开发者的负担，同时会降低音视频点播效率。

应该注意，上面对技术背景的介绍只是为了方便对本申请的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述的。不能仅仅因为这些方案在本申请的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。

发明内容

本申请实施方式的目的在于提供一种流式实时转码点播方法及***，能够减少开发者的负担，同时能够提高音视频点播的效率。

为实现上述目的，本申请一方面提供一种流式实时转码点播方法，所述方法包括：按照预设格式将上传的音视频文件解封装，以得到所述音视频文件对应的视频流、音频流以及辅助数据文件；根据所述视频流和音频流，生成时间轴与字节流偏移的映射表；接收客户端发来的转码播放请求，并根据所述转码播放请求中的请求参数，对所述视频流和音频流进行分片和编码；将编码后的音频流和视频流按照指定格式进行封装，并将封装后的流媒体文件返回至所述客户端处。

进一步地，根据所述视频流和音频流，生成时间轴与字节流偏移的映射表具体包括：以所述视频流的时间轴为基准，遍历所述视频流中的每一帧画面，并根据关键帧信息，生成时间轴与字节流偏移的映射表。

进一步地，根据所述转码播放请求中的请求参数，对所述视频流和音频流进行分片和编码具体包括：将所述视频流和音频流分别分割为预设时长的视频块和音频块，并将所述预设时长的视频块和音频块存储于预设云存储***中；根据所述转码播放请求中的请求参数，生成流媒体索引文件，并向所述客户端返回所述流媒体索引文件；接收客户端发来的分片请求，并查询与所述分片请求相对应的目标字节流偏移位置；根据所述目标字节流偏移位置，从所述预设云存储***中获取目标视频块和目标音频块；根据所述分片请求中的请求参数，分别对所述目标视频块和所述目标音频块进行转码。

进一步地，将编码后的音频流和视频流按照指定格式进行封装，并将封装后的流媒体文件返回至所述客户端处具体包括：将转码后的目标视频块和目标音频块合成具备指定封装格式的流媒体分块，并将所述流媒体分块返回至所述客户端处。

进一步地，分割后的每个视频块中，至少包含一个I帧画面。

进一步地，所述云存储***中包括多个存储节点；相应地，将所述预设时长的视频块和音频块存储于预设云存储***中包括：根据分布式存储协议，将所述预设时长的视频块和音频块存储于所述多个存储节点中。

进一步地，所述分片请求中包括播放起始时间、播放时长、分辨率、音视频码率中的至少一种。

进一步地，所述方法还包括：将封装后的流媒体文件写入缓存中，当接收到客户端发来的相同的转码播放请求时，将缓存中的所述流媒体文件返回至所述客户端处。

为实现上述目的，本申请另一方面还提供一种流式实时转码点播***，所述***包括：解包器，用于按照预设格式将上传的音视频文件解封装，以得到所述音视频文件对应的视频流、音频流以及辅助数据文件；存储器，用于将所述解包器生成的视频流、音频流以及辅助数据文件存储于预设云存储***中；索引生成器，用于根据所述视频流和音频流，生成时间轴与字节流偏移的映射表；编码器，用于接收客户端发来的转码播放请求，并根据所述转码播放请求中的请求参数，对所述视频流和音频流进行分片和编码；封包器，用于将编码后的音频流和视频流按照指定格式进行封装，并将封装后的流媒体文件返回至所述客户端处。

进一步地，所述索引生成器具体包括：遍历模块，用于以所述视频流的时间轴为基准，遍历所述视频流中的每一帧画面，并根据关键帧信息，生成时间轴与字节流偏移的映射表。

进一步地，所述编码器具体包括：分割模块，用于将所述视频流和音频流分别分割为预设时长的视频块和音频块，并将所述预设时长的视频块和音频块存储于预设云存储***中；索引文件生成模块，用于根据所述转码播放请求中的请求参数，生成流媒体索引文件，并向所述客户端返回所述流媒体索引文件；字节流偏移查询模块，用于接收客户端发来的分片请求，并查询与所述分片请求相对应的目标字节流偏移位置；音视频块获取模块，用于根据所述目标字节流偏移位置，从所述预设云存储***中获取目标视频块和目标音频块；转码模块，用于根据所述分片请求中的请求参数，分别对所述目标视频块和所述目标音频块进行转码。

进一步地，所述封包器具体包括：流媒体分块生成模块，用于将转码后的目标视频块和目标音频块合成具备指定封装格式的流媒体分块，并将所述流媒体分块返回至所述客户端处。

本申请提供的一种流式实时转码点播方法及***，可以具备以下有益效果：

1、转码请求和播放请求合二为一，终端用户能够按需发起请求；

2、音视频分段并行转码，从而可以使用大规模计算集群进行计算，让转码任务在云端可任意调度、迁移、扩展收缩；

3、开发者无须异步回调转码结果，无须等待转码任务完成，可以将内容分发和音视频业务开发独立进行。

由上可见，本申请提供的一种流式实时转码点播方法及***，能够减少开发者的负担，同时能够提高音视频点播的效率。

参照后文的说明和附图，详细公开了本申请的特定实施方式，指明了本申请的原理可以被采用的方式。应该理解，本申请的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本申请的实施方式包括许多改变、修改和等同。

针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。

应该强调，术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。

附图说明

所包括的附图用来提供对本申请实施方式的进一步的理解，其构成了说明书的一部分，用于例示本申请的实施方式，并与文字描述一起来阐释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本申请实施方式提供的一种流式实时转码点播方法的流程图；

图2为本申请实施方式中对上传的音视频文件进行处理的流程示意图；

图3为本申请实施方式中音视频转码播放的流程示意图；

图4为本申请实施方式提供的一种流式实时转码点播***的功能模块图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施方式中的附图，对本申请实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本申请一部分实施方式，而不是全部的实施方式。基于本申请中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施方式，都应当属于本申请保护的范围。

图1为本申请实施方式提供的一种流式实时转码点播方法的流程图。虽然下文描述流程包括以特定顺序出现的多个操作，但是应该清楚了解，这些过程可以包括更多或更少的操作，这些操作可以顺序执行或并行执行(例如使用并行处理器或多线程环境)。如图1所示，所述方法可以包括：

S1：按照预设格式将上传的音视频文件解封装，以得到所述音视频文件对应的视频流、音频流以及辅助数据文件。

在本实施方式中，所述预设格式例如可以是H264格式或者AAC格式。上传的音视频文件可以被解封装为视频流、音频流和诸如字幕等辅助数据文件。

在本实施方式中，可以将音视频流的解包任务与接收音视频文件的任务以管道的方式进行串行流式执行，即边接收文件边解包音视频流。用以存储的音视频流会转换成指定编码格式，比如H264和AAC。因此，若音视频文件的音视频编码格式不是该格式，需要额外增加管道，进行串行的音视频流编解码。

此外，用户上传的音视频文件可能存在一些缺陷，比如音视频时间轴乱序、音视频流丢帧、音视频流时间轴缺失等。针对上述问题，可以对编码后的音视频流进行智能检查和修复，从而可以解决部分源视频质量问题。

S2：根据所述视频流和音频流，生成时间轴与字节流偏移的映射表。

请参阅图2，在本实施方式中，可以根据视频流和音频流的格式，以所述视频流的时间轴为基准，遍历所述视频流中的每一帧画面，并根据关键帧信息，生成时间轴与字节流偏移的映射表。具体地，所述关键帧可以是视频流中的I帧。视频流中可以具备四种帧：I帧、P帧、B帧以及D帧，其中，I帧图像是帧内编码图像，它不参考其他任何图像而独立编码；P帧图像是前向预测编码图像，相对于前一参考图像进行有运动补偿的预测编码；B帧图像是双向预测编码图像，需要前向和后向的参考图像作运动补偿；D帧图像的目的是提供一种简单的，但质量相当有限的快进播放方式。在本实施方式中，可以将独立的I帧作为关键帧。

在本实施方式中，可以按帧为单位，顺序检索视频流，计算出每一帧数据其实位置的偏移，记录到时间轴与字节流偏移的映射表中，并记录下帧类型等信息。相同时间戳对应的音频偏移位置，也需记录到时间轴与字节流偏移的映射表中。

在本实施方式中，生成的时间轴与字节流偏移的映射表可以存储于元数据表中，以作为后续的索引条件。

S3：接收客户端发来的转码播放请求，并根据所述转码播放请求中的请求参数，对所述视频流和音频流进行分片和编码。

请参阅图3，在本实施方式中，可以预先将所述视频流和音频流分别分割为预设时长的视频块和音频块，并将所述预设时长的视频块和音频块存储于预设云存储***中。在实际应用过程中，分割后的每个视频块中至少包含一个I帧画面，并且所述预设云存储***中可以包括多个存储节点。这样，可以根据分布式存储协议，将所述预设时长的视频块和音频块存储于所述多个存储节点中，以加快后续读取音视频数据的速度。

在本实施方式中，可以根据所述转码播放请求中的请求参数，生成流媒体索引文件，并向所述客户端返回所述流媒体索引文件。具体地，可以根据转码播放请求中的请求参数，检索元数据表，从而生成例如.m3u8这样的文件，并将生成的文件返回客户端。其中，所述流媒体索引文件中，将包含所有音视频分片请求的URL，每条URL可以包含用户转码需求的所有参数，也就是说，转码上下文可以存储在客户端。

在本实施方式中，客户端可以按照流媒体协议，检索接收到的流媒体索引文件后，并依次发送音视频分片请求。这样，在接收到客户端发来的分片请求后，可以查询与所述分片请求相对应的目标字节流偏移位置。具体地，所述分片请求中可以包含完整的转码播放参数，例如播放起始时间、播放时长、分辨率、音视频码率中的至少一种。这样，根据转码播放参数，可以检索元数据表，从而找到目标字节流偏移位置。

在本实施方式中，可以根据所述目标字节流偏移位置，从所述预设云存储***中获取目标视频块和目标音频块。这样，根据所述分片请求中的请求参数，可以分别对所述目标视频块和所述目标音频块进行转码，得到转码后的音视频分块。

S4：将编码后的音频流和视频流按照指定格式进行封装，并将封装后的流媒体文件返回至所述客户端处。

在本实施方式中，可以将转码后的目标视频块和目标音频块合成具备指定封装格式的流媒体分块，并将所述流媒体分块返回至所述客户端处。所述指定封装格式可以是H264格式和AAC格式。

在本实施方式中，可以将封装后的流媒体文件写入缓存中，当接收到客户端发来的相同的转码播放请求时，可以直接将缓存中的所述流媒体文件返回至所述客户端处，从而无需重复进行转码，并可以通过CDN(Content Delivery Network，内容分发网络)进行分发加速。

请参阅图4，本申请实施方式还提供一种流式实时转码点播***，所述***包括：

解包器100，用于按照预设格式将上传的音视频文件解封装，以得到所述音视频文件对应的视频流、音频流以及辅助数据文件；

存储器200，用于将所述解包器生成的视频流、音频流以及辅助数据文件存储于预设云存储***中；

索引生成器300，用于根据所述视频流和音频流，生成时间轴与字节流偏移的映射表；

编码器400，用于接收客户端发来的转码播放请求，并根据所述转码播放请求中的请求参数，对所述视频流和音频流进行分片和编码；

封包器500，用于将编码后的音频流和视频流按照指定格式进行封装，并将封装后的流媒体文件返回至所述客户端处。

在本申请一个实施方式中，所述索引生成器300具体包括：

遍历模块，用于以所述视频流的时间轴为基准，遍历所述视频流中的每一帧画面，并根据关键帧信息，生成时间轴与字节流偏移的映射表。

在本申请一个实施方式中，所述编码器400具体包括：

分割模块，用于将所述视频流和音频流分别分割为预设时长的视频块和音频块，并将所述预设时长的视频块和音频块存储于预设云存储***中；

索引文件生成模块，用于根据所述转码播放请求中的请求参数，生成流媒体索引文件，并向所述客户端返回所述流媒体索引文件；

字节流偏移查询模块，用于接收客户端发来的分片请求，并查询与所述分片请求相对应的目标字节流偏移位置；

音视频块获取模块，用于根据所述目标字节流偏移位置，从所述预设云存储***中获取目标视频块和目标音频块；

转码模块，用于根据所述分片请求中的请求参数，分别对所述目标视频块和所述目标音频块进行转码。

在本申请一个实施方式中，所述封包器500具体包括：

流媒体分块生成模块，用于将转码后的目标视频块和目标音频块合成具备指定封装格式的流媒体分块，并将所述流媒体分块返回至所述客户端处。

本申请提供的一种流式实时转码点播方法及***，可以具备以下有益效果：

1、转码请求和播放请求合二为一，终端用户能够按需发起请求；

2、音视频分段并行转码，从而可以使用大规模计算集群进行计算，让转码任务在云端可任意调度、迁移、扩展收缩；

3、开发者无须异步回调转码结果，无须等待转码任务完成，可以将内容分发和音视频业务开发独立进行。

由上可见，本申请提供的一种流式实时转码点播方法及***，能够减少开发者的负担，同时能够提高音视频点播的效率。

上面对本申请的各种实施方式的描述以描述的目的提供给本领域技术人员。其不旨在是穷举的、或者不旨在将本发明限制于单个公开的实施方式。如上所述，本申请的各种替代和变化对于上述技术所属领域技术人员而言将是显而易见的。因此，虽然已经具体讨论了一些另选的实施方式，但是其它实施方式将是显而易见的，或者本领域技术人员相对容易得出。本申请旨在包括在此已经讨论过的本发明的所有替代、修改、和变化，以及落在上述申请的精神和范围内的其它实施方式。

Claims (12)

1.一种流式实时转码点播方法，其特征在于，所述方法包括：

按照预设格式将上传的音视频文件解封装，以得到所述音视频文件对应的视频流、音频流以及辅助数据文件；

根据所述视频流和音频流，生成时间轴与字节流偏移的映射表；

接收客户端发来的转码播放请求，并根据所述转码播放请求中的请求参数，对所述视频流和音频流进行分片和编码；

将编码后的音频流和视频流按照指定格式进行封装，并将封装后的流媒体文件返回至所述客户端处。

2.根据权利要求1所述的流式实时转码点播方法，其特征在于，根据所述视频流和音频流，生成时间轴与字节流偏移的映射表具体包括：

以所述视频流的时间轴为基准，遍历所述视频流中的每一帧画面，并根据关键帧信息，生成时间轴与字节流偏移的映射表。

3.根据权利要求2所述的流式实时转码点播方法，其特征在于，根据所述转码播放请求中的请求参数，对所述视频流和音频流进行分片和编码具体包括：

将所述视频流和音频流分别分割为预设时长的视频块和音频块，并将所述预设时长的视频块和音频块存储于预设云存储***中；

根据所述转码播放请求中的请求参数，生成流媒体索引文件，并向所述客户端返回所述流媒体索引文件；

接收客户端发来的分片请求，并查询与所述分片请求相对应的目标字节流偏移位置；

根据所述目标字节流偏移位置，从所述预设云存储***中获取目标视频块和目标音频块；

根据所述分片请求中的请求参数，分别对所述目标视频块和所述目标音频块进行转码。

4.根据权利要求3所述的流式实时转码点播方法，其特征在于，将编码后的音频流和视频流按照指定格式进行封装，并将封装后的流媒体文件返回至所述客户端处具体包括：

将转码后的目标视频块和目标音频块合成具备指定封装格式的流媒体分块，并将所述流媒体分块返回至所述客户端处。

5.根据权利要求3所述的流式实时转码点播方法，其特征在于，分割后的每个视频块中，至少包含一个关键帧画面。

6.根据权利要求3所述的流式实时转码点播方法，其特征在于，所述云存储***中包括多个存储节点；相应地，将所述预设时长的视频块和音频块存储于预设云存储***中包括：

根据分布式存储协议，将所述预设时长的视频块和音频块存储于所述多个存储节点中。

7.根据权利要求3所述的流式实时转码点播方法，其特征在于，所述分片请求中包括播放起始时间、播放时长、分辨率、音视频码率中的至少一种。

8.根据权利要求1所述的流式实时转码点播方法，其特征在于，所述方法还包括：

将封装后的流媒体文件写入缓存中，当接收到客户端发来的相同的转码播放请求时，将缓存中的所述流媒体文件返回至所述客户端处。

9.一种流式实时转码点播***，其特征在于，所述***包括：

解包器，用于按照预设格式将上传的音视频文件解封装，以得到所述音视频文件对应的视频流、音频流以及辅助数据文件；

存储器，用于将所述解包器生成的视频流、音频流以及辅助数据文件存储于预设云存储***中；

索引生成器，用于根据所述视频流和音频流，生成时间轴与字节流偏移的映射表；

编码器，用于接收客户端发来的转码播放请求，并根据所述转码播放请求中的请求参数，对所述视频流和音频流进行分片和编码；

封包器，用于将编码后的音频流和视频流按照指定格式进行封装，并将封装后的流媒体文件返回至所述客户端处。

10.根据权利要求9所述的流式实时转码点播***，其特征在于，所述索引生成器具体包括：

遍历模块，用于以所述视频流的时间轴为基准，遍历所述视频流中的每一帧画面，并根据关键帧信息，生成时间轴与字节流偏移的映射表。

11.根据权利要求10所述的流式实时转码点播***，其特征在于，所述编码器具体包括：

分割模块，用于将所述视频流和音频流分别分割为预设时长的视频块和音频块，并将所述预设时长的视频块和音频块存储于预设云存储***中；

索引文件生成模块，用于根据所述转码播放请求中的请求参数，生成流媒体索引文件，并向所述客户端返回所述流媒体索引文件；

字节流偏移查询模块，用于接收客户端发来的分片请求，并查询与所述分片请求相对应的目标字节流偏移位置；

音视频块获取模块，用于根据所述目标字节流偏移位置，从所述预设云存储***中获取目标视频块和目标音频块；

转码模块，用于根据所述分片请求中的请求参数，分别对所述目标视频块和所述目标音频块进行转码。

12.根据权利要求11所述的流式实时转码点播***，其特征在于，所述封包器具体包括：

流媒体分块生成模块，用于将转码后的目标视频块和目标音频块合成具备指定封装格式的流媒体分块，并将所述流媒体分块返回至所述客户端处。