CN112601131B

CN112601131B - 一种hls视频切片文件存储优化方法

Info

Publication number: CN112601131B
Application number: CN202011435601.7A
Authority: CN
Inventors: 吴奕刚; 王伟明; 韩继涛; 孙伟涛; 孙彦龙
Original assignee: Hangzhou Arcvideo Technology Co ltd
Current assignee: Hangzhou Arcvideo Technology Co ltd
Priority date: 2020-12-10
Filing date: 2020-12-10
Publication date: 2023-03-21
Anticipated expiration: 2040-12-10
Also published as: CN112601131A

Abstract

本发明公开了一种HLS视频切片文件存储优化方法。它具体包括如下步骤：(1)根据HLS标准，生成一系列的切片文件，读取所有切片文件列表；(2)把所有切片文件合并成单个文件，记录每个切片在文件中的开始位置和结束位置；(3)重新生成M3U8文件，媒体片段类型标签采用自定义URL的方式来记录；(4)媒体片段的请求接口采用标准的HTTP接口下实现。本发明的有益效果是：符合HLS标准要求，对于HLS的生成和播放没有影响，采用单媒体文件的方式减少多切片模式下对存储和CDN的空间和读取上的压力。

Description

一种HLS视频切片文件存储优化方法

技术领域

本发明涉及音视频编码转码相关技术领域，尤其是指一种HLS视频切片文件存储优化方法。

背景技术

HLS全称Http Live Streaming是当前广泛使用的直播和点播技术，是由苹果公司提出的基于HTTP的流媒体网络传输协议，流媒体协议使用HTTP渐进下载方法，可嵌入HTML5标签中播放，现在已经被移动平台浏览器广泛支持，在桌面上也可以通过Javascript和MSE(Media Source Extensions)技术来实现。它的工作原理是把整个流分成一个个小的基于HTTP的文件来下载，每次只下载一些切片。HLS的特点是分片文件小，加载很快，使用TS容器，格式简单，通过HTTP传输，基本不需要考虑防火墙问题，所以很快就被推广开了。

但是HLS协议的小切片方式会生成大量的小文件，存储或处理这些文件会造成大量资源浪费。同一个源对于每种分辨率都需要切成小文件来存储，在并发请求过程中对于文件存储和CDN都是极大的负担。

发明内容

本发明是为了克服现有技术中存在上述的不足，提供了一种减小存储压力的HLS视频切片文件存储优化方法。

为了实现上述目的，本发明采用以下技术方案：

一种HLS视频切片文件存储优化方法，具体包括如下步骤：

(1)根据HLS标准，生成一系列的切片文件，读取所有切片文件列表；

(2)把所有切片文件合并成单个文件，记录每个切片在文件中的开始位置和结束位置；

(3)重新生成M3U8文件，媒体片段类型标签采用自定义URL的方式来记录；

(4)媒体片段的请求接口采用标准的HTTP接口下实现。

通过上述方法的设计，完成了从HLS切片、M3U8的改造和HTTP服务的定制达到存储优化功能，符合HLS标准要求，对于HLS的生成和播放没有影响，采用单媒体文件的方式减少多切片模式下对存储和CDN的空间和读取上的压力。

作为优选，在步骤(2)中，具体为：把所有切片文件合成一个完整的媒体文件，合并顺序从第1个切片开始一直合并到最后一个切片，在合并的过程中记录下切片在合并文件中的位置，将其记录成开始位置和结束位置。

作为优选，在步骤(3)中，M3U8中媒体片段类型标签采用自定义URL的方式来记录，URL中的媒体文件访问功能由HTTP服务模块，URL采用自定义规则，由下面部分组成：协议、存有该资源的主机地址和端口号、资源路径、参数，其中参数部分最少要包括合并文件路径、切片开始路径、切片结束位置三个参数，其中合并文件路径采用URL编码来处理。

作为优选，在步骤(4)中，在HTTP接口下实现流程如下：

(41)解析请求地址中的参数列表，包括file来获取合并文件路径，start来获取切片在相对于合并文件中开始位置FS，end来获取切片相对于合并文件中结束位置FE；

(42)解析请求HTTP Header中的Content-Range来获取客户端请求切片开始偏移位置SS和结束偏移位置SE；

(43)通过FS、SS和SE计算出此次请求相对于合并文件中开始位置RS和结束位置RE，RS＝FS+SS，RE＝FS+SE；

(44)通过过操作***提供的标准文件接口读取合并文件，把RS到RE之间的数据通过HTTP协议返回读取数据内容。

本发明的有益效果是：符合HLS标准要求，对于HLS的生成和播放没有影响，采用单媒体文件的方式减少多切片模式下对存储和CDN的空间和读取上的压力。

附图说明

图1是本发明中切片合并和M3U8改造流程图；

图2是本发明中HTTP接口请求流程图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步的描述。

如图1、图2所述的实施例中，一种HLS视频切片文件存储优化方法，具体包括如下步骤：

(2)把所有切片文件合并成单个文件，记录每个切片在文件中的开始位置(StartPosition)和结束位置(End Position)；具体为：把所有切片文件合成一个完整的媒体文件，合并顺序从第1个切片开始一直合并到最后一个切片，在合并的过程中记录下切片在合并文件中的位置，将其记录成开始位置和结束位置，如图1所示。

(3)重新生成M3U8文件，媒体片段类型标签采用自定义URL的方式来记录；M3U8中媒体片段类型标签采用自定义URL的方式来记录，URL中的媒体文件访问功能由HTTP服务模块，URL采用自定义规则，由下面部分组成：<scheme>://<host>:<port>/<path>；<params>？<query>

1.协议(<scheme>)；

2.存有该资源的主机地址和端口号(<host>:<port>)；

3.资源路径(<path>)；

4.参数(<params>？<query>)，其中参数部分最少要包括合并文件路径、切片开始路径、切片结束位置三个参数，其中合并文件路径采用URL编码来处理，如图1所示。

例如：

https://www.domian.com/segment？file＝{path}&start＝{startPos}&end＝{endPos}

根据此规则重新输出M3U8文件。

M3U8输出样例：

#EXTM3U

#EXT-X-TARGETDURATION:10

#EXTINF:10,

https://www.domian.com/segment？file＝％2fdata％2fwhole.ts&start＝0&end＝10000

#EXTINF:10,

https://www.domian.com/segment？file＝％2fdata％2fwhole.ts&start＝10000&end＝20000

#EXTINF:6,

https://www.domian.com/segment？file＝％2fdata％2fwhole.ts&start＝20000&end＝26000

(4)HTTP服务模块用于提供HLS流媒体服务功能，此服务通过自有代码开发实现来完成范围请求功能。媒体片段的请求接口采用标准的HTTP接口下实现，如图2所示；在HTTP接口下实现流程如下：

本发明是基于HLS协议中M3U8文本协议特点来实现。M3U8是Unicode版本的M3U，用UTF-8编码。"M3U"和"M3U8"文件都是苹果公司使用的HLS协议格式的基础。M3U8文件实质是一个播放列表(Playlist)，其可能是一个媒体播放列表(Media Playlist)，或者是一个主列表(Master Playlist)。但无论是哪种播放列表，其内部文字使用的都是utf-8编码。

当M3U8文件作为媒体播放列表(Media Playlist)时，其内部信息记录的是一系列媒体片段资源，顺序播放该片段资源，即可完整展示多媒体资源。样例格式如下所示：

#EXTM3U

#EXT-X-TARGETDURATION:10

#EXTINF:10,

first.ts

#EXTINF:10,

second.ts

#EXTINF:6,

third.ts

根据HLS标准中对媒体片段类型标签(Media Segment Tags)说明，每个切片URI前面都有一系列媒体片段标签对其进行描述。有些片段标签只对其后切片资源有效；有些片段标签对其后所有切片都有效，直到后续遇到另一个该标签描述。媒体片段类型标签不能出现在主播放列表(Master Playlist)中。具体标签如下：

EXTINF：表示其后URL指定的媒体片段时长(单位为秒)。每个URL媒体片段之前必须指定该标签。该标签的使用格式为：

#EXTINF:<duration>,[<title>]

其中：

Duration：可以为十进制的整型或者浮点型，其值必须小于或等于EXT-X-TARGETDURATION指定的值。

其中切片的URI有三种方式：

采用绝对路径来指定切片的位置；

采用相对于M3U8的相对路径来指定切片的位置；

采用URL地址的方式来指定切片位置。

Claims

1.一种HLS视频切片文件存储优化方法，其特征是，具体包括如下步骤：

（1）根据HLS标准，生成一系列的切片文件，读取所有切片文件列表；

（2）把所有切片文件合并成单个文件，记录每个切片在文件中的开始位置和结束位置；具体为：把所有切片文件合成一个完整的媒体文件，合并顺序从第1个切片开始一直合并到最后一个切片，在合并的过程中记录下切片在合并文件中的位置，将其记录成开始位置和结束位置；

（3）重新生成M3U8文件，媒体片段类型标签采用自定义URL的方式来记录；M3U8中媒体片段类型标签采用自定义URL的方式来记录，URL中的媒体文件访问功能由HTTP服务模块，URL采用自定义规则，由下面部分组成：协议、存有资源的主机地址和端口号、资源路径、参数，其中参数部分最少要包括合并文件路径、切片开始路径、切片结束位置三个参数，其中合并文件路径采用URL编码来处理；

（4）媒体片段的请求接口采用标准的HTTP接口下实现；在HTTP接口下实现流程如下：

（41）解析请求地址中的参数列表，包括file来获取合并文件路径，start来获取切片在相对于合并文件中开始位置FS，end来获取切片相对于合并文件中结束位置FE；

（42）解析请求HTTP Header中的Content-Range来获取客户端请求切片开始偏移位置SS和结束偏移位置SE；

（43）通过FS、SS和SE计算出此次请求相对于合并文件中开始位置RS和结束位置RE，RS=FS+SS，RE=FS+SE；

（44）通过操作***提供的标准文件接口读取合并文件，把RS到RE之间的数据通过HTTP协议返回读取数据内容。