CN113836094A - 一种分布式视频存储的文件生命周期管理方法及*** - Google Patents

Abstract

本发明涉及一种分布式视频存储的文件生命周期管理方法及***，包括录像文件存储步骤、录像文件索引信息及录像文件查询获取步骤和录像文件索引信息及录像文件清理步骤。本发明对生命周期结束的海量音视频文件进行分布式集群，动态负载在不影响整体集群性能的情况下自动删除。海量的音视频文件信息的生成，对存储文件信息的数据库，进行分库分表，异步负载均衡后存储到数据库，实现海量文件信息的存储，查询、删除等。

Description

一种分布式视频存储的文件生命周期管理方法及***

技术领域

本发明涉及数据存储技术领域，尤其涉及一种分布式视频存储的文件生命周期管理方法及***。

背景技术

在安防和环境监控项目中，视频监控需求越来越广泛，呈现从行业用户想普通民众普及的趋势；监控录像存储作为事件回溯的一种方式，不管是普通用户还是警务人员对其的需求都是比较急切的。

现有技术中一般是通过网络摄像机实时采集音视频数据，然后将数据缓存到本地，由本地录像机拉取实时流数据，然后服务器主动拉取录像机实时流数据存储到云端；通过本地录像机和云端服务器进行数据同步来保证录像的安全；然而现有技术中，当摄像机或者录像机首次使用时需要复杂的配置来关联录像机和摄像机，这需要一定的专业知识且操作也不友好；将本地录像上传到云端服务器需要消耗大量的公网流量；而且现有技术中海量的摄像机设备接入后，海量的视频文件及文件信息存储、查询和删除等，生命周期管理困难，难以有效提高分布式存储利用率，也容易造成录像新查询速度响应慢等问题。

发明内容

本发明的目的在于克服现有技术的缺点，提供了一种分布式视频存储的文件生命周期管理方法及***，克服了现有技术中存在的问题。

本发明的目的通过以下技术方案来实现：一种分布式视频存储的文件生命周期管理方法，所述文件生命周期管理方法包括：

录像文件存储步骤：将获取的录像文件根据存储服务生成录像文件信息和录像文件索引信息；将录像文件索引信息和录像文件按照设定规则写入到高性能数据库集群并对数据库进行优化；

录像文件索引信息及录像文件查询获取步骤：根据查询请求信息获取录像文件索引信息定位录像文件信息，分离出不同的录像片段并生成录像索引文件进行存储后生成录像索引文件获取地址；

录像文件索引信息及录像文件清理步骤：当获取文件索引信息为空时删除其文件索引信息表，解析录像文件存储对应存储集群下发删除任务删除分布式存储集群存储的录像文件以及文件索引记录。

所述将获取的录像文件根据存储服务生成录像文件信息和录像文件索引信息包括：

通过存储写入协议将录像文件存储到分布式存储介质集群中；

以设定时间间隔判断摄像机设备是否第一次存储录像，如果是第一次则生成录像文件索引信息并将生成的录像文件索引信息推送到高性能数据库集群；

按照设定规则生成录像文件，并生成对应为录像文件信息，将录像文件信息推送到高性能数据库集群。

所述将录像文件索引信息和录像文件按照设定规则写入到高性能数据库集群并对数据库进行优化包括：

录像文件索引信息保存：对摄像机设备id进行离散分库，按天和录像存储周期分表，记录每台摄像机设备的id，对应的文件信息数据库信息；

录像文件信息保存：通过离散算法将每台摄像机的录像信息，离散到对应的数据中，分散数据库单点的访问量；并通过录像的生命周期天数，按天建立数据库表。

所述录像文件索引信息及录像文件查询获取步骤包括录像文件索引信息查询获取步骤和录像文件查询获取步骤；所述录像文件索引信息查询获取步骤包括：

解析录像查询请求信息从索引信息数据库中获取摄像机的录像文件索引信息；

选择文件信息数据库并根据生命周期参数选择对应的表，然后定位到录像文件信息所在的文件信息数据库；

判断文件信息数据库是否有相应的录像文件，如果有，则以相同的存储id分为一个m3u8的方式，将查询到的录像文件分离为不同的录像片段，生成m3u8列表；

将每个录像片段生成录像索引文件并存储在服务器上，并生成对外的录像索引文件获取地址。

所述录像文件查询获取步骤包括：

根据录像索引文件获取地址获取录像索引文件并进行解析，得到每个录像片段实际的网络地址，并访问文件代理网关；

通过文件代理网关通过文件转码服务在分布式存储集群中获取到录像文件并进行转码，并将转换后的录像通过文件代理网关返回到播放器播放。

所述录像文件索引信息及录像文件清理步骤包括：

定时清理任务通过轮询的方式选择索引信息库，获取一定数量的文件索引信息并判断是否为空，如果为空，则删除空的文件索引信息表；

如果不为空，则解析一个摄像机设备录像存储的所有路径信息，删除任务负载调度，通过路径信息解析出录像文件所在的分布式存储集群，按照集群的负载能力，在负责均衡后下发删除任务；

根据删除任务删除分布式集群存储的录像文件，在摄像机设备音视频路径的内容都删除完成后收集删除通知；

最后删除文件索引信息表中的文件索引记录。

一种分布式视频存储的文件生命周期管理***，它包括录像文件存储模块、录像文件索引信息及录像文件查询获取模块和录像文件索引信息及录像文件清理模块；

所述录像文件存储模块用于将获取的录像文件根据存储服务生成录像文件信息和录像文件索引信息；将录像文件索引信息和录像文件按照设定规则写入到高性能数据库集群并对数据库进行优化；

所述录像文件索引信息及录像文件查询获取用于根据查询请求信息获取录像文件索引信息定位录像文件信息，分离出不同的录像片段并生成录像索引文件进行存储后生成录像索引文件获取地址；

所述录像文件索引信息及录像文件清理用于当获取文件索引信息为空时删除其文件索引信息表；不为空时，解析一个摄像机设备录像存储的所有路径信息，删除任务负载调度，通过路径信息解析出录像文件所在的分布式存储集群，按照集群的负载能力，在负责均衡后下发删除任务，并根据删除任务删除分布式存储集群存储的录像文件以及文件索引记录。

所述录像文件存储模块包括录像文件信息和录像文件索引信息生成单元以及数据库优化单元；

所述录像文件信息和录像文件索引信息生成单元具体实现步骤包括：

通过存储写入协议将录像文件存储到分布式存储介质集群中；

以设定时间间隔判断摄像机设备是否第一次存储录像，如果是第一次则生成录像文件索引信息并将生成的录像文件索引信息推送到高性能数据库集群；

按照设定规则生成录像文件，并生成对应为录像文件信息，将录像文件信息推送到高性能数据库集群；

所述数据库优化单元具体实现步骤包括：

录像文件索引信息保存：对摄像机设备id进行离散分库，按天和录像存储周期分表，记录每台摄像机设备的id，对应的文件信息数据库信息；

录像文件信息保存：通过离散算法将每台摄像机的录像信息，离散到对应的数据中，分散数据库单点的访问量；并通过录像的生命周期天数，按天建立数据库表。

所述录像文件索引信息及录像文件查询获取模块包括录像文件索引信息查询获取单元和录像文件查询获取单元；

所述录像文件索引信息查询获取单元具体实现步骤包括：

解析录像查询请求信息从索引信息数据库中获取摄像机的录像文件索引信息；

选择文件信息数据库并根据生命周期参数选择对应的表，然后定位到录像文件信息所在的文件信息数据库；

判断文件信息数据库是否有相应的录像文件，如果有，则以相同的存储id分为一个m3u8的方式，将查询到的录像文件分离为不同的录像片段，生成m3u8列表；

将每个录像片段生成录像索引文件并存储在服务器上，并生成对外的录像索引文件获取地址；

所述录像文件查询获取单元具体实现步骤包括：

根据录像索引文件获取地址获取录像索引文件并进行解析，得到每个录像片段实际的网络地址，并访问文件代理网关；

通过文件代理网关通过文件转码服务在分布式存储集群中获取到录像文件并进行转码，并将转换后的录像通过文件代理网关返回到播放器播放。

本发明具有以下优点：一种分布式视频存储的文件生命周期管理方法及***，对生命周期结束的海量音视频文件进行分布式集群，动态负载在不影响整体集群性能的情况下自动删除。海量的音视频文件信息的生成，对存储文件信息的数据库，进行分库分表，异步负载均衡后存储到数据库，实现海量文件信息的存储，查询、删除等。从而达到海量的音视频存储文件生命周期高效存储、查询、删除。

附图说明

图1 为录像文件信息存储的流程示意图；

图2 为录像文件索引信息获取的流程示意图；

图3 为录像文件获取的流程示意图；

图4 为录像文件索引信息及录像文件删除的流程示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下结合附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本发明做进一步的描述。

需要说明的是，本发明中的录像文件表示存储在磁盘上的文件实体、录像文件信息表示对录像文件的描述信息、录像文件索引信息表示按照同一摄像机设备id，对录像文件信息分组后产生的描述信息。

如图1所示，本发明具体涉及一种分布式视频存储的文件生命周期管理方法，其主要包括录像文件信息存储流程、录像文件及文件信息使用流程、录像文件及文件信息清理流程；具体如下：

录像文件存储步骤：将获取的录像文件根据存储服务生成录像文件信息和录像文件索引信息；将录像文件索引信息和录像文件按照设定规则写入到高性能数据库集群并对数据库进行优化；

具体为，产品平台向存储网关下发任务，存储网关将业务动态负载后下发给存储服务集群，摄像机设备向存储服务推送音视频流，存储服务对摄像机设备推送的音视频流进行处理生成录像文件和录像文件信息。

进一步地，生成录像文件信息和录像文件索引信息包括：

通过存储写入协议将录像文件存储到分布式存储介质集群中；

以一天为时间间隔判断摄像机设备是否第一次存储录像，如果是第一次则生成录像文件索引信息并将生成的录像文件索引信息推送到消息中间件，再通过消息中间件推送到高性能数据库集群；其中录像文件索引信息包括摄像机设备id、业务信息、录像的生命周期、存储介质信息等。

按照设定规则生成录像文件，并生成对应为录像文件信息，将录像文件信息推送到消息中间件，再通过消息中间件推送到高性能数据库集群。其中，录像文件信息包括，摄像机设备id，存储路径、文件名称、录像文件开始时间、文件信息结束时间、文件大小、文件事件id、录像帧信息等。

其中，在把录像文件信息和录像文件索引信息写入到高性能数据库集群的过程中，优先处理录像文件索引信息，以确保后面录像查询过程中能够快速查询。

进一步地，数据库优化设计包括：

录像文件索引信息保存：按照设备id离散分库，按天和录像存储周期分表；记录每台摄像机设备的id，对应的文件信息数据库信息。

分库：在***部署初期，按照未来规划的支持服务的规模，适当的建立多个数据库实体；

分表：***在当天，提前建立明天（或者未来多少天）将使用的数据表（录像信息表、录像文件索引信息表）；

建立的表按照录像文件生命周期建立（如：3天、7天、30天）；

设备id通过雪花算法，算出一个数字，按照分库建立的数据库数量取模，选择摄像机设备使用的数据库，按照录像文件的生命周期，最终选择存储的数据库。

录像文件信息和录像文件索引信息存储时：将每个设备的数据写入时，锁定范围在数据库和数据表，这两个维度减小，提高数据库数据写入的并发性能。

录像文件信息和录像文件索引信息查询时：录像信息的查询能通过查询的时间段，定位到具体的数据库和数据表，缩小了表查询范围，提高查询效率。

录像文件信息和录像文件索引信息删除时：由于每张数据库和数据表，存储的是相同生命周期的数据。在生命周期到期后，可直接删除表，而不需要按照数据表的每条信息逐条删除，极大的提高，过期数据的删除效率。

使用多主多重的分片方式，可以有效地避免数据单点，从而提升数据架构的可用性。

录像文件索引信息及录像文件查询获取步骤：根据查询请求信息获取录像文件索引信息定位录像文件信息，分离出不同的录像片段并生成录像索引文件进行存储后生成录像索引文件获取地址；

进一步地，录像文件索引信息及录像文件查询获取步骤包括录像文件索引信息查询获取步骤和录像文件查询获取步骤；

如图2所示，其中，录像文件索引信息查询获取步骤包括：

解析录像查询请求信息从索引信息数据库中获取摄像机的录像文件索引信息；

选择文件信息数据库并根据生命周期参数选择对应的表，然后定位到录像文件信息所在的文件信息数据库；

判断文件信息数据库是否有相应的录像文件，如果有，则以相同的存储id分为一个m3u8的方式，将查询到的录像文件分离为不同的录像片段，生成m3u8列表；

具体为，按照同一标识字段，将录像文件，按照时间先后顺序，写入临时生成hls协议文档，存储到磁盘上。一个时间段，可能有多段录像，因此将生成多个hls协议文档，存储在服务器磁盘上。

将每个录像片段生成录像索引文件并存储在服务器上，并生成对外的录像索引文件获取地址。

如图3所示，其中，录像文件查询获取步骤包括：

根据录像索引文件获取地址获取录像索引文件并进行解析，得到每个录像片段实际的网络地址，并访问文件代理网关；

通过文件代理网关通过文件转码服务在分布式存储集群中获取到录像文件并进行转码，并将转换后的录像通过文件代理网关返回到播放器播放。

具体为，外部录像查询获取到的m3u8地址；播放器获取到m3u8文件后，解析索引文件，获取到每个录像文件实际的网络地址，通过访问http文件代理网关。

http文件代理网关，负载均衡后到具体的文件转码服务，由转码服务，分布式集群获取到录像文件，并转码后，将转码后的录像，通过http文件代理网关，返回给播放器播放。

录像文件索引信息及录像文件清理步骤：当获取文件索引信息为空时删除其文件索引信息表，解析录像文件存储对应存储集群下发删除任务删除分布式存储集群存储的录像文件以及文件索引记录。

如图4所示，录像文件索引信息及录像文件清理步骤包括：

定时清理任务通过轮询的方式选择索引信息库，获取一定数量的文件索引信息并判断是否为空，如果为空，则删除空的文件索引信息表；

如果不为空，则解析一个摄像机设备录像存储的所有路径信息，删除任务负载调度，通过路径信息解析出录像文件所在的分布式存储集群，按照集群的负载能力，在负责均衡后下发删除任务；

进一步地，任务调度服务过程中实时监控分布式存储集群的写入负载；当写入负载超过阈值时，暂停删除任务的派发；当写入负载低于阈值时，派发更多的删除任务；当写入负载处于一般状态时，按照一定的速率派发删除任务。

根据删除任务删除分布式集群存储的录像文件，在摄像机设备音视频路径的内容都删除完成后收集删除通知；

最后删除文件索引信息表中的文件索引记录。

以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (9)

1.一种分布式视频存储的文件生命周期管理方法，其特征在于：所述文件生命周期管理方法包括：

录像文件存储步骤：将获取的录像文件根据存储服务生成录像文件信息和录像文件索引信息；将录像文件索引信息和录像文件按照设定规则写入到高性能数据库集群并对数据库进行优化；

录像文件索引信息及录像文件查询获取步骤：根据查询请求信息获取录像文件索引信息定位录像文件信息，分离出不同的录像片段并生成录像索引文件进行存储后生成录像索引文件获取地址；

录像文件索引信息及录像文件清理步骤：当获取文件索引信息为空时删除其文件索引信息表，解析录像文件存储对应存储集群下发删除任务删除分布式存储集群存储的录像文件以及文件索引记录。

2.根据权利要求1所述的一种分布式视频存储的文件生命周期管理方法，其特征在于：所述将获取的录像文件根据存储服务生成录像文件信息和录像文件索引信息包括：

通过存储写入协议将录像文件存储到分布式存储介质集群中；

以设定时间间隔判断摄像机设备是否第一次存储录像，如果是第一次则生成录像文件索引信息并将生成的录像文件索引信息推送到高性能数据库集群；

按照设定规则生成录像文件，并生成对应为录像文件信息，将录像文件信息推送到高性能数据库集群。

3.根据权利要求1所述的一种分布式视频存储的文件生命周期管理方法，其特征在于：所述将录像文件索引信息和录像文件按照设定规则写入到高性能数据库集群并对数据库进行优化包括：

录像文件索引信息保存：对摄像机设备id进行离散分库，按天和录像存储周期分表，记录每台摄像机设备的id，对应的文件信息数据库信息；

录像文件信息保存：通过离散算法将每台摄像机的录像信息，离散到对应的数据中，分散数据库单点的访问量；并通过录像的生命周期天数，按天建立数据库表。

4.根据权利要求1所述的一种分布式视频存储的文件生命周期管理方法，其特征在于：所述录像文件索引信息及录像文件查询获取步骤包括录像文件索引信息查询获取步骤和录像文件查询获取步骤；所述录像文件索引信息查询获取步骤包括：

解析录像查询请求信息从索引信息数据库中获取摄像机的录像文件索引信息；

选择文件信息数据库并根据生命周期参数选择对应的表，然后定位到录像文件信息所在的文件信息数据库；

判断文件信息数据库是否有相应的录像文件，如果有，则以相同的存储id分为一个m3u8的方式，将查询到的录像文件分离为不同的录像片段，生成m3u8列表；

将每个录像片段生成录像索引文件并存储在服务器上，并生成对外的录像索引文件获取地址。

5.根据权利要求4所述的一种分布式视频存储的文件生命周期管理方法，其特征在于：所述录像文件查询获取步骤包括：

根据录像索引文件获取地址获取录像索引文件并进行解析，得到每个录像片段实际的网络地址，并访问文件代理网关；

通过文件代理网关通过文件转码服务在分布式存储集群中获取到录像文件并进行转码，并将转换后的录像通过文件代理网关返回到播放器播放。

6.根据权利要求4所述的一种分布式视频存储的文件生命周期管理方法，其特征在于：所述录像文件索引信息及录像文件清理步骤包括：

定时清理任务通过轮询的方式选择索引信息库，获取一定数量的文件索引信息并判断是否为空，如果为空，则删除空的文件索引信息表；

如果不为空，则解析一个摄像机设备录像存储的所有路径信息，删除任务负载调度，通过路径信息解析出录像文件所在的分布式存储集群，按照集群的负载能力，在负责均衡后下发删除任务；

根据删除任务删除分布式集群存储的录像文件，在摄像机设备音视频路径的内容都删除完成后收集删除通知；

最后删除文件索引信息表中的文件索引记录。

7.一种分布式视频存储的文件生命周期管理***，其特征在于：它包括录像文件存储模块、录像文件索引信息及录像文件查询获取模块和录像文件索引信息及录像文件清理模块；

所述录像文件存储模块用于将获取的录像文件根据存储服务生成录像文件信息和录像文件索引信息；将录像文件索引信息和录像文件按照设定规则写入到高性能数据库集群并对数据库进行优化；

所述录像文件索引信息及录像文件查询获取用于根据查询请求信息获取录像文件索引信息定位录像文件信息，分离出不同的录像片段并生成录像索引文件进行存储后生成录像索引文件获取地址；

所述录像文件索引信息及录像文件清理用于当获取文件索引信息为空时删除其文件索引信息表；不为空时，解析一个摄像机设备录像存储的所有路径信息，删除任务负载调度，通过路径信息解析出录像文件所在的分布式存储集群，按照集群的负载能力，在负责均衡后下发删除任务，并根据删除任务删除分布式存储集群存储的录像文件以及文件索引记录。

8.根据权利要求7所述的一种分布式视频存储的文件生命周期管理***，其特征在于：所述录像文件存储模块包括录像文件信息和录像文件索引信息生成单元以及数据库优化单元；

所述录像文件信息和录像文件索引信息生成单元具体实现步骤包括：

通过存储写入协议将录像文件存储到分布式存储介质集群中；

以设定时间间隔判断摄像机设备是否第一次存储录像，如果是第一次则生成录像文件索引信息并将生成的录像文件索引信息推送到高性能数据库集群；

按照设定规则生成录像文件，并生成对应为录像文件信息，将录像文件信息推送到高性能数据库集群；

所述数据库优化单元具体实现步骤包括：

录像文件索引信息保存：对摄像机设备id进行离散分库，按天和录像存储周期分表，记录每台摄像机设备的id，对应的文件信息数据库信息；

录像文件信息保存：通过离散算法将每台摄像机的录像信息，离散到对应的数据中，分散数据库单点的访问量；并通过录像的生命周期天数，按天建立数据库表。

9.根据权利要求7所述的一种分布式视频存储的文件生命周期管理***，其特征在于：所述录像文件索引信息及录像文件查询获取模块包括录像文件索引信息查询获取单元和录像文件查询获取单元；

所述录像文件索引信息查询获取单元具体实现步骤包括：

解析录像查询请求信息从索引信息数据库中获取摄像机的录像文件索引信息；

选择文件信息数据库并根据生命周期参数选择对应的表，然后定位到录像文件信息所在的文件信息数据库；

判断文件信息数据库是否有相应的录像文件，如果有，则以相同的存储id分为一个m3u8的方式，将查询到的录像文件分离为不同的录像片段，生成m3u8列表；

将每个录像片段生成录像索引文件并存储在服务器上，并生成对外的录像索引文件获取地址；

所述录像文件查询获取单元具体实现步骤包括：

根据录像索引文件获取地址获取录像索引文件并进行解析，得到每个录像片段实际的网络地址，并访问文件代理网关；

通过文件代理网关通过文件转码服务在分布式存储集群中获取到录像文件并进行转码，并将转换后的录像通过文件代理网关返回到播放器播放。

Images