CN118018563A - 一种具有分布式存储结构的*** - Google Patents

Abstract

本发明公开一种具有分布式存储结构的***，属于数据存储技术领域，本发明通过云端***构建广域网分布式存储结构将文件数据分散在多个存储服务器进行存储，再通过云端***对不同地域和存储相应文件数据的存储服务器统一管理，克服集中式数据管理架构单点性能瓶颈的问题；通过文件传输策略来对批量小文件数据和大文件数据进行分类处理，匹配存储服务器对应的性能极限，从而提高资源合理利用，提升文件数据的传输速率。

Description

一种具有分布式存储结构的***

技术领域

本发明公开一种数据存储技术，尤其是涉及一种具有分布式存储结构的***。

背景技术

云计算平台，是指基于硬件资源和软件资源的服务，提供计算、网络和存储能力，SaaS软件运营服务是让用户能够通过互联网连接来使用基于云的应用程序。所有基础结构、中间件、应用软件和应用数据都位于服务提供商的数据中心内。服务提供商负责管理硬件和软件，并根据适当的服务协议确保应用和数据的可用性和安全性。

现有提供SaaS软件运营服务的云平台服务器向客户端用户传输大文件数据或批量传输小文件数据时存在传输效率不高的问题，在于储存端***采用集中式数据管理架构，集中式数据管理架构由于单点性能瓶颈，在点对点进行大文件数据或批量小文件数据传输时，储存端***的任务队列会挂起进行逐个一一传输，导致传输速率大大拖慢，时延严重，也有通过异步写入的方式整合数据包进行并行化处理，虽能够节省传输时间，但写入时对磁盘资源等损耗较大，为此需要一种更高效的文件传输方法。

发明内容

本发明的目的是为了解决上述的问题而提供一种具有分布式存储结构的***。

为实现上述目的，本发明提供了如下技术方案：一种具有分布式存储结构的***，包括云端***和用户端，所述云端***的结构单元包括如下：

接口层，其包括上传下载模块和传输控制模块，为***的其它结构单元提供接口服务；

传输分配策略层，其可采取文件传输策略将文件数据进行自动分类打包；

任务队列，其包含若干个用于传输文件数据的数据通道；

存储服务器，其用于存储代理程序；

所述云端***采用广域网分布式存储结构统一管理文件数据，所述用户端可通过服务器节点互联到云端***的SaaS软件运营服务对存储服务器中的文件数据进行访问。

通过采用上述技术方案，存储服务器分散在各个物理地域，借助云端***采用广域网分布式存储结构统一管理文件数据，利用多台存储服务器分担存储负担，利用哈希值检索来确定相应的文件数据位置，并根据存储服务器的位置定位来分配而忽视的服务器节点进行互联，满足低时延高速传输的要求。

作为优选，所述传输分配策略层采取的文件传输策略如下：

S1，预设文件数据的大小值M作为条件阈值，将需要传输的文件数据按照条件阈值M分类成大文件数据和小文件数据，将大文件数据分割成N个分级文件数据；

S2，设置n个集合将分级文件数据和批量小文件数据分类打包成文件数据块，设置每个文件数据块集合内总的文件数据大小阈值为m；

S3，将n个文件数据块分配到对应数量为n的服务器节点传输到用户端；

S4，用户端接收下载服务器节点传输的文件数据块，并将文件数据块中的分级文件数据重组获取大文件数据。

通过采用上述技术方案，通过文件传输策略将大文件数据和批量小文件数据进行分类打包文件数据块来下放到任务队列的相应数据通道进行合理分配。

作为优选，所述大文件数据采用分片并行传输策略，所述分级文件数据的大小值小于或等于M，所述小文件数据采用通道复用传输策略。

通过采用上述技术方案，通过分片并行传输策略和通道复用传输策略使任务队列的数据通道处于最大化的合理利用。

作为优选，所述存储服务器的缓冲区的大小大于或等于每个文件数据块集合内总的文件数据大小阈值m。

通过采用上述技术方案，存储服务器的缓冲区的最大值代表存储服务器传输的性能极限，将每个文件数据块集合内总的文件数据大小阈值m能够最大限度地调动存储服务器性能进行传输文件数据块。

作为优选，所述存储服务器具有存储文件数据生命周期管理机制，其机制如下：

M1，定期记录各个文件数据的访问频率f，预设一个访问频率条件阈值F，将存储服务器的储存媒介按照性能分级，分为高性能存储端和低性能存储端；

M2，如果某一文件数据周期内的访问频率f小于F时，将该文件数据迁移到低性能存储端；否则，将该文件数据迁移到高性能存储端。

通过采用上述技术方案，通过性能分级来控制存储服务器对应的储存媒介搭建成本，合理分配存储资源，并且能够借此获取到多访问频率的文件数据信息的流动方向以此大数据分析用户端的需求。

作为优选，所述存储服务器具有负载均衡调整策略，所述存储服务器包括常用服务端和备用服务端，且根据高性能存储端和低性能存储端配置常用服务端和备用服务端的数量，其策略如下：

K1，当存储服务器处于低负载时，用户端访问时接入常用服务端，并且备用服务端保持实时同步常用服务端存储的文件数据；

K2，当存储服务器处于高负载时，用户端访问时动态根据负载情况接入备用服务端。

通过采用上述技术方案，通过负载均衡调整策略来动态分配常用服务端和备用服务端的使用，保证云端***提供SaaS软件运营服务时减少网络堵塞和存储服务器卡顿的情况，提升用户的使用体验。

与现有技术相比，本发明的有益效果是：

通过云端***构建广域网分布式存储结构将文件数据分散在多个存储服务器进行存储，再通过云端***对不同地域和存储相应文件数据的存储服务器统一管理，克服集中式数据管理架构单点性能瓶颈的问题；通过文件传输策略来对批量小文件数据和大文件数据进行分类处理，匹配存储服务器对应的性能极限，从而提高资源合理利用，提升文件数据的传输速率。

附图说明

图1为云端***和用户端的数据结构简图；

图2为文件传输策略流程简图；

图3为用户端通过服务器节点访问存储服务器的流程简图；

图4为存储服务器关于存储文件数据生命周期管理机制简图；

图5为负载均衡调整策略流程简图；

图6为云端***关于存储服务器的状态监控示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

一种具有分布式存储结构的***,如图1和图3所示，包括云端***和用户端，云端***的结构单元包括如下：

接口层，其包括上传下载模块和传输控制模块，为***的其它结构单元提供接口服务；

传输分配策略层，其可采取文件传输策略将文件数据进行自动分类打包；

任务队列，其包含若干个用于传输文件数据的数据通道；

存储服务器，其用于存储代理程序；

云端***采用广域网分布式存储结构统一管理文件数据，用户端可通过服务器节点互联到云端***的SaaS软件运营服务对存储服务器中的文件数据进行访问。

如图2所示，传输分配策略层采取的文件传输策略如下：

S1，预设文件数据的大小值M作为条件阈值，将需要传输的文件数据按照条件阈值M分类成大文件数据和小文件数据，将大文件数据分割成N个分级文件数据；

S2，设置n个集合将分级文件数据和批量小文件数据分类打包成文件数据块，设置每个文件数据块集合内总的文件数据大小阈值为m；

大文件数据采用分片并行传输策略，即待传输的大文件数据采用分片策略分割成N个分级文件数据，并使分级文件数据的大小值小于或等于M，传输时将分级文件数据分散到多个数据通道进行并行传输；

小文件数据采用通道复用传输策略，即批量待传输的小文件数据整合成一个文件数据块并利用一个数据通道来传输；

存储服务器的缓冲区的大小大于或等于每个文件数据块集合内总的文件数据大小阈值m，存储服务器的缓冲区的最大缓存应大于或等于阈值m，一个文件数据块占用的数据通道资源能够得到最大化利用，使任务队列分配数据通道时能够动态适配存储服务器的缓冲区；

S3，将n个文件数据块分配到对应数量为n的服务器节点传输到用户端；

多节点的服务器节点结构能够同时进行响应到用户端进行互联，提高上传下载速率；

S4，用户端接收下载服务器节点传输的文件数据块，并将文件数据块中的分级文件数据重组获取大文件数据。

实施例二

如图4所示，存储服务器具有存储文件数据生命周期管理机制，其机制如下：

M1，定期记录各个文件数据的访问频率f，预设一个访问频率条件阈值F，将存储服务器的储存媒介按照性能分级，分为高性能存储端和低性能存储端；

M2，如果某一文件数据周期内的访问频率f小于F时，将该文件数据迁移到低性能存储端；否则，将该文件数据迁移到高性能存储端。

高频率访问的文件数据意味该文件数据具有更高的使用率和信息价值，将其分配高性能存储端进行储存，具有架构成本更高和传输速率更高的储存媒介，能够更合理的利用资源来提高商业价值。

实施例三

如图3和图5所示，存储服务器具有负载均衡调整策略，存储服务器包括常用服务端和备用服务端，且根据高性能存储端和低性能存储端配置常用服务端和备用服务端的数量，其策略如下：

K1，当存储服务器处于低负载时，用户端访问时接入常用服务端，并且备用服务端保持实时同步常用服务端存储的文件数据；

K2，当存储服务器处于高负载时，用户端访问时动态根据负载情况接入备用服务端。

如图6所示，文件数据传输时，云端***会进行存储服务器的状态监控，当用户端通过节点服务器访问某一文件数据时，该文件数据对应的常用服务端处于高负载时，会动态分配到文件数据对应的备用服务端，并且文件数据检索采用哈希值校验，能够确保文件数据一致，并且访问更改该文件数据信息时，其它备用服务端或常用服务端会进行实时同步替换更新到该文件数据的新版本来保证数据的一致性；并且当存储服务器对应的节点服务器传输时失联或者故障时，会及时分配存储有相同文件数据的存储服务器接替任务队列。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (5)

1.一种具有分布式存储结构的***，其特征在于，包括云端***和用户端，所述云端***的结构单元包括如下：

接口层，其包括上传下载模块和传输控制模块，为***的其它结构单元提供接口服务；

传输分配策略层，其可采取文件传输策略将文件数据进行自动分类打包；

任务队列，其包含若干个用于传输文件数据的数据通道；

存储服务器，其用于存储代理程序；

所述云端***采用广域网分布式存储结构统一管理文件数据，所述用户端可通过服务器节点互联到云端***的SaaS软件运营服务对存储服务器中的文件数据进行访问；

所述传输分配策略层采取的文件传输策略如下：

S1，预设文件数据的大小值M作为条件阈值，将需要传输的文件数据按照条件阈值M分类成大文件数据和小文件数据，将大文件数据分割成N个分级文件数据；

S2，设置n个集合将分级文件数据和批量小文件数据分类打包成文件数据块，设置每个文件数据块集合内总的文件数据大小阈值为m；

S3，将n个文件数据块分配到对应数量为n的服务器节点传输到用户端；

S4，用户端接收下载服务器节点传输的文件数据块，并将文件数据块中的分级文件数据重组获取大文件数据。

2.根据权利要求1所述的一种具有分布式存储结构的***，其特征在于，所述大文件数据采用分片并行传输策略，所述分级文件数据的大小值小于或等于M，所述小文件数据采用通道复用传输策略。

3.根据权利要求2所述的一种具有分布式存储结构的***，其特征在于，所述存储服务器的缓冲区的大小大于或等于每个文件数据块集合内总的文件数据大小阈值m。

4.根据权利要求3所述的一种具有分布式存储结构的***，其特征在于，所述存储服务器具有存储文件数据生命周期管理机制，其机制如下：

M1，定期记录各个文件数据的访问频率f，预设一个访问频率条件阈值F，将存储服务器的储存媒介按照性能分级，分为高性能存储端和低性能存储端；

M2，如果某一文件数据周期内的访问频率f小于F时，将该文件数据迁移到低性能存储端；否则，将该文件数据迁移到高性能存储端。

5.根据权利要求4所述的一种具有分布式存储结构的***，其特征在于，所述存储服务器具有负载均衡调整策略，所述存储服务器包括常用服务端和备用服务端，且根据高性能存储端和低性能存储端配置常用服务端和备用服务端的数量，其策略如下：

K1，当存储服务器处于低负载时，用户端访问时接入常用服务端，并且备用服务端保持实时同步常用服务端存储的文件数据；

K2，当存储服务器处于高负载时，用户端访问时动态根据负载情况接入备用服务端。