CN116974827B - 一种云端大数据存储管理方法及*** - Google Patents

Abstract

本发明涉及数据管理相关领域，公开了一种云端大数据存储管理方法及***，包括数据节点管理模块、数据分址存储模块、数据分址备份模块以及存储监测减量模块；基于云端及与云端连接的终端节点建立存储网络，实现对于数据的多地备份与存储，减少大量数据及数据备份对于云端存储的空间过量占用，对于由用户发起的数据内容，可以基于用户终端节点的获取情况建立数据备份的索引引导以达成优化数据空间占用的目的，且对于用户间不断传输转发的数据内容，可以通过索引链接覆盖的方式避免多个副本在云端的生成，能够有效的避免数据在重复的复制传输中信息丢失问题的发生。

Description

一种云端大数据存储管理方法及***

技术领域

本发明涉及数据管理相关领域，具体是一种云端大数据存储管理方法及***。

背景技术

随着信息网络技术的飞速发展，存储于网络之上的数据体量愈发庞大，用户可以自行的进行数据的上传与下载，以达到内容的保存、分享及获取，这也就导致云端对于数据存储的需求愈发膨胀。

现有技术中，在用户对数据进行下载后转发给其他用户时，数据会进一步的产生一份副本，导致云端存储资源的浪费，且云端对于数据的备份需求也进一步的再挤压剩余云端存储空间，导致云端存储资源的有效利用率较低。

发明内容

本发明的目的在于提供一种云端大数据存储管理方法及***，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种云端大数据存储管理***，包含：

数据节点管理模块，用于通过数据通信网络获取与云端连接的终端节点设备列表，并通过历史连接评估对终端节点设备列表中的终端节点进行筛选，以建立云端存储网络，所述云端存储网络用于表征多个可实现数据通信的终端节点设备群组；

数据分址存储模块，用于获取转发存储数据，并对所述转发存储数据进行数据源判断，若为用户上传，则将所述转发存储数据分割为多个数据段并在所述云端存储网络中存储，并对应生成数据存储索引表，若所述转发存储数据的数据源为云端，则对应获取所述存储索引表的索引链接并转发；

数据分址备份模块，用于对所述转发存储数据对应的多个数据段分别生成多组备份数据，将所述备份数据在所述云端存储网络中分布存储，并同步更新所述数据存储索引表；

存储监测减量模块，用于对用户上传的所述转发存储数据进行数据匹配，若与云端已存储的数据内容相匹配，则获取云端数据对应存储索引表的索引链接，并用以替换用户上传的所述转发存储数据对应内容。

作为本发明的进一步方案：所述终端节点包括本地节点以及用户节点，所述本地节点用于表征云端的本地存储设备，所述用户节点用于表征与云端接连的用户端设备，所述数据节点管理模块包括节点评估单元以及节点筛选单元；

所述节点评估单元，用于获取终端节点设备列表中多个终端节点在历史多个周期内的云端连接记录，基于所述云端连接记录对所述终端节点进行常态连接状态的评估以获取终端节点的基础状态，所述常态连接状态的评估包括终端节点在周期内的集中连接时段评估、终端节点在多个连续周期中的在线周期的占比的评估；

所述节点筛选单元，用于基于预设的节点筛选基准对终端节点的基础状态进行判断，若符合，则将所述终端节点用于建立云端存储网络。

作为本发明的再进一步方案：还包括网络节点管理模块，所述网络节点管理模块包括：

节点划分单元，用于基于所述终端节点在周期内的集中连接时段对数个终端节点进行分组，多个所述终端节点分组的集中连接时段覆盖所述周期的完整时段，并基于分组后的终端节点建立节点访问索引；

节点更新单元，用于获取节点访问索引中多个终端节点与云端的连接状态以及访问请求状态并用于更新所述节点访问索引的实时状态，所述访问请求状态为终端节点当前分配的数据访问请求数量及所述数据访问请求数量与可处理总请求数量的比值。

作为本发明的再进一步方案：所述数据分址备份模块包括：

备份节点选择单元，用于获取所述节点访问索引，基于所述节点访问索引的实时状态，选取数组占用较低的所述终端节点以用于对多个数据段进行备份，每组所述终端节点用于备份同一数据段，每组所述终端节点的多个终端设备覆盖周期的完整时段，且位于周期每个时段均对应多个与云端连接的终端节点。

作为本发明的再进一步方案：还包括数据替换模块；

所述数据替换模块，用于当所述转发存储数据与云端已存储的数据内容部分匹配时，对所述转发存储数据的区别部分数据内容进行定位，并获取已存储的数据内容相对应的数据段及备份数据，建立新的索引链接并替换所述数据段及备份数据。

本发明实施例旨在提供一种云端大数据存储管理方法，包含步骤：

通过数据通信网络获取与云端连接的终端节点设备列表，并通过历史连接评估对终端节点设备列表中的终端节点进行筛选，以建立云端存储网络，所述云端存储网络用于表征多个可实现数据通信的终端节点设备群组；

获取转发存储数据，并对所述转发存储数据进行数据源判断，若为用户上传，则将所述转发存储数据分割为多个数据段并在所述云端存储网络中存储，并对应生成数据存储索引表，若所述转发存储数据的数据源为云端，则对应获取所述存储索引表的索引链接并转发；

对所述转发存储数据对应的多个数据段分别生成多组备份数据，将所述备份数据在所述云端存储网络中分布存储，并同步更新所述数据存储索引表；

对用户上传的所述转发存储数据进行数据匹配，若与云端已存储的数据内容相匹配，则获取云端数据对应存储索引表的索引链接，并用以替换用户上传的所述转发存储数据对应内容。

作为本发明的进一步方案：所述终端节点包括本地节点以及用户节点，所述本地节点用于表征云端的本地存储设备，所述用户节点用于表征与云端接连的用户端设备，所述通过数据通信网络获取与云端连接的终端节点设备列表，并通过历史连接评估对终端节点设备列表中的终端节点进行筛选，以建立云端存储网络的步骤具体包括：

获取终端节点设备列表中多个终端节点在历史多个周期内的云端连接记录，基于所述云端连接记录对所述终端节点进行常态连接状态的评估以获取终端节点的基础状态，所述常态连接状态的评估包括终端节点在周期内的集中连接时段评估、终端节点在多个连续周期中的在线周期的占比的评估；

基于预设的节点筛选基准对终端节点的基础状态进行判断，若符合，则将所述终端节点用于建立云端存储网络。

作为本发明的再进一步方案：还包括步骤：

基于所述终端节点在周期内的集中连接时段对数个终端节点进行分组，多个所述终端节点分组的集中连接时段覆盖所述周期的完整时段，并基于分组后的终端节点建立节点访问索引；

获取节点访问索引中多个终端节点与云端的连接状态以及访问请求状态，所述访问请求状态为终端节点当前分配的数据访问请求数量及所述数据访问请求数量与可处理总请求数量的比值。

作为本发明的再进一步方案：所述对所述转发存储数据对应的多个数据段分别生成多组备份数据，将所述备份数据在所述云端存储网络中分布存储的步骤还包括；

获取所述节点访问索引，基于所述节点访问索引的实时状态，选取数组占用较低的所述终端节点以用于对多个数据段进行备份，每组所述终端节点用于备份同一数据段，每组所述终端节点的多个终端设备覆盖周期的完整时段，且位于周期每个时段均对应多个与云端连接的终端节点。

作为本发明的再进一步方案：还包括步骤：

当所述转发存储数据与云端已存储的数据内容部分匹配时，对所述转发存储数据的区别部分数据内容进行定位，并获取已存储的数据内容相对应的数据段及备份数据，建立新的索引链接并替换所述数据段及备份数据。

与现有技术相比，本发明的有益效果是：基于云端及与云端连接的终端节点建立存储网络，实现对于数据的多地备份与存储，减少大量数据及数据备份对于云端存储的空间过量占用，对于由用户发起的数据内容，可以基于用户终端节点的获取情况建立数据备份的索引引导以达成优化数据空间占用的目的，且对于用户间不断传输转发的数据内容，可以通过索引链接覆盖的方式避免多个副本在云端的生成，能够有效的避免数据在重复的复制传输中信息丢失问题的发生。

附图说明

图1为一种云端大数据存储管理***的组成框图。

图2为一种云端大数据存储管理***中数据节点管理模块的组成框图。

图3为一种云端大数据存储管理***中网络节点管理模块的组成框图。

图4为一种云端大数据存储管理方法的流程框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

以下结合具体实施例对本发明的具体实现方式进行详细描述。

如图1所述，为本发明一个实施例提供的一种云端大数据存储管理***，包括以下步骤：

数据节点管理模块100，用于通过数据通信网络获取与云端连接的终端节点设备列表，并通过历史连接评估对终端节点设备列表中的终端节点进行筛选，以建立云端存储网络，所述云端存储网络用于表征多个可实现数据通信的终端节点设备群组。

数据分址存储模块300，用于获取转发存储数据，并对所述转发存储数据进行数据源判断，若为用户上传，则将所述转发存储数据分割为多个数据段并在所述云端存储网络中存储，并对应生成数据存储索引表，若所述转发存储数据的数据源为云端，则对应获取所述存储索引表的索引链接并转发。

数据分址备份模块500，用于对所述转发存储数据对应的多个数据段分别生成多组备份数据，将所述备份数据在所述云端存储网络中分布存储，并同步更新所述数据存储索引表。

存储监测减量模块700，用于对用户上传的所述转发存储数据进行数据匹配，若与云端已存储的数据内容相匹配，则获取云端数据对应存储索引表的索引链接，并用以替换用户上传的所述转发存储数据对应内容。

本实施例中，给出了一种云端大数据存储管理***，基于云端及与云端连接的终端节点建立存储网络，实现对于数据的多地备份与存储，减少大量数据及数据备份对于云端存储的空间过量占用，对于由用户发起的数据内容，可以基于用户终端节点的获取情况建立数据备份的索引引导以达成优化数据空间占用的目的，且对于用户间不断传输转发的数据内容，可以通过索引链接覆盖的方式避免多个副本在云端的生成，能够有效的避免数据在重复的复制传输中信息丢失问题的发生；具体的来说，云端数据存在数量级庞大，以及重复数据内容较多的情况，且在通常的高效率的一般数据转发复制的过程中，存在数据缺失、错误等情况（指很小的数据量，不影响数据正常使用的程度），例如一张图片在不断的下载保存转发的过程中，图片的质量会逐渐的降低，最终因信息丢失产生大量的噪点，而本申请则采用了转发索引链接的方式进行数据的转发，也就是在数据转发传输的过程中，执行的均是索引链接，用户在获取索引链接后，通过数据源进行内容的获取，可以有效的避免数据传输转发中多次下载转发导致的信息缺失量堆积，且也能够在一定程度上降低对于数据传输转发过程中对于通信宽带的占用，且本申请中，对于数据内容的存储，采用的是云端存储以及与云端连接的终端设备共同进行数据存储与备份的方法，相较于传统的全部基于云端进行存储与备份的方式，能够降低对于云端存储空间的占用，对于数据内容，其会被不同的终端节点所获取，因此可以将这些终端节点作为数据备份节点，可以用于当云端的数据缺失损坏时，进行数据的恢复，降低云端占用的同时，分布式的备份数据建立具有更高的安全性，对于物理灾害的抵抗性更强，在大型自然灾害中能够更加有效的保证数据的安全性和可恢复性；对于云端数据匹配的实现：对每个数据的特征进行提取获得对应的特征数据（例如以一定的数据间隔规律抽取多个字节内容），并在索引表中存储，根据特征数据进行快速的检索匹配，若存在两个一样的数据特征，则引导进行数据内容的比对，判断数据是否一致。

如图2所示，作为本发明另一个优选的实施例，所述终端节点包括本地节点以及用户节点，所述本地节点用于表征云端的本地存储设备，所述用户节点用于表征与云端接连的用户端设备，所述数据节点管理模块100包括节点评估单元110以及节点筛选单元120；

所述节点评估单元110，用于获取终端节点设备列表中多个终端节点在历史多个周期内的云端连接记录，基于所述云端连接记录对所述终端节点进行常态连接状态的评估以获取终端节点的基础状态，所述常态连接状态的评估包括终端节点在周期内的集中连接时段评估、终端节点在多个连续周期中的在线周期的占比的评估。

所述节点筛选单元120，用于基于预设的节点筛选基准对终端节点的基础状态进行判断，若符合，则将所述终端节点用于建立云端存储网络。

本实施例中，对于存储节点的在线时间段进行划分和统计，对于同一个数据的多个备份内容，需要基于在线设备的连接时间状态进行备份的分配，使得备份数据可以在不同的时间段均有对应的备份终端节点，保证在云端数据出现问题时，可以实时的获取数据恢复；其中，本地节点也可以对应的设有用于分批设备维护的时间段，因此本地节点也可以进行多个时间段的多份数据备份。

如图3所示，作为本发明另一个优选的实施例，还包括网络节点管理模块900，所述网络节点管理模块900包括：

节点划分单元910，用于基于所述终端节点在周期内的集中连接时段对数个终端节点进行分组，多个所述终端节点分组的集中连接时段覆盖所述周期的完整时段，并基于分组后的终端节点建立节点访问索引。

节点更新单元920，用于获取节点访问索引中多个终端节点与云端的连接状态以及访问请求状态并用于更新所述节点访问索引的实时状态，所述访问请求状态为终端节点当前分配的数据访问请求数量及所述数据访问请求数量与可处理总请求数量的比值。

本实施例中，网络节点管理模块900的用处在于，对数据索引涉及的终端节点的状态进行实时的监管和更新，包括在线状态以及占用状态等，从而在需要索引相对应的数据内容时，可以实现方便的实现在多个备份数据的终端节点间进行引导选择。

作为本发明另一个优选的实施例，所述数据分址备份模块500包括：

备份节点选择单元，用于获取所述节点访问索引，基于所述节点访问索引的实时状态，选取数组占用较低的所述终端节点以用于对多个数据段进行备份，每组所述终端节点用于备份同一数据段，每组所述终端节点的多个终端设备覆盖周期的完整时段，且位于周期每个时段均对应多个与云端连接的终端节点。

本实施例中，在通过基于用户的终端节点进行数据备份的过程中，为了使得备份数据的方案更加合理可靠，需要选择合适的终端节点（这里选择优先已经具有该数据内容的终端节点设备，即已经具有该数据内容的用户设备），主要包括对于终端节点在线时间段的选择，每个备份的数据段，在周期内的每个时间节点都应该有至少一个备份的终端节点与云端连接。

作为本发明另一个优选的实施例，还包括数据替换模块；

所述数据替换模块，用于当所述转发存储数据与云端已存储的数据内容部分匹配时，对所述转发存储数据的区别部分数据内容进行定位，并获取已存储的数据内容相对应的数据段及备份数据，建立新的索引链接并替换所述数据段及备份数据。

本实施例中，在用户上传的一个数据判断为云端已经存在的数据时，为了减少其在重复的上传转发中数据质量下降，以及对于云端空间的无意义占用，使用云端对应数据的索引链接对用户上传的数据进行替换，有效的减少重复数据及二手数据在云端的存有量。

如图4所示，本发明还提供了一种云端大数据存储管理方法，其包含步骤：

S200，通过数据通信网络获取与云端连接的终端节点设备列表，并通过历史连接评估对终端节点设备列表中的终端节点进行筛选，以建立云端存储网络，所述云端存储网络用于表征多个可实现数据通信的终端节点设备群组。

S400，获取转发存储数据，并对所述转发存储数据进行数据源判断，若为用户上传，则将所述转发存储数据分割为多个数据段并在所述云端存储网络中存储，并对应生成数据存储索引表，若所述转发存储数据的数据源为云端，则对应获取所述存储索引表的索引链接并转发。

S600，对所述转发存储数据对应的多个数据段分别生成多组备份数据，将所述备份数据在所述云端存储网络中分布存储，并同步更新所述数据存储索引表。

S800，对用户上传的所述转发存储数据进行数据匹配，若与云端已存储的数据内容相匹配，则获取云端数据对应存储索引表的索引链接，并用以替换用户上传的所述转发存储数据对应内容。

作为本发明另一个优选的实施例，所述终端节点包括本地节点以及用户节点，所述本地节点用于表征云端的本地存储设备，所述用户节点用于表征与云端接连的用户端设备，所述通过数据通信网络获取与云端连接的终端节点设备列表，并通过历史连接评估对终端节点设备列表中的终端节点进行筛选，以建立云端存储网络的步骤具体包括：

获取终端节点设备列表中多个终端节点在历史多个周期内的云端连接记录，基于所述云端连接记录对所述终端节点进行常态连接状态的评估以获取终端节点的基础状态，所述常态连接状态的评估包括终端节点在周期内的集中连接时段评估、终端节点在多个连续周期中的在线周期的占比的评估。

基于预设的节点筛选基准对终端节点的基础状态进行判断，若符合，则将所述终端节点用于建立云端存储网络。

作为本发明另一个优选的实施例，还包括步骤：

基于所述终端节点在周期内的集中连接时段对数个终端节点进行分组，多个所述终端节点分组的集中连接时段覆盖所述周期的完整时段，并基于分组后的终端节点建立节点访问索引。

获取节点访问索引中多个终端节点与云端的连接状态以及访问请求状态，所述访问请求状态为终端节点当前分配的数据访问请求数量及所述数据访问请求数量与可处理总请求数量的比值。

作为本发明另一个优选的实施例，所述对所述转发存储数据对应的多个数据段分别生成多组备份数据，将所述备份数据在所述云端存储网络中分布存储的步骤还包括：

获取所述节点访问索引，基于所述节点访问索引的实时状态，选取数组占用较低的所述终端节点以用于对多个数据段进行备份，每组所述终端节点用于备份同一数据段，每组所述终端节点的多个终端设备覆盖周期的完整时段，且位于周期每个时段均对应多个与云端连接的终端节点。

作为本发明另一个优选的实施例，还包括步骤：

当所述转发存储数据与云端已存储的数据内容部分匹配时，对所述转发存储数据的区别部分数据内容进行定位，并获取已存储的数据内容相对应的数据段及备份数据，建立新的索引链接并替换所述数据段及备份数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器（ROM）、可编程ROM（PROM）、电可编程ROM（EPROM）、电可擦除可编程ROM（EEPROM）或闪存。易失性存储器可包括随机存取存储器（RAM）或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM（SRAM）、动态RAM（DRAM）、同步DRAM（SDRAM）、双数据率SDRAM（DDRSDRAM）、增强型SDRAM（ESDRAM）、同步链路（Synchlink） DRAM（SLDRAM）、存储器总线（Rambus）直接RAM（RDRAM）、直接存储器总线动态RAM（DRDRAM）、以及存储器总线动态RAM（RDRAM）等。

本领域技术人员在考虑说明书及实施例处的公开后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种云端大数据存储管理***，其特征在于，包含：

数据节点管理模块，用于通过数据通信网络获取与云端连接的终端节点设备列表，并通过历史连接评估对终端节点设备列表中的终端节点进行筛选，以建立云端存储网络，所述云端存储网络用于表征多个可实现数据通信的终端节点设备群组；

数据分址存储模块，用于获取转发存储数据，并对所述转发存储数据进行数据源判断，若为用户上传，则将所述转发存储数据分割为多个数据段并在所述云端存储网络中存储，并对应生成数据存储索引表，若所述转发存储数据的数据源为云端，则对应获取所述存储索引表的索引链接并转发；

数据分址备份模块，用于对所述转发存储数据对应的多个数据段分别生成多组备份数据，将所述备份数据在所述云端存储网络中分布存储，并同步更新所述数据存储索引表；

存储监测减量模块，用于对用户上传的所述转发存储数据进行数据匹配，若与云端已存储的数据内容相匹配，则获取云端数据对应存储索引表的索引链接，并用以替换用户上传的所述转发存储数据对应内容。

2.根据权利要求1所述的一种云端大数据存储管理***，其特征在于，所述终端节点包括本地节点以及用户节点，所述本地节点用于表征云端的本地存储设备，所述用户节点用于表征与云端接连的用户端设备，所述数据节点管理模块包括节点评估单元以及节点筛选单元；

所述节点评估单元，用于获取终端节点设备列表中多个终端节点在历史多个周期内的云端连接记录，基于所述云端连接记录对所述终端节点进行常态连接状态的评估以获取终端节点的基础状态，所述常态连接状态的评估包括终端节点在周期内的集中连接时段评估、终端节点在多个连续周期中的在线周期的占比的评估；

所述节点筛选单元，用于基于预设的节点筛选基准对终端节点的基础状态进行判断，若符合，则将所述终端节点用于建立云端存储网络。

3.根据权利要求2所述的一种云端大数据存储管理***，其特征在于，还包括网络节点管理模块，所述网络节点管理模块包括：

节点划分单元，用于基于所述终端节点在周期内的集中连接时段对数个终端节点进行分组，多个所述终端节点分组的集中连接时段覆盖所述周期的完整时段，并基于分组后的终端节点建立节点访问索引；

节点更新单元，用于获取节点访问索引中多个终端节点与云端的连接状态以及访问请求状态并用于更新所述节点访问索引的实时状态，所述访问请求状态为终端节点当前分配的数据访问请求数量及所述数据访问请求数量与可处理总请求数量的比值。

4.根据权利要求3所述的一种云端大数据存储管理***，其特征在于，所述数据分址备份模块包括：

备份节点选择单元，用于获取所述节点访问索引，基于所述节点访问索引的实时状态，选取数组占用较低的所述终端节点以用于对多个数据段进行备份，每组所述终端节点用于备份同一数据段，每组所述终端节点的多个终端设备覆盖周期的完整时段，且位于周期每个时段均对应多个与云端连接的终端节点。

5.根据权利要求4所述的一种云端大数据存储管理***，其特征在于，还包括数据替换模块；

所述数据替换模块，用于当所述转发存储数据与云端已存储的数据内容部分匹配时，对所述转发存储数据的区别部分数据内容进行定位，并获取已存储的数据内容相对应的数据段及备份数据，建立新的索引链接并替换所述数据段及备份数据。

6.一种云端大数据存储管理方法，其特征在于，包含步骤：

通过数据通信网络获取与云端连接的终端节点设备列表，并通过历史连接评估对终端节点设备列表中的终端节点进行筛选，以建立云端存储网络，所述云端存储网络用于表征多个可实现数据通信的终端节点设备群组；

获取转发存储数据，并对所述转发存储数据进行数据源判断，若为用户上传，则将所述转发存储数据分割为多个数据段并在所述云端存储网络中存储，并对应生成数据存储索引表，若所述转发存储数据的数据源为云端，则对应获取所述存储索引表的索引链接并转发；

对所述转发存储数据对应的多个数据段分别生成多组备份数据，将所述备份数据在所述云端存储网络中分布存储，并同步更新所述数据存储索引表；

对用户上传的所述转发存储数据进行数据匹配，若与云端已存储的数据内容相匹配，则获取云端数据对应存储索引表的索引链接，并用以替换用户上传的所述转发存储数据对应内容。

7.根据权利要求6所述的一种云端大数据存储管理方法，其特征在于，所述终端节点包括本地节点以及用户节点，所述本地节点用于表征云端的本地存储设备，所述用户节点用于表征与云端接连的用户端设备，所述通过数据通信网络获取与云端连接的终端节点设备列表，并通过历史连接评估对终端节点设备列表中的终端节点进行筛选，以建立云端存储网络的步骤具体包括：

获取终端节点设备列表中多个终端节点在历史多个周期内的云端连接记录，基于所述云端连接记录对所述终端节点进行常态连接状态的评估以获取终端节点的基础状态，所述常态连接状态的评估包括终端节点在周期内的集中连接时段评估、终端节点在多个连续周期中的在线周期的占比的评估；

基于预设的节点筛选基准对终端节点的基础状态进行判断，若符合，则将所述终端节点用于建立云端存储网络。

8.根据权利要求7所述的一种云端大数据存储管理方法，其特征在于，还包括步骤：

基于所述终端节点在周期内的集中连接时段对数个终端节点进行分组，多个所述终端节点分组的集中连接时段覆盖所述周期的完整时段，并基于分组后的终端节点建立节点访问索引；

获取节点访问索引中多个终端节点与云端的连接状态以及访问请求状态，所述访问请求状态为终端节点当前分配的数据访问请求数量及所述数据访问请求数量与可处理总请求数量的比值。

9.根据权利要求8所述的一种云端大数据存储管理方法，其特征在于，所述对所述转发存储数据对应的多个数据段分别生成多组备份数据，将所述备份数据在所述云端存储网络中分布存储的步骤还包括；

获取所述节点访问索引，基于所述节点访问索引的实时状态，选取数组占用较低的所述终端节点以用于对多个数据段进行备份，每组所述终端节点用于备份同一数据段，每组所述终端节点的多个终端设备覆盖周期的完整时段，且位于周期每个时段均对应多个与云端连接的终端节点。

10.根据权利要求9所述的一种云端大数据存储管理方法，其特征在于，还包括步骤：

当所述转发存储数据与云端已存储的数据内容部分匹配时，对所述转发存储数据的区别部分数据内容进行定位，并获取已存储的数据内容相对应的数据段及备份数据，建立新的索引链接并替换所述数据段及备份数据。