CN114238240B - 一种分布式多集群的数据存储方法、装置及存储介质 - Google Patents

一种分布式多集群的数据存储方法、装置及存储介质 Download PDF

Info

Publication number
CN114238240B
CN114238240B CN202210131409.1A CN202210131409A CN114238240B CN 114238240 B CN114238240 B CN 114238240B CN 202210131409 A CN202210131409 A CN 202210131409A CN 114238240 B CN114238240 B CN 114238240B
Authority
CN
China
Prior art keywords
file
stored
file data
server
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210131409.1A
Other languages
English (en)
Other versions
CN114238240A (zh
Inventor
刘江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baike Data Technology Shenzhen Co ltd
Original Assignee
Baike Data Technology Shenzhen Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baike Data Technology Shenzhen Co ltd filed Critical Baike Data Technology Shenzhen Co ltd
Priority to CN202210131409.1A priority Critical patent/CN114238240B/zh
Publication of CN114238240A publication Critical patent/CN114238240A/zh
Application granted granted Critical
Publication of CN114238240B publication Critical patent/CN114238240B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/16File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/17Details of further file system functions
    • G06F16/172Caching, prefetching or hoarding of files
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/182Distributed file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Storage Device Security (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种分布式多集群的数据存储方法、装置及存储介质,方法包括:获取待存储文件数据,并根据待存储文件数据搜索集群服务器中与待存储文件数据匹配的文件数据;若集群服务器中不存在与待存储文件数据匹配的文件数据,则对待存储文件进行加密处理,并将加密处理后的待存储文件数据存储至目标服务器中;生成用于下载待存储文件的快捷文件链接,并将快捷文件链接存储至集群服务器中的稳定节点中。本发明通过将待存储文件数据进行对比查重,然后再储存至目标服务器中,节省了储存效率。并且将待存储文件的快捷文件链接存储至集群服务器中的稳定节点中,方便各服务器之间数据的快速查找和下载。

Description

一种分布式多集群的数据存储方法、装置及存储介质
技术领域
本发明涉及数据存储技术领域,尤其涉及一种分布式多集群的数据存储方法、装置及存储介质。
背景技术
集群储存是指:由若干个“通用储存设备”组成的用于储存的集群,组成集群储存的每个储存***的性能和容量均可通过“集群”的方式得以叠加和扩展。传统的数据存储方法由于受到其物理组成(例如:控制器性能,总线性能,磁盘驱动器的数量,所连接服务器的数量,内存大小,NAS头的性能等)的限制,以及功能上的局限(例如:支持文件***的容量,元数据和数据处理通路的耦合,快照或复制的数量等),造成了数据存储瓶颈的出现,影响了存储效率。
因此,现有技术还有待改进和提高。
发明内容
本发明要解决的技术问题在于,针对现有技术的上述缺陷,提供一种分布式多集群的数据存储方法、装置及存储介质,旨在解决现有技术中数据存储方法受到物理组成以功能的局限,影响存储效率的问题。
为了解决上述技术问题,本发明所采用的技术方案如下:
第一方面,本发明提供一种分布式多集群的数据存储方法,其中,所述方法包括:
获取待存储文件数据,并根据所述待存储文件数据搜索集群服务器中与所述待存储文件数据匹配的文件数据;
若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据,则对所述待存储文件数据进行加密处理,并将加密处理后的所述待存储文件数据存储至目标服务器中;
生成用于下载所述待存储文件数据的快捷文件链接,并将所述快捷文件链接存储至所述集群服务器中的稳定节点中,以使得所述集群服务器中的各个服务器通过所述稳定节点得到所述快捷文件链接。
在一种实现方式中,所述获取待存储文件数据,并根据所述待存储文件数据搜索集群服务器中与所述待存储文件数据匹配的文件数据,包括:
获取所述待存储文件数据,并从所述待存储文件数据中提取文件信息,所述文件信息包括:文件名、关键词、文件类型、文件数据量;
根据所述文件信息,在所述集群服务器中搜索与所述文件信息匹配的文件数据。
在一种实现方式中,所述根据所述文件信息,在所述集群服务器中搜索与所述文件信息匹配的文件数据,包括:
根据所述文件信息,在所述集群服务器中搜索具有相同文件信息的文件数据。
在一种实现方式中,所述若所述集群服务器中不存在与所述待存储文件数据,则对所述待存储文件数据进行加密处理,包括:
若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据,则生成存储钥匙,所述存储钥匙携带唯一的存储标识;
将所述存储钥匙与所述待存储文件数据进行绑定,以实现加密处理。
在一种实现方式中,所述将加密处理后的所述待存储文件数据存储至目标服务器中,包括:
获取所述集群服务器中各个服务器的存储空间;
筛选出所述存储空间最大的服务器,并将所述存储空间最大的服务器作为所述目标服务器;
将加密处理后的所述待存储文件数据存储至所述目标服务器中。
在一种实现方式中,所述生成用于下载所述待存储文件数据的快捷文件链接,并将所述快捷文件链接存储至所述集群服务器中的稳定节点中,包括:
根据所述目标服务器的地址,生成所述快捷文件链接,所述快捷文件链接用于下载所述待存储文件数据;
将所述快捷文件链接存储至所述集群服务器中的稳定节点中;
通过各服务器的所述稳定节点的数据储存模块将所述快捷文件链接存入各自的服务器,并结束行程。
在一种实现方式中,所述方法还包括:
若所述集群服务器中存在与所述待存储文件数据匹配的文件数据,则提示所述待存储文件数据已经上传,并结束行程。
第二方面,本发明实施例还提供一种分布式多集群的数据存储装置,其中,所述装置包括:
文件数据搜索模块,用于获取待存储文件数据,并根据所述待存储文件数据搜索集群服务器中与所述待存储文件数据匹配的文件数据;
文件数据存储模块,用于若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据,则对所述待存储文件数据进行加密处理,并将加密处理后的所述待存储文件数据存储至目标服务器中;
文件链接生成模块,用于生成用于下载所述待存储文件数据的快捷文件链接,并将所述快捷文件链接存储至所述集群服务器中的稳定节点中,以使得所述集群服务器中的各个服务器通过所述稳定节点得到所述快捷文件链接。
第三方面,本发明实施例还提供一种终端设备,其中,所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的分布式多集群的数据存储程序,所述处理器执行所述分布式多集群的数据存储程序时,实现上述方案中任一项所述的分布式多集群的数据存储方法的步骤。
第四方面,本发明实施例还提供一种计算机可读存储介质,其中,所述计算机可读存储介质上存储有分布式多集群的数据存储程序,所述分布式多集群的数据存储程序被处理器执行时,实现上述方案中任一项所述的分布式多集群的数据存储方法的步骤。
有益效果:与现有技术相比,本发明提供了一种分布式多集群的数据存储方法,本发明获取待存储文件数据,并根据所述待存储文件数据搜索集群服务器中与所述待存储文件数据匹配的文件数据;若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据,则对所述待存储文件数据进行加密处理,并将加密处理后的所述待存储文件数据存储至目标服务器中;生成用于下载所述待存储文件数据的快捷文件链接,并将所述快捷文件链接存储至所述集群服务器中的稳定节点中,以使得所述集群服务器中的各个服务器通过所述稳定节点得到所述快捷文件链接。该发明通过将待存储文件数据进行对比查重,然后再储存至目标服务器中,大大节省了储存效率,节约储存空间。并且生成待存储文件的快捷文件链接,并存储至集群服务器中的稳定节点中,方便各服务器之间数据的快速查找和下载。
附图说明
图1为本发明实施例提供的分布式多集群的数据存储方法的具体实施方式的流程图。
图2是本发明实施例提供的分布式多集群的数据存储装置的原理框图。
图3是本发明实施例提供的终端设备的内部结构原理框图。
具体实施方式
为使本发明的目的、技术方案及效果更加清楚、明确,以下参照附图并举实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
本发明实施例提供一种分布式多集群的数据存储方法。具体实施时,本实施例获取待存储文件数据,并根据所述待存储文件数据搜索集群服务器中与所述待存储文件数据匹配的文件数据;若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据,则对所述待存储文件数据进行加密处理,并将加密处理后的所述待存储文件数据存储至目标服务器中;生成用于下载所述待存储文件数据的快捷文件链接,并将所述快捷文件链接存储至所述集群服务器中的稳定节点中,以使得所述集群服务器中的各个服务器通过所述稳定节点得到所述快捷文件链接。该发明通过将待存储文件数据进行对比查重,然后再储存至目标服务器中,大大节省了储存效率,节约储存空间。并且生成待存储文件的快捷文件链接,并存储至集群服务器中的稳定节点中,方便各服务器之间数据的快速查找和下载。
本实施例的分布式多集群的数据存储方法可应用于终端设备,该终端设备可为电脑、手机、智能电视等智能化产品。如图1中所示,本实施例中的分布式多集群的数据存储方法包括如下步骤:
步骤S100、获取待存储文件数据,并根据所述待存储文件数据搜索集群服务器中与所述待存储文件数据匹配的文件数据。
本实施例首先获取待存储文件数据,该待存储文件数据为用户通过终端设备选择是需要上传至服务器中的文件数据。当获取到待存储文件数据后,本实施例将在集群服务器中搜索是否在存在与该待存储文件数据匹配的文件数据。本实施例中的分布式集群服务器由多个通过网络互相连接的服务器构成,并采用开放式架构、分布式操作***以及统一命名空间。
在一种实现方式中,本实施例中在确定集群服务器中是否存在与该待存储文件数据时包括如下步骤:
步骤S101、获取所述待存储文件数据,并从所述待存储文件数据中提取文件信息,所述文件信息包括:文件名、关键词、文件类型、文件数据量;
步骤S102、根据所述文件信息,在所述集群服务器中搜索与所述文件信息匹配的文件数据。
具体实施时,本实施例首先获取待存储文件数据,然后从该待存储文件数据中提取文件信息,该文件信息包括:文件名、关键词、文件类型、文件数据量。然后,终端设备基于这些文件信息在集群服务器中搜索是否存在相同文件信息的文件数据,以便确定出是否需要将该待存储文件数据进行存储。在另一种实现方式中,本实施例的终端设备还可为该待存储文件数据生成相应的校验码,并通过校验码来判断所述集群储存服务器中的校验码集群中是否存在相同的校验码。具体地,该校验码包含文件名、关键词、文件类型以及文件大小类型信号,通过终端设备将校验码发送至集群服务器中中,并在集群服务器中进行查找是否有相同的校验码,并反馈至终端设备。
步骤S200、若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据,则对所述待存储文件数据进行加密处理,并将加密处理后的所述待存储文件数据存储至目标服务器中。
在终端设备基于上述文件信息在集群服务器中搜索是否存在相同文件信息后,确定出集群服务器中不存在与所述待存储文件数据匹配的文件数据,此时则就需要将该待存储文件进行存储。本实施例中首先对该到待存储文件数据进行加密处理,然后再将经过加密处理后的所述待存储文件数据存储至目标服务器中。由此可见,在本实施例中,在将待存储文件数据保存至目标服务器时,会首先判断集群服务器中是否存在待存储文件数据,只有集群服务器中不存在待存储文件数据时,才会将待存储文件数据存储至目标服务器中。
在一种实现方式中,本实施例在对待存储文件数据进行加密处理时包括如下步骤:
步骤S201、若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据,则生成存储钥匙,所述存储钥匙携带唯一的存储标识;
步骤S202、将所述存储钥匙与所述待存储文件数据进行绑定,以实现加密处理。
具体实施时,如果集群服务器中不存在与所述待存储文件数据匹配的文件数据,则生成存储钥匙,该存储钥匙具有唯一的存储标识,该存储钥匙为秘钥,便于文件数据的下载解密使用。在终端设备生成该存储钥匙后,本实施例将该存储钥匙与待存储文件数据进行绑定,并为加密处理。由于本实施例将待存储文件数据与存储钥匙绑定了,因此在后续解密的过程中,只有待存储文件数据与存储钥匙存在绑定关系,才可以使用该存储钥匙对待存储文件数据进行解密。在另一种实现方式中,若所述集群服务器中存在与所述待存储文件数据匹配的文件数据,则提示所述待存储文件数据已经上传,并结束行程。
在本实施例对待存储文件数据进行加密后,会将经过加密处理后的待存储文件数据上传至目标服务器,具体包括如下步骤:
步骤S21、获取所述集群服务器中各个服务器的存储空间;
步骤S22、筛选出所述存储空间最大的服务器,并将所述存储空间最大的服务器作为所述目标服务器;
步骤S23、将加密处理后的所述待存储文件数据存储至所述目标服务器中。
在本实施例中,终端设备首先获取所述集群服务器中各个服务器的存储空间,然后对比各个服务器的存储空间,筛选出所述存储空间最大的服务器,并将所述存储空间最大的服务器作为所述目标服务器;最后将加密处理后的所述待存储文件数据存储至所述目标服务器中。也就是说,本实施例时将待存储文件数据上传至存储空间最大的服务器中进行存储,有利于合理利用存储空间,且提高存储效率。此外,本实施例在将待存储文件数据上传至目标服务器时,还会将存储钥匙一同上传至目标服务器中。
步骤S300、生成用于下载所述待存储文件数据的快捷文件链接,并将所述快捷文件链接存储至所述集群服务器中的稳定节点中,以使得所述集群服务器中的各个服务器通过所述稳定节点得到所述快捷文件链接。
在本实施例中,当将所述待存储文件数据上传至目标服务器后,本实施例生成用于下载所述待存储文件数据的快捷文件链接,该快捷文件链接携带有关键词,便于对该快捷文件链接进行管理,然后将所述快捷文件链接存储至所述集群服务器中的稳定节点中。该快捷文件链接可用于定位待存储文件数据的存储地址,以便在后续步骤中下载该待存储文件数据。此外,由于将所述快捷文件链接存储至所述集群服务器中的稳定节点中,该稳定节点为过渡节点,相当于数据传输器,因此该集群服务器中的各个服务器都可通过稳定节点获取到待存储文件数据。
在一种实现方式中,上述步骤S300具体包括如下步骤:
步骤S301、根据所述目标服务器的地址,生成所述快捷文件链接,所述快捷文件链接用于下载所述待存储文件数据;
步骤S302、将所述快捷文件链接存储至所述集群服务器中的稳定节点中;
步骤S303、通过各服务器的所述稳定节点的数据储存模块将所述快捷文件链接存入各自的服务器,并结束行程。
具体地,由于本实施例中的快捷文件链接是用于下载该待存储文件数据的,因此该快捷文件链接是需要携带目标服务器的地址的,为此,本实施例的终端设备首先获取目标服务器的地址,然后生成快捷文件链接。接着,终端设备将待存储文件数据的快捷文件链接和文件储存钥匙传送至集群服务器的稳定节点中,该快捷文件链接具体为便于文件提取的下载链接,由于各服务器为集群储存***,因此通过任意服务器可以下载分享其他服务器的待存储文件数据。
由此可见,本实施例首先获取待存储文件数据,并根据所述待存储文件数据搜索集群服务器中与所述待存储文件数据匹配的文件数据。若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据,则对所述待存储文件数据进行加密处理,并将加密处理后的所述待存储文件数据存储至目标服务器中。最后,生成用于下载所述待存储文件数据的快捷文件链接,并将所述快捷文件链接存储至所述集群服务器中的稳定节点中,以使得所述集群服务器中的各个服务器通过所述稳定节点得到所述快捷文件链接。本实施例通过将待存储文件数据进行对比查重,然后再储存至目标服务器中,大大节省了储存效率,节约储存空间。并且生成待存储文件的快捷文件链接,并存储至集群服务器中的稳定节点中,方便各服务器之间数据的快速查找和下载。
基于上述实施例,本发明还提供一种分布式多集群的数据存储装置,如图2所示,所述装置包括:文件数据搜索模块10、文件数据存储模块20以及文件链接生成模块30。具体地,所述文件数据搜索模块10,用于获取待存储文件数据,并根据所述待存储文件数据搜索集群服务器中与所述待存储文件数据匹配的文件数据。所述文件数据存储模块20,用于若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据,则对所述待存储文件数据进行加密处理,并将加密处理后的所述待存储文件数据存储至目标服务器中。所述文件链接生成模块30,用于生成用于下载所述待存储文件数据的快捷文件链接,并将所述快捷文件链接存储至所述集群服务器中的稳定节点中,以使得所述集群服务器中的各个服务器通过所述稳定节点得到所述快捷文件链接。
在一种实现方式中,所述文件数据搜索模块10包括:
数据获取单元,用于获取所述待存储文件数据,并从所述待存储文件数据中提取文件信息,所述文件信息包括:文件名、关键词、文件类型、文件数据量;
数据匹配单元,用于根据所述文件信息,在所述集群服务器中搜索与所述文件信息匹配的文件数据。
在一种实现方式中,所述数据匹配单元包括:
数据对比单元,用于根据所述文件信息,在所述集群服务器中搜索具有相同文件信息的文件数据。
在一种实现方式中,所述文件数据存储模块20包括:
存储钥匙生成单元,用于若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据,则生成存储钥匙,所述存储钥匙携带唯一的存储标识;
加密处理单元,用于将所述存储钥匙与所述待存储文件数据进行绑定,以实现加密处理。
在一种实现方式中,所述加密处理单元包括:
存储空间获取子单元,用于获取所述集群服务器中各个服务器的存储空间;
服务器确定子单元,用于筛选出所述存储空间最大的服务器,并将所述存储空间最大的服务器作为所述目标服务器;
加密处理子单元,用于将加密处理后的所述待存储文件数据存储至所述目标服务器中。
在一种实现方式中,所述文件链接生成模块30包括:
链接生成单元,用于根据所述目标服务器的地址,生成所述快捷文件链接,所述快捷文件链接用于下载所述待存储文件数据;
链接存储单元,用于将所述快捷文件链接存储至所述集群服务器中的稳定节点中;
链接共享单元,用于通过各服务器的所述稳定节点的数据储存模块将所述快捷文件链接存入各自的服务器,并结束行程。
在一种实现方式中,所述装置还包括:
提示模块,用于若所述集群服务器中存在与所述待存储文件数据匹配的文件数据,则提示所述待存储文件数据已经上传,并结束行程。
本实施例中的分布式多集群的数据存储装置中的各个模块的工作原理与上述实施例中的分布式多集群的数据存储方法的工作原理是相同的,此处不在赘述。
基于上述实施例,本发明还提供了一种终端设备,其原理框图可以如图3所示。该终端设备包括通过***总线连接的处理器、存储器。其中,该终端设备的处理器用于提供计算和控制能力。该终端设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该终端设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种分布式多集群的数据存储方法。
本领域技术人员可以理解,图3中示出的原理框图,仅仅是与本发明方案相关的部分结构的框图,并不构成对本发明方案所应用于其上的终端设备的限定,具体的终端设备以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种终端设备,终端设备包括存储器、处理器及存储在存储器中并可在处理器上运行的分布式多集群的数据存储程序,处理器执行分布式多集群的数据存储程序时,实现如下操作指令:
获取待存储文件数据,并根据所述待存储文件数据搜索集群服务器中与所述待存储文件数据匹配的文件数据;
若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据,则对所述待存储文件数据进行加密处理,并将加密处理后的所述待存储文件数据存储至目标服务器中;
生成用于下载所述待存储文件数据的快捷文件链接,并将所述快捷文件链接存储至所述集群服务器中的稳定节点中,以使得所述集群服务器中的各个服务器通过所述稳定节点得到所述快捷文件链接。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、存储、运营数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双运营数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink) DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
综上,本发明公开了一种分布式多集群的数据存储方法、装置及存储介质,方法包括:获取待存储文件数据,并根据待存储文件数据搜索集群服务器中与待存储文件数据匹配的文件数据;若集群服务器中不存在与待存储文件数据匹配的文件数据,则对待存储文件进行加密处理,并将加密处理后的待存储文件数据存储至目标服务器中;生成用于下载待存储文件的快捷文件链接,并将快捷文件链接存储至集群服务器中的稳定节点中。本发明通过将待存储文件数据进行对比查重,然后再储存至目标服务器中,节省了储存效率。并且将待存储文件的快捷文件链接存储至集群服务器中的稳定节点中,方便各服务器之间数据的快速查找和下载。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (5)

1.一种分布式多集群的数据存储方法,其特征在于,所述方法包括:
获取待存储文件数据,并根据所述待存储文件数据搜索集群服务器中与所述待存储文件数据匹配的文件数据;
若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据,则对所述待存储文件数据进行加密处理,并将加密处理后的所述待存储文件数据存储至目标服务器中;
生成用于下载所述待存储文件数据的快捷文件链接,并将所述快捷文件链接存储至所述集群服务器中的稳定节点中,以使得所述集群服务器中的各个服务器通过所述稳定节点得到所述快捷文件链接;
所述获取待存储文件数据,并根据所述待存储文件数据搜索集群服务器中与所述待存储文件数据匹配的文件数据,包括:
获取所述待存储文件数据,并从所述待存储文件数据中提取文件信息,所述文件信息包括:文件名、关键词、文件类型、文件数据量;
根据所述文件信息,在所述集群服务器中搜索与所述文件信息匹配的文件数据;
或者,终端设备还为所述待存储文件数据生成相应的校验码,并通过校验码来判断所述集群储存服务器中的校验码集群中是否存在相同的校验码,所述校验码包含文件名、关键词、文件类型以及文件大小类型信号;
通过终端设备将校验码发送至集群服务器中,并在集群服务器中进行查找是否有相同的校验码,并反馈至终端设备;
所述根据所述文件信息,在所述集群服务器中搜索与所述文件信息匹配的文件数据,包括:
根据所述文件信息,在所述集群服务器中搜索具有相同文件信息的文件数据;所述若所述集群服务器中不存在与所述待存储文件数据,则对所述待存储文件数据进行加密处理,包括:
若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据,则生成存储钥匙,所述存储钥匙携带唯一的存储标识;
将所述存储钥匙与所述待存储文件数据进行绑定,以实现加密处理;
所述将加密处理后的所述待存储文件数据存储至目标服务器中,包括:
获取所述集群服务器中各个服务器的存储空间;
筛选出所述存储空间最大的服务器,并将所述存储空间最大的服务器作为所述目标服务器;
将加密处理后的所述待存储文件数据存储至所述目标服务器中;
在将待存储文件数据上传至目标服务器时,将存储钥匙一同上传至所述目标服务器中;
所述生成用于下载所述待存储文件数据的快捷文件链接,并将所述快捷文件链接存储至所述集群服务器中的稳定节点中,包括:
根据所述目标服务器的地址,生成所述快捷文件链接,所述快捷文件链接用于下载所述待存储文件数据,其中,所述快捷文件链接携带有关键词,用于对该快捷文件链接进行管理;
将所述快捷文件链接存储至所述集群服务器中的稳定节点中;
通过各服务器的所述稳定节点的数据储存模块将所述快捷文件链接存入各自的服务器,并结束行程;
其中,所述稳定节点为过渡节点,相当于数据传输器,所述集群服务器中的各个服务器都通过所述稳定节点获取到待存储文件数据。
2.根据权利要求1所述的分布式多集群的数据存储方法,其特征在于,所述方法还包括:
若所述集群服务器中存在与所述待存储文件数据匹配的文件数据,则提示所述待存储文件数据已经上传,并结束行程。
3.一种分布式多集群的数据存储装置,其特征在于,所述装置包括:
文件数据搜索模块,用于获取待存储文件数据,并根据所述待存储文件数据搜索集群服务器中与所述待存储文件数据匹配的文件数据;
文件数据存储模块,用于若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据,则对所述待存储文件数据进行加密处理,并将加密处理后的所述待存储文件数据存储至目标服务器中;
文件链接生成模块,用于生成用于下载所述待存储文件数据的快捷文件链接,并将所述快捷文件链接存储至所述集群服务器中的稳定节点中,以使得所述集群服务器中的各个服务器通过所述稳定节点得到所述快捷文件链接;
所述文件数据搜索模块包括:
数据获取单元,用于获取所述待存储文件数据,并从所述待存储文件数据中提取文件信息,所述文件信息包括:文件名、关键词、文件类型、文件数据量;
数据匹配单元,用于根据所述文件信息,在所述集群服务器中搜索与所述文件信息匹配的文件数据;
或者,终端设备还为所述待存储文件数据生成相应的校验码,并通过校验码来判断所述集群储存服务器中的校验码集群中是否存在相同的校验码,所述校验码包含文件名、关键词、文件类型以及文件大小类型信号;
通过终端设备将校验码发送至集群服务器中,并在集群服务器中进行查找是否有相同的校验码,并反馈至终端设备;
所述数据匹配单元包括:
数据对比单元,用于根据所述文件信息,在所述集群服务器中搜索具有相同文件信息的文件数据;
所述文件数据存储模块包括:
存储钥匙生成单元,用于若所述集群服务器中不存在与所述待存储文件数据匹配的文件数据,则生成存储钥匙,所述存储钥匙携带唯一的存储标识;
加密处理单元,用于将所述存储钥匙与所述待存储文件数据进行绑定,以实现加密处理;
所述加密处理单元包括:
存储空间获取子单元,用于获取所述集群服务器中各个服务器的存储空间;
服务器确定子单元,用于筛选出所述存储空间最大的服务器,并将所述存储空间最大的服务器作为所述目标服务器;
加密处理子单元,用于将加密处理后的所述待存储文件数据存储至所述目标服务器中;
在将待存储文件数据上传至目标服务器时,将存储钥匙一同上传至所述目标服务器中;
所述文件链接生成模块包括:
链接生成单元,用于根据所述目标服务器的地址,生成所述快捷文件链接,所述快捷文件链接用于下载所述待存储文件数据,其中,所述快捷文件链接携带有关键词,用于对该快捷文件链接进行管理;
链接存储单元,用于将所述快捷文件链接存储至所述集群服务器中的稳定节点中;
链接共享单元,用于通过各服务器的所述稳定节点的数据储存模块将所述快捷文件链接存入各自的服务器,并结束行程;
其中,所述稳定节点为过渡节点,相当于数据传输器,所述集群服务器中的各个服务器都通过所述稳定节点获取到待存储文件数据。
4.一种终端设备,其特征在于,所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的分布式多集群的数据存储程序,所述处理器执行所述分布式多集群的数据存储程序时,实现如权利要求1-2任一项所述的分布式多集群的数据存储方法的步骤。
5.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有分布式多集群的数据存储程序,所述分布式多集群的数据存储程序被处理器执行时,实现如权利要求1-2任一项所述的分布式多集群的数据存储方法的步骤。
CN202210131409.1A 2022-02-14 2022-02-14 一种分布式多集群的数据存储方法、装置及存储介质 Active CN114238240B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210131409.1A CN114238240B (zh) 2022-02-14 2022-02-14 一种分布式多集群的数据存储方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210131409.1A CN114238240B (zh) 2022-02-14 2022-02-14 一种分布式多集群的数据存储方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN114238240A CN114238240A (zh) 2022-03-25
CN114238240B true CN114238240B (zh) 2022-05-27

Family

ID=80747703

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210131409.1A Active CN114238240B (zh) 2022-02-14 2022-02-14 一种分布式多集群的数据存储方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114238240B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114840488B (zh) * 2022-07-04 2023-05-02 柏科数据技术(深圳)股份有限公司 一种基于超融合结构的分布式存储方法、***及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105025053A (zh) * 2014-04-24 2015-11-04 苏宁云商集团股份有限公司 基于云存储技术的分布式文件的上传方法及其***
CN107852173A (zh) * 2015-06-15 2018-03-27 阿斯卡瓦公司 对已使用基本数据滤筛无损简化的数据执行多维搜索、内容关联取回以及基于关键字的搜索和取回
CN108255875A (zh) * 2016-12-29 2018-07-06 北京奇虎科技有限公司 将消息存储至分布式文件***的方法和装置
CN108475508A (zh) * 2015-12-10 2018-08-31 阿斯卡瓦公司 音频数据和保存在块处理存储***中的数据的简化

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110267060B (zh) * 2019-07-24 2021-03-26 北京视界云天科技有限公司 视频文件存储注入方法、装置、计算机设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105025053A (zh) * 2014-04-24 2015-11-04 苏宁云商集团股份有限公司 基于云存储技术的分布式文件的上传方法及其***
CN107852173A (zh) * 2015-06-15 2018-03-27 阿斯卡瓦公司 对已使用基本数据滤筛无损简化的数据执行多维搜索、内容关联取回以及基于关键字的搜索和取回
CN108475508A (zh) * 2015-12-10 2018-08-31 阿斯卡瓦公司 音频数据和保存在块处理存储***中的数据的简化
CN108255875A (zh) * 2016-12-29 2018-07-06 北京奇虎科技有限公司 将消息存储至分布式文件***的方法和装置

Also Published As

Publication number Publication date
CN114238240A (zh) 2022-03-25

Similar Documents

Publication Publication Date Title
CN108133008B (zh) 数据库中业务数据的处理方法、装置、设备和存储介质
CN110689349B (zh) 一种区块链中的交易哈希值存储和搜索方法及装置
WO2019075978A1 (zh) 数据传输方法、装置、计算机设备和存储介质
CN107797817B (zh) 应用更新方法和装置
US20070100753A1 (en) Information terminal device and content backup method
CN107528917B (zh) 一种文件存储方法及装置
CN111831208B (zh) 一种信息处理方法、装置、终端设备及存储介质
CN112015674A (zh) 基于多层级的缓存资源访问方法、装置和计算机设备
US20200153889A1 (en) Method for uploading and downloading file, and server for executing the same
EP4020265A1 (en) Method and device for storing encrypted data
WO2022247316A1 (zh) 存储对象处理***、请求处理方法、网关和存储介质
CN113273163A (zh) 文件上传方法、文件下载方法和文件管理装置
CN114238240B (zh) 一种分布式多集群的数据存储方法、装置及存储介质
US20240163119A1 (en) Device management method, system, and apparatus
CN115098519A (zh) 一种数据存储方法及装置
CN116011013A (zh) 数据库访问方法和装置、计算设备和计算机程序产品
CN117421771A (zh) 一种面向结构化数据的可搜索加密方法、装置及电子设备
US10296760B2 (en) System of shared secure data storage and management
CN112783866B (zh) 数据读取方法、装置、计算机设备和存储介质
CN116192395A (zh) 用于分散式数据存储的可信***
CN112416526B (zh) 一种直接存储访问方法、装置及相关设备
CN111884818B (zh) 数据文件处理方法、***、服务器及存储介质
US11763038B2 (en) Secured file storage
CN113300833B (zh) 密钥管理方法及装置
CN114793156B (zh) 一种数据处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant