CN105516313A - 一种用于大数据的分布式存储*** - Google Patents

一种用于大数据的分布式存储*** Download PDF

Info

Publication number
CN105516313A
CN105516313A CN201510910421.2A CN201510910421A CN105516313A CN 105516313 A CN105516313 A CN 105516313A CN 201510910421 A CN201510910421 A CN 201510910421A CN 105516313 A CN105516313 A CN 105516313A
Authority
CN
China
Prior art keywords
server
data
storage
server cluster
application server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510910421.2A
Other languages
English (en)
Inventor
龚艳
母继元
常健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Sichuan Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Sichuan Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Sichuan Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201510910421.2A priority Critical patent/CN105516313A/zh
Publication of CN105516313A publication Critical patent/CN105516313A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/104—Peer-to-peer [P2P] networks
    • H04L67/1044—Group management mechanisms 

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种用于大数据的分布式存储***，包括若干台应用服务器组成的应用服务器集群、若干台存储服务器组成的存储服务器集群和若干台元数据服务器组成的元数据服务器集群，所述应用服务器、存储服务器和元数据服务器通过通讯网络互连进行数据交换；所述应用服务器集群用于产生和接收生产数据，所述存储服务器集群用于提供存储空间，所述元数据服务器集群用于管理存储空间。本发明提供的用于大数据的分布式存储***具有扩容简单、成本第、安全性高、兼容性好的优点。

Description

一种用于大数据的分布式存储***
技术领域
本发明涉及计算机应用技术领域，尤其涉及一种用于大数据的分布式存储***。
背景技术
随着云计算、物联网、移动互联网等技术的发展，人类社会各个领域产生的数据量都急剧增长，这些大数据已经成为一种重要的资源，并形成了以数据为中心，以存储为中心的发展趋势，因此，如何存储这些大数据变得非常重要。
传统存储采用集中式架构进行数据存储，所有数据均由磁盘阵列Raid技术保证数据的安全性，并集中存储在专用的存储设备上，所有的生产数据均通过网络或专用存储网络进行传输。但这种集中式架构存在扩容困难、成本高、安全性低、兼容性差的缺点。
发明内容
针对上述技术问题，本发明的目的在于提供一种用于大数据的分布式存储***，能有效解决上述问题。
为达此目的，本发明采用以下技术方案：
一种用于大数据的分布式存储***，包括：若干台应用服务器组成的应用服务器集群、若干台存储服务器组成的存储服务器集群和若干台元数据服务器组成的元数据服务器集群，所述应用服务器、存储服务器和元数据服务器通过通讯网络互连进行数据交换；所述应用服务器集群用于产生和接收生产数据，所述存储服务器集群用于提供存储空间，所述元数据服务器集群用于管理存储空间。
特别地，所述存储服务器、元数据服务器均采用X86架构服务器，同时支持文件和块协议。
特别地，所述存储在各个应用服务器、存储服务器和元数据服务器的数据均采用副本机制进行数据保护，且各副本数据均存储在与母本数据不同的节点上。
特别地，所述应用服务器、存储服务器和元数据服务器通过全线速Infiniband网络进行互连。
本发明提出的用于大数据的分布式存储***采用分布式架构，存储服务器同时支持文件和块协议，所有存储服务器同时进行数据存储，存储在存储服务器上的数据均采用副本机制进行数据保护，且各副本数据均存储在与母本数据不同的存储服务器，所有数据采用前端数据切片、后端分布的方式进行存储。从而使该存储***具有扩容简单、成本第、安全性高、兼容性好的优点。
附图说明
图1是本发明实施例提供的用于大数据的分布式存储***结构框图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容，除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及／或”包括一个或多个相关的所列项目的任意的和所有的组合。
实施例一
请参照图1所示，图1为本发明实施例提供的用于大数据的分布式存储***结构框图。
本实施例中，用于大数据的分布式存储***包括若干台应用服务器组成的应用服务器集群、若干台存储服务器组成的存储服务器集群和若干台元数据服务器组成的元数据服务器集群。所述应用服务器集群用于产生和接收生产数据，所述存储服务器集群用于提供存储空间，所述元数据服务器集群用于管理存储空间。所述存储服务器采用x86架构服务器，具体为SATA或SAS或SSD等硬盘；所述元数据服务器采用x86架构服务器，具体为SSD；所述应用服务器采用支持所有架构服务器设备。所述应用服务器、存储服务器和元数据服务器通过Infiniband互连，进行数据交换。
所述存储***的数据存储过程包括写入和读出过程，具体为：
写入过程：
1、由应用服务器集群产生生产数据。
2、应用服务器向元数据服务器申请写入请求，请求内容包括需要写入的数据文件的大小。
3、元数据服务器查询整个存储***的地址空间，找出可以分配的地址块，并将准备分配的地址块信息返回到应用服务器。
4、应用服务器根据返回的地址块信息，将文件分片，并传输到各存储节点，写入成功后，各节点返回写入成功信号到元数据服务器，元数据服务器将地址块空间标识为“已用”。
5、完成数据的写入。
读出过程：
1、应用服务器发出读取请求到元数据服务器，请求包括读取的文件路径信息。
2、元数据服务器根据文件路径信息查询相关的存储服务器的地址块信息，并将信息返回到应用服务器。
3、应用服务器根据各存储服务器的地址块信息，向各存储节点发出数据块读取信息。
4、存储节点根据数据块信息将相应的应用数据块返回到应用服务器。
本实施例所述用于大数据的分布式存储***中，采用带外模式的大规模开放集群存储架构，通过Infiniband高速网络将通用存储服务器中的CPU、内存、网络带宽、磁盘转速、总线性能整合在一起，形成一个高端存储器，使得存储总体性能高于计算处理能力与网络带宽的传输速度，以此来屏蔽由于磁盘和总线性能提升缓慢造成的存储性能瓶颈。以全线速Infiniband网络互连前端的计算节点和后端的存储及元数据节点，以保证存储设备的性能输出达到最大化。采用带外模式，很好的消除了元数据通路与数据通路的相互干扰。而元数据服务器的集群化和存储服务器的集群化，使得整个***中不存在像NAS或者SAN***那样的性能瓶颈点，能够完全满足高性能计算应用高并发的需求。
同时，本实施例所述用于大数据的分布式存储***在无限制在线快速扩容以及负载均衡技术的基础上采用高可扩展存储技术，使得存储***的规模能够随着计算应用的发展而高效、无需中断服务的在线扩展，同时达到随着容量的增加性能的线性增长。
同时，本实施例所述用于大数据的分布式存储***在分布式存储中多元数据服务器集群技术的基础上，结合高性能计算应用文件创建、访问以及目录结构特点，采用多元数据服务器集群技术，在一套存储***中可以根据用户生产***中实际产生文件数量的规模对元数据服务器集群进行动态配置，整个存储***中所有的元数据服务器同时参与文件的检索和定位工作，消除存储***中元数据通道的瓶颈，同时还可以根据后续应用特点的变化和需求的增强，做到在线扩展元数据服务器，并且达到即插即用的效果。
同时，本实施例所述用于大数据的分布式存储***采用多级智能数据缓存技术实现高效缓存。首先，通过应用服务器上自主研发客户端内核模块，分析应用访问数据的特点，采用特定的缓存算法在应用服务器上有效缓存应用的访问数据；其次，将所有存储服务器的内存集合起来形成一个大的缓存池，通过存储服务器上独特地缓存算法缓存不同应用访问的数据；最后，将所有元数据服务器的内存集合起来形成一个高效的元数据缓存池，通过复杂的元数据淘汰算法来缓存元数据信息。通过这样多级数据的缓存技术，会使得整个存储***的性能能够得到大幅提高。
同时，本实施例所述用于大数据的分布式存储***提供增强型权限管理技术，除了兼容原有基于操作***用户的权限管理之外，还增加了自身所特有的增强型权限管理技术，通过存储***的后端管理平台直接为某个目录指定哪些用户、或者哪些应用服务器能够访问，哪些目录禁止用户删除、修改等。
同时，本实施例所述用于大数据的分布式存储***无论是存储服务器还是元数据服务器都采用了集群化技术；并且，存储***软件层采用多副本技术、文件动态分片技术、文件级raid技术以及支持不同目录设置不同冗余度技术来保证整个***的高可用。最终，通过这些高效的全***规模数据高可用技术，彻底消除存储***中的单点故障。另外，存储***内置了自动故障探测机制，可以动态探测不同的故障，并自动启动数据的恢复流程确保数据完整性,数据恢复完全在存储后端进行，不对前端应用造成任何影响，在保证数据安全的同时确保用户的应用持续稳定的运行，单台存储服务器或者元数据服务器发生损坏都不会对应用数据读写造成任何影响，且随着存储服务器的不断增加，数据恢复的速度成倍增长，即服务集群规模越大数据的安全性越高。
同时，本实施例所述用于大数据的分布式存储***采用对象存储技术，能够做到以磁盘为粒度的在线实时访问流量调控技术，当整个存储***通过实时监控发现某些设备或者磁盘处于高负载的情况时，一方面，存储***可以通过禁止某些设备写入数据，从而降低某些设备的负载；另一方面，可以启动***负载调控功能，存储***根据自身智能负载机制将***的热点数据进行迁移，使得存储***中的各个存储节点负载均衡。
同时，本实施例所述用于大数据的分布式存储***采用文件切片技术，将文件均匀分布在整个存储服务器集群中，以保证应用无论是对单个文件还是多个文件的访问模式，都能有效利用整个存储服务器集群提供的性能；另一方面应用服务器端通过高速网络直接与存储服务器通信，高效地利用了高速网络提供的带宽，消除了通行过程中的网络瓶颈。采用这样的技术之后，当整个计算平台的上千个应用节点同时访问数据的时，能够确保整个存储***的每个设备都能发挥出自身的硬件能力，为前端应用提供最大的聚合带宽。
建立本实施例所述用于大数据的分布式存储***的具体步骤为：
1、安装元数据服务器
（1）准备元数据服务器操作***。
（2）安装元数据服务器软件。
（3）启动元数据服务。
2、安装存储服务器，并与元数据服务器进行关联，从而实现对各存储服务器节点的统一管理和空间分配
（1）准备存储服务器操作***。
（2）安装存储服务器软件。
（3）启动存储数据服务。
3、安装配置应用服务器客户端，实现客户端的文件前端切片功能
（1）安装应用服务器客户端。
（2）配置应用服务器客户端。
本发明的技术方案，用于大数据的分布式存储***采用分布式架构，存储服务器同时支持文件和块协议，所有存储服务器同时进行数据存储，存储在存储服务器上的数据均采用副本机制进行数据保护，且各副本数据均存储在与母本数据不同的存储服务器，所有数据采用前端数据切片、后端分布的方式进行存储。从而使该存储***具有扩容简单、成本第、安全性高、兼容性好的优点。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (4)

1.一种用于大数据的分布式存储***，其特征在于，包括：若干台应用服务器组成的应用服务器集群、若干台存储服务器组成的存储服务器集群和若干台元数据服务器组成的元数据服务器集群，所述应用服务器、存储服务器和元数据服务器通过通讯网络互连进行数据交换；所述应用服务器集群用于产生和接收生产数据，所述存储服务器集群用于提供存储空间，所述元数据服务器集群用于管理存储空间。
2.根据权利要求1所述的用于大数据的分布式存储***，其特征在于，所述存储服务器、元数据服务器均采用X86架构服务器，同时支持文件和块协议。
3.根据权利要求1所述的用于大数据的分布式存储***，其特征在于，所述存储在各个应用服务器、存储服务器和元数据服务器的数据均采用副本机制进行数据保护，且各副本数据均存储在与母本数据不同的服务器上。
4.根据权利要求1所述的用于大数据的分布式存储***，其特征在于，所述应用服务器、存储服务器和元数据服务器通过全线速Infiniband网络进行互连。
CN201510910421.2A 2015-12-10 2015-12-10 一种用于大数据的分布式存储*** Pending CN105516313A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510910421.2A CN105516313A (zh) 2015-12-10 2015-12-10 一种用于大数据的分布式存储***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510910421.2A CN105516313A (zh) 2015-12-10 2015-12-10 一种用于大数据的分布式存储***

Publications (1)

Publication Number Publication Date
CN105516313A true CN105516313A (zh) 2016-04-20

Family

ID=55723943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510910421.2A Pending CN105516313A (zh) 2015-12-10 2015-12-10 一种用于大数据的分布式存储***

Country Status (1)

Country Link
CN (1) CN105516313A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108153759A (zh) * 2016-12-05 2018-06-12 ***通信集团公司 一种分布式数据库的数据传输方法、中间层服务器及***
CN108769137A (zh) * 2018-05-08 2018-11-06 北京初志科技有限公司 基于多群架构的分布式架构数据存储读取方法及装置
CN109033130A (zh) * 2018-06-04 2018-12-18 温州市图盛科技有限公司 一种区块链电力数据存储***
WO2019033368A1 (zh) * 2017-08-17 2019-02-21 深圳市优品壹电子有限公司 数据存储方法及装置
CN112380067A (zh) * 2020-11-30 2021-02-19 四川大学华西医院 一种Hadoop环境下基于元数据的大数据备份***及方法
CN113010229A (zh) * 2021-03-25 2021-06-22 中国电子科技集团公司第二十九研究所 一种分布式异构软件集群配置管理框架

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1652090A (zh) * 2005-02-23 2005-08-10 北京邦诺存储科技有限公司 网络存储***中的数据管理方法及其构建的网络存储***
CN102833346A (zh) * 2012-09-06 2012-12-19 上海海事大学 基于存储元数据的云敏感数据安全保护***及方法
US20130151685A1 (en) * 2011-12-07 2013-06-13 Citrix Systems, Inc. Controlling A Network Interface Using Virtual Switch Proxying
CN104731516A (zh) * 2013-12-18 2015-06-24 腾讯科技（深圳）有限公司 一种存取文件的方法、装置及分布式存储***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1652090A (zh) * 2005-02-23 2005-08-10 北京邦诺存储科技有限公司 网络存储***中的数据管理方法及其构建的网络存储***
US20130151685A1 (en) * 2011-12-07 2013-06-13 Citrix Systems, Inc. Controlling A Network Interface Using Virtual Switch Proxying
CN102833346A (zh) * 2012-09-06 2012-12-19 上海海事大学 基于存储元数据的云敏感数据安全保护***及方法
CN104731516A (zh) * 2013-12-18 2015-06-24 腾讯科技（深圳）有限公司 一种存取文件的方法、装置及分布式存储***

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
席岩: "为移动互联网而生：数字媒体行业云存储发展研究", 《广播电视信息》 *
范忠磊: "非对称集群存储***的块虚拟化方法", 《微电子学与计算机》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108153759A (zh) * 2016-12-05 2018-06-12 ***通信集团公司 一种分布式数据库的数据传输方法、中间层服务器及***
CN108153759B (zh) * 2016-12-05 2021-07-09 ***通信集团公司 一种分布式数据库的数据传输方法、中间层服务器及***
WO2019033368A1 (zh) * 2017-08-17 2019-02-21 深圳市优品壹电子有限公司 数据存储方法及装置
CN108769137A (zh) * 2018-05-08 2018-11-06 北京初志科技有限公司 基于多群架构的分布式架构数据存储读取方法及装置
CN109033130A (zh) * 2018-06-04 2018-12-18 温州市图盛科技有限公司 一种区块链电力数据存储***
CN112380067A (zh) * 2020-11-30 2021-02-19 四川大学华西医院 一种Hadoop环境下基于元数据的大数据备份***及方法
CN112380067B (zh) * 2020-11-30 2023-08-22 四川大学华西医院 一种Hadoop环境下基于元数据的大数据备份***及方法
CN113010229A (zh) * 2021-03-25 2021-06-22 中国电子科技集团公司第二十九研究所 一种分布式异构软件集群配置管理框架

Similar Documents

Publication Publication Date Title
US9729659B2 (en) Caching content addressable data chunks for storage virtualization
Liao et al. Multi-dimensional index on hadoop distributed file system
US9652405B1 (en) Persistence of page access heuristics in a memory centric architecture
CN105516313A (zh) 一种用于大数据的分布式存储***
US11061770B1 (en) Reconstruction of logical pages in a storage system
US9251003B1 (en) Database cache survivability across database failures
US9684686B1 (en) Database system recovery using non-volatile system memory
Fu et al. Performance optimization for managing massive numbers of small files in distributed file systems
US11625169B2 (en) Efficient token management in a storage system
US11334523B2 (en) Finding storage objects of a snapshot group pointing to a logical page in a logical address space of a storage system
CN106066890A (zh) 一种分布式高性能数据库一体机***
CN103595799A (zh) 一种实现分布式共享数据库的方法
Shankar et al. High-performance and resilient key-value store with online erasure coding for big data workloads
US11210230B2 (en) Cache retention for inline deduplication based on number of physical blocks with common fingerprints among multiple cache entries
US11232043B2 (en) Mapping virtual block addresses to portions of a logical address space that point to the virtual block addresses
Al Maruf et al. Memory disaggregation: advances and open challenges
Zhou et al. Hierarchical consistent hashing for heterogeneous object-based storage
US11366601B2 (en) Regulating storage device rebuild rate in a storage system
Xu et al. YuruBackup: a space-efficient and highly scalable incremental backup system in the cloud
Takatsu et al. PPFS: A scale-out distributed file system for post-petascale systems
Duan et al. Gengar: an RDMA-based distributed hybrid memory pool
Kaseb et al. Redundant independent files (RIF): a technique for reducing storage and resources in big data replication
US20210132801A1 (en) Optimized access to high-speed storage device
Keeton et al. Persistent Memory: a new tier or storage replacement
Chandrasekar et al. An exploration into object storage for exascale supercomputers

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160420

RJ01 Rejection of invention patent application after publication