CN105471989A - 一种数据存储方法 - Google Patents

一种数据存储方法 Download PDF

Info

Publication number
CN105471989A
CN105471989A CN201510817619.6A CN201510817619A CN105471989A CN 105471989 A CN105471989 A CN 105471989A CN 201510817619 A CN201510817619 A CN 201510817619A CN 105471989 A CN105471989 A CN 105471989A
Authority
CN
China
Prior art keywords
storage
configuration file
nfs
ganesha
storage method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201510817619.6A
Other languages
English (en)
Other versions
CN105471989B (zh
Inventor
黎忠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Eisoo Information Technology Co Ltd
Original Assignee
Shanghai Eisoo Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Eisoo Information Technology Co Ltd filed Critical Shanghai Eisoo Information Technology Co Ltd
Priority to CN201510817619.6A priority Critical patent/CN105471989B/zh
Publication of CN105471989A publication Critical patent/CN105471989A/zh
Application granted granted Critical
Publication of CN105471989B publication Critical patent/CN105471989B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
    • G06F16/183—Provision of network file services by network file servers, e.g. by using NFS, CIFS

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种数据存储方法，涉及一种数据存储***，数据存储***包括客户端、NFS-GANESHA和Ceph？RBD；数据存储方法包括以下步骤：S1、NFS-GANESHA服务端编写配置文件；S2、NFS-GANESHA解析配置文件，并挂载配置文件中的存储；S3、判断配置文件解析和存储的挂载是否同时成功；若否，则退出进程并提示错误；若是，则进入步骤S4；S4、挂载Ceph？RBD，并对Ceph？RBD执行数据读写操作。将存储和客服端连接起来，Ceph？RBD提供高性能存储，NFS-GANESHA提供高性能的文件共享功能，从而实现更高效的分布式存储。Ceph？RBD作为存储最为稳定，且RBD可以实现快照管理，如有文件误删，或其他问题，就可以手动恢复快照；并且运用Ceph？RBD存储VMware虚拟机可以实现分域保存，可根据虚机的重要与否，实现不同副本保存。

Description

一种数据存储方法
技术领域
本发明涉及分布式存储领域，特别是涉及一种数据存储方法。
背景技术
随着大数据时代的来临，越来越多的分布式***应运而生。而分布式存储是分布式***的最终要环节。大数据，云计算最终数据都是要保存下来，保存的最好办法就是分布式存储***，如现在的Ceph，gluster等是主流的分布式存储***。而把存储挂载给多个用户使用就是一个需要解决的问题。那么这就涉及到如何存，如何取的问题。分布式存储可以很好的保存数据，现在的分布式存储***都是带有多副本。这样使存储安全得到保证。
Ceph文件***具有高扩展性，高可靠性和高性能。RBD是Ceph对块设备的支持，它支持快照，克隆等操作。
互联网的发展使得数据创造的主体由企业逐渐转向个人用户，而个人所产生的绝大部分数据均为图片、文档、视频等非结构化数据；企业办公流程更多通过网络实现，表单、票据等都实现了以非结构化为主的数字化存档；同时，基于数据库应用的结构化数据仍然在企业中占据重要地位，存储大量的核心信息。
数据业务的急剧增加，传统单一的SAN存储方式已经不适应业务发展需要。SAN存储：成本高，不适合PB级大规模存储***。数据共享性不好，无法支持多用户文件共享。
数据的存放可以得到保障，数据的读取有该怎么办，如果面对多用户，如何做到数据的高可用。多用户访问同一块数据，这时网络就成为了瓶颈。文件的共享就是非常重要的。
NFS文件***是目前最为成功的网络文件***，在文件共享领域有着出色的表现，特别是NFS-GANESHA的出现，使得NFS文件***在性能和规模上有了大幅提升，为其带了更为广阔的应用空间。同时，NFS之所以备受关注，还在于它在NAS存储领域的关键作用。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种数据存储方法，用于解决现有技术中分布式存储效率低，数据和文件的共享性能不好的问题。
为实现上述目的及其他相关目的，本发明提供一种数据存储方法，涉及一种数据存储***，所述数据存储***包括客户端、用于支持NFS-GANESHA的第一服务器和用于支持CephRBD的第二服务器；所述数据存储方法包括以下步骤：S1、在所述第一服务器的NFS-GANESHA服务端编写配置文件；S2、所述NFS-GANESHA解析所述配置文件，并挂载所述配置文件中的存储；S3、判断所述配置文件中的存储是否合法和所述存储的挂载是否同时成功；若否，则退出进程并提示错误；若是，则进入步骤S4；S4、挂载所述CephRBD，并对所述CephRBD执行数据读写操作。
于本发明的一实施例中，所述步骤S1还包括步骤：S11、配置所述配置文件格式要求；S12、配置所述配置文件中需要有挂载的Cephpool。
于本发明的一实施例中，所述步骤S2还包括步骤：S21、加载所述程序；S22、通过预设指令查询存储信息。
于本发明的一实施例中，所述预设指令为showmount-elocalhost命令。
于本发明的一实施例中，所述S4还包括步骤：S41、运行mount-tnfs源目录挂载目录，挂载所述CephRBD；S42、读取所述配置文件中的权限配置；S43、根据所述权限进行数据的读写操作。
于本发明的一实施例中，所述步骤S43中还包括：S431、在所述程序中写入通用函数，S432、所述NFS-GANESHA调用所述通用函数；S433、根据所述权限限制进行数据的读写操作。
于本发明的一实施例中，所述步骤S4之后还包括步骤：S5、对所述CephRBD进行快照处理。
于本发明的一实施例中，所述步骤S5之后还包括步骤：S6、检测所述数据存储***是否发生故障。
于本发明的一实施例中，所述步骤S4还包括：所述CephRBD执行数据读写操作后，在有写权限的所述客户端生成的文件在所有客户端可读。
如上所述，本发明的数据存储方法，具有以下有益效果：将存储和客服端连接起来，CephRBD提供高性能存储，NFS-GANESHA提供高性能的文件共享功能，从而实现更高效的分布式存储。CephRBD作为存储最为稳定，且RBD可以实现快照管理，可根据用户需求可以添加快照和恢复快照；并且运用CephRBD存储VMware虚拟机可以实现分域保存，可根据虚机的重要与否，实现不同副本保存。
附图说明
图1显示为本发明数据存储***的一实施例中的模块方框示意图。
图2显示为本发明数据存储方法的一实施例中的流程方框示意图。
元件标号说明
10客户端
20第一服务器
30第二服务器
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
请参阅图1和2所示，图1显示为本发明数据存储***的一实施例中的模块方框示意图。图2显示为本发明数据存储方法的一实施例中的流程方框示意图。本发明提供了一种数据存储方法，如图2所示，且涉及如图1所示的一种数据存储***，所述数据存储***包括客户端、用于支持NFS-GANESHA的第一服务器20和用于支持CephRBD的第二服务器30；主要是将Ceph中的librbd接口提供给NFS-GANESHA调用。NFS-GANESHA比内核态NFS性能要好，所以本发明就是在这个项目中添加一个FSAL(FileSystemAbstractionLayer)，使NFS-GANESHA支持CephRBD。NFS-GANESHA有一个抽象层统一管理所有的后端存储，NFS可以同时支持多种存储，本发明是给NFS-GANESHA添加一种后备存储的方法。所述数据存储方法包括以下步骤：S1、在所述第一服务器10的NFS-GANESHA服务端编写相应配置文件；在本发明的一优选实施例中，所述步骤S1还包括步骤：S11、配置所述配置文件格式要求；S12、配置所述配置文件中需要有挂载的Cephpool。编译发明的代码，首先NFS-GANESHA服务器端要是Ceph集群节点，并通过程序执行模块把程序动态加载到NFS-GANESHA中。
S2、所述NFS-GANESHA解析所述配置文件，并挂载所述配置文件中的存储；在本发明的一优选实施例中，所示步骤S2还包括：S21、加载所述程序；S22、通过预设指令查询存储信息，即通过预设指令查询NFS-GANESHA的所有存储。其中，所述预设指令为showmount-elocalhost命令。编写支持CephRBD的NFS-GANESHA的配置文件，把要存储的CephRBD的配置到文件中，当NFS-GANESHA运行时会自动解析配置文件，并把配置文件中的存储挂载出来。模块加载成功后，就可以让NFS的客服端通过mount命令把这个存储挂载到相应的目录下。然后运用showmount-elocalhost命令查看需挂载的存储。
S3、判断所述配置文件解析和所述存储的挂载是否同时成功；若否，则退出进程并提示错误；若是，则进入步骤S4；
S4、挂载所述CephRBD，并对所述CephRBD执行数据读写操作。在本发明的一优选实施例中，所述S4还包括步骤：S41、运行mount-tnfs源目录挂载目录，挂载所述CephRBD；S42、读取所述配置文件中的权限配置；S43、根据所述权限进行数据的读写操作。进一步地，所述步骤S43中还包括：S431、在所述程序中写入通用函数，S432、所述NFS-GANESHA调用所述通用函数；S433、根据所述权限限制进行数据的读写操作。挂载成功后，就可以在任意一个NFS客服端上运行mount-tnfs源目录挂载目录，挂载这个RBD，并且可以在配置文件中对用户进行权限限制。
此外，为了防止出现故障或者其他问题，本发明数据存储方法还包括步骤：S5、对所述CephRBD进行快照处理。S5之后还包括步骤S6、检测所述数据存储***是否发生故障。
在上述步骤都完成后，通常在所述步骤S4中还包括：所述CephRBD执行数据读写操作后，在有写权限的所述客户端生成的文件在所有客户端可读。即如没出现任何问题，表示已成功挂载，在任意一个有写权限客户端生成的文件，其他客服端都可见。
综上所述，本发明将存储和客服端连接起来，CephRBD提供高性能存储，NFS-GANESHA提供高性能的文件共享功能，从而实现更高效的分布式存储。CephRBD作为存储最为稳定，且RBD可以实现快照管理；并且运用CephRBD存储VMware虚拟机可以实现分域保存，可根据虚机的重要与否，实现不同副本保存。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种数据存储方法，其特征在于，涉及一种数据存储***，所述数据存储***包括客户端、用于支持NFS-GANESHA的第一服务器和用于支持CephRBD的第二服务器；所述数据存储方法包括以下步骤：
S1、在所述第一服务器的NFS-GANESHA服务端编写配置文件；
S2、通过所述NFS-GANESHA解析所述配置文件，并挂载所述配置文件中的存储；
S3、判断所述配置文件解析和所述存储的挂载是否同时成功；若否，则退出进程并提示错误；若是，则进入步骤S4；
S4、挂载所述CephRBD，并对所述CephRBD执行数据读写操作。
2.根据权利要求1所述的数据存储方法，其特征在于，所述步骤S1还包括步骤：
S11、配置所述配置文件格式要求；
S12、配置所述配置文件中需要有挂载的Cephpool。
3.根据权利要求2所述的数据存储方法，其特征在于，所述步骤S2还包括步骤：
S21、加载所述程序；
S22、通过预设指令查询存储信息。
4.根据权利要求3所述的数据存储方法，其特征在于，所述预设指令为showmount-elocalhost命令。
5.根据权利要求1所述的数据存储方法，其特征在于，所述S4还包括步骤：
S41、运行mount-tnfs源目录挂载目录，挂载所述CephRBD；
S42、读取所述配置文件中的权限配置；
S43、根据所述权限进行数据的读写操作。
6.根据权利要求5所述的数据存储方法，其特征在于，所述步骤S43中还包括：
S431、在所述程序中写入通用函数，
S432、所述NFS-GANESHA调用所述通用函数；
S433、根据所述权限限制进行数据的读写操作。
7.根据权利要求1所述的数据存储方法，其特征在于，所述步骤S4之后还包括步骤：
S5、对所述CephRBD进行快照处理。
8.根据权利要求7所述的数据存储方法，其特征在于，所述步骤S5之后还包括步骤：
S6、检测所述数据存储***是否发生故障。
9.根据权利要求1-8任一项所述的数据存储方法，其特征在于，所述步骤S4还包括：所述CephRBD执行数据读写操作后，在有写权限的所述客户端生成的文件在所有客户端可读。
CN201510817619.6A 2015-11-23 2015-11-23 一种数据存储方法 Expired - Fee Related CN105471989B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510817619.6A CN105471989B (zh) 2015-11-23 2015-11-23 一种数据存储方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510817619.6A CN105471989B (zh) 2015-11-23 2015-11-23 一种数据存储方法

Publications (2)

Publication Number Publication Date
CN105471989A true CN105471989A (zh) 2016-04-06
CN105471989B CN105471989B (zh) 2018-11-02

Family

ID=55609252

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510817619.6A Expired - Fee Related CN105471989B (zh) 2015-11-23 2015-11-23 一种数据存储方法

Country Status (1)

Country Link
CN (1) CN105471989B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106445563A (zh) * 2016-11-24 2017-02-22 合肥中科云巢科技有限公司 操作***镜像制作方法和装置
CN107179929A (zh) * 2017-05-15 2017-09-19 郑州云海信息技术有限公司 一种write_same函数的优化实现方法及装置
CN107197022A (zh) * 2017-06-02 2017-09-22 华南理工大学 OpenStack存储优化方法及***
CN107609133A (zh) * 2017-09-18 2018-01-19 郑州云海信息技术有限公司 日志文件转存方法、装置、设备及其计算机可读存储介质
CN108132815A (zh) * 2017-12-25 2018-06-08 郑州云海信息技术有限公司 一种配置文件动态加载的方法、装置和存储介质
CN108646985A (zh) * 2018-05-16 2018-10-12 广东睿江云计算股份有限公司 一种Ceph分布式存储***的资源限制及分配方法
CN111125050A (zh) * 2019-12-26 2020-05-08 浪潮云信息技术有限公司 一种openstack环境下基于CephFS提供NFS协议的文件存储方法
CN111159105A (zh) * 2019-12-30 2020-05-15 浪潮云信息技术有限公司 一种基于manila共享模式下支持NFS协议并设置ACL的***及方法
CN111787113A (zh) * 2020-07-03 2020-10-16 北京大道云行科技有限公司 一种节点故障的处理方法、装置、存储介质和电子设备
CN112511578A (zh) * 2019-09-16 2021-03-16 大唐移动通信设备有限公司 数据存储方法及装置
CN112579549A (zh) * 2020-12-14 2021-03-30 浪潮云信息技术股份公司 CephFS文件协议共享***、构建方法及实现方法
CN112733189A (zh) * 2021-01-14 2021-04-30 浪潮云信息技术股份公司 一种实现文件存储服务端加密的***与方法
CN113342282A (zh) * 2021-06-28 2021-09-03 深圳市瑞驰信息技术有限公司 一种将安卓***数据备份迁移到rbd存储的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561101A (zh) * 2013-11-06 2014-02-05 中国联合网络通信集团有限公司 一种网络文件***
US20150160872A1 (en) * 2013-12-09 2015-06-11 Hsun-Yuan Chen Operation method of distributed memory disk cluster storage system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103561101A (zh) * 2013-11-06 2014-02-05 中国联合网络通信集团有限公司 一种网络文件***
US20150160872A1 (en) * 2013-12-09 2015-06-11 Hsun-Yuan Chen Operation method of distributed memory disk cluster storage system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
周江等: ""面向大数据分析的分布式文件***关键技术"", 《计算机研究与发展》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106445563A (zh) * 2016-11-24 2017-02-22 合肥中科云巢科技有限公司 操作***镜像制作方法和装置
CN107179929A (zh) * 2017-05-15 2017-09-19 郑州云海信息技术有限公司 一种write_same函数的优化实现方法及装置
CN107179929B (zh) * 2017-05-15 2020-02-07 苏州浪潮智能科技有限公司 一种write_same函数的优化实现方法及装置
CN107197022A (zh) * 2017-06-02 2017-09-22 华南理工大学 OpenStack存储优化方法及***
CN107197022B (zh) * 2017-06-02 2020-01-10 华南理工大学 OpenStack存储优化方法及***
CN107609133A (zh) * 2017-09-18 2018-01-19 郑州云海信息技术有限公司 日志文件转存方法、装置、设备及其计算机可读存储介质
CN108132815A (zh) * 2017-12-25 2018-06-08 郑州云海信息技术有限公司 一种配置文件动态加载的方法、装置和存储介质
CN108646985A (zh) * 2018-05-16 2018-10-12 广东睿江云计算股份有限公司 一种Ceph分布式存储***的资源限制及分配方法
CN112511578A (zh) * 2019-09-16 2021-03-16 大唐移动通信设备有限公司 数据存储方法及装置
CN112511578B (zh) * 2019-09-16 2022-06-24 大唐移动通信设备有限公司 数据存储方法及装置
CN111125050A (zh) * 2019-12-26 2020-05-08 浪潮云信息技术有限公司 一种openstack环境下基于CephFS提供NFS协议的文件存储方法
CN111125050B (zh) * 2019-12-26 2023-08-22 浪潮云信息技术股份公司 一种openstack环境下基于CephFS提供NFS协议的文件存储方法
CN111159105A (zh) * 2019-12-30 2020-05-15 浪潮云信息技术有限公司 一种基于manila共享模式下支持NFS协议并设置ACL的***及方法
CN111159105B (zh) * 2019-12-30 2023-11-28 浪潮云信息技术股份公司 一种基于manila共享模式下支持NFS协议并设置ACL的***及方法
CN111787113A (zh) * 2020-07-03 2020-10-16 北京大道云行科技有限公司 一种节点故障的处理方法、装置、存储介质和电子设备
CN111787113B (zh) * 2020-07-03 2021-09-03 北京大道云行科技有限公司 一种节点故障的处理方法、装置、存储介质和电子设备
CN112579549A (zh) * 2020-12-14 2021-03-30 浪潮云信息技术股份公司 CephFS文件协议共享***、构建方法及实现方法
CN112733189A (zh) * 2021-01-14 2021-04-30 浪潮云信息技术股份公司 一种实现文件存储服务端加密的***与方法
CN113342282A (zh) * 2021-06-28 2021-09-03 深圳市瑞驰信息技术有限公司 一种将安卓***数据备份迁移到rbd存储的方法

Also Published As

Publication number Publication date
CN105471989B (zh) 2018-11-02

Similar Documents

Publication Publication Date Title
CN105471989A (zh) 一种数据存储方法
US9251183B2 (en) Managing tenant-specific data sets in a multi-tenant environment
KR102025934B1 (ko) 분산형 시스템에서의 범위들의 분할 및 이동
US8775425B2 (en) Systems and methods for massive structured data management over cloud aware distributed file system
US9990225B2 (en) Relaxing transaction serializability with statement-based data replication
US10936423B2 (en) Enhanced application write performance
US9372880B2 (en) Reclamation of empty pages in database tables
US10671606B2 (en) Materialized query tables with shared data
US11308223B2 (en) Blockchain-based file handling
US10929246B2 (en) Backup capability for object store used as primary storage
US10152239B1 (en) Migration to a multi-tiered data store
US11151081B1 (en) Data tiering service with cold tier indexing
US20200026689A1 (en) Limited deduplication scope for distributed file systems
Chandra et al. A study on cloud database
WO2015102033A1 (en) Building an undo log for in-memory blocks of data
US10127270B1 (en) Transaction processing using a key-value store
US10346422B2 (en) Use of proxy objects for integration between a content management system and a case management system
US9229659B2 (en) Identifying and accessing reference data in an in-memory data grid
US11630856B2 (en) Handling of Point of Interest (POI) data content
US11531642B2 (en) Synchronous object placement for information lifecycle management
US11042665B2 (en) Data connectors in large scale processing clusters
Fehling et al. Composite cloud application patterns
US20200327147A1 (en) Record replication for multi-column partitioning on distributed database systems
WO2021021284A1 (en) System and method for exporting logical object metadata

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20181102

Termination date: 20191123