CN106610979A - 一种分步式电子文件管理*** - Google Patents
一种分步式电子文件管理*** Download PDFInfo
- Publication number
- CN106610979A CN106610979A CN201510690489.4A CN201510690489A CN106610979A CN 106610979 A CN106610979 A CN 106610979A CN 201510690489 A CN201510690489 A CN 201510690489A CN 106610979 A CN106610979 A CN 106610979A
- Authority
- CN
- China
- Prior art keywords
- data
- nodes
- management system
- electronic document
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
近年来,云计算技术发展迅速。云计算***运行的核心是分布式操作***,而文件管理***作为操作***的核心则显得更加重要。由此,一个高效的云计算***的核心,需要有一个高效的分布式文件管理***。本发明提出了一种基于Windows的分布式电子文件管理***的构建方案。
Description
技术领域
本发明涉及信息数据管理技术领域,特别是指一种分步式电子文件管理***。
背景技术
近年来,云计算技术发展迅速。云计算***运行的核心是分布式操作***,而文件管理***作为操作***的核心则显得更加重要。由此,一个高效的云计算***的核心,需要有一个高效的分布式文件管理***。本发明提出了一种分布式电子文件管理***的构建方案。
发明内容
本发明要解决的技术问题是提供一种分步式电子文件管理***。为解决上述技术问题,本发明的一种分步式电子文件管理***,包括如下组成部分:
文件名结点:由Name节点和Data节点组成,其中Name节点用于管理目录树和元数据管理,对外提供统一命名空间供客户端访问,Data节点承担数据存取,定期向名字节点发送数据信息,并处理名字节点下发的任务;
元数据管理模块:管理整个文件***的命名空间、所有文件以及目录的元数据,这些数据统一存储于节点的本地磁盘中,在***运行时,Name节点会首先加载这两个文件从而构建出一个完整的文件树;
文件块管理模块:管理并保存每个文件的数据块分布状况,这些信息主要是在Name节点启动后由Data节点汇总而成;
故障管理模块:通过定期接收Data节点的各项数据来监测节点的可用性,以确保节点失效后仍能够保证数据的可用性。
交互管理模块:Name节点通过TCP/IP协议,对外与客户端通过特定的通信协议进行交互;
数据组织管理模块:将一个文件分割成一个或多个数据块,这些数据块被编号后,由Name节点保存,包括文件名、被分割的块数、每块的副本数量、每个数据块存放位置、其副本存放位置等信息。
由此完成分步式电子文件管理***的建立。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚,下面将对具体实施例进行详细描述。
实施方案
1
本发明的一种分步式电子文件管理***,包括如下组成部分:
文件名结点:由Name节点和Data节点组成,其中Name节点用于管理目录树和元数据管理,对外提供统一命名空间供客户端访问,Data节点承担数据存取,定期向名字节点发送心跳数据包、数据块列表,并处理名字节点下发的任务;
元数据管理模块:管理整个文件***的命名空间、所有文件以及目录的元数据,这些数据统一存储于节点的本地磁盘中,在***运行时,Name节点会首先加载这两个文件从而构建出一个完整的文件树;
文件块管理模块:管理并保存每个文件的数据块分布状况,这些信息主要是在Name节点启动后由Data节点汇总而成;
故障管理模块:通过定期接收Data节点的各项数据来监测节点的可用性,以确保节点失效后仍能够保证数据的可用性。
交互管理模块:Name节点通过TCP/IP协议,对外与客户端通过特定的通信协议进行交互;
数据组织管理模块:将一个文件分割成一个或多个数据块,这些数据块被编号后,由Name节点保存,包括文件名、被分割的块数、每块的副本数量、每个数据块存放位置、其副本存放位置等信息。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明所述原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。
Claims (6)
1.一种分步式电子文件管理***,包括如下组成部分:
文件名结点:由Name节点和Data节点组成,其中Name节点用于管理目录树和元数据管理,对外提供统一命名空间供客户端访问,Data节点承担数据存取,定期向名字节点发送数据信息,并处理名字节点下发的任务;
元数据管理模块:管理整个文件***的命名空间、所有文件以及目录的元数据,这些数据统一存储于节点的本地磁盘中,在***运行时,Name节点会首先加载这两个文件从而构建出一个完整的文件树;
文件块管理模块:管理并保存每个文件的数据块分布状况,这些信息主要是在Name节点启动后由Data节点汇总而成;
故障管理模块:通过定期接收Data节点的各项数据来监测节点的可用性,以确保节点失效后仍能够保证数据的可用性;
交互管理模块:Name节点通过TCP/IP协议,对外与客户端通过特定的通信协议进行交互;
数据组织管理模块:将一个文件分割成一个或多个数据块,这些数据块被编号后,由Name节点保存,包括文件名、被分割的块数、每块的副本数量、每个数据块存放位置、其副本存放位置等信息。
2.根据权利要求1所述的一种分步式电子文件管理***,其特征于:主要运用在分布式计算环境中。
3.根据权利要求1所述的一种分步式电子文件管理***,其特征在于,所述数据信息,包括心跳数据包和数据块列表。
4.根据权利要求1所述的一种分步式电子文件管理***,其特征在于,所述网络通信协议,为ClientProtocal协议。
5.根据权利要求2所述的一种分步式电子文件管理***,其特征在于所述文件结构为Windows文件结构。
6.根据权利要求2所述的一种分步式电子文件管理***,其特征在于,每个节点需对外开启RPC服务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510690489.4A CN106610979A (zh) | 2015-10-23 | 2015-10-23 | 一种分步式电子文件管理*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510690489.4A CN106610979A (zh) | 2015-10-23 | 2015-10-23 | 一种分步式电子文件管理*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106610979A true CN106610979A (zh) | 2017-05-03 |
Family
ID=58611676
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510690489.4A Pending CN106610979A (zh) | 2015-10-23 | 2015-10-23 | 一种分步式电子文件管理*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106610979A (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102073739A (zh) * | 2011-01-25 | 2011-05-25 | 中国科学院计算技术研究所 | 带有快照功能的分布式文件***中的数据读与数据写方法 |
CN102136003A (zh) * | 2011-03-25 | 2011-07-27 | 上海交通大学 | 大规模分布式存储*** |
-
2015
- 2015-10-23 CN CN201510690489.4A patent/CN106610979A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102073739A (zh) * | 2011-01-25 | 2011-05-25 | 中国科学院计算技术研究所 | 带有快照功能的分布式文件***中的数据读与数据写方法 |
CN102136003A (zh) * | 2011-03-25 | 2011-07-27 | 上海交通大学 | 大规模分布式存储*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102693324B (zh) | 一种分布式数据库同步***、同步方法和节点管理方法 | |
CN105025053A (zh) | 基于云存储技术的分布式文件的上传方法及其*** | |
CN104539659B (zh) | 基于nas存储的多用户文件交换共享方法和装置 | |
US20110125814A1 (en) | Relational objects for the optimized management of fixed-content storage systems | |
CN102411637A (zh) | 分布式文件***的元数据管理方法 | |
CN104506632A (zh) | 一种基于分布式多中心的资源共享***及方法 | |
CN109194711B (zh) | 一种组织架构的同步方法、客户端、服务端及介质 | |
EP2429120A1 (en) | Distributed network management system, network element management server, and data configuration management method | |
CN104391930A (zh) | 分布式文件存储装置和方法 | |
CN104050248B (zh) | 一种文件存储***及存储方法 | |
CN102196049B (zh) | 适用于存储云内数据安全迁移的方法 | |
CN107888666B (zh) | 一种跨地域数据存储***以及数据同步方法和装置 | |
CN102855239A (zh) | 一种分布式地理文件*** | |
CN107734026A (zh) | 一种网络附加存储集群的设计方法、装置及设备 | |
CN102122306A (zh) | 一种数据处理方法及应用该方法的分布式文件*** | |
CN107800808A (zh) | 一种基于Hadoop架构的数据存储*** | |
CN105868333A (zh) | 文件处理方法及装置 | |
CN102833580A (zh) | 基于infiniband的高清视频应用***及方法 | |
CN105205402A (zh) | 一种基于隐私集群元数据分离的云存储隐私保护方法 | |
CN111050188B (zh) | 一种数据流调度方法、***、设备及介质 | |
CN105828017A (zh) | 一种面向视频会议的云存储接入***及方法 | |
CN103036952A (zh) | 一种企业级异构融合存储管理*** | |
CN102932443A (zh) | 基于hdfs集群的分布式云存储*** | |
CN104199919A (zh) | 一种实现超大规模数据实时读取的方法 | |
CN106790027B (zh) | Hdfs文件***的多租户网盘权限管理方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20170503 |
|
WD01 | Invention patent application deemed withdrawn after publication |