CN106610979A - 一种分步式电子文件管理*** - Google Patents

一种分步式电子文件管理*** Download PDF

Info

Publication number
CN106610979A
CN106610979A CN201510690489.4A CN201510690489A CN106610979A CN 106610979 A CN106610979 A CN 106610979A CN 201510690489 A CN201510690489 A CN 201510690489A CN 106610979 A CN106610979 A CN 106610979A
Authority
CN
China
Prior art keywords
data
nodes
management system
electronic document
file
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510690489.4A
Other languages
English (en)
Inventor
不公告发明人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhenjiang Yction Software Co Ltd
Original Assignee
Zhenjiang Yction Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhenjiang Yction Software Co Ltd filed Critical Zhenjiang Yction Software Co Ltd
Priority to CN201510690489.4A priority Critical patent/CN106610979A/zh
Publication of CN106610979A publication Critical patent/CN106610979A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

近年来，云计算技术发展迅速。云计算***运行的核心是分布式操作***，而文件管理***作为操作***的核心则显得更加重要。由此，一个高效的云计算***的核心，需要有一个高效的分布式文件管理***。本发明提出了一种基于Windows的分布式电子文件管理***的构建方案。

Description

一种分步式电子文件管理***
技术领域
本发明涉及信息数据管理技术领域，特别是指一种分步式电子文件管理***。
背景技术
近年来，云计算技术发展迅速。云计算***运行的核心是分布式操作***，而文件管理***作为操作***的核心则显得更加重要。由此，一个高效的云计算***的核心，需要有一个高效的分布式文件管理***。本发明提出了一种分布式电子文件管理***的构建方案。
发明内容
本发明要解决的技术问题是提供一种分步式电子文件管理***。为解决上述技术问题，本发明的一种分步式电子文件管理***，包括如下组成部分：
文件名结点：由Name节点和Data节点组成，其中Name节点用于管理目录树和元数据管理，对外提供统一命名空间供客户端访问，Data节点承担数据存取，定期向名字节点发送数据信息，并处理名字节点下发的任务；
元数据管理模块：管理整个文件***的命名空间、所有文件以及目录的元数据，这些数据统一存储于节点的本地磁盘中，在***运行时，Name节点会首先加载这两个文件从而构建出一个完整的文件树；
文件块管理模块：管理并保存每个文件的数据块分布状况，这些信息主要是在Name节点启动后由Data节点汇总而成；
故障管理模块：通过定期接收Data节点的各项数据来监测节点的可用性，以确保节点失效后仍能够保证数据的可用性。
交互管理模块：Name节点通过TCP/IP协议，对外与客户端通过特定的通信协议进行交互；
数据组织管理模块：将一个文件分割成一个或多个数据块，这些数据块被编号后，由Name节点保存，包括文件名、被分割的块数、每块的副本数量、每个数据块存放位置、其副本存放位置等信息。
由此完成分步式电子文件管理***的建立。
具体实施方式
为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将对具体实施例进行详细描述。
实施方案 1
本发明的一种分步式电子文件管理***，包括如下组成部分：
文件名结点：由Name节点和Data节点组成，其中Name节点用于管理目录树和元数据管理，对外提供统一命名空间供客户端访问，Data节点承担数据存取，定期向名字节点发送心跳数据包、数据块列表，并处理名字节点下发的任务；
元数据管理模块：管理整个文件***的命名空间、所有文件以及目录的元数据，这些数据统一存储于节点的本地磁盘中，在***运行时，Name节点会首先加载这两个文件从而构建出一个完整的文件树；
文件块管理模块：管理并保存每个文件的数据块分布状况，这些信息主要是在Name节点启动后由Data节点汇总而成；
故障管理模块：通过定期接收Data节点的各项数据来监测节点的可用性，以确保节点失效后仍能够保证数据的可用性。
交互管理模块：Name节点通过TCP/IP协议，对外与客户端通过特定的通信协议进行交互；
数据组织管理模块：将一个文件分割成一个或多个数据块，这些数据块被编号后，由Name节点保存，包括文件名、被分割的块数、每块的副本数量、每个数据块存放位置、其副本存放位置等信息。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.一种分步式电子文件管理***，包括如下组成部分：
文件名结点：由Name节点和Data节点组成，其中Name节点用于管理目录树和元数据管理，对外提供统一命名空间供客户端访问，Data节点承担数据存取，定期向名字节点发送数据信息，并处理名字节点下发的任务；
元数据管理模块：管理整个文件***的命名空间、所有文件以及目录的元数据，这些数据统一存储于节点的本地磁盘中，在***运行时，Name节点会首先加载这两个文件从而构建出一个完整的文件树；
文件块管理模块：管理并保存每个文件的数据块分布状况，这些信息主要是在Name节点启动后由Data节点汇总而成；
故障管理模块：通过定期接收Data节点的各项数据来监测节点的可用性，以确保节点失效后仍能够保证数据的可用性；
交互管理模块：Name节点通过TCP/IP协议，对外与客户端通过特定的通信协议进行交互；
数据组织管理模块：将一个文件分割成一个或多个数据块，这些数据块被编号后，由Name节点保存，包括文件名、被分割的块数、每块的副本数量、每个数据块存放位置、其副本存放位置等信息。
2.根据权利要求1所述的一种分步式电子文件管理***，其特征于：主要运用在分布式计算环境中。
3.根据权利要求1所述的一种分步式电子文件管理***，其特征在于，所述数据信息，包括心跳数据包和数据块列表。
4.根据权利要求1所述的一种分步式电子文件管理***，其特征在于，所述网络通信协议，为ClientProtocal协议。
5.根据权利要求2所述的一种分步式电子文件管理***，其特征在于所述文件结构为Windows文件结构。
6.根据权利要求2所述的一种分步式电子文件管理***，其特征在于，每个节点需对外开启RPC服务。
CN201510690489.4A 2015-10-23 2015-10-23 一种分步式电子文件管理*** Pending CN106610979A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510690489.4A CN106610979A (zh) 2015-10-23 2015-10-23 一种分步式电子文件管理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510690489.4A CN106610979A (zh) 2015-10-23 2015-10-23 一种分步式电子文件管理***

Publications (1)

Publication Number Publication Date
CN106610979A true CN106610979A (zh) 2017-05-03

Family

ID=58611676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510690489.4A Pending CN106610979A (zh) 2015-10-23 2015-10-23 一种分步式电子文件管理***

Country Status (1)

Country Link
CN (1) CN106610979A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073739A (zh) * 2011-01-25 2011-05-25 中国科学院计算技术研究所 带有快照功能的分布式文件***中的数据读与数据写方法
CN102136003A (zh) * 2011-03-25 2011-07-27 上海交通大学 大规模分布式存储***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102073739A (zh) * 2011-01-25 2011-05-25 中国科学院计算技术研究所 带有快照功能的分布式文件***中的数据读与数据写方法
CN102136003A (zh) * 2011-03-25 2011-07-27 上海交通大学 大规模分布式存储***

Similar Documents

Publication Publication Date Title
CN102693324B (zh) 一种分布式数据库同步***、同步方法和节点管理方法
CN105025053A (zh) 基于云存储技术的分布式文件的上传方法及其***
CN104539659B (zh) 基于nas存储的多用户文件交换共享方法和装置
US20110125814A1 (en) Relational objects for the optimized management of fixed-content storage systems
CN102411637A (zh) 分布式文件***的元数据管理方法
CN104506632A (zh) 一种基于分布式多中心的资源共享***及方法
CN109194711B (zh) 一种组织架构的同步方法、客户端、服务端及介质
EP2429120A1 (en) Distributed network management system, network element management server, and data configuration management method
CN104391930A (zh) 分布式文件存储装置和方法
CN104050248B (zh) 一种文件存储***及存储方法
CN102196049B (zh) 适用于存储云内数据安全迁移的方法
CN107888666B (zh) 一种跨地域数据存储***以及数据同步方法和装置
CN102855239A (zh) 一种分布式地理文件***
CN107734026A (zh) 一种网络附加存储集群的设计方法、装置及设备
CN102122306A (zh) 一种数据处理方法及应用该方法的分布式文件***
CN107800808A (zh) 一种基于Hadoop架构的数据存储***
CN105868333A (zh) 文件处理方法及装置
CN102833580A (zh) 基于infiniband的高清视频应用***及方法
CN105205402A (zh) 一种基于隐私集群元数据分离的云存储隐私保护方法
CN111050188B (zh) 一种数据流调度方法、***、设备及介质
CN105828017A (zh) 一种面向视频会议的云存储接入***及方法
CN103036952A (zh) 一种企业级异构融合存储管理***
CN102932443A (zh) 基于hdfs集群的分布式云存储***
CN104199919A (zh) 一种实现超大规模数据实时读取的方法
CN106790027B (zh) Hdfs文件***的多租户网盘权限管理方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20170503

WD01 Invention patent application deemed withdrawn after publication