CN106649601A - 一种文件***数据处理方法、客户端、服务端及*** - Google Patents

一种文件***数据处理方法、客户端、服务端及*** Download PDF

Info

Publication number
CN106649601A
CN106649601A CN201611059132.7A CN201611059132A CN106649601A CN 106649601 A CN106649601 A CN 106649601A CN 201611059132 A CN201611059132 A CN 201611059132A CN 106649601 A CN106649601 A CN 106649601A
Authority
CN
China
Prior art keywords
client
structure information
metadata node
service end
catalog structure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611059132.7A
Other languages
English (en)
Inventor
程瑶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201611059132.7A priority Critical patent/CN106649601A/zh
Publication of CN106649601A publication Critical patent/CN106649601A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/14—Details of searching files based on file metadata
    • G06F16/148—File search processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/13—File access structures, e.g. distributed indices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明公开了一种文件***数据处理方法，包括：根据存储的服务端构造的目录结构信息，确定消息请求所属的目标元数据节点；向所述目标元数据节点发送所述消息请求；接收所述目标元数据节点提供的响应信息；该方法中客户端可以直接向目录树根所属的元数据节点(即消息请求所属的目标元数据节点)发送请求，则客户端和服务端只会交互一次，进而提升整个文件***的性能；即可以在现有元数据集群目录结构下，通过减少不必要的元数据请求交互，减小***压力，达到提升文件***性能的目的。本发明还公开了一种文件***数据处理***、服务端和客户端，具有上述有益效果。

Description

一种文件***数据处理方法、客户端、服务端及***
技术领域
本发明涉及通信技术领域，特别涉及一种文件***数据处理方法、客户端、服务端及***。
背景技术
现有文件***主要分为两大部分：元数据管理、数据管理。其中，元数据的请求占文件***所有请求的50％以上，所以提升元数据的请求的处理性能，可以有效提升整个文件***的性能。
在多个元数据节点的***里，每个元数据节点都有自己负责的目录结构。以两个元数据节点(0号元数据节点和1号元数据节点)构成的元数据集群为例，目录结构图参见附图1。文件***的根目录及目录树根目录B所属的是0号元数据节点，目录树根目录A所属的是1号元数据节点。在现有情况下，对于1号元数据节点负责的目录树根，即目录A来说：涉及到目录A的请求，客户端都会先把请求发给0号元数据节点进行查找。0号元数据节点通过判断发现目录A已不是自己负责的目录，会给客户端回执告知应该是1号元数据节点进行请求处理。客户端再把请求发给1号元数据节点。1号元数据节点提供正确的响应。此流程示意图参见附图2，此交互示意图参见附图3(其中X号元数据节点意为非0号元数据节点)。
通过图1至图3可以清楚地看到涉及到访问非0号元数据节点的目录树根的操作时，服务端0号元数据节点实际承担转发请求的责任，其节点压力相对较大；对于客户端来说，同一个请求消息要和元数据节点通信两次，这会大大影响整个集群性能。因此，如何优化客户端与服务端进行交互时的效率，是本领域技术人员需要解决的技术问题。
发明内容
本发明的目的是提供一种文件***数据处理方法、客户端、服务端及***，可以在现有元数据集群目录结构下，通过减少不必要的元数据请求交互，减小***压力，达到提升文件***性能的目的。
为解决上述技术问题，本发明提供一种文件***数据处理方法，包括：
根据存储的服务端构造的目录结构信息，确定消息请求所属的目标元数据节点；
向所述目标元数据节点发送所述消息请求；
接收所述目标元数据节点提供的响应信息。
可选的，存储服务端构造的目录结构信息，包括：
在第一次与所述服务端建立链接时，接收所述服务端发送的目录结构信息。
可选的，该方法还包括：
接收到所述服务端发送的目录结构信息更新指令时，更新所述目录结构信息。
本发明还提供一种客户端，包括：
目标元数据节点确定模块，用于根据存储的服务端构造的目录结构信息，确定消息请求所属的目标元数据节点；
消息请求发送模块，用于向所述目标元数据节点发送所述消息请求；
响应信息接收模块，用于接收所述目标元数据节点提供的响应信息。
可选的，该客户端还包括：
目录结构信息接收模块，用于在第一次与所述服务端建立链接时，接收所述服务端发送的目录结构信息。
可选的，该客户端还包括：
目录结构信息更新模块，用于接收到所述服务端发送的目录结构信息更新指令时，更新所述目录结构信息。
本发明还提供一种文件***数据处理方法，包括：
向客户端发送构造的目录结构信息，使所述客户端根据所述目录结构信息，确定消息请求所属的目标元数据节点；
接收所述客户端向所述目标元数据节点发送的所述消息请求；
向所述客户端发送所述目标元数据节点根据所述消息请求提供的响应信息。
可选的，该方法还包括：
当目录结构信息更新时，向所述客户端发送目录结构信息更新指令，使所述客户端根据所述更新指令更新所述目录结构信息。
本发明还提供一种服务端，包括：
目标元数据节点发送模块，用于向客户端发送构造的目录结构信息，使所述客户端根据所述目录结构信息，确定消息请求所属的目标元数据节点；
元数据节点，用于接收所述客户端发送的所述消息请求，并向所述客户端发送根据所述消息请求提供的响应信息。
本发明还提供一种文件***数据处理***，包括：如上述任一项所述的客户端和如上述所述的服务端。
本发明所提供的一种文件***数据处理方法，包括：根据存储的服务端构造的目录结构信息，确定消息请求所属的目标元数据节点；向所述目标元数据节点发送所述消息请求；接收所述目标元数据节点提供的响应信息；
可见，该方法中客户端可以直接向目录树根所属的元数据节点(即消息请求所属的目标元数据节点)发送请求，则客户端和服务端只会交互一次，进而提升整个文件***的性能；即可以在现有元数据集群目录结构下，通过减少不必要的元数据请求交互，减小***压力，达到提升文件***性能的目的。本发明还提供了一种文件***数据处理***、服务端和客户端，具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为两个元数据节点构成的元数据集群的目录结构示意图；
图2为现有技术中客户端发送请求时选择元数据节点和服务端提供响应的流程示意图；
图3为现有技术中对目录树根操作的客户端与服务端交互示意图；
图4为本发明实施例提的一种文件***数据处理方法的流程图；
图5为本发明实施例提的文件***数据处理方法的交互示意图；
图6为本发明实施例提的文件***数据处理方法的交互的流程示意图；
图7为本发明实施例提的客户端的结构框图；
图8为本发明实施例提的另一文件***数据处理方法的流程图；
图9为本发明实施例提的服务端的结构框图；
图10为本发明实施例提的文件***数据处理***的结构框图。
具体实施方式
本发明的核心是提供一种文件***数据处理方法、客户端、服务端及***，可以在现有元数据集群目录结构下，通过减少不必要的元数据请求交互，减小***压力，达到提升文件***性能的目的。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图4，图4为本发明实施例提的文件***数据处理方法的流程图；该方法可以包括：
S100、根据存储的服务端构造的目录结构信息，确定消息请求所属的目标元数据节点；
S110、向所述目标元数据节点发送所述消息请求；
S120、接收所述目标元数据节点提供的响应信息。
具体的，本实施例中目录结构信息包含各个元数据节点对应的目录树根信息。因此，当客户端需要进行消息请求时，可以根据消息请求对应的目录树根，查找目录结构信息确定消息请求所属的目标元数据节点。即客户端在目录树根下进行IO操作，根据目录结构信息准确获取目录树根所属的目标元数据节点。
这里的元数据节点数量至少为两个即元数据集群，两个及以上数量的元数据节点即构成元数据集群。本实施例并不限定元数据节点的数量。
本实施例中当客户端需要对目录树根操作时，首先通过查找目录结构信息，确定该目录树根操作所属的元数据节点即目标元数据节点。直接向目标元数据节点发送消息请求。可以省去文件***根目录所属的元数据节点承担转发请求的责任，即减小了该节点的数据压力，又减少了服务端和客户端数据一次目录树根操作的交互次数。即客户端直接向目录树根所属的目标元数据节点发送请求，并接收该目标元数据节点返回的响应信息；即客户端和服务端只会交互一次，进而提升整个文件***的性能。文件***数据处理方法的交互示意图参见附图5。其中，图5中的X号元数据节点即为客户端根据目录结构信息确定的目标元数据节点。
本实施例适用于可以支持多个元数据节点的文件***，这里的文件***可以是云存储***、分布式文件***等。本实施例并不对文件***的形式进行限定。适用于支持元数据集群的各类文件***。
进一步由于客户端存储的服务端构造的目录结构信息，因此可以减少数据交互次数，提升文件***性能。因此客户端需要接收服务端构造的目录结构信息。为了提高目录结构信息的利用率，优选的，在客户端第一次与所述服务端建立链接时，接收所述服务端发送的目录结构信息。这样从客户端进入该文件***时就可以采用本实施例中的方式进行数据处理。或者是当服务端完成目录结构信息的构造时，就进行目录结构信息的同步。即在元数据集群构造目录结构时，与服务端链接的客户端同步保存构造的目录结构信息。如果目录结构信息已完成建立，新加入的客户端会在与服务端建立链接的过程中，获取到目录结构信息。
请参考图6，举例说明该文件***数据处理过程：
客户端在目录树根下进行IO操作，若IO操作中存在涉及目录树根的消息请求时，准确获取目录树根(即目录)所属的元数据节点(即目标元数据节点)，向目录所属元数据节点发送请求，所属元数据节点给客户端提供响应。
基于上述技术方案，本发明实施例提的文件***数据处理方法，能够在现有元数据集群目录结构下，通过减少不必要的元数据请求交互，减小***压力，达到提升文件***性能的目的。
由于目录结构信息的准确性直接影响到后续服务端和客户端数据交互的准确性。该目录结构信息在服务端并不是一成不变的，会根据文件***的变化发生对应改变。例如当文件***增加元数据节点或者删除元数据节点时，该***对应的目录结构信息就会发生改变。因此为了保证该实施例进行数据处理的准确性和可靠性，需要在服务端的目录结构信息发生变化时，及时使其对应的或者与服务端建立链接关系的客户端更新目录结构信息。具体更新操作可以是根据更新指令更新所述目录结构信息；或者建立数据同步关系，当服务端目录结构信息发生变化同步的客户端对应改变。本实施例并不限定具体的更新过程。基于上述实施例，该方法还可以包括：接收到所述服务端发送的目录结构信息更新指令时，更新所述目录结构信息。
具体的，当服务端更新目录结构信息时，即向客户端发送目录结构信息更新指令，客户端根据更新指令更新所述目录结构信息。这里更新指令可以仅仅为一个触发指令，也可以是更新指令中包含有目录结构信息中变化部分的内容。因此，本实施例并不对更新指令的内容进行限定。
基于上述技术方案，本发明实施例提的文件***数据处理方法，该方法通过客户端准确查找目录或文件所属元数据节点，使客户端与服务端所属的元数据节点进行准确交互，不但减轻0号元数据节点(承担转发请求的责任的元数据节点)的压力，而且减少服务端和客户端消息通信次数，有效提升文件***性能。
下面对本发明实施例提供的文件***数据处理客户端、服务端及***进行介绍，下文描述的文件***数据处理客户端、服务端及***与上文描述的文件***数据处理方法可相互对应参照。
请参考图7，图7为本发明实施例提的客户端的结构框图；该客户端可以包括：
目标元数据节点确定模块101，用于根据存储的服务端构造的目录结构信息，确定消息请求所属的目标元数据节点；
消息请求发送模块102，用于向所述目标元数据节点发送所述消息请求；
响应信息接收模块103，用于接收所述目标元数据节点提供的响应信息。
基于上述实施例，该客户端还可以包括：
目录结构信息接收模块，用于在第一次与所述服务端建立链接时，接收所述服务端发送的目录结构信息。
基于上述任意实施例，该客户端还可以包括：
目录结构信息更新模块，用于接收到所述服务端发送的目录结构信息更新指令时，更新所述目录结构信息。
请参考图8，图8为本发明实施例提的另一文件***数据处理方法的流程图；该方法可以包括：
S200、向客户端发送构造的目录结构信息，使所述客户端根据所述目录结构信息，确定消息请求所属的目标元数据节点；
S210、接收所述客户端向所述目标元数据节点发送的所述消息请求；
S220、向所述客户端发送所述目标元数据节点根据所述消息请求提供的响应信息。
基于上述实施例，该方法还可以包括：
当目录结构信息更新时，向所述客户端发送目录结构信息更新指令，使所述客户端根据所述更新指令更新所述目录结构信息。
请参考图9，图9为本发明实施例提的服务端的结构框图；该服务端可以包括：
目标元数据节点发送模块201，用于向客户端发送构造的目录结构信息，使所述客户端根据所述目录结构信息，确定消息请求所属的目标元数据节点；
元数据节点202，用于接收所述客户端发送的所述消息请求，并向所述客户端发送根据所述消息请求提供的响应信息。
基于上述实施例，该服务端还可以包括：
更新指令发送模块，用于当目录结构信息更新时，向所述客户端发送目录结构信息更新指令，使所述客户端根据所述更新指令更新所述目录结构信息。
请参考图10，图10为本发明实施例提的文件***数据处理***的结构框图；该***可以包括：如上述任意实施例所述的客户端100和如上述任意实施例所述的服务端200。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的***而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以计算机软件或者计算机软硬件的结合来实现。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
以上对本发明所提供的文件***数据处理方法、客户端、服务端及***进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (10)

1.一种文件***数据处理方法，其特征在于，包括：
根据存储的服务端构造的目录结构信息，确定消息请求所属的目标元数据节点；
向所述目标元数据节点发送所述消息请求；
接收所述目标元数据节点提供的响应信息。
2.根据权利要求1所述的文件***数据处理方法，其特征在于，存储服务端构造的目录结构信息，包括：
在第一次与所述服务端建立链接时，接收所述服务端发送的目录结构信息。
3.根据权利要求1或2所述的文件***数据处理方法，其特征在于，还包括：
接收到所述服务端发送的目录结构信息更新指令时，更新所述目录结构信息。
4.一种客户端，其特征在于，包括：
目标元数据节点确定模块，用于根据存储的服务端构造的目录结构信息，确定消息请求所属的目标元数据节点；
消息请求发送模块，用于向所述目标元数据节点发送所述消息请求；
响应信息接收模块，用于接收所述目标元数据节点提供的响应信息。
5.根据权利要求4所述的客户端，其特征在于，还包括：
目录结构信息接收模块，用于在第一次与所述服务端建立链接时，接收所述服务端发送的目录结构信息。
6.根据权利要求1或2所述的客户端，其特征在于，还包括：
目录结构信息更新模块，用于接收到所述服务端发送的目录结构信息更新指令时，更新所述目录结构信息。
7.一种文件***数据处理方法，其特征在于，包括：
向客户端发送构造的目录结构信息，使所述客户端根据所述目录结构信息，确定消息请求所属的目标元数据节点；
接收所述客户端向所述目标元数据节点发送的所述消息请求；
向所述客户端发送所述目标元数据节点根据所述消息请求提供的响应信息。
8.根据权利要求7所述的文件***数据处理方法，其特征在于，还包括：
当目录结构信息更新时，向所述客户端发送目录结构信息更新指令，使所述客户端根据所述更新指令更新所述目录结构信息。
9.一种服务端，其特征在于，包括：
目标元数据节点发送模块，用于向客户端发送构造的目录结构信息，使所述客户端根据所述目录结构信息，确定消息请求所属的目标元数据节点；
元数据节点，用于接收所述客户端发送的所述消息请求，并向所述客户端发送根据所述消息请求提供的响应信息。
10.一种文件***数据处理***，其特征在于，包括：如权利要求4-6任一项所述的客户端和如权利要求9所述的服务端。
CN201611059132.7A 2016-11-24 2016-11-24 一种文件***数据处理方法、客户端、服务端及*** Pending CN106649601A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611059132.7A CN106649601A (zh) 2016-11-24 2016-11-24 一种文件***数据处理方法、客户端、服务端及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611059132.7A CN106649601A (zh) 2016-11-24 2016-11-24 一种文件***数据处理方法、客户端、服务端及***

Publications (1)

Publication Number Publication Date
CN106649601A true CN106649601A (zh) 2017-05-10

Family

ID=58812079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611059132.7A Pending CN106649601A (zh) 2016-11-24 2016-11-24 一种文件***数据处理方法、客户端、服务端及***

Country Status (1)

Country Link
CN (1) CN106649601A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107562503A (zh) * 2017-09-07 2018-01-09 郑州云海信息技术有限公司 一种配置管理方法及装置
WO2020186549A1 (zh) * 2019-03-15 2020-09-24 中山大学 一种元数据管理方法、***及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100241764A1 (en) * 2007-12-12 2010-09-23 Huawei Technologies Co., Ltd. Method and apparatus for synchronizing data
CN102833331A (zh) * 2012-08-21 2012-12-19 北京邦诺存储科技有限公司 云存储***及其元数据写入方法、元数据读取方法
CN103761256A (zh) * 2013-12-30 2014-04-30 中国科学院计算技术研究所 一种远程目录分支点维护***及其方法
CN104618482A (zh) * 2015-02-02 2015-05-13 浙江宇视科技有限公司 访问云数据的方法、服务器、传统存储设备、架构
CN104702634A (zh) * 2013-12-04 2015-06-10 腾讯科技（深圳）有限公司 数据操作请求处理方法、装置及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100241764A1 (en) * 2007-12-12 2010-09-23 Huawei Technologies Co., Ltd. Method and apparatus for synchronizing data
CN102833331A (zh) * 2012-08-21 2012-12-19 北京邦诺存储科技有限公司 云存储***及其元数据写入方法、元数据读取方法
CN104702634A (zh) * 2013-12-04 2015-06-10 腾讯科技（深圳）有限公司 数据操作请求处理方法、装置及***
CN103761256A (zh) * 2013-12-30 2014-04-30 中国科学院计算技术研究所 一种远程目录分支点维护***及其方法
CN104618482A (zh) * 2015-02-02 2015-05-13 浙江宇视科技有限公司 访问云数据的方法、服务器、传统存储设备、架构

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107562503A (zh) * 2017-09-07 2018-01-09 郑州云海信息技术有限公司 一种配置管理方法及装置
WO2020186549A1 (zh) * 2019-03-15 2020-09-24 中山大学 一种元数据管理方法、***及介质
US11693830B2 (en) 2019-03-15 2023-07-04 Sun Yat-Sen University Metadata management method, system and medium

Similar Documents

Publication Publication Date Title
CN109413127B (zh) 一种数据同步方法和装置
CN107623729B (zh) 一种缓存方法、设备及缓存服务***
CN105791344B (zh) 灰度发布业务处理的方法、***、负载均衡器及服务总线装置
CN109194711B (zh) 一种组织架构的同步方法、客户端、服务端及介质
CN101404627A (zh) 即时通讯***更新联系人状态的方法及即时通讯***
CN102761861A (zh) 信息的更新方法、服务器以及信息的更新***
CN103152398A (zh) 一种多终端文件间的文件同步方法及***
CN104572845B (zh) 文件分发方法、装置、设备及***
CN105095313B (zh) 一种数据访问方法和设备
CN106777311B (zh) 航班舱位状态缓存方法和***
CN103297529A (zh) 基于时间戳的树型结构数据同步方法
CN106844558A (zh) 智能问答方法及***
CN105184540A (zh) 一种智能快递柜***控制方法
CN103440345B (zh) 一种基于关系型数据库的分布式数据库扩展方法及***
CN110321252B (zh) 一种技能服务资源调度的方法和装置
CN109241004A (zh) 元数据文件大小恢复方法、***、装置及可读存储介质
CN110311979A (zh) 一种mec服务器的任务迁移方法及相关装置
CN106649601A (zh) 一种文件***数据处理方法、客户端、服务端及***
CN116303608A (zh) 一种应用服务的数据处理方法和装置
CN107786668A (zh) 一种基于cdn网络的权重缓存网站方法
CN104410511A (zh) 一种服务器管理方法及***
CN112328632B (zh) 一种分布式两级缓存的方法和***
CN115858582A (zh) 一种缓存实时更新方法、装置、设备及存储介质
CN108874319A (zh) 一种元数据更新方法、装置、设备及可读存储介质
CN104735097A (zh) 信息的收集方法和***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170510