CN111625515A - 一种聚合小文件的操作请求的处理方法及装置 - Google Patents

一种聚合小文件的操作请求的处理方法及装置 Download PDF

Info

Publication number
CN111625515A
CN111625515A CN202010469827.2A CN202010469827A CN111625515A CN 111625515 A CN111625515 A CN 111625515A CN 202010469827 A CN202010469827 A CN 202010469827A CN 111625515 A CN111625515 A CN 111625515A
Authority
CN
China
Prior art keywords
metadata
invalid space
request
record
invalid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010469827.2A
Other languages
English (en)
Inventor
王帅阳
李文鹏
张端
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010469827.2A priority Critical patent/CN111625515A/zh
Publication of CN111625515A publication Critical patent/CN111625515A/zh
Priority to PCT/CN2021/073259 priority patent/WO2021238246A1/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/18—File system types
    • G06F16/182—Distributed file systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/11—File system administration, e.g. details of archiving or snapshots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种聚合小文件的操作请求的处理方法，在接收到针对聚合小文件的删除请求或修改请求之后，首先生成无效空间记录，然后利用元数据服务器完成元数据更新操作，在元数据服务器完成元数据更新操作后将无效空间记录加入目标队列，并在达到预设时间点时对目标队列中的无效空间记录进行批量落盘。可见，该方法能够避免每次执行删除请求或修改请求时都需要进行无效空间的落盘操作，提升了聚合小文件修改、删除性能，降低元数据服务器压力，且能够保证待落盘的无效空间的准确性。此外，本申请还提供了一种聚合小文件的操作请求的处理装置、分布式文件***的终端设备和可读存储介质，其技术效果与上述方法的技术效果相对应。

Description

一种聚合小文件的操作请求的处理方法及装置
技术领域
本申请涉及计算机技术领域，特别涉及一种聚合小文件的操作请求的处理方法、装置、分布式文件***的终端设备和可读存储介质。
背景技术
在基于对象存储技术的分布式文件***的小文件聚合场景中，若聚合小文件在聚合大文件中的映射位置发生改变，则会生成一个无效空间记录。为了保证后续能够清理垃圾对象，每次生成的无效空间记录都要进行落盘处理。因此，分布式文件***每接收一个对聚合小文件的修改请求或删除请求时，元数据服务器不仅需要更新元数据，还需要执行一次无效空间的落盘操作，这严重影响聚合小文件的操作效率，降低分布式文件***的性能。
可见，如何避免每次接收到对聚合小文件的操作请求时，都需要执行一次无效空间的落盘操作，导致分布式文件***性能受到影响，是亟待本领域技术人员解决的问题。
发明内容
本申请的目的是提供一种聚合小文件的操作请求的处理方法、装置、分布式文件***的终端设备和可读存储介质，用以解决当前方案每次接收到对聚合小文件的操作请求时，都需要执行一次无效空间的落盘操作，导致分布式文件***性能受到严重影响的问题。其具体方案如下：
第一方面，本申请提供了一种聚合小文件的操作请求的处理方法，应用于客户端，包括：
接收针对聚合小文件的操作请求，其中所述操作请求为删除请求或修改请求；
将所述聚合小文件的存储空间记为无效空间，并生成无效空间记录；
执行所述操作请求，根据所述操作请求的执行结果向元数据服务器发送元数据更新请求；
在接收到所述元数据服务器反馈的元数据更新完成的消息后，将所述无效空间记录添加至目标队列；
在达到预设时间点时，对所述目标队列中的无效空间记录进行落盘操作。
优选的，所述将所述聚合小文件的存储空间记为无效空间，并生成无效空间记录，包括：
将所述聚合小文件的存储空间记为无效空间，并生成无效空间记录，其中所述无效空间记录包括所述聚合小文件对应的聚合大文件的标识信息，还包括所述聚合小文件在聚合大文件中的偏移量和长度。
优选的，所述执行所述操作请求，根据所述操作请求的执行结果向元数据服务器发送元数据更新请求，包括：
执行所述操作请求，对所述聚合小文件的元数据的编号进行更新，得到编号更新结果；向元数据服务器发送元数据更新请求，其中所述元数据更新请求包括所述编号更新结果；
相应的，所述在接收到所述元数据服务器反馈的元数据更新完成的消息后，将所述无效空间记录添加至目标队列，包括：
在接收到所述元数据服务器反馈的元数据更新完成的消息后，若所述消息包括所述编号更新结果，则将与所述编号更新结果对应的无效空间记录添加至目标队列。
优选的，在所述执行所述操作请求，对所述聚合小文件的元数据的编号进行更新，得到编号更新结果之后，还包括：
在所述无效空间记录中添加所述编号更新结果。
优选的，所述在接收到所述元数据服务器反馈的元数据更新完成的消息后，若所述消息包括所述编号更新结果，则将所述无效空间记录添加至目标队列，包括：
在接收到所述元数据服务器反馈的元数据更新完成的消息后，确定所述消息所包括的目标编号更新结果，将编号更新结果小于等于所述目标编号更新结果的无效空间记录添加至目标队列。
优选的，所述在达到预设时间点时，对所述目标队列中的无效空间记录进行落盘操作，包括：
周期性地对所述目标队列中的无效空间记录进行落盘操作。
优选的，在所述在达到预设时间点时，对所述目标队列中的无效空间记录进行落盘操作之前，还包括：
根据所述目标队列中的无效空间记录，按照对象粒度对聚合大文件进行扫描，判断未记为无效空间的存储空间是否为无效空间；
若是，则生成相应的无效空间记录，并添加至所述目标队列。
第二方面，本申请提供了一种聚合小文件的操作请求的处理装置，包括：
请求接收模块：用于接收针对聚合小文件的操作请求，其中所述操作请求为删除请求或修改请求；
记录生成模块：用于将所述聚合小文件的存储空间记为无效空间，并生成无效空间记录；
请求更新模块：用于执行所述操作请求，根据所述操作请求的执行结果向元数据服务器发送元数据更新请求；
记录添加模块：用于在接收到所述元数据服务器反馈的元数据更新完成的消息后，将所述无效空间记录添加至目标队列；
记录落盘模块：用于在达到预设时间点时，对所述目标队列中的无效空间记录进行落盘操作。
第三方面，本申请提供了一种分布式文件***的终端设备，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如上所述的聚合小文件的操作请求的处理方法的步骤。
第四方面，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上所述的聚合小文件的操作请求的处理方法的步骤。
本申请所提供的一种聚合小文件的操作请求的处理方法，包括：接收针对聚合小文件的操作请求，其中操作请求为删除请求或修改请求；将聚合小文件的存储空间记为无效空间，并生成无效空间记录；执行操作请求，根据操作请求的执行结果向元数据服务器发送元数据更新请求；在接收到元数据服务器反馈的元数据更新完成的消息后，将无效空间记录添加至目标队列；在达到预设时间点时，对目标队列中的无效空间记录进行落盘操作。
可见，该方法在接收到针对聚合小文件的删除请求或修改请求之后，首先生成对应的无效空间记录，然后利用元数据服务器完成元数据更新操作，在元数据服务器完成元数据更新操作后将无效空间记录加入目标队列，并在达到预设时间点时对目标队列中的无效空间记录进行批量落盘。一方面，该方法避免每次执行删除请求或修改请求都需要进行无效空间的落盘操作，提升了聚合小文件修改性能删除性能，降低元数据服务器压力；另一方面，该方法只有在元数据服务器完成元数据更新操作之后才将无效空间记录加入目标队列，因此能够保证待落盘的无效空间的准确性。
此外，本申请还提供了一种聚合小文件的操作请求的处理装置、分布式文件***的终端设备和可读存储介质，其技术效果与上述方法的技术效果相对应，这里不再赘述。
附图说明
为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请所提供的一种聚合小文件的操作请求的处理方法实施例一的实现流程图；
图2为本申请所提供的一种聚合小文件的操作请求的处理方法实施例二的无效空间落盘过程的实现流程图；
图3为本申请所提供的一种聚合小文件的操作请求的处理方法实施例二的扫描合并过程的实现流程图；
图4为本申请所提供的一种聚合小文件的操作请求的处理装置实施例的功能框图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面结合附图和具体实施方式对本申请作进一步的详细说明。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
传统方案中，客户端每次接收到针对聚合小文件的删除请求或修改请求之后，元数据服务器需要分别执行元数据更新操作和无效空间落盘操作，导致元数据服务器计算压力大，聚合小文件删除、修改效率低，严重影响分布式文件***的性能。
针对该问题，本申请提供一种聚合小文件的操作请求的处理方法、装置、分布式文件***的终端设备和可读存储介质。在接收到针对聚合小文件的删除请求或修改请求之后，生成对应的无效空间记录，在元数据服务器完成元数据更新操作之后，将无效空间记录添加至目标队列以等待落盘，在达到预设时间点时对目标队列中的无效空间记录进行批量落盘操作。
因此，本申请至少具备以下优点：第一，本申请不需要每次接收到针对聚合小文件的删除请求或修改请求后都执行一次无效空间的落盘操作，降低无效空间落盘频率，提升了聚合小文件修改、删除性能，降低元数据服务器的计算压力；第二，利用客户端完成无效空间的落盘操作，进一步降低元数据服务器的计算压力；第三，当且仅当元数据服务器完成元数据更新操作之后，才将无效空间记录添加至目标队列，能够保证待落盘的无效空间的准确性。
下面对本申请提供的一种聚合小文件的操作请求的处理方法实施例一进行介绍，参见图1，实施例一包括：
S101、接收针对聚合小文件的操作请求，其中所述操作请求为删除请求或修改请求；
S102、将所述聚合小文件的存储空间记为无效空间，并生成无效空间记录；
S103、执行所述操作请求，根据所述操作请求的执行结果向元数据服务器发送元数据更新请求；
S104、在接收到所述元数据服务器反馈的元数据更新完成的消息后，将所述无效空间记录添加至目标队列；
S105、在达到预设时间点时，对所述目标队列中的无效空间记录进行落盘操作。
本实施例应用于基于对象存储技术的分布式文件***的客户端。在小文件应用场景中，对小文件进行聚合存储是提高存储***利用率和提升文件读取速度的重要手段。在小文件聚合场景下，多个小文件以对象为单位进行聚合，对象作为聚合大文件的数据存入到磁盘中。
本实施例中，操作请求特指删除请求或修改请求。当聚合小文件被删除时，其原本所在的存储空间会变为无效空间。当聚合小文件被修改时，分为两种处理方式，一种是写其他位置，另一种是变为非聚合文件，这两种方式都会使聚合小文件原本所在的存储空间变为无效空间。
因此，在接收到针对聚合小文件的操作请求之后，本实施例会生成无效空间记录。无效空间记录用于记录该聚合小文件的原始的存储空间，具体可以包括该聚合小文件所在的聚合大文件的标识信息、该聚合小文件在聚合大文件中的偏移和长度等。
执行操作请求的过程具体包括：修改或删除聚合小文件的数据，同时更新聚合小文件的元数据。然后，根据客户端上元数据更新结果，向元数据服务器发送元数据更新请求。元数据服务器完成元数据更新操作之后，会向客户端发送一个消息。而后，客户端得知元数据服务器一侧完成元数据更新操作，进而将之前生成的无效空间记录添加至目标队列。
可以理解的是，客户端向元数据服务器发送的元数据更新请求中包括元数据的标识信息，因此元数据服务器知道对哪个元数据进行更新；相应的，元数据服务器向客户端发送的表示元数据更新完成的消息中也包括元数据的标识信息，因此客户端知道哪个元数据完成了在元数据服务器一侧的更新过程，从而将对应的无效空间记录添加至目标队列。
目标队列用于存储待进行落盘的无效空间记录，具体的，可以定时对目标队列中的无效空间记录进行落盘操作，例如按照一定频率周期性地对目标队列中的无效空间记录进行落盘操作。通过这种落盘方式，减少无效空间落盘次数，降低无效空间落盘频率，提升聚合小文件的删除、修改性能，降低元数据服务器的计算压力，最终实现提升分布式文件***的性能的目的。
本实施例所提供一种聚合小文件的操作请求的处理方法，在接收到针对聚合小文件的删除请求或修改请求之后，首先生成对应的无效空间记录，然后利用元数据服务器完成元数据更新操作，在元数据服务器完成元数据更新操作后将无效空间记录加入目标队列，并在达到预设时间点时对目标队列中的无效空间记录进行批量落盘。一方面，该方法避免每次执行删除请求或修改请求都需要进行无效空间的落盘操作，提升了聚合小文件修改性能删除性能，降低元数据服务器压力；另一方面，该方法只有在元数据服务器完成元数据更新操作之后才将无效空间记录加入目标队列，因此能够保证待落盘的无效空间的准确性。
下面开始详细介绍本申请提供的一种聚合小文件的操作请求的处理方法实施例二，实施例二基于前述实施例一实现，并在实施例一的基础上进行了一定程度上的拓展。
具体的，实施例二限定了客户端在执行操作请求时会更新元数据的标识信息，即元数据的编号；并限定了无效空间记录中包括更新后的元数据编号。基于以上条件，考虑到元数据服务器按照元数据编号从小到大的顺序进行元数据更新操作，因此，当接收到元数据服务器反馈的元数据更新完成的消息之后，客户端首先确定该消息对应的元数据编号，然后直接将小于等于该元数据编号的全部无效空间记录添加至目标队列，从而避免不必要的等待过程，并减少元数据编号比对次数，进一步提升分布式文件***的性能。
参见图2，实施例二具体包括：
S201、接收针对聚合小文件的操作请求，其中所述操作请求为删除请求或修改请求；
S202、将所述聚合小文件的存储空间记为无效空间，并生成无效空间记录；
其中所述无效空间记录包括所述聚合小文件对应的聚合大文件的标识信息，还包括所述聚合小文件在聚合大文件中的偏移量和长度。因此，无效空间记录具体可以为：(聚合大文件ino号，偏移offset，长度len)。生成无效空间记录之后，可以先将其放入本地缓存的第一队列中。
S203、执行所述操作请求，对所述聚合小文件的元数据的编号进行更新，得到编号更新结果；
编号更新结果可以记为tid，具体是指更新后的元数据id。客户端每次修改元数据都会递增元数据id，元数据服务器根据tid持久化对应的元数据，然后给客户端应答。
S204、在所述无效空间记录中添加所述编号更新结果；
具体的，从第一队列中提取中无效缓存记录，并在无效空间记录中添加对应的编号更新结果，将添加完成的无效空间记录放入第二队列中。
S205、向元数据服务器发送元数据更新请求，其中所述元数据更新请求包括所述编号更新结果；
本实施例不限定S204和S205的先后顺序。
S206、在接收到所述元数据服务器反馈的元数据更新完成的消息后，确定所述消息所包括的目标编号更新结果，将编号更新结果小于等于所述目标编号更新结果的无效空间记录添加至目标队列；
具体的，从第二队列中选取编号更新结果小于等于目标编号更新结果的无效空间记录，并添加至目标队列中。
S207、周期性地对所述目标队列中的无效空间记录进行落盘操作。
此外，本实施例还提供了通过扫描补充合并无效空间的过程。如图3所示，该过程具体包括：向磁盘加载先前记录的聚合大文件对应的无效空间，定时按照对象粒度扫描聚合大文件；对于每个对象，从第一个无效记录的末尾开始扫描，根据对象特性获取空间所属的聚合小文件的元数据，根据该元数据判断当前存储空间是否为无效空间；若当前存储空间为无效空间，则生成无效空间记录，并继续扫描下一数据区域；若当前存储空间不为无效空间，跳过当前对象，继续扫描处理下一对象。聚合大文件扫描完成后，将新生成的无效空间记录与原本的无效空间记录进行合并。
可见，本实施例提供的一种聚合小文件的操作请求的处理方法，针对聚合文件，设计无效空间记录、批量异步落盘、扫描补充合并方案，提升聚合小文件修改写、删除性能，降低元数据集群压力，同时保证无效垃圾数据能够完全记录。
下面对本申请实施例提供的一种聚合小文件的操作请求的处理装置进行介绍，下文描述的一种聚合小文件的操作请求的处理装置与上文描述的一种聚合小文件的操作请求的处理方法可相互对应参照。
如图4所示，本实施例的聚合小文件的操作请求的处理装置，包括：
请求接收模块401：用于接收针对聚合小文件的操作请求，其中所述操作请求为删除请求或修改请求；
记录生成模块402：用于将所述聚合小文件的存储空间记为无效空间，并生成无效空间记录；
请求更新模块403：用于执行所述操作请求，根据所述操作请求的执行结果向元数据服务器发送元数据更新请求；
记录添加模块404：用于在接收到所述元数据服务器反馈的元数据更新完成的消息后，将所述无效空间记录添加至目标队列；
记录落盘模块405：用于在达到预设时间点时，对所述目标队列中的无效空间记录进行落盘操作。
本实施例的聚合小文件的操作请求的处理装置用于实现前述的聚合小文件的操作请求的处理方法，因此该装置中的具体实施方式可见前文中的聚合小文件的操作请求的处理方法的实施例部分，例如，请求接收模块401、记录生成模块402、请求更新模块403、记录添加模块404、记录落盘模块405，分别用于实现上述聚合小文件的操作请求的处理方法中步骤S101，S102，S103，S104，S105所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再展开介绍。
另外，由于本实施例的聚合小文件的操作请求的处理装置用于实现前述的聚合小文件的操作请求的处理方法，因此其作用与上述方法的作用相对应，这里不再赘述。
此外，本申请还提供了一种分布式文件***的终端设备，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如上文所述的聚合小文件的操作请求的处理方法的步骤。
最后，本申请提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如上文所述的聚合小文件的操作请求的处理方法的步骤。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的方案进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (10)

1.一种聚合小文件的操作请求的处理方法，其特征在于，应用于客户端，包括：
接收针对聚合小文件的操作请求，其中所述操作请求为删除请求或修改请求；
将所述聚合小文件的存储空间记为无效空间，并生成无效空间记录；
执行所述操作请求，根据所述操作请求的执行结果向元数据服务器发送元数据更新请求；
在接收到所述元数据服务器反馈的元数据更新完成的消息后，将所述无效空间记录添加至目标队列；
在达到预设时间点时，对所述目标队列中的无效空间记录进行落盘操作。
2.如权利要求1所述的方法，其特征在于，所述将所述聚合小文件的存储空间记为无效空间，并生成无效空间记录，包括：
将所述聚合小文件的存储空间记为无效空间，并生成无效空间记录，其中所述无效空间记录包括所述聚合小文件对应的聚合大文件的标识信息，还包括所述聚合小文件在聚合大文件中的偏移量和长度。
3.如权利要求2所述的方法，其特征在于，所述执行所述操作请求，根据所述操作请求的执行结果向元数据服务器发送元数据更新请求，包括：
执行所述操作请求，对所述聚合小文件的元数据的编号进行更新，得到编号更新结果；向元数据服务器发送元数据更新请求，其中所述元数据更新请求包括所述编号更新结果；
相应的，所述在接收到所述元数据服务器反馈的元数据更新完成的消息后，将所述无效空间记录添加至目标队列，包括：
在接收到所述元数据服务器反馈的元数据更新完成的消息后，若所述消息包括所述编号更新结果，则将与所述编号更新结果对应的无效空间记录添加至目标队列。
4.如权利要求3所述的方法，其特征在于，在所述执行所述操作请求，对所述聚合小文件的元数据的编号进行更新，得到编号更新结果之后，还包括：
在所述无效空间记录中添加所述编号更新结果。
5.如权利要求4所述的方法，其特征在于，所述在接收到所述元数据服务器反馈的元数据更新完成的消息后，若所述消息包括所述编号更新结果，则将所述无效空间记录添加至目标队列，包括：
在接收到所述元数据服务器反馈的元数据更新完成的消息后，确定所述消息所包括的目标编号更新结果，将编号更新结果小于等于所述目标编号更新结果的无效空间记录添加至目标队列。
6.如权利要求1所述的方法，其特征在于，所述在达到预设时间点时，对所述目标队列中的无效空间记录进行落盘操作，包括：
周期性地对所述目标队列中的无效空间记录进行落盘操作。
7.如权利要求1-6任意一项所述的方法，其特征在于，在所述在达到预设时间点时，对所述目标队列中的无效空间记录进行落盘操作之前，还包括：
根据所述目标队列中的无效空间记录，按照对象粒度对聚合大文件进行扫描，判断未记为无效空间的存储空间是否为无效空间；
若是，则生成相应的无效空间记录，并添加至所述目标队列。
8.一种聚合小文件的操作请求的处理装置，其特征在于，包括：
请求接收模块：用于接收针对聚合小文件的操作请求，其中所述操作请求为删除请求或修改请求；
记录生成模块：用于将所述聚合小文件的存储空间记为无效空间，并生成无效空间记录；
请求更新模块：用于执行所述操作请求，根据所述操作请求的执行结果向元数据服务器发送元数据更新请求；
记录添加模块：用于在接收到所述元数据服务器反馈的元数据更新完成的消息后，将所述无效空间记录添加至目标队列；
记录落盘模块：用于在达到预设时间点时，对所述目标队列中的无效空间记录进行落盘操作。
9.一种分布式文件***的终端设备，其特征在于，包括：
存储器：用于存储计算机程序；
处理器：用于执行所述计算机程序，以实现如权利要求1-7任意一项所述的聚合小文件的操作请求的处理方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1-7任意一项所述的聚合小文件的操作请求的处理方法的步骤。
CN202010469827.2A 2020-05-28 2020-05-28 一种聚合小文件的操作请求的处理方法及装置 Withdrawn CN111625515A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010469827.2A CN111625515A (zh) 2020-05-28 2020-05-28 一种聚合小文件的操作请求的处理方法及装置
PCT/CN2021/073259 WO2021238246A1 (zh) 2020-05-28 2021-01-22 一种聚合小文件的操作请求的处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010469827.2A CN111625515A (zh) 2020-05-28 2020-05-28 一种聚合小文件的操作请求的处理方法及装置

Publications (1)

Publication Number Publication Date
CN111625515A true CN111625515A (zh) 2020-09-04

Family

ID=72260087

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010469827.2A Withdrawn CN111625515A (zh) 2020-05-28 2020-05-28 一种聚合小文件的操作请求的处理方法及装置

Country Status (2)

Country Link
CN (1) CN111625515A (zh)
WO (1) WO2021238246A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112148800A (zh) * 2020-10-20 2020-12-29 北京天华星航科技有限公司 分布式数据存储***
CN113704027A (zh) * 2021-10-29 2021-11-26 苏州浪潮智能科技有限公司 文件聚合兼容方法、装置、计算机设备和存储介质
WO2021238246A1 (zh) * 2020-05-28 2021-12-02 苏州浪潮智能科技有限公司 一种聚合小文件的操作请求的处理方法及装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115576505B (zh) * 2022-12-13 2023-03-03 浪潮电子信息产业股份有限公司 一种数据存储方法、装置、设备及可读存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095489A (zh) * 2015-08-18 2015-11-25 浪潮(北京)电子信息产业有限公司 一种分布式文件删除方法、装置和***
CN107704203B (zh) * 2017-09-27 2021-08-31 郑州云海信息技术有限公司 聚合大文件的删除方法、装置、设备及计算机存储介质
US20190114082A1 (en) * 2017-10-17 2019-04-18 HoneycombData Inc. Coordination Of Compaction In A Distributed Storage System
CN111125034A (zh) * 2019-12-27 2020-05-08 深信服科技股份有限公司 一种聚合对象数据处理方法、***及相关设备
CN111625515A (zh) * 2020-05-28 2020-09-04 苏州浪潮智能科技有限公司 一种聚合小文件的操作请求的处理方法及装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021238246A1 (zh) * 2020-05-28 2021-12-02 苏州浪潮智能科技有限公司 一种聚合小文件的操作请求的处理方法及装置
CN112148800A (zh) * 2020-10-20 2020-12-29 北京天华星航科技有限公司 分布式数据存储***
CN113704027A (zh) * 2021-10-29 2021-11-26 苏州浪潮智能科技有限公司 文件聚合兼容方法、装置、计算机设备和存储介质
CN113704027B (zh) * 2021-10-29 2022-02-18 苏州浪潮智能科技有限公司 文件聚合兼容方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
WO2021238246A1 (zh) 2021-12-02

Similar Documents

Publication Publication Date Title
CN111625515A (zh) 一种聚合小文件的操作请求的处理方法及装置
US10133679B2 (en) Read cache management method and apparatus based on solid state drive
CN111176560B (zh) 一种缓存管理方法、装置、计算机设备及存储介质
CN107491523B (zh) 存储数据对象的方法及装置
US20130097402A1 (en) Data prefetching method for distributed hash table dht storage system, node, and system
CN107943718B (zh) 一种清理缓存文件的方法和装置
CN109614377A (zh) 分布式文件***的文件删除方法、装置、设备及存储介质
CN110532201B (zh) 一种元数据处理方法及装置
CN113298695B (zh) 一种图像处理组件和芯片、图像处理方法和存储介质
CN110727404A (zh) 一种基于存储端的数据重删方法、设备以及存储介质
CN110737388A (zh) 数据预读方法、客户端、服务器以及文件***
US11461239B2 (en) Method and apparatus for buffering data blocks, computer device, and computer-readable storage medium
CN104092670A (zh) 网络缓存服务器处理文件的方法及处理缓存文件的设备
CN109213450B (zh) 一种基于闪存阵列的关联元数据删除方法、装置及设备
CN113110801A (zh) 一种加快小文件读取速度的方法、***、设备和存储介质
WO2022048475A1 (zh) 数据去重方法、节点及计算机可读存储介质
CN108280123B (zh) 一种HBase的列聚合方法
CN109582233A (zh) 一种数据的缓存方法和装置
CN111625506A (zh) 一种基于删除队列的分布式数据删除方法、装置及设备
WO2024113694A1 (zh) 缓存数据处理方法、***、装置、设备及计算机存储介质
CN114442961B (zh) 数据处理方法、装置、计算机设备及存储介质
CN110658999B (zh) 一种信息更新方法、装置、设备及计算机可读存储介质
CN115809263A (zh) 数据处理方法、装置、设备及存储介质
CN112463741A (zh) 一种聚合大文件的清理方法及相关设备
CN113626382A (zh) 分布式文件***中聚合对象的索引方法、***及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200904