CN114153385A - 一种分布式存储写缓冲数据分步下刷方法、装置及介质 - Google Patents

一种分布式存储写缓冲数据分步下刷方法、装置及介质 Download PDF

Info

Publication number
CN114153385A
CN114153385A CN202111338442.3A CN202111338442A CN114153385A CN 114153385 A CN114153385 A CN 114153385A CN 202111338442 A CN202111338442 A CN 202111338442A CN 114153385 A CN114153385 A CN 114153385A
Authority
CN
China
Prior art keywords
data
disk
object metadata
disk space
writing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111338442.3A
Other languages
English (en)
Other versions
CN114153385B (zh
Inventor
王勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202111338442.3A priority Critical patent/CN114153385B/zh
Publication of CN114153385A publication Critical patent/CN114153385A/zh
Application granted granted Critical
Publication of CN114153385B publication Critical patent/CN114153385B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及分布式存储写缓冲数据分步下刷方法、装置及介质。本申请深度复制待下刷数据的对象元数据，生成临时对象元数据，利用临时对象元数据来处理待下刷数据的写过程，得到存储待下刷数据磁盘空间的磁盘空间信息，进而形成磁盘写入准备信息；之后便按磁盘写入准备信息将待下刷数据写入到慢速的磁盘上，此过程与常规手段相比并不更新对象元数据，仅写待下刷数据；完成写入后，利用对象元数据再次来处理待下刷数据的写过程，完成对象元数据的更新。实现了待下刷数据下刷过程中数据写和对象元数据更新的异步，保证了业务写的优先，提高了数据下刷的效率，且无需对对象元数据进行记录并更新，并且降低了程序的复杂度，便于维护。

Description

一种分布式存储写缓冲数据分步下刷方法、装置及介质
技术领域
本申请涉及缓存下刷技术领域，尤其涉及一种分布式存储写缓冲数据分步下刷方法、装置及介质。
背景技术
分布式存储中通常利用高速设备作为写缓冲来提高***的写性能，高速设备读写性能强，能快速读写，但容量有限，写入到高速设备的数据需要下刷到慢速设备上，之后便可以将已下刷数据从高速设备上释放，以便高速设备可以持续的接受写请求，以此提高***性能。
高速设备上的缓冲数据下刷过程涉及缓冲数据自身的转移以及对应对象元数据的更新，缓冲数据需要从高速设备上读取出来，并写入到慢速设备上，同时记录数据位置信息的对象元数据也需要进行更新以便正确反映数据所在设备的位置。为保证数据的一致性，缓冲数据的下刷过程与业务写过程需要保持互斥，即同时只能有一个过程对相应数据部分进行写入。在实现缓冲数据下刷过程时，一种方式是所有下刷步骤在一个阶段中完成，由于包含慢速设备写入过程，这种方式一次下刷过程耗时长，会造成业务写阻塞。另一种方式是将下刷各步骤分散到多个阶段中完成，每个阶段分别进行互斥，这种方式避免了业务写的长时间阻塞，且能够做到业务写优先，以此提升业务处理性能。在通过分阶段分步进行下刷的实现中，一种实现方式是识别待写入的数据信息，记录对象元数据的更新信息，执行数据写入，最后将记录的对象元数据更新信息更新到对象元数据并进行持久化，这种处理方式不够直观，并且在原有的业务写流程之外又实现了一套下刷写逻辑，当业务写对象元数据发生变动时，下刷写过程也需要进行相应的调整，尤其是当对象元数据结构信息复杂时，对象元数据的更新信息记录与更新过程也会更加复杂，这种实现方式不利于软件维护。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供一种分布式存储写缓冲数据分步下刷方法、装置及介质。
第一方面，本申请提供一种分布式存储写缓冲数据分步下刷方法，包括：
S1，读取高速存储设备中所存储的数据以确定待下刷数据；
S2，深度复制待下刷数据的对象元数据获取临时对象元数据；
S3，配置可回放磁盘空间资源申请管理器为第一状态；
S4，利用临时对象元数据来处理待下刷数据的写过程，得到更新后的临时对象元数据和磁盘写入准备信息，所述磁盘写入准备信息包括磁盘空间信息和待下刷数据信息；
S5，通过异步写根据磁盘写入准备信息将待下刷数据写入对应磁盘；
S6，配置可回放磁盘空间资源申请管理器为第二状态；
S7，利用对象元数据来处理待下刷数据写过程，得到并持久化更新后的对象元数据。
更进一步地，配置待下刷数据的写过程通过磁盘申请请求向预设的可回放磁盘空间资源申请管理器申请磁盘空间。
更进一步地，所述可回放磁盘空间资源申请管理器的第一状态和第二状态通过接口配置，进行待下刷数据写时通过接口配置为第一状态，进行对象元数据更新时通过接口配置为第二状态。
更进一步地，在第一状态下，所述可回放磁盘空间资源申请管理器响应磁盘申请请求，分配真实的磁盘空间，获取分配的磁盘空间的磁盘空间信息，将磁盘空间信息与对应的磁盘申请请求记录；
在第二状态下，所述可回放磁盘空间资源管理器响应磁盘申请请求，获取待下刷数据所在磁盘空间的磁盘空间信息，利用第一状态下所记录的磁盘申请请求中的参数对待下刷数据所在磁盘空间的磁盘空间信息校验检查，并反馈第一状态下的磁盘空间信息。
更进一步地，配置S1、S2-S4、S6-S7之间为互斥过程。
更进一步地，互斥过程转换过程中，检测对象元数据是否改变；是则，终止分布式存储写缓冲数据分步下刷的流程。
更进一步地，利用对象元数据来处理待下刷数据写过程，既得到更新后的对象元数据，又得到磁盘写入准备信息，丢弃得到的磁盘写入准备消息，持久化更新后的对象元数据。
更进一步地，将S4中得到的磁盘写入准备信息按顺序存入队列中，异步写根据队列中所存的磁盘写入准备信息进行待下刷数据的刷写。
第二方面，本申请提供一种分布式存储写缓冲数据分步下刷装置，包括：处理单元、存储单元、接口单元、总线单元和供电单元，其中所述总线单元连接所述处理单元及接口单元，所述供电单元对所述处理单元、存储单元、接口单元及总线单元供电，所述存储单元存储至少一条指令，所述处理单元读取并执行所述指令实现所述的分布式存储写缓冲数据分步下刷方法。
第三方面，本申请提供一种实现分布式存储写缓冲数据分步下刷方法的介质，所述实现分布式存储写缓冲数据分步下刷方法的介质存储至少一条指令，读取并执行所述指令实现所述的分布式存储写缓冲数据分步下刷方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请对分布式存储谢缓存数据分步下刷方法通过两次写处理过程实现。其中第一次写处理过程是利用临时对象元数据实现的，其作用是将待下刷数据从高速存储设备写到磁盘上，并未对待下刷数据的对象元数据进行更新；第二次写处理过程是通过对象元数据实现的，需要反馈第一次写处理过程中存放待下刷数据的磁盘空间的磁盘空间信息，来完成对象元数据的更新；在第二次写处理过程中不需要将待下刷数据写入磁盘。从而实现将高速存储设备中数据下刷分成可以异步的两个过程实现。
第一次写处理过程优先将待下刷数据写入磁盘，第二次写处理过程更新对象元数据。保证了业务写的优先，通过待下刷数据写和更新对象元数据的异步，提高了数据下刷的效率，并且降低了程序的复杂度，便于维护。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的第一状态下的可回放磁盘空间资源申请管理器响应由待下刷数据的写过程发出的磁盘申请请求的流程图；
图2为本申请实施例提供第二状态下的可回放磁盘空间资源申请管理器响应由待下刷数据的写过程发出的磁盘申请请求的流程图；
图3为本申请实施例提供的分布式存储写缓冲数据分步下刷方法的流程图；
图4为本申请实施例提供的分布式存储写缓冲数据分步下刷装置的示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
实施例1
本申请实施例提供一种分布式存储写缓冲数据分步下刷方法。本申请对分布式存储谢缓存数据分步下刷方法通过两次写处理过程实现。其中，第一次写处理过程是利用临时对象元数据实现的，其作用是将待下刷数据从高速存储设备写到磁盘上，并未对待下刷数据的对象元数据进行更新；第二次写处理过程是通过对象元数据实现的，需要反馈第一次写处理过程中存放待下刷数据的磁盘空间的磁盘空间信息，进而通过反馈的磁盘空间信息来完成对象元数据的更新；在第二次写处理过程中不需要将待下刷数据写入磁盘。本申请实现将高速存储设备中数据下刷分成可以异步的两个过程实现。
在现有数据写的资源管理机制中，第二次写过程无法重复申请得到第一写处理过程中存储待下刷数据的磁盘空间，因此，为实现本方法，本申请创建了可回放磁盘空间资源申请管理器，并且配置待下刷数据的写过程向所述可回放磁盘空间资源申请管理器发送磁盘申请请求。
具体实施过程中，所述可回放磁盘空间资源申请管理器包括第一状态和第二状态，所述可回放磁盘空间资源申请管理器的第一状态和第二状态通过接口配置，进行待下刷数据写时通过接口配置为第一状态，进行对象元数据更新时通过接口配置为第二状态。
参阅图1所示，在第一状态下，所述可回放磁盘空间资源申请管理器响应由待下刷数据的写过程发出的磁盘申请请求执行以下步骤：
S10，分配真实的磁盘空间，真实的磁盘空间用于存放待下刷数据；
S20，获取分配的磁盘空间的磁盘空间信息；
S30，将磁盘空间信息与对应的磁盘申请请求记录；记录过程中，按顺序记录所分配磁盘空间的磁盘空间信息，记录磁盘申请请求时，按顺序记录磁盘申请请求中的参数。
S40，反馈磁盘空间信息，所反馈的磁盘空间信息用于寻址磁盘空间来存放待下刷数据。
参阅图2所示，在第二状态下，所述可回放磁盘空间资源管理器响应由待下刷数据的写过程发出的磁盘申请请求执行以下步骤：
S100，获取待下刷数据所在磁盘空间的磁盘空间信息；
S200，利用第一状态下所记录的磁盘申请请求中的参数对待下刷数据所在磁盘空间的磁盘空间信息校验检查，校验通过则执行S300，校验未通过则提示错误并中断。
S300，反馈第一状态下所记录的磁盘空间信息，所反馈的磁盘空间信息用于更新对象元数据。
参阅图3所示，本申请所述的分布式存储写缓冲数据分步下刷方法包括：
S1，读取高速存储设备中所存储的数据以确定待下刷数据。
S2，深度复制待下刷数据的对象元数据获取临时对象元数据；深度复制为被复制的对象元数据请求了新的内存进行存储，使得修改临时对象元数据的内存数据并不会对对象元数据的内存数据造成影响。
S3，配置可回放磁盘空间资源申请管理器为第一状态。具体实施过程中，调用可回放磁盘空间资源申请管理器的接口进行配置。配置为第一状态后的可回放磁盘空间资源申请管理器在响应磁盘申请请求时，反馈磁盘空间信息，并记录磁盘空间信息和对应的磁盘申请请求中的参数。
S4，利用临时对象元数据来处理待下刷数据的写过程，得到更新后的临时对象元数据和磁盘写入准备信息，所述磁盘写入准备信息包括磁盘空间信息和待下刷数据信息，磁盘写入准备信息的磁盘空间信息来源于可回放磁盘空间资源申请管理器的反馈；本过程通过临时对象元数据来处理待下刷数据的写过程，因此，会更新临时对象元数据。
具体实施过程中，磁盘写入准备信息按顺序存入队列中；具体的，一种可行的所述队列可以为FIFO队列，先进入到FIFO队列的磁盘写入准备信息会先被异步写处理，从而实现按顺序处理磁盘写入准备信息。
S5，根据磁盘写入准备信息的内容，通过异步写将待下刷数据写入由磁盘空间信息寻址得到的磁盘空间内；具体实施过程中，异步写根据磁盘写入准备信息在队列中的顺序来进行相应的待下刷数据的刷写。
经过上述过程完成了第一次写处理的过程，在第一次写处理过程中，高速存储设备中的待下刷数据会被写入到磁盘空间里，并更新临时对象元数据。
S6，配置可回放磁盘空间资源申请管理器为第二状态；具体的，具体实施过程中，调用可回放磁盘空间资源申请管理器的接口进行配置。配置为第二状态后的可回放磁盘空间资源申请管理器在响应磁盘申请请求时，获取待下刷数据所在磁盘空间的磁盘空间信息；利用第一状态下所记录的磁盘申请请求中的参数对待下刷数据所在磁盘空间的磁盘空间信息校验检查，校验通过则反馈第一状态下所记录的磁盘空间信息。
S7，利用对象元数据来处理待下刷数据写过程，得到并持久化更新后的对象元数据。具体实施过程中，该过程得到更新后的对象元数据和磁盘写入准备信息。由于待下刷数据的写过程在第一次写处理中实现，因此，丢弃所得到的磁盘写入准备信息。
配置S1、S2-S4、S6-S7三个过程之间为互斥过程。具体实施过程中，通过互斥锁的方式将S1、S2-S4、S6-S7三个过程设置为互斥过程。
互斥过程转换过程中，检测对象元数据是否改变；是则，终止分布式存储写缓冲数据分步下刷的流程，后续的流程阶段不再执行。在分布式存储中，对象数据的操作者可能有多个且操作在相近的时间内进行，对象元数据发生改变，高速存储设备中的待下刷数据不是最新的。
实施例2
参阅图4所示，本申请实施例提供一种分布式存储写缓冲数据分步下刷装置，包括：处理单元、存储单元、接口单元、总线单元和供电单元，其中所述总线单元连接所述处理单元及接口单元，所述供电单元对所述处理单元、存储单元、接口单元及总线单元供电，所述存储单元存储至少一条指令，所述处理单元读取并执行所述指令实现所述的分布式存储写缓冲数据分步下刷方法。
实施例3
本申请实施例提供一种实现分布式存储写缓冲数据分步下刷方法的介质，所述实现分布式存储写缓冲数据分步下刷方法的介质存储至少一条指令，读取并执行所述指令实现所述的分布式存储写缓冲数据分步下刷方法。
本申请对分布式存储谢缓存数据分步下刷方法通过两次写处理过程实现。其中第一次写处理过程是利用临时对象元数据实现的，其作用是将待下刷数据从高速存储设备写到磁盘上，并未对待下刷数据的对象元数据进行更新；第二次写处理过程是通过对象元数据实现的，需要反馈第一次写处理过程中存放待下刷数据的磁盘空间的磁盘空间信息，来完成对象元数据的更新；在第二次写处理过程中不需要将待下刷数据写入磁盘。从而实现将高速存储设备中数据下刷分成可以异步的两个过程实现。
第一次写处理过程优先将待下刷数据写入磁盘，第二次写处理过程更新对象元数据。保证了业务写的优先，通过待下刷数据写和更新对象元数据的异步，提高了数据下刷的效率，并且降低了程序的复杂度，便于维护。
在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种分布式存储写缓冲数据分步下刷方法，其特征在于，包括：
S1，读取高速存储设备中所存储的数据以确定待下刷数据；
S2，深度复制待下刷数据的对象元数据获取临时对象元数据；
S3，配置可回放磁盘空间资源申请管理器为第一状态；
S4，利用临时对象元数据来处理待下刷数据的写过程，得到更新后的临时对象元数据和磁盘写入准备信息，所述磁盘写入准备信息包括磁盘空间信息和待下刷数据信息；
S5，通过异步写根据磁盘写入准备信息将待下刷数据写入对应磁盘；
S6，配置可回放磁盘空间资源申请管理器为第二状态；
S7，利用对象元数据来处理待下刷数据写过程，得到并持久化更新后的对象元数据。
2.根据权利要求1所述分布式存储写缓冲数据分步下刷方法，其特征在于，配置待下刷数据的写过程通过磁盘申请请求向预设的可回放磁盘空间资源申请管理器申请磁盘空间。
3.根据权利要求1所述分布式存储写缓冲数据分步下刷方法，其特征在于，所述可回放磁盘空间资源申请管理器的第一状态和第二状态通过接口配置；进行待下刷数据写时，通过接口配置为第一状态，进行对象元数据更新时，通过接口配置为第二状态。
4.根据权利要求1所述分布式存储写缓冲数据分步下刷方法，其特征在于，在第一状态下，所述可回放磁盘空间资源申请管理器响应磁盘申请请求，分配真实的磁盘空间，获取分配的磁盘空间的磁盘空间信息，将磁盘空间信息与对应的磁盘申请请求记录；
在第二状态下，所述可回放磁盘空间资源管理器响应磁盘申请请求，获取待下刷数据所在磁盘空间的磁盘空间信息，利用第一状态下所记录的磁盘申请请求中的参数对待下刷数据所在磁盘空间的磁盘空间信息校验检查，并反馈第一状态下的磁盘空间信息。
5.根据权利要求1所述分布式存储写缓冲数据分步下刷方法，其特征在于，配置S1、S2-S4、S6-S7之间为互斥过程。
6.根据权利要求4所述分布式存储写缓冲数据分步下刷方法，其特征在于，互斥过程转换过程中，检测对象元数据是否改变；是则，终止分布式存储写缓冲数据分步下刷的流程。
7.根据权利要求1所述分布式存储写缓冲数据分步下刷方法，其特征在于，利用对象元数据来处理待下刷数据写过程，既得到更新后的对象元数据，又得到磁盘写入准备信息，丢弃得到的磁盘写入准备消息，持久化更新后的对象元数据。
8.根据权利要求1所述分布式存储写缓冲数据分步下刷方法，其特征在于，将S4中得到的磁盘写入准备信息按顺序存入队列中，异步写根据队列中所存的磁盘写入准备信息进行待下刷数据的刷写。
9.一种分布式存储写缓冲数据分步下刷装置，其特征在于，包括：处理单元、存储单元、接口单元、总线单元和供电单元，其中所述总线单元连接所述处理单元及接口单元，所述供电单元对所述处理单元、存储单元、接口单元及总线单元供电，所述存储单元存储至少一条指令，所述处理单元读取并执行所述指令实现如权利要求1-8任一所述的分布式存储写缓冲数据分步下刷方法。
10.一种实现分布式存储写缓冲数据分步下刷方法的介质，其特征在于，所述实现分布式存储写缓冲数据分步下刷方法的介质存储至少一条指令，读取并执行所述指令实现如权利要求1-8任一所述的分布式存储写缓冲数据分步下刷方法。
CN202111338442.3A 2021-11-12 2021-11-12 一种分布式存储写缓冲数据分步下刷方法、装置及介质 Active CN114153385B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111338442.3A CN114153385B (zh) 2021-11-12 2021-11-12 一种分布式存储写缓冲数据分步下刷方法、装置及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111338442.3A CN114153385B (zh) 2021-11-12 2021-11-12 一种分布式存储写缓冲数据分步下刷方法、装置及介质

Publications (2)

Publication Number Publication Date
CN114153385A true CN114153385A (zh) 2022-03-08
CN114153385B CN114153385B (zh) 2023-08-29

Family

ID=80460198

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111338442.3A Active CN114153385B (zh) 2021-11-12 2021-11-12 一种分布式存储写缓冲数据分步下刷方法、装置及介质

Country Status (1)

Country Link
CN (1) CN114153385B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160253362A1 (en) * 2013-11-29 2016-09-01 Tencent Technology (Shenzhen) Company Limited Method, device, node and system for managing file in distributed data warehouse
CN109831540A (zh) * 2019-04-12 2019-05-31 成都四方伟业软件股份有限公司 分布式存储方法、装置、电子设备及存储介质
CN111104254A (zh) * 2019-11-29 2020-05-05 北京浪潮数据技术有限公司 存储***数据刷写方法、装置、设备及可读存储介质
CN111506253A (zh) * 2019-01-31 2020-08-07 阿里巴巴集团控股有限公司 一种分布式存储***及其存储方法
CN111736767A (zh) * 2020-05-29 2020-10-02 苏州浪潮智能科技有限公司 一种分布式对象存储***写缓存的方法和设备
CN113419670A (zh) * 2021-03-31 2021-09-21 阿里巴巴新加坡控股有限公司 数据写入处理方法、装置及电子设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160253362A1 (en) * 2013-11-29 2016-09-01 Tencent Technology (Shenzhen) Company Limited Method, device, node and system for managing file in distributed data warehouse
CN111506253A (zh) * 2019-01-31 2020-08-07 阿里巴巴集团控股有限公司 一种分布式存储***及其存储方法
CN109831540A (zh) * 2019-04-12 2019-05-31 成都四方伟业软件股份有限公司 分布式存储方法、装置、电子设备及存储介质
CN111104254A (zh) * 2019-11-29 2020-05-05 北京浪潮数据技术有限公司 存储***数据刷写方法、装置、设备及可读存储介质
CN111736767A (zh) * 2020-05-29 2020-10-02 苏州浪潮智能科技有限公司 一种分布式对象存储***写缓存的方法和设备
CN113419670A (zh) * 2021-03-31 2021-09-21 阿里巴巴新加坡控股有限公司 数据写入处理方法、装置及电子设备

Also Published As

Publication number Publication date
CN114153385B (zh) 2023-08-29

Similar Documents

Publication Publication Date Title
JP5647203B2 (ja) メモリページ管理
CN111880751B (zh) 一种硬盘迁移方法、分布式存储集群***和存储介质
CN111708738B (zh) 实现hadoop文件***hdfs与对象存储s3数据互访方法及***
JPH10187505A (ja) 情報記憶システム及び同システムに適用するデータ配置方法
CN109582686B (zh) 分布式元数据管理一致性保证方法、装置、***及应用
CN110019083A (zh) 分布式文件***的存储方法、装置、电子设备及存储介质
JP6069962B2 (ja) 情報処理装置、領域解放制御プログラム、および領域解放制御方法
CN104572483B (zh) 动态内存管理装置及方法
CN112860188A (zh) 一种数据迁移方法、***、设备以及介质
CN114153385A (zh) 一种分布式存储写缓冲数据分步下刷方法、装置及介质
CN109388505B (zh) 一种基于Android的异步多任务顺序加载方法
JP3882461B2 (ja) 記憶装置システム及びそのバックアップ取得方法
US20070061530A1 (en) Method for storage of digital data in a mainframe data center and associated device
CN112286448B (zh) 对象访问方法、装置、电子设备及机器可读存储介质
KR20190069134A (ko) 응용 프로그램간 파일 공유 장치 및 방법
JPH1153123A (ja) バックアップ方式
JP2856003B2 (ja) 非同期データ入出力方式
US20070260816A1 (en) RAID management apparatus, RAID management method, and computer product
JP2574537B2 (ja) プロセス管理装置
JP2641399B2 (ja) フアイル管理装置
JPS5947341B2 (ja) 索引順編成フアイルの動的排他制御方式
JP4131579B2 (ja) データ管理システムおよびデータ管理方法
US20070300026A1 (en) Synchronous backup device and method used for storage device
JP2003150394A (ja) メモリ管理方法
TWI323414B (en) A method for generating snapshots

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant