CN110147204B - 一种元数据落盘方法、装置、***及计算机可读存储介质 - Google Patents

一种元数据落盘方法、装置、***及计算机可读存储介质 Download PDF

Info

Publication number
CN110147204B
CN110147204B CN201910429310.8A CN201910429310A CN110147204B CN 110147204 B CN110147204 B CN 110147204B CN 201910429310 A CN201910429310 A CN 201910429310A CN 110147204 B CN110147204 B CN 110147204B
Authority
CN
China
Prior art keywords
metadata
tree
disk
memory
leaf node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910429310.8A
Other languages
English (en)
Other versions
CN110147204A (zh
Inventor
刚亚州
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Wave Intelligent Technology Co Ltd
Original Assignee
Suzhou Wave Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Wave Intelligent Technology Co Ltd filed Critical Suzhou Wave Intelligent Technology Co Ltd
Priority to CN201910429310.8A priority Critical patent/CN110147204B/zh
Publication of CN110147204A publication Critical patent/CN110147204A/zh
Application granted granted Critical
Publication of CN110147204B publication Critical patent/CN110147204B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures
    • G06F16/9027—Trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0679—Non-volatile semiconductor memory device, e.g. flash memory, one time programmable memory [OTP]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请公开了一种元数据落盘方法，包括对内存B+树第一叶子节点中的各元数据对应的磁盘B+树叶子节点进行查询，确定内存B+树与磁盘B+树的连续覆盖区域；对处于同一连续覆盖区域内的所有元数据进行合并处理，获得新叶子节点；若内存B+树第一叶子节点不是终止叶子节点，则获取下一叶子节点的元数据，并返回连续覆盖区域确定的步骤，直至遍历到终止叶子节点；将各新叶子节点的元数据存储至磁盘内，完成元数据落盘；该元数据落盘方法落盘效率较高，可使大规模并发随机访问元数据达到更高的效率。本申请还公开了一种元数据落盘装置、***及计算机可读存储介质，均具有上述有益效果。

Description

一种元数据落盘方法、装置、***及计算机可读存储介质
技术领域
本申请涉及数据存储技术领域，特别涉及一种元数据落盘方法，还涉及一种元数据落盘装置、***以及计算机可读存储介质。
背景技术
元数据是指描述数据的数据，不仅表示数据的类型、名称、值等信息，也提供了数据的上下文信息，如数据所属域、数据来源等。在数据存储***中，元数据是信息存储的基础，是数据的最小单元。在全闪存储中，必然涉及到大量且高并发的数据访问和查询问题，有效的管理元数据，才能增加访问效率。因此，全闪存中元数据的有效管理、落盘保存效率以及避免写放大至关重要，可使大规模并发随机访问元数据达到更高的效率。
全闪存元数据一般以B+树的数据结构来组织，其中包括内存B+树和磁盘B+树两部分，当写缓存中内存B+树的元数据达到一定阈值后，需要将其写到盘上，与磁盘B+树进行合并获得新的B+树，进而完成落盘。然而，在现有技术中，上述元数据合并过程是通过B+树***操作实现，传统的B+树***操作是逐个***，即将内存B+树中的元数据逐个***至磁盘B+树中，当需要落盘的元数据数量较大时，该种落盘方法效率较为低下；进一步，当磁盘B+树中元数据数量较大时，其***过程则涉及大量的数据查找和拷贝，进一步降低了元数据落盘效率。
因此，如何有效提高元数据落盘效率是本领域技术人员亟待解决的问题。
发明内容
本申请的目的是提供一种元数据落盘方法，该元数据落盘方法落盘效率较高，可使大规模并发随机访问元数据达到更高的效率；本申请的另一目的是提供一种元数据落盘装置、***以及计算机可读存储介质，也具有上述有益效果。
为解决上述技术问题，本申请提供了一种元数据落盘方法，所述元数据落盘方法包括：
当接收到落盘指令时，获取内存B+树第一叶子节点的元数据；
对各所述元数据对应的磁盘B+树叶子节点进行查询，确定所述内存B+树与所述磁盘B+树的连续覆盖区域；
对处于同一连续覆盖区域内的所述内存B+树的元数据和所述磁盘B+树的元数据进行合并处理，获得新叶子节点；
判断所述内存B+树第一叶子节点是否为内存B+树终止叶子节点；
若否，则获取所述内存B+树下一叶子节点的元数据，并返回所述查询与各所述元数据对应的磁盘B+树叶子节点，确定所述内存B+树与所述磁盘B+树的连续覆盖区域的步骤，直至遍历到所述内存B+树终止叶子节点；
将各所述新叶子节点的元数据存储至磁盘内，完成元数据落盘。
优选的，所述获取内存B+树第一叶子节点的元数据之前，还包括：
判断所述磁盘中是否存在所述磁盘B+树；
若不存在，则将所述内存B+树存储至所述磁盘，完成元数据落盘；
若存在，则执行所述获取内存B+树第一叶子节点的元数据的步骤。
优选的，处于所述连续覆盖区域内的所述内存B+树的元数据对应的磁盘B+树叶子节点相同或相邻。
优选的，所述对处于所述连续覆盖区域内的所述内存B+树的元数据和所述磁盘B+树的元数据进行合并处理，获得新叶子节点，包括：
通过归并排序算法对处于所述连续覆盖区域内的所述内存B+树的元数据和所述磁盘B+树的元数据进行合并处理，获得所述新叶子节点。
优选的，所述获取所述内存B+树下一叶子节点的元数据之前，还包括：
将内存B+树上一叶子节点的元数据对应的磁盘B+树叶子节点删除。
优选的，所述将各所述新叶子节点的元数据存储至磁盘内，完成元数据落盘，包括：
通过各所述新叶子节点生成新内存B+树；
将所述新内存B+树存储至所述磁盘内，完成元数据落盘。
优选的，所述完成元数据落盘之后，还包括：
删除内存中所述新内存B+树，完成内存释放。
为解决上述技术问题，本申请还提供了一种元数据落盘装置，所述元数据落盘装置包括：
元数据获取模块，用于当接收到落盘指令时，获取内存B+树第一叶子节点的元数据；
连续覆盖区域确定模块，用于对各所述元数据对应的磁盘B+树叶子节点进行查询，确定所述内存B+树与所述磁盘B+树的连续覆盖区域；
元数据合并模块，用于对处于同一连续覆盖区域内的所述内存B+树的元数据和所述磁盘B+树的元数据进行合并处理，获得新叶子节点；
终止判断模块，用于判断所述内存B+树第一叶子节点是否为内存B+树终止叶子节点；
循环遍历模块，用于若所述内存B+树第一叶子节点不为所述内存B+树终止叶子节点，则获取所述内存B+树下一叶子节点的元数据，并返回所述连续覆盖区域确定模块，直至遍历到所述内存B+树终止叶子节点；
元数据落盘模块，用于将各所述新叶子节点的元数据存储至磁盘内，完成元数据落盘。
为解决上述技术问题，本申请还提供了一种元数据落盘***，所述元数据落盘***包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述任意一种元数据落盘方法的步骤。
为解决上述技术问题，本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一种元数据落盘方法的步骤。
本申请所提供的一种元数据落盘方法，包括当接收到落盘指令时，获取内存B+树第一叶子节点的元数据；对各所述元数据对应的磁盘B+树叶子节点进行查询，确定所述内存B+树与所述磁盘B+树的连续覆盖区域；对处于同一连续覆盖区域内的所述内存B+树的元数据和所述磁盘B+树的元数据进行合并处理，获得新叶子节点；判断所述内存B+树第一叶子节点是否为内存B+树终止叶子节点；若否，则获取所述内存B+树下一叶子节点的元数据，并返回所述查询与各所述元数据对应的磁盘B+树叶子节点，确定所述内存B+树与所述磁盘B+树的连续覆盖区域的步骤，直至遍历到所述内存B+树终止叶子节点；将各所述新叶子节点的元数据存储至磁盘内，完成元数据落盘。
可见，本申请所提供的元数据落盘方法，基于B+树数据结构的特性，元数据全部存储于B+树的叶子节点上，且为有序排列，由此，即可将内存B+树各个叶子节点中的元数据看做一个有序数列，将磁盘B+树叶子节点中的元数据看做一个有序数列，此时，通过查询并确定两个有序数列的连续覆盖区域，对处于同一连续覆盖区域内的内存元数据和磁盘元数据进行合并处理，从而完成批量元数据的排序并生成获得新的叶子节点，进一步实现数据落盘；相较于现有技术，可有效避免元数据逐个***造成的落盘效率低下的问题，可使大规模并发随机访问元数据达到更高的效率。
本申请所提供的一种元数据落盘装置、***以及计算机可读存储介质，均具有上述有益效果，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请所提供的一种元数据落盘方法的流程示意图；
图2为本申请所提供的一种内存B+树与磁盘B+树的叶子节点对照图；
图3为本申请所提供的另一种内存B+树与磁盘B+树的叶子节点对照图；
图4为本申请所提供的另一种元数据落盘方法的流程示意图；
图5为本申请所提供的一种元数据落盘装置的结构示意图；
图6为本申请所提供的一种元数据落盘***的结构示意图。
具体实施方式
本申请的核心是提供一种元数据落盘方法，该元数据落盘方法落盘效率较高，可使大规模并发随机访问元数据达到更高的效率；本申请的另一核心是提供一种元数据落盘装置、***以及计算机可读存储介质，也具有上述有益效果。
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
请参考图1，图1为本申请所提供的一种元数据落盘方法的流程示意图，该元数据落盘方法可以包括：
S101：当接收到落盘指令时，获取内存B+树第一叶子节点的元数据；
一般的，内存B+树中的叶子节点的数量并不唯一，本步骤旨在实现内存B+树第一叶子节点中元数据的获取，该第一叶子节点即为内存B+树的第一个叶子节点。具体而言，元数据落盘的过程涉及到内存B+树中元数据与磁盘B+树中元数据的合并，该合并过程在缓存的内存中执行，因此，当接收到落盘指令时，可对内存B+树的第一叶子节点进行读取，获得其中的元数据。
当然，基于B+树数据结构的特性，其叶子节点中的元数据为有序排列，因此，上述获得的内存B+树第一叶子节点的元数据相当于一个有序数列。
S102：对各元数据对应的磁盘B+树叶子节点进行查询，确定内存B+树与磁盘B+树的连续覆盖区域；
本步骤旨在实现内存B+树与磁盘B+树的连续覆盖区域的获取。由于内存B+树中的各个元数据均有其对应的磁盘B+树叶子节点，那么在获得内存B+树第一叶子节点中元数据的基础上，对该第一叶子节点中的各个元数据对应的磁盘B+树叶子节点进行查询，即可获得内存B+树与磁盘B+树的连续覆盖区域。
下面通过举例对上述连续覆盖区域进行详细介绍。
首先，请参考图2，图2为本申请所提供的一种内存B+树与磁盘B+树的叶子节点对照图，其中，内存B+树叶子节点中的“节点1”即为第一叶子节点，其中包括3个元数据，分别为key1、key2以及key3；通过叶子节点查询后确定，key1对应于磁盘B+树的第一个叶子节点，key2对应于磁盘B+树的第二个叶子节点，而key3对应于磁盘B+树的第四个叶子节点，此时，key3对应的叶子节点与前两个元数据对应的叶子节点不连续，则磁盘B+树第一叶子节点与磁盘B+树第二叶子节点所覆盖的区域为一个连续覆盖区域，磁盘B+树第四个叶子节点所覆盖的区域为一个连续覆盖区域。
进一步，请参考图3，图3为本申请所提供的另一种内存B+树与磁盘B+树的叶子节点对照图，内存B+树叶子节点中的“节点1”即为第一叶子节点，其中包括4个元数据，分别为key a、key b、key c以及key d；通过叶子节点查询后确定，key a和key b均对应于磁盘B+树的第一个叶子节点，key c对应于磁盘B+树的第三个叶子节点，key d对应于磁盘B+树的第四个叶子节点，此时，key a和key b对应的叶子节点连续，key c和key d对应的叶子节点连续，而key b和key c对应的叶子节点不连续，则磁盘B+树第一叶子节点所覆盖的区域为一个连续覆盖区域，磁盘B+树的第三个叶子节点和第四个叶子节点所覆盖的区域为一个连续覆盖区域。
基于上述阐述可以看出，处于连续覆盖区域内的内存B+树的元数据对应的磁盘B+树叶子节点可以是相同的，也可以是相邻的。但是，该实现方式并不唯一，也可以预先设定连续覆盖区域为同一磁盘B+树叶子节点，即内存B+树中的元数据对应的磁盘B+树叶子节点为同一叶子节点，此时，该叶子节点为连续覆盖区域，但该种实现方式相较于上述连续覆盖区域中内存B+树元数据对应的磁盘B+树叶子节点可以相同、也可以相邻的实现方式，效率相对较低，适用于待落盘元数据较少的情况。
因此，作为一种优选实施例，本申请设定处于连续覆盖区域内的内存B+树的元数据对应的磁盘B+树叶子节点相同或相邻。由此，即实现了最大连续覆盖区域中元数据的合并，实现了元数据的批量处理，既有效保证了较低的写放大，也实现了较高的元数据落盘效率。
S103：对处于同一连续覆盖区域内的内存B+树的元数据和磁盘B+树的元数据进行合并处理，获得新叶子节点；
本步骤旨在实现内存B+树中元数据与磁盘B+树中元数据的合并处理操作。具体而言，在同一连续覆盖区域内，内存B+树的元数据相当于一个有序数列，磁盘B+树的元数据相当于一个有序数列，此时，该合并过程即为两个有序数列的合并排序过程。当然，对于两个有序数列的合并排序过程，可采用已有技术中的任意一种，本申请对此不做限定。进一步，完成合并排序后，即可获得一个新的完整的有序数列，该完整的有序数列组成了一个新的叶子节点。
由于上述元数据合并过程是在缓存的内存中进行的，那么元数据合并必然涉及到磁盘上元数据的获取，也就是说需要将磁盘B+树的元数据读取至内存中。以图2为例，由于已经查询key3对应于磁盘B+树的第四个叶子节点，那么在数据合并过程中，无需对磁盘B+树的地三个叶子节点进行读取，避免了读取磁盘无效节点，在降低对磁盘写放大的同时，提高了元数据合并效率。
优选的，上述对处于连续覆盖区域内的内存B+树的元数据和磁盘B+树的元数据进行合并处理，获得新叶子节点，可以包括通过归并排序算法对处于连续覆盖区域内的内存B+树的元数据和磁盘B+树的元数据进行合并处理，获得新叶子节点。
具体的，对于上述元数据的合并过程，本申请提供了一种较为具体的实现方式，即基于归并排序算法实现。归并排序是建立在归并操作上的一种有效的排序算法，具体是将已有序的子序列合并，得到完全有序的序列，即先使每个子序列有序，再使子序列段间有序，最后得到完整有序的序列。
归并排序是一种具有高效性和高稳定性的排序算法。例如，待落盘元数据有10个，即10个key值，如若采用传统的***方法，则可能需要查找10次位置，然后做10次数据移动，效率很低。但如果采用归并排序产生新节点，不需要做查找，一个key值只需要***一次，不会再改动，效率较高。
S104：判断内存B+树第一叶子节点是否为内存B+树终止叶子节点；若否，则执行S105，若是，则执行S106；
上述S101～S103是对内存B+树第一叶子节点中元数据所执行的操作，要想完成整个内存B+树与磁盘B+树的合并，则需要对内存B+树中的所有叶子节点执行上述操作。因此，可判断上述内存B+树第一叶子节点是否为内存B+树终止叶子节点，该终止叶子节点即为内存B+树的最后一个叶子节点。
S105：获取内存B+树下一叶子节点的元数据，并返回S102，直至遍历到内存B+树终止叶子节点；
具体的，如果上述内存B+树第一叶子节点不是终止叶子节点，则需要继续遍历下一叶子节点，获取内存B+树下一叶子节点中的元数据，当然，该元数据的获取过程可参照第一叶子节点元数据的获取过程，在此不在赘述。由此，通过对内存B+树中的所有叶子节点执行上述S101～S103操作，即可实现内存B+树与磁盘B+树的完整合并，获得所有的新的叶子节点。
作为一种优选实施例，上述获取内存B+树下一叶子节点的元数据之前，还可以包括：将内存B+树上一叶子节点的元数据对应的磁盘B+树叶子节点删除。
由于元数据的合并过程需要将磁盘B+树的元数据读取至内存中，然而，基于B+树数据结构的特性，元数据在其中的存储是有序的，而本申请提供的元数据落盘方法是以一个内存B+树的叶子节点为单位进行的，可以想到的，内存B+树上一叶子节点中元数据对应的磁盘B+树叶子节点与内存B+树下一叶子节点中元数据对应的磁盘B+树叶子节点绝对不是同一个叶子节点，且内存B+树下一叶子节点中元数据对应的磁盘B+树叶子节点必然在内存B+树上一叶子节点中元数据对应的磁盘B+树叶子节点之后，因此，为降低资源占用率，在每完成一次内存B+树叶子节点的元数据合并后，即可将该内存B+树叶子节点中各个元数据对应的磁盘B+树叶子节点删除，以达到释放内存的目的。
基于以上阐述，可以想到的，在初始对磁盘B+树进行元数据读取时，也无需一次性将磁盘B+树中被查询到的所有元数据读取到内存中，只需将内存B+树当前叶子节点中各个元数据对应的磁盘B+树叶子节点读取到内存中即可，实现内存的换入换出，以避免内存资源占用。进一步，对于已经读取的磁盘B+树叶子节点，也可直接在磁盘中进行删除，以降低磁盘的资源占用；当然，该操作也可在磁盘B+树中所有被查询到的元数据被读取完毕后执行，本申请对此不做限定。
S106：将各新叶子节点的元数据存储至磁盘内，完成元数据落盘。
本步骤旨在实现元数据落盘。具体的，在完成内存B+树中所有叶子节点的元数据与磁盘B+树中元数据的合并，获得所有的新叶子节点后，即可将其存储至磁盘中，实现元数据落盘。进一步，对于落盘之后的元数据，还可对其执行进一步的压实操作，使得各kv值(元数据)在磁盘上紧密排布，以有效提高磁盘利用率。
优选的，上述将各新叶子节点的元数据存储至磁盘内，完成元数据落盘，可以包括：通过各新叶子节点生成新内存B+树；将新内存B+树存储至磁盘内，完成元数据落盘。
对于上述元数据落盘的过程，本申请提供了较为具体的实现方法，具体的，在缓存的内存中，根据内存B+树的结构特性，可先基于获得的所有新叶子节点生成新内存B+树，具体实现过程为：依次向上生成对应的非叶子节点，直至作为根节点的非叶子结点生成，获得新内存B+树，最后再将该新内存B+树存储至磁盘中，完成元数据落盘。
作为一种优选实施例，上述完成元数据落盘之后，还可以包括：删除内存中新内存B+树，完成内存释放。
在完成元数据落盘后，还可进一步释放内存。具体的，由于已经完成落盘，此时内存中生成的新内存B+树不再使用，此时将其删除即可，实现内存释放，以便为新输入的元数据提供存储空间。
更进一步，由于元数据已经落盘完成，且以新B+树的形式存储至磁盘中，那么，原始的磁盘B+树同样不再具有使用价值，此时同样将其删除即可，以有效降低资源利用率。
本申请所提供的元数据落盘方法，基于B+树数据结构的特性，元数据全部存储于B+树的叶子节点上，且为有序排列，由此，即可将内存B+树各个叶子节点中的元数据看做一个有序数列，将磁盘B+树叶子节点中的元数据看做一个有序数列，此时，通过查询并确定两个有序数列的连续覆盖区域，对处于同一连续覆盖区域内的内存元数据和磁盘元数据进行合并处理，从而完成批量元数据的排序并生成获得新的叶子节点，进一步实现数据落盘；相较于现有技术，可有效避免元数据逐个***造成的落盘效率低下的问题，可使大规模并发随机访问元数据达到更高的效率。
在上述各个实施例的基础上，请参考图4，图4为本申请所提供的另一种元数据落盘方法的流程示意图，该元数据落盘方法可以包括：
S201：接收落盘指令；
S202：根据落盘指令判断磁盘中是否存在磁盘B+树；若是，则执行S203，若否，则执行S204；
S203：将内存B+树存储至磁盘，完成元数据落盘；
具体的，对于磁盘为空的情况，即磁盘中本身不存在磁盘B+树，此时，无需执行磁盘元数据与内存元数据的合并操作，直接将内存B+树存储至磁盘，即可实现元数据落盘。
S204：获取内存B+树第一叶子节点的元数据；
S205：对各元数据对应的磁盘B+树叶子节点进行查询，确定内存B+树与磁盘B+树的连续覆盖区域；
S206：对处于同一连续覆盖区域内的内存B+树的元数据和磁盘B+树的元数据进行合并处理，获得新叶子节点；
S207：判断内存B+树第一叶子节点是否为内存B+树终止叶子节点；若否，则执行S208，若是，则执行S209；
S208：获取内存B+树下一叶子节点的元数据，并返回S205，直至遍历到内存B+树终止叶子节点；
S209：将各新叶子节点的元数据存储至磁盘内，完成元数据落盘。
对于上述S201以及S204～S209的具体内容参照上一实施例即可，本实施例在此不再赘述。
为解决上述问题，请参考图5，图5为本申请所提供的一种元数据落盘装置的结构示意图，该元数据落盘装置可包括：
元数据获取模块10，用于当接收到落盘指令时，获取内存B+树第一叶子节点的元数据；
连续覆盖区域确定模块20，用于对各元数据对应的磁盘B+树叶子节点进行查询，确定内存B+树与磁盘B+树的连续覆盖区域；
元数据合并模块30，用于对处于同一连续覆盖区域内的内存B+树的元数据和磁盘B+树的元数据进行合并处理，获得新叶子节点；
终止判断模块40，用于判断内存B+树第一叶子节点是否为内存B+树终止叶子节点；
循环遍历模块50，用于若内存B+树第一叶子节点不为内存B+树终止叶子节点，则获取内存B+树下一叶子节点的元数据，并返回连续覆盖区域确定模块，直至遍历到内存B+树终止叶子节点；
元数据落盘模块60，用于将各新叶子节点的元数据存储至磁盘内，完成元数据落盘。
作为一种优选实施例，该元数据落盘装置还可以包括预判断模块，用于判断磁盘中是否存在磁盘B+树；若不存在，则将内存B+树存储至磁盘，完成元数据落盘；若存在，则执行获取内存B+树第一叶子节点的元数据的步骤。
作为一种优选实施例，上述元数据合并模块30可以具体用于通过归并排序算法对处于连续覆盖区域内的内存B+树的元数据和磁盘B+树的元数据进行合并处理，获得新叶子节点。
作为一种优选实施例，该元数据落盘装置还可以包括第一内存释放模块，用于将内存B+树上一叶子节点的元数据对应的磁盘B+树叶子节点删除。
作为一种优选实施例，上述元数据落盘模块60可具体用于通过各新叶子节点生成新内存B+树；将新内存B+树存储至磁盘内，完成元数据落盘。
作为一种优选实施例，该元数据落盘装置还可以包括第二内存释放模块，用于删除内存中新内存B+树，完成内存释放。
对于本申请提供的装置的介绍请参照上述方法实施例，本申请在此不做赘述。
为解决上述问题，请参考图6，图6为本申请所提供的一种元数据落盘***的结构示意图，该元数据落盘***可包括：
存储器1，用于存储计算机程序；
处理器2，用于执行计算机程序时实现如下步骤：
当接收到落盘指令时，获取内存B+树第一叶子节点的元数据；对各元数据对应的磁盘B+树叶子节点进行查询，确定内存B+树与磁盘B+树的连续覆盖区域；对处于同一连续覆盖区域内的内存B+树的元数据和磁盘B+树的元数据进行合并处理，获得新叶子节点；判断内存B+树第一叶子节点是否为内存B+树终止叶子节点；若否，则获取内存B+树下一叶子节点的元数据，并返回查询与各元数据对应的磁盘B+树叶子节点，确定内存B+树与磁盘B+树的连续覆盖区域的步骤，直至遍历到内存B+树终止叶子节点；将各新叶子节点的元数据存储至磁盘内，完成元数据落盘。
对于本申请提供的设备的介绍请参照上述方法实施例，本申请在此不做赘述。
为解决上述问题，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可实现如下骤：
当接收到落盘指令时，获取内存B+树第一叶子节点的元数据；对各元数据对应的磁盘B+树叶子节点进行查询，确定内存B+树与磁盘B+树的连续覆盖区域；对处于同一连续覆盖区域内的内存B+树的元数据和磁盘B+树的元数据进行合并处理，获得新叶子节点；判断内存B+树第一叶子节点是否为内存B+树终止叶子节点；若否，则获取内存B+树下一叶子节点的元数据，并返回查询与各元数据对应的磁盘B+树叶子节点，确定内存B+树与磁盘B+树的连续覆盖区域的步骤，直至遍历到内存B+树终止叶子节点；将各新叶子节点的元数据存储至磁盘内，完成元数据落盘。
该计算机可读存储介质可以包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
对于本申请提供的计算机可读存储介质的介绍请参照上述方法实施例，本申请在此不做赘述。
说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
以上对本申请所提供的元数据落盘方法、装置、***以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围要素。

Claims (10)

1.一种元数据落盘方法，其特征在于，包括：
当接收到落盘指令时，获取内存B+树第一叶子节点的元数据；
对各所述元数据对应的磁盘B+树叶子节点进行查询，确定所述内存B+树与所述磁盘B+树的连续覆盖区域；其中，在所述连续覆盖区域内，所述元数据对应的磁盘B+树叶子节点相同或相邻；
对处于同一连续覆盖区域内的所述内存B+树的元数据和所述磁盘B+树的元数据进行合并处理，获得新叶子节点；
判断所述内存B+树第一叶子节点是否为内存B+树终止叶子节点；
若否，则获取所述内存B+树下一叶子节点的元数据，并返回所述查询与各所述元数据对应的磁盘B+树叶子节点，确定所述内存B+树与所述磁盘B+树的连续覆盖区域的步骤，直至遍历到所述内存B+树终止叶子节点；
将各所述新叶子节点的元数据存储至磁盘内，完成元数据落盘。
2.如权利要求1所述的元数据落盘方法，其特征在于，所述获取内存B+树第一叶子节点的元数据之前，还包括：
判断所述磁盘中是否存在所述磁盘B+树；
若不存在，则将所述内存B+树存储至所述磁盘，完成元数据落盘；
若存在，则执行所述获取内存B+树第一叶子节点的元数据的步骤。
3.如权利要求1所述的元数据落盘方法，其特征在于，处于所述连续覆盖区域内的所述内存B+树的元数据对应的磁盘B+树叶子节点相同或相邻。
4.如权利要求1至3任意一项所述的元数据落盘方法，其特征在于，所述对处于所述连续覆盖区域内的所述内存B+树的元数据和所述磁盘B+树的元数据进行合并处理，获得新叶子节点，包括：
通过归并排序算法对处于所述连续覆盖区域内的所述内存B+树的元数据和所述磁盘B+树的元数据进行合并处理，获得所述新叶子节点。
5.如权利要求4所述的元数据落盘方法，其特征在于，所述获取所述内存B+树下一叶子节点的元数据之前，还包括：
将内存B+树上一叶子节点的元数据对应的磁盘B+树叶子节点删除。
6.如权利要求5所述的元数据落盘方法，其特征在于，所述将各所述新叶子节点的元数据存储至磁盘内，完成元数据落盘，包括：
通过各所述新叶子节点生成新内存B+树；
将所述新内存B+树存储至所述磁盘内，完成元数据落盘。
7.如权利要求6所述的元数据落盘方法，其特征在于，所述完成元数据落盘之后，还包括：
删除内存中所述新内存B+树，完成内存释放。
8.一种元数据落盘装置，其特征在于，还包括：
元数据获取模块，用于当接收到落盘指令时，获取内存B+树第一叶子节点的元数据；
连续覆盖区域确定模块，用于对各所述元数据对应的磁盘B+树叶子节点进行查询，确定所述内存B+树与所述磁盘B+树的连续覆盖区域；其中，在所述连续覆盖区域内，所述元数据对应的磁盘B+树叶子节点相同或相邻；
元数据合并模块，用于对处于同一连续覆盖区域内的所述内存B+树的元数据和所述磁盘B+树的元数据进行合并处理，获得新叶子节点；
终止判断模块，用于判断所述内存B+树第一叶子节点是否为内存B+树终止叶子节点；
循环遍历模块，用于若所述内存B+树第一叶子节点不为所述内存B+树终止叶子节点，则获取所述内存B+树下一叶子节点的元数据，并返回所述连续覆盖区域确定模块，直至遍历到所述内存B+树终止叶子节点；
元数据落盘模块，用于将各所述新叶子节点的元数据存储至磁盘内，完成元数据落盘。
9.一种元数据落盘***，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至7任意一项所述的元数据落盘方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述的元数据落盘方法的步骤。
CN201910429310.8A 2019-05-22 2019-05-22 一种元数据落盘方法、装置、***及计算机可读存储介质 Active CN110147204B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910429310.8A CN110147204B (zh) 2019-05-22 2019-05-22 一种元数据落盘方法、装置、***及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910429310.8A CN110147204B (zh) 2019-05-22 2019-05-22 一种元数据落盘方法、装置、***及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110147204A CN110147204A (zh) 2019-08-20
CN110147204B true CN110147204B (zh) 2020-03-10

Family

ID=67592733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910429310.8A Active CN110147204B (zh) 2019-05-22 2019-05-22 一种元数据落盘方法、装置、***及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110147204B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110704244B (zh) * 2019-09-29 2023-01-10 苏州浪潮智能科技有限公司 一种磁盘离线处理方法、装置、设备及可读存储介质
CN110989936A (zh) * 2019-12-06 2020-04-10 深信服科技股份有限公司 一种存储空间分配方法、装置及存储介质
CN111309258B (zh) 2020-02-14 2021-10-15 苏州浪潮智能科技有限公司 一种b+树的存取方法、装置和计算机可读存储介质
CN111813603B (zh) * 2020-07-16 2022-06-10 济南浪潮数据技术有限公司 一种精简卷元数据备份方法、装置、设备及可读存储介质
CN113901276B (zh) * 2021-09-30 2024-07-09 苏州浪潮智能科技有限公司 一种数据管理、b+树加载方法、装置及电子设备
CN116069267B (zh) * 2023-04-06 2023-07-14 苏州浪潮智能科技有限公司 一种raid卡的写缓存方法、***、设备及存储介质
CN116431080B (zh) * 2023-06-09 2023-08-29 苏州浪潮智能科技有限公司 一种数据落盘方法、***、设备及计算机可读存储介质
CN116501267B (zh) * 2023-06-27 2023-09-29 苏州浪潮智能科技有限公司 一种独立冗余磁盘阵列卡控制方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109033365A (zh) * 2018-07-26 2018-12-18 郑州云海信息技术有限公司 一种数据处理方法及相关设备
CN109558084A (zh) * 2018-11-29 2019-04-02 文华学院 一种数据处理方法以及相关设备
CN109614045A (zh) * 2018-12-06 2019-04-12 广东浪潮大数据研究有限公司 一种元数据落盘方法、装置及相关设备
US10268403B1 (en) * 2015-10-29 2019-04-23 Pure Storage, Inc. Combining multiple copy operations into a single copy operation

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105487820B (zh) * 2015-11-30 2018-11-16 中国科学院信息工程研究所 一种基于时间片轮转机制的树状存储结构写放大优化方法
CN108319625B (zh) * 2017-01-17 2019-10-25 广州市动景计算机科技有限公司 文件合并方法和装置
US10656859B2 (en) * 2017-03-01 2020-05-19 Tintri By Ddn, Inc. Efficient deduplication for storage systems
CN109213445A (zh) * 2018-08-23 2019-01-15 郑州云海信息技术有限公司 一种存储***元数据的管理方法、管理***及相关装置
CN109189343B (zh) * 2018-09-14 2021-08-10 郑州云海信息技术有限公司 一种元数据落盘方法、装置、设备及计算机可读存储介质
CN109388346B (zh) * 2018-10-15 2022-02-18 郑州云海信息技术有限公司 一种数据落盘方法和相关装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10268403B1 (en) * 2015-10-29 2019-04-23 Pure Storage, Inc. Combining multiple copy operations into a single copy operation
CN109033365A (zh) * 2018-07-26 2018-12-18 郑州云海信息技术有限公司 一种数据处理方法及相关设备
CN109558084A (zh) * 2018-11-29 2019-04-02 文华学院 一种数据处理方法以及相关设备
CN109614045A (zh) * 2018-12-06 2019-04-12 广东浪潮大数据研究有限公司 一种元数据落盘方法、装置及相关设备

Also Published As

Publication number Publication date
CN110147204A (zh) 2019-08-20

Similar Documents

Publication Publication Date Title
CN110147204B (zh) 一种元数据落盘方法、装置、***及计算机可读存储介质
CN109254733B (zh) 用于存储数据的方法、装置和***
US11853549B2 (en) Index storage in shingled magnetic recording (SMR) storage system with non-shingled region
KR101467589B1 (ko) 데이터 구조를 가지는 하나 이상의 장치 판독가능 매체, 및장치 실행가능 명령어를 구비한 하나 이상의 장치 판독가능 매체
CN105320775A (zh) 数据的存取方法和装置
CN111190904B (zh) 一种图-关系数据库混合存储的方法和装置
CN111444192B (zh) 块链式账本中全局状态的哈希的生成方法、装置及设备
CN110489405B (zh) 数据处理的方法、装置和服务器
CN110888837B (zh) 对象存储小文件归并方法及装置
CN111444196B (zh) 块链式账本中全局状态的哈希的生成方法、装置及设备
CN106599091B (zh) 基于键值存储的rdf图结构存储和索引方法
CN109558456A (zh) 一种文件迁移方法、装置、设备及可读存储介质
CN110647514A (zh) 一种元数据更新方法、装置及元数据服务器
CN109213445A (zh) 一种存储***元数据的管理方法、管理***及相关装置
CN109213450A (zh) 一种基于闪存阵列的关联元数据删除方法、装置及设备
CN104424222A (zh) 数据库索引方法及装置
CN109189343B (zh) 一种元数据落盘方法、装置、设备及计算机可读存储介质
CN113468080B (zh) 一种全闪元数据的缓存方法、***及相关装置
CN111159130A (zh) 一种小文件合并方法及电子设备
CN111752941B (zh) 一种数据存储、访问方法、装置、服务器及存储介质
CN110781101A (zh) 一种一对多映射关系的存储方法、装置、电子设备及介质
CN109658985B (zh) 一种基因参考序列的去冗余优化方法及***
KR100859710B1 (ko) 데이터에 대한 검색을 수행하기 위한 자료구조를 이용하여 데이터를 검색, 저장, 삭제하는 방법
CN107315806B (zh) 一种基于文件***的嵌入式存储方法和装置
CN112527196B (zh) Cache读写方法、装置、计算机可读存储介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant