CN109240993A - 元数据管理方法以及存储服务器 - Google Patents

元数据管理方法以及存储服务器 Download PDF

Info

Publication number
CN109240993A
CN109240993A CN201810819598.5A CN201810819598A CN109240993A CN 109240993 A CN109240993 A CN 109240993A CN 201810819598 A CN201810819598 A CN 201810819598A CN 109240993 A CN109240993 A CN 109240993A
Authority
CN
China
Prior art keywords
metadata
storage server
disk
brush
total amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810819598.5A
Other languages
English (en)
Inventor
刘丹
陈玉强
朱斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201810819598.5A priority Critical patent/CN109240993A/zh
Publication of CN109240993A publication Critical patent/CN109240993A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0673—Single storage device
    • G06F3/0674—Disk device
    • G06F3/0676—Magnetic disk device

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种元数据管理方法以及存储服务器，用于存储服务器统一将每种业务数据的元数据存储至存储服务器中的磁盘。本申请实施例方法包括：存储服务器确定第一元数据的总量大于预设阈值，所述第一元数据的总量为所述存储服务器的内存中每种业务数据的元数据的总和；所述存储服务器确定所述第一元数据为待下刷至所述存储服务器中的磁盘的元数据；所述存储服务器将所述第一元数据存储至所述存储服务器中的磁盘。

Description

元数据管理方法以及存储服务器
技术领域
本申请涉及电子技术，尤其涉及一种元数据管理方法以及存储服务器。
背景技术
元数据(Metadata)，又称为中介数据、中继数据，为描述数据的数据(data aboutdata)，主要是描述数据属性的信息，用来支持如指示存储位置、历史数据、资源查找和文件记录等功能。通过元数据描述业务数据，并对描述业务数据的元数据进行管理，可以实现对业务数据的有效管理。
目前，随着业务类型的增加以及业务量的增加，业务数据的元数据不断增加，文件***的内存无法满足大量的业务的需求。因此，针对每种业务数据的元数据进行分布式管理，即针对每种业务数据的元数据需要有一个元数据管理模块，通过每个元数据管理模块检测每种业务数据的元数据，然后将该业务数据的元数据下刷至文件***中的磁盘中。
但是，通过对每种业务数据的元数据进行分布式管理的方式需要针对每种业务数据的元数据分配一个元数据管理模块来对该类型业务数据的元数据进行管理，即下刷至磁盘的操作，无法统一对每种业务数据的元数据进行统一管理，且每种元数据管理模块对其所管理的业务数据的元数据的方式不同，因此，通过分布式管理元数据的方式的局限性较大，通用性较差。
发明内容
本申请实施例提供了一种元数据管理方法以及存储服务器，用于存储服务器统一将每种业务数据的元数据存储至存储服务器中的磁盘。
第一方面，本申请实施例提供了一种元数据管理方法，所述方法包括：
存储服务器确定第一元数据的总量大于预设阈值，所述第一元数据的总量为所述存储服务器的内存中每种业务数据的元数据的总和；
所述存储服务器确定所述第一元数据为待下刷至所述存储服务器中的磁盘的元数据；
所述存储服务器将所述第一元数据存储至所述存储服务器中的磁盘。
一种可能的实现方式中，所述存储服务器将所述第一元数据存储至所述存储服务器中的磁盘之后，所述方法还包括：
所述存储服务器确定第二元数据的总量大于预设阈值，所述第二元数据的总量为所述存储服务器的内存中除所述第一元数据以外，所述每种业务数据的元数据的总和；
所述存储服务器确定所述第二元数据为所述待下刷至磁盘的元数据；
所述存储服务器根据所述第二元数据生成第二元数据刷盘任务，所述第二元数据刷盘任务用于指示所述存储服务器将所述第二元数据下刷至所述磁盘；
所述存储服务器将所述第二元数据刷盘任务加入待刷盘队列中。
另一种可能的实现方式中，所述存储服务器将所述第二元数据刷盘任务加入待刷盘队列中之后，所述方法还包括：
所述存储服务器确定所述第一元数据在所述磁盘中存储成功；
所述存储服务器执行所述第二元数据刷盘任务。
另一种可能的实现方式中，所述存储服务器将所述第一元数据存储至所述存储服务器中的磁盘中之后，所述方法还包括：
所述存储服务器确定所述第一元数据的元数据表项的访问计数为零；
所述存储服务器更新所述第一元数据的访问地址；
所述存储服务器删除所述内存中的所述第一元数据。
第二方面，本申请实施例提供了一种存储服务器，所述存储服务器包括：
第一确定单元，用于确定第一元数据的总量大于预设阈值，所述第一元数据的总量为所述存储服务器的内存中每种业务数据的元数据的总和；
第二确定单元，用于确定所述第一元数据为待下刷至所述存储服务器中的磁盘的元数据；
存储单元，用于将所述第一元数据存储至所述存储服务器中的磁盘。
一种可能的实现方式中，所述第一确定单元还用于：
确定第二元数据的总量大于预设阈值，所述第二元数据的总量为所述存储服务器的内存中除所述第一元数据以外，所述每种业务数据的元数据的总和；
所述第二确定单元还用于：
确定所述第二元数据为所述待下刷至磁盘的元数据；
所述存储服务器还包括：
生成单元，用于根据所述第二元数据生成第二元数据刷盘任务，所述第二元数据刷盘任务用于指示所述存储服务器将所述第二元数据下刷至所述磁盘；
加入单元，用于将所述第二元数据刷盘任务加入待刷盘队列中。
另一种可能的实现方式中，所述存储服务器还包括：
第三确定单元，用于确定所述第一元数据在所述磁盘中存储成功；
执行单元，用于执行所述第二元数据刷盘任务。
另一种可能的实现方式中，，所述存储服务器还包括：
第四确定单元，用于确定所述第一元数据的元数据表项的访问计数为零；
更新单元，用于更新所述第一元数据的访问地址；
删除单元，用于删除所述内存中的所述第一元数据。
第三方面，本申请实施例提供了一种存储服务器，所述存储服务器包括：
处理器、存储器、输入输出设备以及总线；
所述处理器、存储器、输入输出设备分别与所述总线相连，所述存储器中存储有计算机指令；
所述处理器在执行所述存储器中的计算机指令时，用于实现如第一方面任一种实现方式。
第四方面，本申请实施例提供一种包含指令的计算机程序产品，其特征在于，当其在计算机上运行时，使得所述计算机执行如第一方面中任一种所述的实现方式。
第五方面，本申请实施例提供一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使得计算机执行如第一方面中任一项所述的实现方式。
从以上技术方案可以看出，本申请实施例具有以下优点：
经由上述技术方案可知，存储服务器确定第一元数据的总量大于预设阈值，其中，该第一元数据的总量为该存储服务器的内存中每种业务数据的元数据的总和；然后存储服务器可以确定该第一元数据为待下刷至该存储服务器中的磁盘的元数据；存储服务器可以将该第一元数据存储至存储服务器中的磁盘。因此，通过本申请的技术方案，存储服务器可以统一将每种业务数据的元数据存储至存储服务器中的磁盘，且针对每种业务数据的元数据的管理方式相同，适用于不同类型的业务数据的元数据的管理。因此，通过本申请的技术方案进行统一管理多种业务数据的元数据的方式的通用性更强。
附图说明
图1为本申请实施例中的一种应用场景***框架示意图；
图2为本申请实施例中的元数据管理方法的一个实施例示意图；
图3为本申请实施例中的元数据管理方法的另一个实施例示意图；
图4为本申请实施例中的存储服务器的一个结构示意图；
图5为本申请实施例中的存储服务器的另一个结构示意图。
具体实施方式
本申请实施例提供了一种元数据管理方法以及存储服务器，用于存储服务器统一将每种业务数据的元数据存储至存储服务器中的磁盘。
请参阅图1，图1为本申请实施例中的一种应用场景***框架示意图，其中，存储服务器用于对主机设备进行不同业务所产生的数据以及所需要调用的数据的存储以及管理，其中，数据包括业务数据和元数据。随着业务类型的增加以及业务数据的增加，业务数据的元数据也不断地增加，通过存储服务器的内存来存储元数据已经无法满足大量的业务需求，因此，存储服务器通过对主机设备进行不同业务产生的业务数据的元数据进行存储至内存中，当内存中的元数据总量超过一定预设阈值时，存储服务器可以将该业务数据的元数据存储至存储服务器中的磁盘。主机设备用于执行不同的业务。
下面从存储服务器的角度对本申请的元数据管理的方法进行详细描述，请参阅图2，本申请实施例中元数据管理的方法的一个实施例包括：
201、存储服务器确定第一元数据的总量大于预设阈值。
存储服务器在主机设备不断地执行不同业务的过程中，针对不同业务数据的元数据也随着主机设备在执行业务的过程中增加，那么此时存储服务器可以监测存储服务器中的内存的第一元数据的总量，其中，该第一元数据的总量为该存储服务器的内存中的每种业务数据的元数据的总和。在存储服务器的内存中，当第一元数据的总量在上升至其总量大于预设阈值时，存储服务器可以确定第一元数据的总量大于预设阈值。
202、存储服务器确定第一元数据为待下刷至该存储服务器中的磁盘的元数据。
存储服务器确定了第一元数据的总量大于预设阈值时，存储服务器可以确定第一元数据为待下刷至磁盘的元数据。
203、存储服务器将该第一元数据存储至该存储服务器中的磁盘中。
存储服务器可以将第一元数据按照预设的方式下刷至磁盘中。
本申请实施例中，存储服务器确定第一元数据的总量大于预设阈值，其中，该第一元数据的总量为该存储服务器的内存中每种业务数据的元数据的总和；然后存储服务器可以确定该第一元数据为待下刷至该存储服务器中的磁盘的元数据；存储服务器可以将该第一元数据存储至存储服务器中的磁盘。因此，通过本申请的技术方案，存储服务器可以统一将每种业务数据的元数据存储至存储服务器中的磁盘，且针对每种业务数据的元数据的管理方式相同，适用于不同类型的业务数据的元数据的管理。因此，通过本申请的技术方案进行统一管理多种业务数据的元数据的方式的通用性更强。
本申请实施例中，在存储服务器对第一元数据进行下刷至存储服务器的磁盘中的过程中，如果存储服务器检测到存储服务器中的第二元数据的总量大于预设阈值时，此时，存储服务器可以根据该第二元数据生成第二元数据刷盘任务，然后将该第二元数据刷盘任务加入待刷盘队列中，待存储服务器将第一元数据成功存储至该存储服务器的磁盘之后，再执行该第二元数据刷盘任务，即将第二元数据存储至磁盘中；其中，第二元数据为存储服务器的内存中除第一元数据以外，每种业务数据的元数据；具体此处不做限定。在后续的实施例中，仅以存储服务器在将第一元数据成功存储至磁盘之前，第二元数据的总量未达到预设阈值的情况为例进行说明。
本申请实施例中，存储服务器将第一元数据存储至存储服务器的磁盘之后，存储服务器可以根据第一元数据的元数据表项的访问计数来更新第一元数据的访问地址；下面通过图3来详细介绍该实施方式，请参阅图3，本申请实施例中元数据管理方法的另一个实施例包括：
301、存储服务器检测存储服务器的内存中的第一元数据的总量。
主机设备在执行不同业务的过程中，会产生业务数据以及业务数据的元数据，针对不同的业务数据的元数据，存储服务器可以在主机设备执行业务的过程中不断的检测内存中存储的第一元数据的总量，其中，该第一元数据的总量为该存储服务器的内存中的每种业务数据的元数据的总和。
302、存储服务器判断第一元数据的总量是否大于预设阈值，若是，则执行步骤303；若否，则执行步骤308。
存储服务器可以将每种业务数据的元数据的总量相加得到第一元数据，然后存储服务器可以判断第一元数据的总量是否大于预设阈值，如果大于，那么存储服务器执行步骤303；如果不大于，那么存储服务器执行步骤308。
303、存储服务器确定第一元数据为待下刷至存储服务器的磁盘中的元数据。
如果存储服务器确定第一元数据的总量大于预设阈值，那么存储服务器可以确定该第一元数据为待下刷至存储服务器的磁盘中的元数据。
304、存储服务器将第一元数据存储至该存储服务器的磁盘中。
存储服务器可以将第一元数据按照预设的方式存储至存储服务器的磁盘中。
305、存储服务器确定该第一元数据的元数据表项的访问计数为零。
由于存储服务器将第一元数据存储至磁盘之后，存储服务器的内存中的第一元数据需要进行释放，并且更新第一元数据的访问地址；而此时又需要考虑到用户读写数据的一致性，所以本申请的技术方案中，通过设定第一元数据的元数据表项的访问计数来决定更新第一元数据的访问地址以及回收第一元数据。那么存储服务器可以检测第一元数据的元数据表项的访问计数，当存储服务器确定该元数据表项的计数为零时，说明存储服务器可以对第一元数据的访问地址进行更新。
需要说明的是，第一元数据包括了多个业务数据的元数据，所以第一元数据的元数据表项也对应有多个元数据表项，所以在存储服务器确定该多个元数据表项中的某一个或者多个元数据表项的访问计数为零时，此时存储服务器可以更新这部分元数据表项对应的元数据的访问地址。
306、存储服务器更新该第一元数据在磁盘中的访问地址。
存储服务器确定了元数据表项的访问计数为零时，此时存储服务器可以更新该第一元数据在磁盘中的访问地址。
307、存储服务器删除存储服务器的内存中的第一元数据。
存储服务器将第一元数据的访问地址更新为磁盘中存储该第一元数据对应的磁盘地址之后，存储服务器可以将内存中的第一元数据删除，从而释放存储服务器的内存，使得存储服务器重新写入元数据时可以优先将元数据写入存储服务器的内存中，而将数据写入到内存中的写入速率远比写入磁盘的速度快，因此，能够提高在前期存储服务器写入元数据的性能。
需要说明的是，主机设备在访问元数据时，优先访问存储服务器的内存中存储的数据，如果访问不成功，再访问待刷盘队列中的数据，最后，如果在内存和待刷盘队列中都访问不到相应的数据时，此时才访问存储服务器中的磁盘的数据，而访问磁盘的数据可以通过更新的元数据地址进行访问。
308、存储服务器执行其他操作。
存储服务器如果确定第一元数据的总量不大于预设阈值，那么存储服务器可以继续检测内存中的元数据，或者执行其他操作，具体本申请不做限定。
本申请实施例中，存储服务器确定第一元数据的总量大于预设阈值，其中，该第一元数据的总量为该存储服务器的内存中每种业务数据的元数据的总和；然后存储服务器可以确定该第一元数据为待下刷至该存储服务器中的磁盘的元数据；存储服务器可以将该第一元数据存储至存储服务器中的磁盘。因此，通过本申请的技术方案，存储服务器可以统一将每种业务数据的元数据存储至存储服务器中的磁盘，且针对每种业务数据的元数据的管理方式相同，适用于不同类型的业务数据的元数据的管理。因此，通过本申请的技术方案进行统一管理多种业务数据的元数据的方式的通用性更强。
上述对本申请元数据管理方法进行了介绍，下面对本申请的存储服务器进行详细介绍，请参阅图4，其中，生成单元404、加入单元405、第三确定单元406、执行单元407、第四确定单元408、更新单元409以及删除单元410为可选单元，本申请实施例中存储服务器的一个实施例包括：
第一确定单元401，用于确定第一元数据的总量大于预设阈值，该第一元数据的总量为该存储服务器的内存中每种业务数据的元数据的总和；
第二确定单元402，用于确定该第一元数据为待下刷至该存储服务器中的磁盘的元数据；
存储单元403，用于将该第一元数据存储至该存储服务器中的磁盘。
本实施例中，该第一确定单元401还用于：
确定第二元数据的总量大于预设阈值，该第二元数据的总量为该存储服务器的内存中除该第一元数据以外，每种业务数据的元数据的总和；
该第二确定单元402还用于：
确定该第二元数据为待下刷至磁盘的元数据；
该存储服务器还包括：
生成单元404，用于根据该第二元数据生成第二元数据刷盘任务，该第二元数据刷盘任务用于指示该存储服务器将该第二元数据下刷至该磁盘；
加入单元405，用于将该第二元数据刷盘任务加入待刷盘队列中。
本实施例中，该存储服务器还包括：
第三确定单元406，用于确定该第一元数据在该磁盘中存储成功；
执行单元407，用于执行该第二元数据刷盘任务。
本实施例中，该存储服务器还包括：
第四确定单元408，用于确定该第一元数据的元数据表项的访问计数为零；
更新单元409，用于更新该第一元数据的访问地址；
删除单元410，用于删除该内存中的该第一元数据。
本申请实施例中，第一确定单元401确定第一元数据的总量大于预设阈值，其中，该第一元数据的总量为该存储服务器的内存中每种业务数据的元数据的总和；然后第二确定单元402可以确定该第一元数据为待下刷至该存储服务器中的磁盘的元数据；存储单元403可以将该第一元数据存储至存储服务器中的磁盘。因此，通过本申请的技术方案，存储单元403可以统一将每种业务数据的元数据存储至存储服务器中的磁盘，且针对每种业务数据的元数据的管理方式相同，适用于不同类型的业务数据的元数据的管理。因此，通过本申请的技术方案进行统一管理多种业务数据的元数据的方式的通用性更强。
本申请还提供一种存储服务器500，请参阅图5，本申请实施例中存储服务器500一个实施例包括：
处理器501、存储器502、输入输出设备503以及总线504；
该处理器501、存储器502、输入输出设备503分别与总线504相连，该存储器502中存储有计算机指令；
该处理器501用于确定第一元数据的总量大于预设阈值，该第一元数据的总量为该存储服务器的内存中每种业务数据的元数据的总和；确定该第一元数据为待下刷至该存储服务器中的磁盘的元数据；将该第一元数据存储至该存储服务器中的磁盘。
一种可能的实现方式中，该处理器501还用于：
确定第二元数据的总量大于预设阈值，该第二元数据的总量为该存储服务器的内存中除该第一元数据以外，每种业务数据的元数据的总和；
确定该第二元数据为待下刷至磁盘的元数据；
根据该第二元数据生成第二元数据刷盘任务，该第二元数据刷盘任务用于指示该存储服务器将该第二元数据下刷至该磁盘；
将该第二元数据刷盘任务加入待刷盘队列中。
另一种可能的实现方式中，该处理器501还用于：
确定该第一元数据在该磁盘中存储成功；
执行该第二元数据刷盘任务。
另一种可能的实现方式中，该处理器501还用于：
确定该第一元数据的元数据表项的访问计数为零；
更新该第一元数据的访问地址；
删除该内存中的该第一元数据。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种元数据管理方法，其特征在于，所述方法包括：
存储服务器确定第一元数据的总量大于预设阈值，所述第一元数据的总量为所述存储服务器的内存中每种业务数据的元数据的总和；
所述存储服务器确定所述第一元数据为待下刷至所述存储服务器中的磁盘的元数据；
所述存储服务器将所述第一元数据存储至所述存储服务器中的磁盘。
2.根据权利要求1所述的方法，其特征在于，所述存储服务器将所述第一元数据存储至所述存储服务器中的磁盘之后，所述方法还包括：
所述存储服务器确定第二元数据的总量大于预设阈值，所述第二元数据的总量为所述存储服务器的内存中除所述第一元数据以外，所述每种业务数据的元数据的总和；
所述存储服务器确定所述第二元数据为所述待下刷至磁盘的元数据；
所述存储服务器根据所述第二元数据生成第二元数据刷盘任务，所述第二元数据刷盘任务用于指示所述存储服务器将所述第二元数据下刷至所述磁盘；
所述存储服务器将所述第二元数据刷盘任务加入待刷盘队列中。
3.根据权利要求2所述的方法，其特征在于，所述存储服务器将所述第二元数据刷盘任务加入待刷盘队列中之后，所述方法还包括：
所述存储服务器确定所述第一元数据在所述磁盘中存储成功；
所述存储服务器执行所述第二元数据刷盘任务。
4.根据权利要求1至3中的任一项所述的方法，其特征在于，所述存储服务器将所述第一元数据存储至所述存储服务器中的磁盘之后，所述方法还包括：
所述存储服务器确定所述第一元数据的元数据表项的访问计数为零；
所述存储服务器更新所述第一元数据的访问地址；
所述存储服务器删除所述内存中的所述第一元数据。
5.一种存储服务器，其特征在于，所述存储服务器包括：
第一确定单元，用于确定第一元数据的总量大于预设阈值，所述第一元数据的总量为所述存储服务器的内存中每种业务数据的元数据的总和；
第二确定单元，用于确定所述第一元数据为待下刷至所述存储服务器中的磁盘的元数据；
存储单元，用于将所述第一元数据存储至所述存储服务器中的磁盘。
6.根据权利要求5所述的存储服务器，其特征在于，所述第一确定单元还用于：
确定第二元数据的总量大于预设阈值，所述第二元数据的总量为所述存储服务器的内存中除所述第一元数据以外，所述每种业务数据的元数据的总和；
所述第二确定单元还用于：
确定所述第二元数据为所述待下刷至磁盘的元数据；
所述存储服务器还包括：
生成单元，用于根据所述第二元数据生成第二元数据刷盘任务，所述第二元数据刷盘任务用于指示所述存储服务器将所述第二元数据下刷至所述磁盘；
加入单元，用于将所述第二元数据刷盘任务加入待刷盘队列中。
7.根据权利要求6所述的存储服务器，其特征在于，所述存储服务器还包括：
第三确定单元，用于确定所述第一元数据在所述磁盘中存储成功；
执行单元，用于执行所述第二元数据刷盘任务。
8.根据权利要求5至7中的任一项所述的存储服务器，其特征在于，所述存储服务器还包括：
第四确定单元，用于确定所述第一元数据的元数据表项的访问计数为零；
更新单元，用于更新所述第一元数据的访问地址；
删除单元，用于删除所述内存中的所述第一元数据。
9.一种包含指令的计算机程序产品，其特征在于，当其在计算机上运行时，使得所述计算机执行如权利要求1至4中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，包括指令，当所述指令在计算机上运行时，使得计算机执行如权利要求1至4中任一项所述的方法。
CN201810819598.5A 2018-07-24 2018-07-24 元数据管理方法以及存储服务器 Pending CN109240993A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810819598.5A CN109240993A (zh) 2018-07-24 2018-07-24 元数据管理方法以及存储服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810819598.5A CN109240993A (zh) 2018-07-24 2018-07-24 元数据管理方法以及存储服务器

Publications (1)

Publication Number Publication Date
CN109240993A true CN109240993A (zh) 2019-01-18

Family

ID=65073015

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810819598.5A Pending CN109240993A (zh) 2018-07-24 2018-07-24 元数据管理方法以及存储服务器

Country Status (1)

Country Link
CN (1) CN109240993A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7849091B1 (en) * 2006-01-25 2010-12-07 At&T Intellectual Property Ii, L.P. Meta-data indexing for XPath location steps
CN102938001A (zh) * 2012-12-10 2013-02-20 曙光信息产业(北京)有限公司 数据加载装置和数据加载方法
CN104809237A (zh) * 2015-05-12 2015-07-29 百度在线网络技术（北京）有限公司 LSM-tree索引的优化方法和装置
CN105094711A (zh) * 2015-09-22 2015-11-25 浪潮(北京)电子信息产业有限公司 一种实现写时复制文件***的方法及装置
CN106648442A (zh) * 2015-10-29 2017-05-10 阿里巴巴集团控股有限公司 一种元数据节点的内存镜像方法、装置
CN107122364A (zh) * 2016-02-25 2017-09-01 华为技术有限公司 数据操作方法和数据管理服务器
CN107992432A (zh) * 2017-11-28 2018-05-04 福建中金在线信息科技有限公司 一种数据缓存的方法及终端设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7849091B1 (en) * 2006-01-25 2010-12-07 At&T Intellectual Property Ii, L.P. Meta-data indexing for XPath location steps
CN102938001A (zh) * 2012-12-10 2013-02-20 曙光信息产业(北京)有限公司 数据加载装置和数据加载方法
CN104809237A (zh) * 2015-05-12 2015-07-29 百度在线网络技术（北京）有限公司 LSM-tree索引的优化方法和装置
CN105094711A (zh) * 2015-09-22 2015-11-25 浪潮(北京)电子信息产业有限公司 一种实现写时复制文件***的方法及装置
CN106648442A (zh) * 2015-10-29 2017-05-10 阿里巴巴集团控股有限公司 一种元数据节点的内存镜像方法、装置
CN107122364A (zh) * 2016-02-25 2017-09-01 华为技术有限公司 数据操作方法和数据管理服务器
CN107992432A (zh) * 2017-11-28 2018-05-04 福建中金在线信息科技有限公司 一种数据缓存的方法及终端设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
T. MAHMOOD: "Ensuring Cache Reliability and Energy Scaling at Near-Threshold Voltage With Macho", 《IEEE TRANSACTIONS ON COMPUTERS》 *
王江涛: "闪存数据库:现状、技术与展望", 《计算机学报》 *
王继成: "《大数据时代高校信息化战略与实践》", 31 May 2016, 东北大学出版社 *

Similar Documents

Publication Publication Date Title
CN104461390B (zh) 将数据写入叠瓦状磁记录smr硬盘的方法及装置
CN103995855B (zh) 存储数据的方法和装置
CN105052111B (zh) 跨群集边界的服务迁移
CN105468473A (zh) 数据迁移方法及数据迁移装置
CN109977129A (zh) 多级数据缓存方法及设备
CN109189546A (zh) 一种虚拟机在线快照的制作方法及装置
CN106776146A (zh) 一种数据校验方法、装置及***
CN108255620A (zh) 一种业务逻辑处理方法、装置、业务服务器及***
CN110737682A (zh) 一种缓存操作方法、装置、存储介质和电子设备
CN101960442B (zh) 使用虚拟技术输入/输出数据的方法和设备
CN106550014A (zh) 服务器集群中的节点升级方法及装置
CN104423982A (zh) 请求的处理方法和处理设备
CN109144406A (zh) 分布式存储***中元数据存储方法、***及存储介质
CN110109868A (zh) 用于索引文件的方法、装置和计算机程序产品
CN107832446A (zh) 一种配置项信息的搜索方法及计算设备
CN112565356A (zh) 数据存储方法、装置以及电子设备
JP2021515299A (ja) 時系列順のアウトオブプレース更新のためのシステム、時系列順のアウトオブプレース更新のための方法、および時系列順のアウトオブプレース更新のためのコンピュータ・プログラム
CN109522043A (zh) 一种配置数据的管理方法、装置及存储介质
CN111831752A (zh) 分布式数据库的空间整理方法、装置、设备以及存储介质
CN114022148B (zh) 基于区块链的交易冲突检测方法、装置、设备和存储介质
CN110858122B (zh) 存储数据的方法和装置
CN112596949B (zh) 一种高效率的ssd删除数据恢复方法及***
CN106202456B (zh) 发送图片的方法及装置
CN109032762B (zh) 虚拟机回溯方法及相关设备
CN109240993A (zh) 元数据管理方法以及存储服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190118