CN109144425A - 一种元数据存储方法、装置、设备及计算机可读存储介质 - Google Patents

一种元数据存储方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN109144425A
CN109144425A CN201811043806.3A CN201811043806A CN109144425A CN 109144425 A CN109144425 A CN 109144425A CN 201811043806 A CN201811043806 A CN 201811043806A CN 109144425 A CN109144425 A CN 109144425A
Authority
CN
China
Prior art keywords
metadata
dirty
meta data
list
pointer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811043806.3A
Other languages
English (en)
Inventor
刘洪栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhengzhou Yunhai Information Technology Co Ltd
Original Assignee
Zhengzhou Yunhai Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhengzhou Yunhai Information Technology Co Ltd filed Critical Zhengzhou Yunhai Information Technology Co Ltd
Priority to CN201811043806.3A priority Critical patent/CN109144425A/zh
Publication of CN109144425A publication Critical patent/CN109144425A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G06F3/0611—Improving I/O performance in relation to response time
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0638—Organizing or formatting or addressing of data
    • G06F3/0643—Management of files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于分布式集群存储***的元数据存储方法，包括：在第一目标文件被修改或者创建时，将目录列表中存储的与第一目标文件对应的脏元数据指针存入脏元数据列表；在执行脏元数据落盘操作时，仅扫描脏元数据列表中的脏元数据指针，将与脏元数据列表对应的脏元数据落盘至数据池。可见，在本方案中，由于在对文件执行修改或者创建操作时，已经将被修改的元数据的脏元数据指针存入脏元数据列表，因此在执行脏元数据落盘操作时，只需要扫描脏元数据列表便可将脏元数据落盘至数据池，从而节省脏元数据落盘时间，提高脏元数据落盘性能；本发明还公开了一种元数据存储装置、设备及计算机可读存储介质，同样能实现上述技术效果。

Description

一种元数据存储方法、装置、设备及计算机可读存储介质
技术领域
本发明涉及元数据落盘技术领域，更具体地说，涉及一种基于分布式集群存储***的元数据存储方法、装置、设备及计算机可读存储介质。
背景技术
在分布式集群存储在海量数据场景下广泛应用，如在高性能、视频监控、广电媒资等场景。目前，存储的性能是分布式存储一致追逐的目标，其中对于海量小文件场景，元数据性能则成为瓶颈。文件创建或修改后，元数据需要进行落盘存储。当前，落盘是以目录为单位，扫描整个目录，将脏元数据进行落盘，如果目录下文件数量非常巨大，该扫描需要耗费大量时间，落盘性能会随着目录的变大而逐渐下降。
因此，如何节省脏元数据落盘时间，提高脏元数据落盘性能，是本领域技术人员需要解决的问题。
发明内容
本发明的目的在于提供一种基于分布式集群存储***的元数据存储方法、装置、设备及计算机可读存储介质，以实现节省脏元数据落盘时间，提高脏元数据落盘性能。
为实现上述目的，本发明实施例提供了如下技术方案：
一种基于分布式集群存储***的元数据存储方法，包括：
在第一目标文件被修改或者创建时，将目录列表中存储的与所述第一目标文件对应的脏元数据指针存入脏元数据列表；
在执行脏元数据落盘操作时，仅扫描所述脏元数据列表中的脏元数据指针，将与所述脏元数据列表对应的脏元数据落盘至数据池。
其中，所述将与所述脏元数据列表对应的脏元数据落盘至数据池之后，还包括：
将所述脏元数据列表中已经落盘至数据池的脏元数据指针置为Clean状态。
其中，本方案还包括：
判断元数据服务器中缓存的元数据是否超过预定阈值；
若是，则删除元数据指针状态为Clean的元数据指针及对应的元数据。
其中，本方案还包括：
在第二目标文件被修改时，判断是否能根据所述脏元数据列表查找到与所述第二目标文件对应的元数据；
若能，则根据所述脏元数据列表对与所述第二目标文件对应的元数据进行修改，并将所述脏元数据列表中与所述第二目标文件对应的元数据指针置为Dirty状态；其中，置为Dirty状态的元数据指针即为脏元数据指针；
若不能，判断是否能根据所述目录列表查找到与所述第二目标文件对应的元数据；若能查找到，则根据所述目录列表对与所述第二目标文件对应的元数据进行修改，并将所述目录列表中与所述第二目标文件对应的元数据指针置为Dirty状态，并加入所述脏元数据列表；
若查找不到，则从数据池中加载与所述第二目标文件的元数据并修改。
一种基于分布式集群存储***的元数据存储装置，包括：
脏元数据指针存储模块，用于在第一目标文件被修改或者创建时，将目录列表中存储的与所述第一目标文件对应的脏元数据指针存入脏元数据列表；
元数据落盘模块，用于在执行脏元数据落盘操作时，仅扫描所述脏元数据列表中的脏元数据指针，将与所述脏元数据列表对应的脏元数据落盘至数据池。
其中，本方案还包括：
第一指针状态设置模块，用于将与所述脏元数据列表对应的脏元数据落盘至数据池之后，将所述脏元数据列表中已经落盘至数据池的脏元数据指针置为Clean状态。
其中，本方案还包括：
第一判断模块，用于判断元数据服务器中缓存的元数据是否超过预定阈值；
删除模块，用于在元数据服务器中缓存的元数据超过预定阈值时，删除元数据指针状态为Clean的元数据指针及对应的元数据。
其中，本方案还包括：
第二判断模块，用于在第二目标文件被修改时，判断是否能根据所述脏元数据列表查找到与所述第二目标文件对应的元数据；
第一操作模块，用于能根据所述脏元数据列表查找到与所述第二目标文件对应的元数据时，根据所述脏元数据列表对与所述第二目标文件对应的元数据进行修改；并将所述脏元数据列表中与所述第二目标文件对应的元数据指针置为Dirty状态；其中，置为Dirty状态的元数据指针即为脏元数据指针；
第三判断模块，用于不能根据所述脏元数据列表查找到与所述第二目标文件对应的元数据时，判断是否能根据所述目录列表查找到与所述第二目标文件对应的元数据；
第二操作模块，用于能根据所述目录列表查找与所述第二目标文件对应的元数据时，根据所述目录列表对与所述第二目标文件对应的元数据进行修改；并将所述目录列表中与所述第二目标文件对应的元数据指针置为Dirty状态，并加入所述脏元数据列表；
第三操作模块，用于不能根据所述目录列表查找与所述第二目标文件对应的元数据时，从数据池中加载与所述第二目标文件的元数据并修改。
一种基于分布式集群存储***的元数据存储设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述的元数据存储方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的元数据存储方法的步骤。
通过以上方案可知，本发明实施例提供的一种基于分布式集群存储***的元数据存储方法，包括：在第一目标文件被修改或者创建时，将目录列表中存储的与所述第一目标文件对应的脏元数据指针存入脏元数据列表；在执行脏元数据落盘操作时，仅扫描所述脏元数据列表中的脏元数据指针，将与所述脏元数据列表对应的脏元数据落盘至数据池。
可见，在本方案中，由于在对文件执行修改或者创建操作时，已经将被修改的元数据的脏元数据指针存入脏元数据列表，因此在执行脏元数据落盘操作时，不需要扫描包括所有元数据指针的目录列表，只需要扫描脏元数据列表便可将脏元数据落盘至数据池，从而节省脏元数据落盘时间，提高脏元数据落盘性能；本发明还公开了一种基于分布式集群存储***的元数据存储装置、设备及计算机可读存储介质，同样能实现上述技术效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例公开的一种基于分布式集群存储***的元数据存储方法流程示意图；
图2为本发明实施例公开的元数据落盘整体流程示意图；
图3为本发明实施例公开的一种基于分布式集群存储***的元数据存储装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例公开了一种基于分布式集群存储***的元数据存储方法、装置、设备及计算机可读存储介质，以实现节省脏元数据落盘时间，提高脏元数据落盘性能。
参见图1，本发明实施例提供的一种基于分布式集群存储***的元数据存储方法，包括：
S101、在第一目标文件被修改或者创建时，将目录列表中存储的与所述第一目标文件对应的脏元数据指针存入脏元数据列表；
具体的，在现有技术中，文件创建或修改后，元数据需要进行落盘存储，目前落盘是以目录为单位，扫描整个目录的目录列表，将Dirty元数据进行落盘；可以理解的是，该目录列表中存储了所有文件的元数据指针，如果目录下文件数量非常巨大，这种扫描目录列表的形式必然会浪费大量时间。
因此在本实施例中，增加了用于存储脏元数据指针的脏元数据列表，该脏元数据指针用于指向对应的脏元数据；也就是说，在对第一目标文件进行修改或者创建时，对第一目标文件的元数据进行修改后，不仅仅需要将目录列表中的第一目标文件的元数据指针设置为Dirty状态，还需要将第一目标文件的脏元数据指针存入脏元数据列表，这样在进行脏元数据落盘时，便可只扫描脏元数据列表中的脏元数据指针，从而快速的将与脏元数据指针对应的脏元数据落盘至数据池。
可以理解的是，元数据被修改后，该元数据即为脏元数据，相应的，该元数据的指针即为脏元数据指针，并且，元数据指针具体是通过指针状态来确定是否是脏元数据指针，例如：若元数据指针状态为Clean状态，则说明该元数据指针对应的元数据未被修改，也即该元数据指针为干净元数据指针；如果该元数据指针状态为Dirty状态，则说明该元数据指针对应的元数据为被修改的脏元数据，则该元数据指针即为脏元数据指针。
S102、在执行脏元数据落盘操作时，仅扫描所述脏元数据列表中的脏元数据指针，将与所述脏元数据列表对应的脏元数据落盘至数据池。
其中，所述将与所述脏元数据列表对应的脏元数据落盘至数据池之后，还包括：将所述脏元数据列表中已经落盘至数据池的脏元数据指针置为Clean状态。
具体的，如果需要对脏元数据执行落盘操作，这时仅需要扫描脏元数据列表中的脏元数据指针，将与脏元数据列表对应的脏元数据落盘至数据池；并且，在将与脏元数据列表对应的脏元数据落盘至数据池之后，需要将已经落盘至数据池的脏元数据指针置为Clean状态，这里需要将脏元数据指针置为Clean状态的指针，具体包括目录列表中和脏元数据列表中的指针。
进一步的，由于存储文件的目录是多级的，也就是说，一级目录下还可能包括二级目录，二级目录下还可能包括三级目录，因此，对其中任意一级目录内的文件进行修改，必然会影响其他级目录下的文件信息，例如：对三级目录下的元数据进行修改，必然会影响二级目录，也就是说会对二级目录下的元数据进行修改；因此，本方案可创建与每一级目录的目录列表对应的脏元数据列表，这样每一级目录便均有一个脏元数据列表，如果本级的脏元数据列表修改了，则对应的其父目录的脏元数据列表便需要对应修改；例如：三级目录下的脏元数据列表中元数据被修改了，这时将脏元数据列表中对应的指针状态设置为Dirty状态后，还需要将二级目录下的元数据进行修改，并将二级目录的脏元数据列表中对应的指针设置为Dirty状态。
综上可以看出，由于本方案在对文件执行修改或者创建操作时，便已经将被修改的元数据的脏元数据指针存入脏元数据列表中，因此在执行脏元数据落盘操作时，不需要扫描包括所有元数据指针的目录列表，只需要扫描脏元数据列表便可将脏元数据落盘至数据池，从而节省脏元数据落盘时间，提高脏元数据落盘性能。
基于上述实施例，在本实施例中，还包括：
判断元数据服务器中缓存的元数据是否超过预定阈值；
若是，则删除元数据指针状态为Clean的元数据指针及对应的元数据。
具体的，在本实施例中，可设定一个预定阈值，该预定阈值的作用是用来判断元数据服务器中缓存的元数据是否过多；如果元数据服务器中缓存的元数据超过预定阈值，则需要将缓存中已经落盘至数据池的元数据删除，即删除指针状态为Clean的元数据指针以及对应的元数据。
可以理解的是，如果将缓存中已经落盘的元数据删除后，很可能出现从元数据服务器中查找不到对应的元数据的情况，因此在本方案中，还包括：
在第二目标文件被修改时，判断是否能根据所述脏元数据列表查找到与所述第二目标文件对应的元数据；
若能，则根据所述脏元数据列表对与所述第二目标文件对应的元数据进行修改，并将所述脏元数据列表中与所述第二目标文件对应的元数据指针置为Dirty状态；其中，置为Dirty状态的元数据指针即为脏元数据指针；
若不能，判断是否能根据所述目录列表查找到与所述第二目标文件对应的元数据；若能查找到，则根据所述目录列表对与所述第二目标文件对应的元数据进行修改，并将所述目录列表中与所述第二目标文件对应的元数据指针置为Dirty状态，并加入所述脏元数据列表；
若查找不到，则从数据池中加载与所述第二目标文件的元数据并修改。
具体的，本方案在寻找元数据时，由于已经设置了脏元数据列表，且脏元数据列表与目录列表相比，其存储的元数据指针较少，因此可以优先从脏元数据列表中查找元数据，从而可以缩短查找时间，如果能查找到便执行修改操作；如果查不到，则从目录列表中查找，如果能从目录列表中查找到，则继续执行修改操作；如果从脏元数据列表和目录列表中均不能查找到元数据，也即元数据读取缓存失败时，说明该元数据已经落盘至磁盘，缓存中不存在，这时需要从磁盘中直接加载元数据，从而执行修改操作。
参见图2，为本方案提供的元数据落盘整体流程示意图，图2中的Dir(Directory目录)即为本实施例中的目录列表，用来存储目录下所有文件的元数据指针，Dir_list(Dirty_list)即为本实施例中的脏元数据列表；目录中如果有文件修改或创建，将脏数据指针直接存入Dirty_list列表中，如图流程A；在元数据落盘时，将Dirty_list列表中对应的元数据全部落盘，并将脏数据指针置为Clean状态；进一步，如果在元数据落盘期间，元数据发生了变化，可查找并修改Dir_list列表中对应的元数据，如果从Dir_list列表中查找不到，则去Dir中查找修改对应元数据。
但是，由于元数据服务器中的元数据缓存超出缓存上限后，会删除已经落盘的元数据，因此，如果从Dir_list列表和Dir均不能查找到对应的元数据，即元数据不在元数据服务器的缓存中时，则直接从数据池中读取，也即图中的流程C。
综上可以看出，本方案在对文件执行修改或者创建操作时，已经将被修改的元数据的脏元数据指针存入脏元数据列表，因此在执行脏元数据落盘操作时，不需要扫描包括所有元数据指针的目录列表，只需要扫描脏元数据列表便可将脏元数据落盘至数据池，从而节省脏元数据落盘时间，提高脏元数据落盘性；并且，设置了预定阈值，如果元数据缓存的过多，则需要删除已经落盘的元数据，如果存在元数据读取失败的情况，则直接从数据池中加载即可，从而节省了元数据服务器的存储空间。
这种元数据存储性能优化方法，是以目录中脏数据列表为单位存储元数据至磁盘；以目录为单位从磁盘读取元数据，对于提升集群小文件处理性能有极大的改善，特别是针对大目录场景，能有更好的改善效果。可以理解的是，该方法不仅可以应用在分布式存储***中，还可以应用在统一存储中。
下面对本发明实施例提供的元数据存储装置进行介绍，下文描述的元数据存储装置与上文描述的元数据存储方法可以相互参照。
参见图3，本发明实施例提供的一种基于分布式集群存储***的元数据存储装置，包括：
脏元数据指针存储模块100，用于在第一目标文件被修改或者创建时，将目录列表中存储的与所述第一目标文件对应的脏元数据指针存入脏元数据列表；
元数据落盘模块200，用于在执行脏元数据落盘操作时，仅扫描所述脏元数据列表中的脏元数据指针，将与所述脏元数据列表对应的脏元数据落盘至数据池。
其中，本方案还包括：
第一指针状态设置模块，用于将与所述脏元数据列表对应的脏元数据落盘至数据池之后，将所述脏元数据列表中已经落盘至数据池的脏元数据指针置为Clean状态。
其中，本方案还包括：
第一判断模块，用于判断元数据服务器中缓存的元数据是否超过预定阈值；
删除模块，用于在元数据服务器中缓存的元数据超过预定阈值时，删除元数据指针状态为Clean的元数据指针及对应的元数据。
其中，本方案还包括：
第二判断模块，用于在第二目标文件被修改时，判断是否能根据所述脏元数据列表查找到与所述第二目标文件对应的元数据；
第一操作模块，用于能根据所述脏元数据列表查找到与所述第二目标文件对应的元数据时，根据所述脏元数据列表对与所述第二目标文件对应的元数据进行修改；并将所述脏元数据列表中与所述第二目标文件对应的元数据指针置为Dirty状态；其中，置为Dirty状态的元数据指针即为脏元数据指针；
第三判断模块，用于不能根据所述脏元数据列表查找到与所述第二目标文件对应的元数据时，判断是否能根据所述目录列表查找到与所述第二目标文件对应的元数据；
第二操作模块，用于能根据所述目录列表查找与所述第二目标文件对应的元数据时，根据所述目录列表对与所述第二目标文件对应的元数据进行修改；并将所述目录列表中与所述第二目标文件对应的元数据指针置为Dirty状态，并加入所述脏元数据列表；
第三操作模块，用于不能根据所述目录列表查找与所述第二目标文件对应的元数据时，从数据池中加载与所述第二目标文件的元数据并修改。
本发明实施例还提供了一种基于分布式集群存储***的元数据存储设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如上述方法实施例所述的元数据存储方法的步骤。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述方法实施例所述的元数据存储方法的步骤。
其中，该存储介质可以包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种基于分布式集群存储***的元数据存储方法，其特征在于，包括：
在第一目标文件被修改或者创建时，将目录列表中存储的与所述第一目标文件对应的脏元数据指针存入脏元数据列表；
在执行脏元数据落盘操作时，仅扫描所述脏元数据列表中的脏元数据指针，将与所述脏元数据列表对应的脏元数据落盘至数据池。
2.根据权利要求1所述的元数据存储方法，其特征在于，所述将与所述脏元数据列表对应的脏元数据落盘至数据池之后，还包括：
将所述脏元数据列表中已经落盘至数据池的脏元数据指针置为Clean状态。
3.根据权利要求2所述的元数据存储方法，其特征在于，还包括：
判断元数据服务器中缓存的元数据是否超过预定阈值；
若是，则删除元数据指针状态为Clean的元数据指针及对应的元数据。
4.根据权利要求3所述的元数据存储方法，其特征在于，还包括：
在第二目标文件被修改时，判断是否能根据所述脏元数据列表查找到与所述第二目标文件对应的元数据；
若能，则根据所述脏元数据列表对与所述第二目标文件对应的元数据进行修改，并将所述脏元数据列表中与所述第二目标文件对应的元数据指针置为Dirty状态；其中，置为Dirty状态的元数据指针即为脏元数据指针；
若不能，判断是否能根据所述目录列表查找到与所述第二目标文件对应的元数据；若能查找到，则根据所述目录列表对与所述第二目标文件对应的元数据进行修改，并将所述目录列表中与所述第二目标文件对应的元数据指针置为Dirty状态，并加入所述脏元数据列表；
若查找不到，则从数据池中加载与所述第二目标文件的元数据并修改。
5.一种基于分布式集群存储***的元数据存储装置，其特征在于，包括：
脏元数据指针存储模块，用于在第一目标文件被修改或者创建时，将目录列表中存储的与所述第一目标文件对应的脏元数据指针存入脏元数据列表；
元数据落盘模块，用于在执行脏元数据落盘操作时，仅扫描所述脏元数据列表中的脏元数据指针，将与所述脏元数据列表对应的脏元数据落盘至数据池。
6.根据权利要求5所述的元数据存储装置，其特征在于，还包括：
第一指针状态设置模块，用于将与所述脏元数据列表对应的脏元数据落盘至数据池之后，将所述脏元数据列表中已经落盘至数据池的脏元数据指针置为Clean状态。
7.根据权利要求6所述的元数据存储装置，其特征在于，还包括：
第一判断模块，用于判断元数据服务器中缓存的元数据是否超过预定阈值；
删除模块，用于在元数据服务器中缓存的元数据超过预定阈值时，删除元数据指针状态为Clean的元数据指针及对应的元数据。
8.根据权利要求7所述的元数据存储装置，其特征在于，还包括：
第二判断模块，用于在第二目标文件被修改时，判断是否能根据所述脏元数据列表查找到与所述第二目标文件对应的元数据；
第一操作模块，用于能根据所述脏元数据列表查找到与所述第二目标文件对应的元数据时，根据所述脏元数据列表对与所述第二目标文件对应的元数据进行修改；并将所述脏元数据列表中与所述第二目标文件对应的元数据指针置为Dirty状态；其中，置为Dirty状态的元数据指针即为脏元数据指针；
第三判断模块，用于不能根据所述脏元数据列表查找到与所述第二目标文件对应的元数据时，判断是否能根据所述目录列表查找到与所述第二目标文件对应的元数据；
第二操作模块，用于能根据所述目录列表查找与所述第二目标文件对应的元数据时，根据所述目录列表对与所述第二目标文件对应的元数据进行修改；并将所述目录列表中与所述第二目标文件对应的元数据指针置为Dirty状态，并加入所述脏元数据列表；
第三操作模块，用于不能根据所述目录列表查找与所述第二目标文件对应的元数据时，从数据池中加载与所述第二目标文件的元数据并修改。
9.一种基于分布式集群存储***的元数据存储设备，其特征在于，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现如权利要求1至4任一项所述的元数据存储方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的元数据存储方法的步骤。
CN201811043806.3A 2018-09-07 2018-09-07 一种元数据存储方法、装置、设备及计算机可读存储介质 Pending CN109144425A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811043806.3A CN109144425A (zh) 2018-09-07 2018-09-07 一种元数据存储方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811043806.3A CN109144425A (zh) 2018-09-07 2018-09-07 一种元数据存储方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109144425A true CN109144425A (zh) 2019-01-04

Family

ID=64823696

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811043806.3A Pending CN109144425A (zh) 2018-09-07 2018-09-07 一种元数据存储方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109144425A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111158594A (zh) * 2019-12-27 2020-05-15 浪潮电子信息产业股份有限公司 元数据落盘方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101573370B1 (ko) * 2007-11-21 2015-12-01 바이올린 메모리 인코포레이티드 비휘발성 매체에 데이터를 저장하기 위한 방법 및 시스템
CN106201918A (zh) * 2016-07-14 2016-12-07 合肥易立迅科技有限公司 一种基于大数据量和大规模缓存快速释放的方法和***
WO2017113213A1 (zh) * 2015-12-30 2017-07-06 华为技术有限公司 访问请求处理方法、装置及计算机***
CN107402870A (zh) * 2017-07-31 2017-11-28 郑州云海信息技术有限公司 一种元数据服务器中日志段的处理方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101573370B1 (ko) * 2007-11-21 2015-12-01 바이올린 메모리 인코포레이티드 비휘발성 매체에 데이터를 저장하기 위한 방법 및 시스템
WO2017113213A1 (zh) * 2015-12-30 2017-07-06 华为技术有限公司 访问请求处理方法、装置及计算机***
CN106201918A (zh) * 2016-07-14 2016-12-07 合肥易立迅科技有限公司 一种基于大数据量和大规模缓存快速释放的方法和***
CN107402870A (zh) * 2017-07-31 2017-11-28 郑州云海信息技术有限公司 一种元数据服务器中日志段的处理方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111158594A (zh) * 2019-12-27 2020-05-15 浪潮电子信息产业股份有限公司 元数据落盘方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
US11093466B2 (en) Incremental out-of-place updates for index structures
CN107169083B (zh) 公安卡口海量车辆数据存储与检索方法及装置、电子设备
CN101446984B (zh) 一种文件存储方法、装置及文件删除方法和装置
CN108319654B (zh) 计算***、冷热数据分离方法及装置、计算机可读存储介质
CN101763437B (zh) 高速缓冲存储实现方法及装置
CN102411628B (zh) 基于android***的文件扫描方法及装置
RU2646349C2 (ru) Способ и система для обработки данных
CN102567427B (zh) 一种对象数据处理方法及装置
CN103595797B (zh) 一种分布式存储***中的缓存方法
CN110888837B (zh) 对象存储小文件归并方法及装置
CN102307234A (zh) 基于移动终端的资源检索方法
CN111198856B (zh) 文件管理方法、装置、计算机设备和存储介质
CN107241444B (zh) 一种分布式缓存数据管理***、方法及装置
KR20150122533A (ko) 세컨더리 인덱스 생성 방법 및 세컨더리 인덱스 저장 장치
KR101674176B1 (ko) 파일 단위 순서 모드 저널링 기법을 이용한 fsync 시스템 호출 처리 장치 및 방법
CN103942301B (zh) 一种面向多数据类型访问应用的分布式文件***
CN111125002B (zh) 一种基于分布式存储的数据备份归档方法和***
US10628305B2 (en) Determining a data layout in a log structured storage system
JP6788002B2 (ja) モバイル端末のためのデータ記憶方法及び装置
CN104991949A (zh) 移动终端及其文件管理***和方法
US20220342888A1 (en) Object tagging
CN109144425A (zh) 一种元数据存储方法、装置、设备及计算机可读存储介质
CN101483668A (zh) 热点数据的网络存储和访问方法、设备及***
CN113326262A (zh) 基于键值数据库的数据处理方法、装置、设备及介质
CN112732645A (zh) 一种元数据的存储方法、***及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190104