CN113254270B - 一种存储缓存热点数据自恢复方法、***及存储介质 - Google Patents
一种存储缓存热点数据自恢复方法、***及存储介质 Download PDFInfo
- Publication number
- CN113254270B CN113254270B CN202110589628.XA CN202110589628A CN113254270B CN 113254270 B CN113254270 B CN 113254270B CN 202110589628 A CN202110589628 A CN 202110589628A CN 113254270 B CN113254270 B CN 113254270B
- Authority
- CN
- China
- Prior art keywords
- storage node
- cache
- data
- storage
- hot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011084 recovery Methods 0.000 title claims abstract description 116
- 238000000034 method Methods 0.000 title claims abstract description 54
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 31
- 230000008569 process Effects 0.000 description 18
- 238000012544 monitoring process Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 235000019633 pungent taste Nutrition 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1469—Backup restoration techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24552—Database cache management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请涉及一种存储缓存热点数据自恢复方法、***及存储介质，其中方法过程包括：存储节点通过热度算法对数据块进行热度统计，按热度统计参数排序形成统计数据块信息的热度队列；存储节点将热度队列的内容写入恢复数据库；存设备故障恢复后，存储节点从所述恢复数据库中读取该存储节点热度队列内容；存储节点按照热度队列内容索引数据块并将数据块数据上拉到存储节点缓存设备中。本申请通过一种存储缓存热点数据自恢复***及存储介质实现上述方法。本申请能够将存储节点热度队列内容存储在恢复数据库中，缓存故障导致热点数据丢失时，通过恢复数据库将热度队列内容恢复到存储节点，并据此将数据上拉到缓存设备，实现热点数据的快速缓存。
Description
技术领域
本申请涉及存储***缓存热点数据恢复方法领域，尤其涉及一种存储缓存热点数据自恢复方法、***及存储介质。
背景技术
出于成本考虑，存储***一般采用以HDD为代表的单盘容量大、价格便宜但读写性能相对较差的低速存储介质和以SSD、NVME为代表的单盘容量小、价格高读写性能优秀的高速存储介质作为缓存层。用户访问请求发送给存储***后，先判断用户访问请求的数据是否在缓存层存在，如果用户访问请求的数据存在，直接从缓存层反馈，如果不存在，则需要通过读写性能低的HDD反馈，缓存层采用高读写性能的高速存储介质，在设置缓存层后，能够充分利用缓存层高速读写性能，使得存储***为用户提供快速的数据访问体验。存储***一般通过热度统计算法将用户访问频繁、访问量大的数据上拉至缓存层，用户在访问这些数据时可以直接从缓存层获得响应。
然而，如果存储***的存储介质故障导致数据丢失，缓存层中丢失的数据分为两种，一种数据是分布式存储数据(存储***各个节点相互配合存储数据)，这种数据可以通过多副本或者纠删码算法进行恢复，另一种是非分布式的数据，主要存储节点自身相关数据，这种数据(如缓存中存储的存储节点的热度数据以及热度信息)缺乏数据恢复机制，丢失无法通过其他存储节点的帮助进行恢复。当故障存储***缓存层硬件更换后，由于缓存数据无法恢复，用户请求需要低速存储介质读写响应，低速存储介质读写性能差且热度统计算法需要相当长的时间对低速存储介质数据块进行热度统计，确定热度高的数据块然后缓存同步热度数据。对于用户来说，在这一阶段用户请求通过低速存储介质响应用户体验极差；对于存储***的存储节点来说，如果发生大规模用户同时向低速存储介质发出请求，很容易达到存储***的读写性能瓶颈，造成存储节点崩溃。因此，在存储***缓存故障修复之后，需要在缓存中快速地恢复热点数据。
在缓存设备故障后，用户的访问行为对数据热度仍能造成影响，本申请的热度队列内容在缓存故障后仍能通过热度算法根据用户访问行为进行统计，在改变的情况下发给数据库。保证恢复到缓存设备的热度数据为最新的热度数据。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，在存储***缓存故障修复之后，需要在缓存中快速地恢复热点数据。
第一方面，本申请提供了一种存储缓存热点数据自恢复方法，该方法包括：
存储节点通过热度算法对数据块进行热度统计，按热度统计参数排序形成统计数据块信息的热度队列；
存储节点将热度队列的内容写入恢复数据库；
存储节点缓存设备故障恢复后，存储节点从所述恢复数据库中读取该存储节点热度队列内容；
存储节点按照热度队列内容索引数据块并将数据块数据上拉到存储节点缓存设备中。
更进一步地，热度队列的内容包括热度算法计算的数据块的热度统计参数、数据块全局唯一编号以及数据块在存储***中永久存储位置的索引。
更进一步地，存储节点将热度队列的内容写入恢复数据库包括：
存储节点监测热度队列的内容是否发生变化；
如果检测到热度队列内容发生变化，则将变化后的热度队列内容以增量的方式写入所述恢复数据库；
所述恢复数据库记录每组热度队列内容写入时间。
更进一步地，存储节点从所述恢复数据库中读取该存储节点热度队列内容包括：
为存储节点的缓存设备配置唯一的缓存设备编号；
所述恢复数据库的存储文件根据缓存设备编号创建，所述存储文件用于记录相应的缓存设备热度队列内容；
存储节点向恢复数据库发送热度队列内容请求，热度队列内容请求中包含故障缓存设备对应的缓存设备编号，所述恢复数据库根据缓存设备编号反馈相应存储文件中的内容。
更进一步地，为存储节点的缓存设备配置唯一的缓存设备编号包括：
在恢复数据库中构建缓存设备编号库，缓存设备编号库存储待分配的缓存设备编号；
存储节点向所述恢复数据库发送缓存设备编号请求，所述恢复数据库根据缓存编号请求内容取待分配的缓存设备编号为存储节点的缓存设备配置唯一的缓存设备编号；
所述恢复数据库根据分配的缓存设备编号创建存储文件。
更进一步地，所述缓存设备编号请求包括存储节点缓存设备信息，恢复数据库根据存储节点缓存设备信息选取对应的待分配的缓存设备编号。
更进一步地，移除存储节点时，所述恢复数据库将被该存储节点占用的缓存设备编号恢复到所述缓存设备编号库，并根据被该存储节点占用的缓存设备编号检索对应的存储文件并删除。
更进一步地，存储节点从热度队列获取数据块在存储***中永久存储位置的索引，并将相应存储位置的数据上拉到存储节点缓存设备中，直至上拉的数据量达到设定阈值。
第二方面，本申请提供一种存储缓存热点数据自恢复***，包括存储单元，所述存储单元包括至少一个存储节点；存储节点通过热度算法对数据块进行热度统计，按热度统计参数排序形成统计数据块信息的热度队列；
所述存储***单元连接数据库节点，所述数据库节点配置恢复数据库；恢复数据库用于存储存储节点的热度队列的内容，并根据存储节点的热度队列内容请求将热度队列的内容反馈给存储节点；
存储节点根据恢复数据库反馈的热度队列内容将相应数据块数据上拉到缓存设备中。
第三方面，本申请一种存储缓存热点数据自恢复存储介质，该存储介质存储至少一条指令，执行所述指令实现所述的存储缓存热点数据自恢复方法。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点：
本申请提供的存储缓存热点数据自恢复方法根据热度算法计算的数据块热度统计参数；所述热度统计参数值表示用户未来一段时间访问数据块内容的可能性大小。通过热度队列统计数据块信息，包括热度算法计算的数据块的热度统计参数、数据块全局唯一编号以及数据块在存储***中永久存储位置的索引。当热度队列内容变化时，将热度队列内容同步到所述恢复数据库，使得恢复数据库始终能够保存存储节点最近的数据块信息。
一旦存储节点的缓存设备因不可抗力故障而损坏，导致缓存设备中存储的用户访问未来可能性大的热点数据丢失。在对缓存设备进行维护后，存储节点将被维护缓存设备对应的缓存设备编号发送给恢复数据库，恢复数据库根据缓存设备编号向存储节点反馈热度队列的内容。存储节点本地根据热度队列的内容将数据块数据上拉到维护好的缓存设备。
本申请按热度统计参数排序形成的热度队列，能够使得用户访问可能性大的数据块被上拉到缓存设备，通过缓存设备的高读写性能为用户提供快速的数据服务。
本申请在缓存设备损坏修复后，存储节点能够根据从所述恢复数据库获取的热度队列内容，快速地将热度数据上拉到缓存设备中。相比通过热度算法重新对数据块的热度统计参数进行重新计算，然后在根据热度统计参数将热度数据上拉到缓存设备的方式，本申请节约热度算法重新计算时间，使缓存设备的热度数据快速恢复。对于用户来讲，在读取数据时，能够更快的利用恢复的缓存设备，读取性能更优，用户体验更佳。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种存储缓存热点数据自恢复方法的流程图；
图2为本申请实施例提供的存储节点向恢复数据库发送热度队列的内容的流程图；
图3为本申请实施例提供缓存设备编号配置的流程图；
图4为本申请实施例提供存储节点从恢复数据库获取热度队列内容的流程图；
图5为本申请实施例提供的一种存储缓存热点数据自恢复***的架构示意图。
图中标号及含义如下：
1、存储单元，2、数据库节点。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
实施例1
参阅图1所示，本实施例中提供一种存储缓存热点数据自恢复方法，该存储缓存热点数据自恢复方法包括：
S100，存储节点通过热度算法对数据块进行热度统计，按热度统计参数排序形成统计数据块信息的热度队列；本申请中的热度算法包括但不限于LRU(Least RecentlyUsed)算法、LFU(Least Freque ntly Used)算法。LRU算法时基于访问时间预测缓存中将来可能会被频繁访问的热度数据的算法，其基本原理是最近被频繁访问的数据将来被访问的可能性越大，利用这个原理维护一个双向链表记录数据最近被访问的顺序，当需要淘汰数据时将相对较久未被访问的数据淘汰。LFU是基于访问频率预测缓存中将来可能会被频繁访问的热度数据算法，其基本原理是认为最频繁被访问的数据将来最有可能被访问到；维护一个计数器，所述计数器根据数据被访问的频率和访问间隔时间进行计数，按照计数器计数排序，当需要淘汰数据时将计数相对较低的淘汰。本申请热度算法根据用户的访问行为统计数据块的热度，访问行为既包括访问缓存设备也包括访问磁盘。因此在缓存设备故障后热度算法基于用户对磁盘的访问行为继续统计数据块的热度；热度队列能仍更新。
本申请中热度统计参数表示热度算法计算的表示数据块热度的量。本申请中数据块为存储***分配、读取的基本存储单元。
本申请中热度队列的内容包括热度算法计算的数据块的热度统计参数、数据块全局唯一编号以及数据块在存储***中永久存储位置的索引。分布式存储***采用多个存储节点组成，多个存储节点的数据块配置全局唯一编号以区别不同的数据块，数据块在存储***中永久存储位置的索引用于对数据块的路径定位。
S200，存储节点将热度队列的内容写入恢复数据库；具体实施过程中，参阅图2所示，存储节点将热度队列的内容写入恢复数据库包括：
S201，存储节点监测热度队列的内容是否发生变化；具体的，存储节点通过监测进程监测由于旧热度数据的淘汰和新热度数据的加入导致的热度队列内容的变化。
S202，如果检测到热度队列内容发生变化，则将变化后的热度队列内容以增量的方式写入所述恢复数据库；具体实施过程中，当监测进程监测到热度队列内容变化时，唤醒热度队列内容上传进程，热度队列内容上传进程将当前的热度队列上传到恢复数据库中，并以增量的方式保存。
S203，上传成功则所述恢复数据库向所述存储节点反馈消息，失败则所述恢复数据库向所述存储节点反馈失败消息；
S204，失败时，所述热度队列内容上传进程上传热度队列内容直至达到设定次数或成功。
具体实施过程中，所述恢复数据库记录每组热度队列内容写入时间。
S300，存储节点缓存设备故障恢复后，存储节点从所述恢复数据库中读取该存储节点的热度队列内容。
由于存储***可能包括多个存储节点，存储节点可能设置多套缓存设备，因此恢复数据库中会存储多组热度队列内容，考虑上述情形为了使得恢复数据库反馈给存储节点相应的热度队列内容，本申请为存储节点的缓存设备配置唯一的缓存设备编号。
具体的，在恢复数据库中构建缓存设备编号库，缓存设备编号库存储待分配的缓存设备编号，缓存设备编号库中存储的缓存设备编号互不重复；具体实施过程中，所述缓存设备编号库中的待分配缓存编号按照数值的大小决定分配顺序，一种可行的方式是将数值小待分配缓存编号的优先分配。
参阅图3所示，恢复数据库将缓存设备编号下发给存储节点的过程包括：
存储***连接恢复数据库，存储***的每个存储节点向所述恢复数据库发送缓存设备编号请求，所述缓存设备编号请求包括存储节点缓存设备信息；
恢复数据库接收到缓存设备编号请求后，根据存储节点缓存设备信息选取对应的待分配的缓存设备编号，并构建存储节点缓存设备与缓存设备编号之间的映射关系保存；
恢复数据库将映射关系反馈给存储节点，从而实现所述恢复数据库根据缓存编号请求取待分配的缓存设备编号为存储节点的缓存设备配置唯一的缓存设备编号。
所述恢复数据库根据分配的缓存设备编号创建存储文件，所述存储文件用于记录相应的缓存设备热度队列内容；具体实施过程中，所述恢复数据库以缓存设备编号为名称分别构建数据表，所述数据表用于存储相应的缓存设备的热度队列的内容。
当存储***中移除存储节点时，所述恢复数据库将被该存储节点占用的缓存设备编号恢复到所述缓存设备编号库，并根据被该存储节点占用的缓存设备编号检索对应的存储文件并删除。具体的，被移除的存储节点向恢复数据库发送解绑请求，所述解绑请求中包含该存储节点占用的缓存设备编号。一方面所述恢复数据库将该存储节点占用的缓存设备编号恢复到缓存设备编号库中；另一方面所述恢复数据库根据该存储节点占用的缓存设备编号检索并删除相应的存储文件。
在此基础上，参阅图4所示，存储节点从所述恢复数据库中读取该存储节点热度队列内容过程如下：
S301，存储节点向恢复数据库发送热度队列内容请求，热度队列内容请求中包含故障缓存设备对应的缓存设备编号；
S302，所述恢复数据库根据热度队列内容请求中的缓存设备编号查询相应的存储文件，并获取存储文件中的内容；
S303，所述恢复数据库将相应存储文件中的内容反馈给存储节点。
S400，存储节点按照热度队列内容索引数据块并将数据块数据上拉到存储节点缓存设备中。存储节点从热度队列获取数据块在存储***中永久存储位置的索引，并将相应存储位置的数据上拉到存储节点缓存设备中，直至上拉的数据量达到设定阈值。用户在进行数据请求时，存储***先检查请求是数据是否在缓存设备中，如果在通过缓存设备直接将请求数据反馈给用户，缓存设备为用户提供高性能的读写体验。
实施例2
本申请提供一种存储缓存热点数据自恢复***。
参阅图5所示，该存储缓存热点数据自恢复***包括存储单元，所述存储单元包括至少一个存储节点；存储节点通过热度算法对数据块进行热度统计，根据热度算法得到的热度统计参数排序形成统计数据块信息的热度队列；所述存储节点配置监测进程，所述监测进程监测由于旧热度数据的淘汰和新热度数据的加入导致的热度队列内容的变化；所述存储节点还配置热度队列内容上传进程，当监测进程监测到热度队列内容变化时，唤醒热度队列内容上传进程；所述存储节点配置缓存设备信息采集进程，所述缓存设备信息采集进程用于采集存储节点的缓存设备信息。
所述存储***单元连接数据库节点，所述数据库节点配置恢复数据库；一方面，所述恢复数据库用于保存存储节点通过热度队列内容上传进程上传的热度队列的内容，另一方面，所述恢复数据库根据存储节点的热度队列内容请求将热度队列的内容反馈给存储节点；
存储节点根据恢复数据库反馈的热度队列内容将相应数据块数据上拉到缓存设备中。
实施例3
本申请提供一种存储缓存热点数据自恢复存储介质。存储缓存热点数据自恢复存储介质存储至少一条指令，执行所述指令实现所述的存储缓存热点数据自恢复方法。
本申请提供的技术方案的原理优势如下：
本申请提供的存储缓存热点数据自恢复方法根据热度算法计算的数据块热度统计参数；所述热度统计参数值表示用户未来一段时间访问数据块内容的可能性大小。通过热度队列统计数据块信息，包括热度算法计算的数据块的热度统计参数、数据块全局唯一编号以及数据块在存储***中永久存储位置的索引。当热度队列内容变化时，将热度队列内容同步到所述恢复数据库，使得恢复数据库始终能够保存存储节点最近的数据块信息。
一旦存储节点的缓存设备因不可抗力故障而损坏，导致缓存设备中存储的用户访问未来可能性大的热点数据丢失。在对缓存设备进行维护后，存储节点将被维护缓存设备对应的缓存设备编号发送给恢复数据库，恢复数据库根据缓存设备编号向存储节点反馈热度队列的内容。存储节点本地根据热度队列的内容将数据块数据上拉到维护好的缓存设备。
本申请按热度统计参数排序形成的热度队列，能够使得用户访问可能性大的数据块被上拉到缓存设备，通过缓存设备的高读写性能为用户提供快速的数据服务。
本申请在缓存设备损坏修复后，存储节点能够根据从所述恢复数据库获取的热度队列内容，快速地将热度数据上拉到缓存设备中。相比通过热度算法重新对数据块的热度统计参数进行重新计算，然后在根据热度统计参数将热度数据上拉到缓存设备的方式，本申请节约热度算法重新计算时间，使缓存设备的热度数据快速恢复。对于用户来讲，在读取数据时，能够更快的利用恢复的缓存设备，读取性能更优，用户体验更佳。
在本发明所提供的实施例中，应该理解到，所揭露的***和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。
Claims (10)
1.一种存储缓存热点数据自恢复方法，应用于配置缓存层的存储节点，所述缓存层由至少一个缓存设备构成，所述缓存层存储数据块数据供用户快速访问，其特征在于，包括：
存储节点通过热度算法对数据块进行热度统计，按热度统计参数排序形成统计数据块信息的热度队列；
存储节点将热度队列的内容写入恢复数据库；
存储节点缓存设备故障恢复后，存储节点从所述恢复数据库中读取该存储节点热度队列内容；
存储节点按照热度队列内容索引数据块并将数据块数据上拉到存储节点缓存设备中。
2.根据权利要求1所述存储缓存热点数据自恢复方法，其特征在于，热度队列的内容包括热度算法计算的数据块的热度统计参数、数据块全局唯一编号以及数据块在存储***中永久存储位置的索引。
3.根据权利要求1所述存储缓存热点数据自恢复方法，其特征在于，存储节点将热度队列的内容写入恢复数据库包括：
存储节点监测热度队列的内容是否发生变化；
如果检测到热度队列内容发生变化，则将变化后的热度队列内容以增量的方式写入所述恢复数据库；
所述恢复数据库记录每组热度队列内容写入时间。
4.根据权利要求1所述存储缓存热点数据自恢复方法，其特征在于，存储节点从所述恢复数据库中读取该存储节点热度队列内容包括：
为存储节点的缓存设备配置唯一的缓存设备编号；
所述恢复数据库的存储文件根据缓存设备编号创建，所述存储文件用于记录相应的缓存设备热度队列内容；
存储节点向恢复数据库发送热度队列内容请求，热度队列内容请求中包含故障缓存设备对应的缓存设备编号，所述恢复数据库根据缓存设备编号反馈相应存储文件中的内容。
5.根据权利要求4所述存储缓存热点数据自恢复方法，其特征在于，为存储节点的缓存设备配置唯一的缓存设备编号包括：
在恢复数据库中构建缓存设备编号库，缓存设备编号库存储待分配的缓存设备编号；
存储节点向所述恢复数据库发送缓存设备编号请求，所述恢复数据库根据缓存编号请求内容取待分配的缓存设备编号为存储节点的缓存设备配置唯一的缓存设备编号；
所述恢复数据库根据分配的缓存设备编号创建存储文件。
6.根据权利要求5所述存储缓存热点数据自恢复方法，其特征在于，所述缓存设备编号请求包括存储节点缓存设备信息，恢复数据库根据存储节点缓存设备信息选取对应的待分配的缓存设备编号。
7.根据权利要求5所述存储缓存热点数据自恢复方法，其特征在于，移除存储节点时，所述恢复数据库将被该存储节点占用的缓存设备编号恢复到所述缓存设备编号库，并根据被该存储节点占用的缓存设备编号检索对应的存储文件并删除。
8.根据权利要求2所述存储缓存热点数据自恢复方法，其特征在于，存储节点从热度队列获取数据块在存储***中永久存储位置的索引，并将相应存储位置的数据上拉到存储节点缓存设备中，直至上拉的数据量达到设定阈值。
9.一种存储缓存热点数据自恢复***，其特征在于，包括存储单元，所述存储单元包括至少一个存储节点；存储节点通过热度算法对数据块进行热度统计，按热度统计参数排序形成统计数据块信息的热度队列；
所述存储***单元连接数据库节点，所述数据库节点配置恢复数据库；恢复数据库用于存储存储节点的热度队列的内容，并根据存储节点的热度队列内容请求将热度队列的内容反馈给存储节点；
存储节点根据恢复数据库反馈的热度队列内容将相应数据块数据上拉到缓存设备中。
10.一种存储缓存热点数据自恢复存储介质，其特征在于，存储至少一条指令，执行所述指令实现权利要求1-8任一所述的存储缓存热点数据自恢复方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110589628.XA CN113254270B (zh) | 2021-05-28 | 2021-05-28 | 一种存储缓存热点数据自恢复方法、***及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110589628.XA CN113254270B (zh) | 2021-05-28 | 2021-05-28 | 一种存储缓存热点数据自恢复方法、***及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113254270A CN113254270A (zh) | 2021-08-13 |
| CN113254270B true CN113254270B (zh) | 2022-06-14 |
Family
ID=77185202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110589628.XA Active CN113254270B (zh) | 2021-05-28 | 2021-05-28 | 一种存储缓存热点数据自恢复方法、***及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113254270B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113821176B (zh) * | 2021-09-29 | 2023-07-21 | 重庆紫光华山智安科技有限公司 | 一种数据迁移的处理方法、装置及存储介质 |
| CN117992461A (zh) * | 2024-04-03 | 2024-05-07 | 深圳九有数据库有限公司 | 基于列式内存存储方式的数据库数据存储方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7146521B1 (en) * | 2002-08-21 | 2006-12-05 | 3Pardata, Inc. | Preventing damage of storage devices and data loss in a data storage system |
| CN105045685A (zh) * | 2015-08-04 | 2015-11-11 | 浪潮电子信息产业股份有限公司 | 缓存数据的备份方法及装置、缓存数据的恢复方法及装置 |
| CN105740172A (zh) * | 2016-01-26 | 2016-07-06 | 浪潮(北京)电子信息产业有限公司 | 一种块设备数据缓存掉电保护的方法及*** |
| CN106527988A (zh) * | 2016-11-04 | 2017-03-22 | 郑州云海信息技术有限公司 | 一种固态硬盘数据迁移的方法及装置 |
| CN109947787A (zh) * | 2017-10-30 | 2019-06-28 | 阿里巴巴集团控股有限公司 | 一种数据分层存储、分层查询方法及装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109800260A (zh) * | 2018-12-14 | 2019-05-24 | 深圳壹账通智能科技有限公司 | 高并发数据存储方法、装置、计算机设备和存储介质 |
| CN112764664A (zh) * | 2019-10-21 | 2021-05-07 | 深圳市茁壮网络股份有限公司 | 一种磁盘缓存方法及装置 |
-
2021
- 2021-05-28 CN CN202110589628.XA patent/CN113254270B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7146521B1 (en) * | 2002-08-21 | 2006-12-05 | 3Pardata, Inc. | Preventing damage of storage devices and data loss in a data storage system |
| CN105045685A (zh) * | 2015-08-04 | 2015-11-11 | 浪潮电子信息产业股份有限公司 | 缓存数据的备份方法及装置、缓存数据的恢复方法及装置 |
| CN105740172A (zh) * | 2016-01-26 | 2016-07-06 | 浪潮(北京)电子信息产业有限公司 | 一种块设备数据缓存掉电保护的方法及*** |
| CN106527988A (zh) * | 2016-11-04 | 2017-03-22 | 郑州云海信息技术有限公司 | 一种固态硬盘数据迁移的方法及装置 |
| CN109947787A (zh) * | 2017-10-30 | 2019-06-28 | 阿里巴巴集团控股有限公司 | 一种数据分层存储、分层查询方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113254270A (zh) | 2021-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9355112B1 (en) | Optimizing compression based on data activity | |
| CN107943867B (zh) | 支持异构存储的高性能层次化存储*** | |
| US6675176B1 (en) | File management system | |
| CN113254270B (zh) | 一种存储缓存热点数据自恢复方法、***及存储介质 | |
| CN109947363B (zh) | 一种分布式存储***的数据缓存方法 | |
| CN105549905A (zh) | 一种多虚拟机访问分布式对象存储***的方法 | |
| KR20120090965A (ko) | 고체-상태 저장 디바이스 상에서 데이터를 캐싱하는 장치, 시스템, 및 방법 | |
| AU2013409624A1 (en) | Data processing method and device in distributed file storage system | |
| CN110147203B (zh) | 一种文件管理方法、装置、电子设备及存储介质 | |
| US6961727B2 (en) | Method of automatically generating and disbanding data mirrors according to workload conditions | |
| CN113568582B (zh) | 数据管理方法、装置和存储设备 | |
| CN113626431A (zh) | 一种基于lsm树的延迟垃圾回收的键值分离存储方法及*** | |
| KR20090063733A (ko) | 다중 복제를 지원하는 분산 파일 시스템에서 데이터 서버의복구 방법 및 그에 적당한 메타데이터 스토리지 및 저장방법 | |
| CN110908589A (zh) | 数据文件的处理方法、装置、***和存储介质 | |
| CN111708894B (zh) | 一种知识图谱创建方法 | |
| US8239427B2 (en) | Disk layout method for object-based storage devices | |
| CN104917788A (zh) | 一种数据存储方法及装置 | |
| CN113704217A (zh) | 一种分布式持久性内存文件***中元数据及数据组织架构方法 | |
| CN111831691B (zh) | 一种数据读写方法及装置、电子设备、存储介质 | |
| CN109002400B (zh) | 一种内容感知型计算机缓存管理***及方法 | |
| CN102609508B (zh) | 一种面向网络存储的文件高速访问方法 | |
| CN107133334B (zh) | 基于高带宽存储***的数据同步方法 | |
| CN112463795A (zh) | 一种动态哈希方法、装置、设备及存储介质 | |
| CN116643704A (zh) | 存储管理方法、装置、电子设备及存储介质 | |
| CN116541553A (zh) | 一种视频调度方法、装置、设备及可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |