CN111552667B - 一种数据删除方法、装置及电子设备 - Google Patents
一种数据删除方法、装置及电子设备 Download PDFInfo
- Publication number
- CN111552667B CN111552667B CN202010353937.2A CN202010353937A CN111552667B CN 111552667 B CN111552667 B CN 111552667B CN 202010353937 A CN202010353937 A CN 202010353937A CN 111552667 B CN111552667 B CN 111552667B
- Authority
- CN
- China
- Prior art keywords
- data
- time
- information
- storage
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 238000012216 screening Methods 0.000 claims abstract description 41
- 238000004891 communication Methods 0.000 claims description 32
- 238000012217 deletion Methods 0.000 claims description 25
- 230000037430 deletion Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 12
- 230000001360 synchronised effect Effects 0.000 claims description 12
- 238000007726 management method Methods 0.000 description 88
- 238000013500 data storage Methods 0.000 description 13
- 230000008569 process Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000012545 processing Methods 0.000 description 8
- 238000001914 filtration Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/11—File system administration, e.g. details of archiving or snapshots
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明实施例提供了一种数据删除方法、装置及电子设备。该方法应用于管理服务器,包括:获得辅助信息表;其中,辅助信息表中每一信息条目包括:关键信息和存储时间,关键信息用于确定索引信息表中,与该信息条目对应的目标数据的全部索引条目;从辅助信息表的各个信息条目中,筛选所包含存储时间符合预定筛选条件的目标信息条目;删除索引信息表中,与各个目标信息条目所包括的关键信息相匹配的全部索引条目,并向存储节点发送时间点信息,以使得存储节点删除所存储数据中,存储时间不晚于目标时间点的数据。与现有技术相比,应用本发明实施例提供的方案,可以提高删除存储节点中的过期数据的速度,进而,提高存储节点中的存储空间的释放速度。
Description
技术领域
本发明涉及云存储技术领域,特别是涉及一种数据删除方法、装置及电子设备。
背景技术
当前,数据存储***由于具有存储效率高、运营成本低等优势,越来越多地被应用到各个领域中,并且,数据存储***在存储数据时,可以采用多种存储方式。例如,对象存储、流式存储等。
其中,所谓对象存储也叫做基于对象的存储,每个对象均属于存储池的扁平地址空间的同一级别,且一个对象不会属于另一个对象的下一级。此外,每个对象都被分配一个唯一的标识符,允许根据该标识符检索该对象,而不必知道该对象在存储池中的存储位置的物理地址。
当数据存储***所采用的存储方式为对象存储时,数据存储***中包括管理服务器和存储节点。以云存储***为例,CVS(Cloud Video Slave,云存储数据节点)为存储节点,CVM(Cloud Video Master,云存储管理服务器)为管理服务器,存储有索引信息表,该索引信息表为利用CVS中所存储的数据的索引信息所构建。
进一步的,为了释放存储节点中的存储空间,需要对存储节点中的过期数据进行删除。在相关技术中,删除存储节点中所存储的过期数据的方法为:首先根据预定的筛选策略从索引信息表中筛选得到待删除的过期数据的索引条目。进而,在存储节点中,查找与所筛选得到的索引条目对应的数据,并删除所查找到的数据,以及将待删除数据的索引条目,从索引信息表中删除。
然而,在上述相关技术中,筛选索引条目、确定待删除数据和删除数据是依次进行的,后一个步骤需要依赖于前一个步骤的结果实现。因此,在过期数据删除过程中,过期数据删除的速度较慢,从而导致存储节点中的存储空间的释放速度较慢。尤其是当索引信息表中所包含的索引条目较多时,筛选索引条目的时间也会较长,从而更进一步地减慢了过期数据删除的数据。
发明内容
本发明实施例的目的在于提供一种数据删除方法,以提高删除存储节点中的过期数据的速度,进而,提高存储节点中的存储空间的释放速度。具体技术方案如下:
第一方面,本发明实施例提供了一种数据删除方法,应用于管理服务器,所述方法包括:
获得与待删除的索引信息表对应的辅助信息表;其中,所述辅助信息表中每一信息条目包括:关键信息和存储时间,所述关键信息用于确定所述索引信息表中,与该信息条目对应的目标数据的全部索引条目,所述存储时间为:距离当前***时间最近一次存储所述目标数据的时间;
从所述辅助信息表的各个信息条目中,筛选所包含存储时间符合预定筛选条件的目标信息条目,其中,所述预定筛选条件为:与当前***时间的时间间隔不小于预设存储周期;
删除所述索引信息表中,与各个目标信息条目所包括的关键信息相匹配的全部索引条目,并向存储节点发送时间点信息,以使得所述存储节点删除所存储数据中,存储时间不晚于目标时间点的数据;
其中,所述时间点信息为:表征所述目标时间点的信息;所述目标时间点为:所述当前***时间之前,且与所述当前***时间的时间差为所述预设存储周期的时间点。
可选的,一种具体实现方式中,所述辅助信息表中的每一信息条目的生成方式包括:
接收所述存储节点在任一数据存储完成后,同步的该数据的存储时间和该数据的索引条目中的关键信息;
在所述辅助信息表中,查找是否存在包括所接收到的关键信息的信息条目;
若查找到,则将所查找到的信息条目中包括的存储时间更新为所接收到的存储时间;
否则,则在所述辅助信息表中添加包括所接收的关键信息和存储时间的信息条目。
可选的,一种具体实现方式中,所述辅助信息表中的每一信息条目的生成方式包括:
接收所述存储节点在任一数据存储完成后,同步的该数据的索引条目和存储时间,并在所接收的索引条目中提取关键信息;
在所述辅助信息表中,查找是否存在包括所接收到的关键信息的信息条目;
若查找到,则将所查找到的信息条目中包括的存储时间更新为所接收到的存储时间;
否则,则在所述辅助信息表中添加包括所提取的关键信息和所接收的存储时间的信息条目。
第二方面,本发明实施例提供了一种数据删除方法,应用于存储节点,所述方法包括:
获取管理服务器发送的时间点信息;
确定所述时间点信息表征的目标时间点;其中,所述目标时间点为:当前***时间之前,且与所述当前***时间的时间差为预设存储周期的时间点;
删除所存储数据中,存储时间不晚于所述目标时间点的数据。
可选的,一种具体实现方式中,所述删除所存储数据中,存储时间不晚于所述目标时间点的数据的步骤,包括:
从所存储数据中,查找存储时间不晚于所述目标时间点的数据;
若所查找到的数据未处于锁定状态,则删除所查找到的数据;
其中,锁定状态为:在判断出所存储数据的存储时间不晚于所述目标时间点,但所存储数据的存储周期大于所述预设存储周期时所设定的。
第三方面,本发明实施例提供了一种数据删除装置,应用于管理服务器,所述装置包括:
信息表获得模块,用于获得与待删除的索引信息表对应的辅助信息表;其中,所述辅助信息表中每一信息条目包括:关键信息和存储时间,所述关键信息用于确定所述索引信息表中,与该信息条目对应的目标数据的全部索引条目,所述存储时间为:距离当前***时间最近一次存储所述目标数据的时间;
信息条目筛选模块,用于从所述辅助信息表的各个信息条目中,筛选所包含存储时间符合预定筛选条件的目标信息条目,其中,所述预定筛选条件为:与当前***时间的时间间隔不小于预设存储周期;
第一数据删除模块,用于删除所述索引信息表中,与各个目标信息条目所包括的关键信息相匹配的全部索引条目,并向存储节点发送时间点信息,以使得所述存储节点删除所存储数据中,存储时间不晚于目标时间点的数据;
其中,所述时间点信息为:表征所述目标时间点的信息;所述目标时间点为:所述当前***时间之前,且与所述当前***时间的时间差为所述预设存储周期的时间点。
可选的,一种具体实现方式中,所述装置还包括:信息条目生成模块,用于生成所述辅助信息表中的每一信息条目;
所述信息条目生成模块,具体用于:接收所述存储节点在任一数据存储完成后,同步的该数据的存储时间和该数据的索引条目中的关键信息;在所述辅助信息表中,查找是否存在包括所接收到的关键信息的信息条目;若查找到,则将所查找到的信息条目中包括的存储时间更新为所接收到的存储时间;否则,则在所述辅助信息表中添加包括所接收的关键信息和存储时间的信息条目。
可选的,一种具体实现方式中,所述装置还包括:信息条目生成模块,用于生成所述辅助信息表中的每一信息条目;
所述信息条目生成模块,具体用于:接收所述存储节点在任一数据存储完成后,同步的该数据的索引条目和存储时间,并在所接收的索引条目中提取关键信息;在所述辅助信息表中,查找是否存在包括所接收到的关键信息的信息条目;若查找到,则将所查找到的信息条目中包括的存储时间更新为所接收到的存储时间;否则,则在所述辅助信息表中添加包括所提取的关键信息和所接收的存储时间的信息条目。
第四方面,本发明实施例提供了一种数据删除装置,应用于存储节点,所述装置包括:
时间点信息获取模块,用于获取管理服务器发送的时间点信息;
时间点确定模块,用于确定时间点信息表征的目标时间点;
第二数据删除模块,用于删除所存储数据中,存储时间不晚于所述目标时间点的数据。
可选的,一种具体实现方式中,所述第二数据删除模块具体用于:
从所存储数据中,查找存储时间不晚于所述目标时间点的数据;若所查找到的数据未处于锁定状态,则删除所查找到的数据;
其中,锁定状态为:在判断出所存储数据的存储时间不晚于所述目标时间点,但所存储数据的存储周期大于所述预设存储周期时所设定的。
第五方面,本发明实施例提供了一种管理服务器,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第一方面提供的任一数据删除方法的步骤。
第六方面,本发明实施例提供了一种存储节点,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现上述第二方面提供的任一数据删除方法的步骤。
第七方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面提供的任一数据删除方法的步骤。
第八方面,本发明实施例提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第二方面提供的任一数据删除方法的步骤。
以上可见,应用本发明实施例提供的方案,可以在管理服务器构建与索引信息表对应的辅助信息表,其中,该辅助信息表中每一信息条目可以包括用于确定索引信息表中,与该信息条目对应的目标数据的全部索引条目的关键信息和距离当前***时间最近一次存储该目标数据的存储时间。也就是说,辅助信息表中的每一信息条目可以对应于索引信息表中的关于同一数据的全部索引条目。这样,当管理服务器筛选待删除数据的索引信息时,管理服务器可以从辅助信息表的各个信息条目中,筛选所包含存储时间符合预定筛选条件的目标信息条目,进而,删除索引信息表中与各个目标信息条目所包括的关键信息相匹配的全部索引条目。同时,管理服务器可以向存储节点发送时间点信息,以使得存储节点可以删除所存储数据中,存储节点不晚于目标时间点的数据,从而,完成对存储节点中所存储的过期数据的删除。
基于此,应用本发明实施例提供的方案,管理服务器可以在删除过期数据的索引条目的同时,向存储节点下发目标时间信息,使得存储节点删除存储时间不晚于目标时间点的数据。这样,在删除过期数据时,便可以不需要依赖筛选得到的索引条目确定待删除的过期数据,而是同步删除过期数据的索引信息和过期数据,并且,存储节点是按照目标时间点一次性删除全部过期数据的。因此,应用本发明实施例提供的方案,可以提高存储节点中过期数据的删除速度,进而,提高存储节点中的存储空间的释放速度。
此外,应用本发明实施例提供的方案,由于不需要扫描整个索引信息表,因此,可以减少过期数据删除过程中,由于扫描整个索引信息表带来的耗时,并且,减轻数据存储***的处理压力以及对其他业务正常进行的影响。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种应用于管理服务器的数据删除方法的流程示意图;
图2为本发明实施例提供的一种应用于存储节点的数据删除方法的流程示意图;
图3为本发明实施例提供的另一种应用于存储节点的数据删除方法的流程示意图
图4为本发明实施例提供的一种应用于管理服务器的数据删除装置的结构示意图;
图5为本发明实施例提供的一种应用于存储节点的数据删除装置的结构示意图;
图6为本发明实施例提供的一种管理服务器的结构示意图;
图7为本发明实施例提供的一种存储节点的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在相关技术中,删除存储节点中的过期数据时,筛选索引条目、确定待删除数据和删除数据是依次进行的,后一个步骤需要依赖于前一个步骤的结果实现。因此,在过期数据删除过程中,过期数据删除的速度较慢,从而导致存储节点中的存储空间的释放速度较慢。尤其是当索引信息表中所包含的索引条目较多时,筛选索引条目的时间也会较长,从而更进一步地减慢了过期数据删除的数据。为了解决上述技术问题,本发明实施例提供了一种应用于管理服务器的数据删除方法和一种应用于存储节点的数据删除方法。
下面,首先对本发明实施例提供的一种应用于管理服务器的数据删除方法进行介绍。
图1为本发明实施例提供的一种应用于管理服务器的数据删除方法,其中,该管理服务器可以是任一数据存储***中,用于对存储节点中所存储的数据进行管理,且存储有利用存储节点中所存储的数据的索引信息构建的索引信息表的电子设备,例如,笔记本电脑、台式电脑等,对此,本发明实施例不做具体限定,以下简称管理服务器。
如图1所示,本发明实施例提供的一种应用于管理服务器的数据删除方法可以包括如下步骤:
S101:获得与待删除的索引信息表对应的辅助信息表;
其中,辅助信息表中每一信息条目包括:关键信息和存储时间,该关键信息用于确定索引信息表中,与该信息条目对应的目标数据全部索引条目,且该存储时间为:距离当前***时间最近一次存储目标数据的时间;
S102:从辅助信息表的各个信息条目中,筛选所包含存储时间符合预定筛选条件的目标信息条目,
其中,预定筛选条件为:与当前***时间的时间间隔不小于预设存储周期;
S103:删除索引信息表中,与各个目标信息条目所包括的关键信息相匹配的全部索引条目,并向存储节点发送时间点信息,以使得存储节点删除所存储数据中,存时间不晚于目标时间点的数据;
其中,时间点信息为:表征目标时间点的信息;目标时间点为:当前***时间之前,且与当前***时间的时间差为预设存储周期的时间点。
以上可见,应用本发明实施例提供的方案,可以在管理服务器构建与索引信息表对应的辅助信息表,其中,该辅助信息表中每一信息条目可以包括用于确定索引信息表中,与该信息条目对应的目标数据的全部索引条目的关键信息和距离当前***时间最近一次存储该目标数据的存储时间。也就是说,辅助信息表中的每一信息条目可以对应于索引信息表中的关于同一数据的全部索引条目。。这样,当管理服务器筛选待删除数据的索引信息时,管理服务器可以从辅助信息表的各个信息条目中,筛选所包含存储时间符合预定筛选条件的目标信息条目,进而,删除索引信息表中与各个目标信息条目所包括的关键信息相匹配的全部索引条目。同时,管理服务器可以向存储节点发送时间点信息,以使得存储节点可以删除所存储数据中,存储节点不晚于目标时间点的数据,从而,完成对存储节点中所存储的过期数据的删除。
基于此,应用本发明实施例提供的方案,管理服务器可以在删除过期数据的索引条目的同时,向存储节点下发目标时间信息,使得存储节点删除存储时间不晚于目标时间点的数据。这样,在删除过期数据时,便可以不需要依赖筛选得到的索引条目确定待删除的过期数据,而是同步删除过期数据的索引信息和过期数据,并且,存储节点是按照目标时间点一次性删除全部过期数据的。因此,应用本发明实施例提供的方案,可以提高存储节点中过期数据的删除速度,进而,提高存储节点中的存储空间的释放速度。
此外,应用本发明实施例提供的方案,由于不需要扫描整个索引信息表,因此,可以减少过期数据删除过程中,由于扫描整个索引信息表带来的耗时,并且,减轻数据存储***的处理压力以及对其他业务正常进行的影响。
在本发明实施例提供的一种数据删除方法中,为了减少数据删除过程中,由于扫描整个索引信息表带来的耗时,并且,减轻数据存储***的处理压力以及对其他业务正常进行的影响,管理服务器中可以构建与所存储的待删除的索引信息表对应的辅助信息表。
其中,对于存储节点中所存储的数据,用户可以对该数据进行多次更新,并且,为了能够实现对更新后的该数据的修改内容,在对该数据更新完成后,可以再次对更新后的该数据进行存储。这样,在索引信息表中可以再次生成一条关于该数据的索引信息,并且该再次生成的索引信息所包括的存储时间为对该数据更新完成后,对更新后的该数据进行存储的时间。此时,可以看做该数据再次重新被存储到存储节点中。
也就是说,针对存储节点中所存储的数据,在索引信息表中可以包括该数据的多条索引信息,其中,所包括存储时间最早的索引信息为首次将该数据存储到存储节点时的时间,此外各条索引信息中的存储时间即为每次对该数据进行更新后,对更新后的该数据进行存储的时间。
基于此,该辅助信息表中的每一信息条目可以与存储节点中所存储的一数据相对应,该数据即可以作为该信息条目对应的目标数据,进而,该信息条目中所包括的关键信息即为确定索引信息表中,该目标数据的全部索引条目的信息,进而,该存储时间即为距离当前***时间最近一次存储该目标数据的时间。
也就是说,通过每一信息条目中的关键信息,可以在索引信息表中确定该信息条目对应的目标数据的全部索引条目。
显然,对于信息条目中所包括的存储时间而言,针对存储节点中所存储的数据,当未对该数据进行更新时,则关于该数据的索引条目对应的信息条目中的存储时间即为存储该数据的时间;当对该数据进行更新时,则关于该数据的索引条目对应的信息条目中的存储时间即为最近一次更新该数据后,对更新后的该数据进行存储的时间。
也就是说,通过每一信息条目中的存储时间,可以确定该信息条目对应的目标数据在存储节点中最近一次的存储时间。
其中,存储节点所存的数据可以为视频数据、音频数据、文档数据等任一类型的数据,且数据的索引条目中可以包括如下数据的基本信息和位置信息。具体的,数据的基本信息可以包括如下各类信息:Bucket(虚拟资源池)、Key(文件名称)、Version_Id(版本号)、Object_Type(类型)、Insert_Time(***时间)、Last_Time(最后更新时间)和Size对象大小(大小);数据的位置信息包括:Is_Backup(备份标识)、Dev_Id(块设备ID)、Block_Id(块号)、Seg_Id:(段号)、Size:(段大小)、Stime(段起始时间)、Etime(段结束时间)。
进而,索引条目中的关键信息可以至少包括如下各类信息:Bucket(虚拟资源池)、Key(文件名称)和Version_Id(版本号),并且,针对所存储的同一数据的全部索引信息,该全部所信息信息中所包括的关键信息是相同的。
相应的,由于辅助信息表中的每一信息条目所包括的关键信息用于确定索引信息表中与该信息条目对应的目标数据的全部索引条目,因此,该信息条目中所包括的关键信息可以为所对应的全部索引条目中包括的关键信息。
此外,由于该辅助信息表是与索引信息表对应的,因此,该辅助信息表中所包括的信息条目是随着索引信息表的更新而更新的。其中,该辅助信息表中的每一条目可以通过多种方式生成,对此,本发明实施例不做具体限定。
可选的,一种具体实现方式中,辅助信息表中的每一信息条目的生成方式包括:
接收存储节点在任一数据存储完成后,同步的该数据的存储时间和该数据的索引条目中的关键信息;
在辅助信息表中,查找是否存在包括所接收到的关键信息的信息条目;
若查找到,则将所查找到的信息条目中包括的存储时间更新为所接收到的存储时间;
否则,在辅助信息表中添加包括所接收的关键信息和存储时间的信息条目。
存储节点在存储完成每一数据后,会生成该数据的索引条目,并将该索引条目同步至管理服务器,以使得管理服务器可以更新所存储的索引信息表。基于此,存储节点在任一数据存储或更新完成,生成该数据的索引条目后,可以在将索引条目同步至管理服务器的同时,向管理服务器同步该数据的存储时间和该数据的索引条目中的关键信息。这样,管理服务器在接收到该数据的存储时间和该数据的索引条目中的关键信息后,便可以在辅助信息表中查找是否存在包括所接收到的关键信息的信息条目。
这样,若查找到,则说明该数据不是首次被存储到存储节点中,而是被更新后再次存储到存储节点中,辅助信息表中已存在关于该数据的信息条目,即所查找到的信息条目为与关于该数据的索引条目对应的信息条目。进而,管理服务器便可以将所存在到的信息条目中包括的存储时间更新为该接收到的存储时间,从而,得到更新后的信息条目。
相应的,若未查找到,则说明该数据时首次被存储到存储节点中,辅助信息表中未存在关于该数据的信息条目。进而,管理服务器便可以在辅助信息表中添加一条新的信息条目,且该新的信息条目中包括的关键信息和存储时间即可以为上述所接收的关键信息和存储时间。
可选的,另一种具体实现方式中,上述辅助信息表中的每一信息条目的生成方式包括:
接收存储节点在任一数据存储完成后,同步的该数据的索引条目和存储时间,并在所接收的索引条目中提取关键信息;
在辅助信息表中,查找是否存在包括所接收到的关键信息的信息条目;
若查找到,则将所查找到的信息条目中包括的存储时间更新为所接收到的存储时间;
否则,则在辅助信息表中添加包括所提取的关键信息和所接收的存储时间的信息条目。
存储节点在存储完成每一数据后,会生成该数据的索引条目,并将该索引条目同步至管理服务器,以使得管理服务器可以更新所存储的索引信息表。基于此,存储节点在任一数据存储或更新完成,生成该数据的索引条目后,可以在将索引条目同步至管理服务器的同时,向管理服务器同步该数据的存储时间。这样,管理服务器在接收到该数据的存储时间和该数据的索引条目后,便可以在该数据的索引条目中提取关键信息,进而,在辅助信息表中查找是否存在包括所接收到的关键信息的信息条目。
这样,若查找到,则说明该数据不是首次被存储到存储节点中,而是被更新后再次存储到存储节点中,辅助信息表中已存在关于该数据的信息条目,即所查找到的信息条目为与关于该数据的索引条目对应的信息条目。进而,管理服务器便可以将所存在到的信息条目中包括的存储时间更新为该接收到的存储时间,从而,得到更新后的信息条目。
相应的,若未查找到,则说明该数据时首次被存储到存储节点中,辅助信息表中未存在关于该数据的信息条目。进而,管理服务器便可以在辅助信息表中添加一条新的信息条目,且该新的信息条目中包括的关键信息和存储时间即可以为上述所提取的关键信息和所接收到的存储时间。
可以理解的,管理服务器在进行数据删除时,该数据的索引条目和该数据可以是同步删除的,并且,在本发明实施例中,可以根据辅助信息表来确定待删除的索引条目,因此,管理服务器可以首先获得与该待删除的索引信息表对应的辅助信息表。进而,在获得辅助信息表后,管理服务器便可以从辅助信息表的各个信息条目中,筛选所包含存储时间符合预定筛选条件的目标信息条目。
具体的,针对辅助信息表中的各个信息条目,管理服务器可以确定该信息条目所包含存储时间是否符合预定筛选条件。
其中,由于管理服务器最终要删除的是待删除数据的索引条目,而待删除数据可以为过期数据,也就是说,管理服务器要删除的索引条目是存储时长大于预设存储周期的数据的索引条目,因此,管理服务器在确定该信息条目所包含存储时间是否符合预定筛选条件时,所确定的是:该信息条目所包含存储时间与当前***时间的时间间隔是否不小于预设存储周期。
显然,当该信息条目所包含存储时间与当前***时间的时间间隔不小于预设存储周期,说明该信息条目对应的数据的存储时长等于或大于预设存储周期,进而,说明该信息条目对应的数据为待删除的数据。进一步的,管理服务器便可以将该信息条目确定为所包含存储时间符合预定筛选条件的目标信息条目。也就是说,管理服务器从辅助信息表中筛选得到的目标信息条目为:所包含存储时间与当前***时间的时间间隔不小于预设存储周期的信息条目。
由于筛选得到的目标信息条目对应的数据为待删除的数据,因此,管理服务器便可以删除索引信息表与各个目标信息条目所包括的关键信息相匹配的全部索引条目。
具体的,管理服务器可以首先从索引信息表中,确定与各个目标信息条目所包括的关键信息相匹配的全部索引条目,作为待删除数据的索引条目,进而,管理服务器便可以删除所确定的各个待删除数据的索引条目。
其中,可选的,管理服务器从索引信息表中,确定与各个目标信息条目所包括的关键信息相匹配的全部索引条目的方式可以为:
针对每一目标信息条目,从索引信息表中确定包括该目标信息条目所包括的关键信息的全部索引条目,作为与该目标信息条目所包括的关键信息相匹配的全部索引条目。
在管理服务器删除各个索引条目的同时,管理服务器可以向存储节点发送表征目标时间点的时间点信息。
其中,由于目标时间点为当前***时间之前,且与当前***时间的时间差为预设存储周期的时间点,因此,针对存储节点中所存储的每一数据,当该数据的存储时间晚于该目标时间点时,则说明该数据在存储节点中的存储时长小于预设存储周期,进而,可以说明该数据的存储时长还未达到预设存储周期,因此,该数据不是待删除的过期数据。
相应的,当该数据的存储时间等于或者早于该目标时间点时,则说明该数据在存储节点中的存储时长等于或者大于预设存储周期。进而,可以说明该数据的存储时长达到预设存储周期,因此,该数据可以是待删除数据。
基于此,存储节点在将接收到管理服务器发送的时间点信息后,便可以确定该时间点信息对应的目标时间点,进而,删除所存储数据中,存储时间不晚于该目标时间点的数据。
其中,上述时间点信息可以通过多种方式表示,例如,时间点信息可以为一个具体的时间点,该具体的时间点即为当前***时间之前,且与当前***时间的时间差为预设存储周期的时间点;时间点信息也可以为一个时间段,该时间段即为预设存储周期;这都是合理的。对此,本发明实施例不做具体限定。
下面,对本发明实施例提供的一种应用于存储节点的数据删除方法进行介绍。
图2为本发明实施例提供的一种应用于存储节点的数据删除方法,其中,该存储节点可以是任一数据存储***中,用于存储各类数据的电子设备,例如,笔记本电脑、台式电脑等,对此,本发明实施例不做具体限定,以下简称存储节点。
如图2所示,本发明实施例提供的一种应用于存储节点的数据删除方法可以包括如下步骤:
S201:获取管理服务器发送的时间点信息;
S202:确定时间点信息表征的目标时间点;
其中,目标时间点为:当前***时间之前,且与当前***时间的时间差为预设存储周期的时间点。
S203:删除所存储数据中,存储时间不晚于目标时间点的数据。
存储节点在获取到管理服务器发送的时间点信息后,便可以确定该时间点信息表征的目标时间点,而该目标时间点为:当前***时间之前,且与当前***时间的时间差为预设存储周期的时间点。
其中,上述时间点信息可以通过多种方式表示,例如,时间点信息可以为一个具体的时间点,该具体的时间点即为当前***时间之前,且与当前***时间的时间差为预设存储周期的时间点;时间点信息也可以为一个时间段,该时间段即为预设存储周期;这都是合理的。对此,本发明实施例不做具体限定。
进而,由于目标时间点为当前***时间之前,且与当前***时间的时间差为预设存储周期的时间点,因此,针对存储节点中所存储的每一数据,当该数据的存储时间晚于该目标时间点时,则说明该数据在存储节点中的存储时长小于预设存储周期,进而,可以说明该数据的存储时长还未达到预设存储周期,因此,该数据不是待删除的过期数据。
相应的,当该数据的存储时间等于或者早于该目标时间点时,则说明该数据在存储节点中的存储时长等于或者大于预设存储周期。进而,可以说明该数据的存储时长达到预设存储周期,因此,该数据可以是待删除数据。
基于此,存储节点便可以删除所存储数据中,存储时间不晚于该目标时间点的数据。
以上可见,应用本发明实施例提供的方案,存储节点可以按照目标时间点一次性删除全部过期数据,不需要依赖筛选得到的索引条目确定待删除的过期数据后再进行删除。基于此,应用本发明实施例提供的方案可以提高存储节点中过期数据的删除速度,进而,提高存储节点中的存储空间的释放速度。
可以理解的,存储节点所存储的数据中,可能存在存储周期大于上述预设存储周期的数据。而在上述步骤S203中所删除的数据为:存储时间不晚于当前***时间之前,且与当前***时间的时间差为预设存储周期的时间点的数据,即所删除的数据为:存储时间与当前***时间的时间间隔不小于预设存储周期的数据,因此,为了准确删除过期数据,避免删除所存储时间与当前***时间的时间间隔不小于预设存储周期,但存储周期大于上述预设存储周期的数据,造成误删,可选的,一种具体实现方式中,如图3所示,存储节点删除所存储数据中,存储时间不晚于所述目标时间点的数据的方式,可以包括如下步骤:
S301:从所存储数据中,查找存储时间不晚于目标时间点的数据;
S302:若所查找到的数据未处于锁定状态,则删除所查找到的数据;
其中,锁定状态为:在判断出所存储数据的存储时间不晚于所述目标时间点,但所存储数据的存储周期大于预设存储周期时所设定的。
在本实现方式中,在确定目标时间点后,存储节点便可以从所存储数据中,查找存储时间不晚于该目标时间点的各个数据。
其中,由于目标时间点是当前***时间之前,且与当前***时间的时间差为预设存储周期的时间点作为目标时间点,因此,针对存储节点中所存储的每一数据,当该数据的存储时间晚于该目标时间点时,则说明该数据在存储节点中的存储时长小于预设存储周期。进而,可以说明该数据的存储时长还未达到预设存储周期,因此,该数据不是待删除数据。
相应的,当该数据的存储时间等于或者早于该目标时间点时,则说明该数据在存储节点中的存储时长等于或者大于预设存储周期。进而,可以说明该数据的存储时长达到预设存储周期。其中,当该数据自身的存储周期不大于上述预设存储周期时,该数据是待删除数据,而当该数据自身的存储周期大于上述预设存储周期,该数据不是待删除数据。基于此,存储节点在确定该数据的存储时长达到预设存储周期后,还需要进一步确定该数据是否处于锁定状态。
基于此,针对所查找到的每个存储时间不晚于上述目标时间点的数据,存储节点可以进一步确定该数据是否处于锁定状态。
其中,由于锁定状态是存储节点在判断出所存储数据的存储时间不晚于所述目标时间点,但所存储数据的存储周期大于所述预设存储周期时所设定的,因此,若所查找到的数据未处于锁定状态,则说明该数据自身的存储周期不大于上述预设存储周期。这样,该数据即为待删除数据,则存储节点便可以删除该数据。
其中,当管理服务器是CVM,存储节点是CVS时,CVS在删除待删除数据时,可以通过调用辅助管理底层磁盘介质的VFS(Virtual File System,虚拟文件***)完成。
在本具体实现方式中,存储节点可以根据所存储数据的存储时间和存储周期与预设存储周期的大小关系来确定并删除待删除的数据,从而可以提高删除速度,进而,提升存储节点释放存储空间的效率。
相应于上述本发明实施例提供的一种应用于管理服务器的数据删除方法,本发明实施例还提供了一种应用于管理服务器的数据删除装置。
图4为本发明实施例提供的一种应用于管理服务器的数据删除装置的结构示意图。如图4所示,该应用于管理服务器的数据删除装置可以包括如下模块:
信息表获得模块410,用于得与待删除的索引信息表对应的辅助信息表;其中,所述辅助信息表中每一信息条目包括:关键信息和存储时间,所述关键信息用于确定所述索引信息表中,与该信息条目对应的目标数据的全部索引条目,所述存储时间为:距离当前***时间最近一次存储所述目标数据的时间;
信息条目筛选模块420,用于从所述辅助信息表的各个信息条目中,筛选所包含存储时间符合预定筛选条件的目标信息条目,其中,所述预定筛选条件为:与当前***时间的时间间隔不小于预设存储周期;
第一数据删除模块430,用于删除所述索引信息表中,与各个目标信息条目所包括的关键信息相匹配的全部索引条目,并向存储节点发送时间点信息,以使得所述存储节点删除所存储数据中,存储时间不晚于目标时间点的数据;
其中,所述时间点信息为:表征所述目标时间点的信息;所述目标时间点为:所述当前***时间之前,且与所述当前***时间的时间差为所述预设存储周期的时间点。
以上可见,应用本发明实施例提供的方案,可以在管理服务器构建与索引信息表对应的辅助信息表,其中,该辅助信息表中每一信息条目可以包括用于确定索引信息表中,与该信息条目对应的目标数据的全部索引条目的关键信息和距离当前***时间最近一次存储该目标数据的存储时间。也就是说,辅助信息表中的每一信息条目可以对应于索引信息表中的关于同一数据的全部索引条目。这样,当管理服务器筛选待删除数据的索引信息时,管理服务器可以从辅助信息表的各个信息条目中,筛选所包含存储时间符合预定筛选条件的目标信息条目,进而,删除索引信息表中与各个目标信息条目所包括的关键信息相匹配的全部索引条目。同时,管理服务器可以向存储节点发送时间点信息,以使得存储节点可以删除所存储数据中,存储节点不晚于目标时间点的数据,从而,完成对存储节点中所存储的过期数据的删除。
基于此,应用本发明实施例提供的方案,管理服务器可以在删除过期数据的索引条目的同时,向存储节点下发目标时间信息,使得存储节点删除存储时间不晚于目标时间点的数据。这样,在删除过期数据时,便可以不需要依赖筛选得到的索引条目确定待删除的过期数据,而是同步删除过期数据的索引信息和过期数据,并且,存储节点是按照目标时间点一次性删除全部过期数据的。因此,应用本发明实施例提供的方案,可以提高存储节点中过期数据的删除速度,进而,提高存储节点中的存储空间的释放速度。
此外,应用本发明实施例提供的方案,由于不需要扫描整个索引信息表,因此,可以减少过期数据删除过程中,由于扫描整个索引信息表带来的耗时,并且,减轻数据存储***的处理压力以及对其他业务正常进行的影响。
可选的,一种具体实现方式中,上述应用于管理服务器的数据删除装置还可以包括:信息条目生成模块,用于生成辅助信息表中的每一信息条目;
其中,上述信息条目生成模块具体用于:接收所述存储节点在任一数据存储完成后,同步的该数据的存储时间和该数据的索引条目中的关键信息;在所述辅助信息表中,查找是否存在包括所接收到的关键信息的信息条目;若查找到,则将所查找到的信息条目中包括的存储时间更新为所接收到的存储时间;否则,则在所述辅助信息表中添加包括所接收的关键信息和存储时间的信息条目。
可选的,一种具体实现方式中,上述应用于管理服务器的数据删除装置还可以包括:信息条目生成模块,用于生成辅助信息表中的每一信息条目;
其中,上述信息条目生成模块具体用于:接收所述存储节点在任一数据存储完成后,同步的该数据的索引条目和存储时间,并在所接收的索引条目中提取关键信息;在所述辅助信息表中,查找是否存在包括所接收到的关键信息的信息条目;若查找到,则将所查找到的信息条目中包括的存储时间更新为所接收到的存储时间;否则,则在所述辅助信息表中添加包括所提取的关键信息和所接收的存储时间的信息条目。
图5为本发明实施例提供的一种应用于存储节点的数据删除装置的结构示意图。如图5所示,该应用于存储节点的数据删除装置可以包括如下模块:
时间点信息获取模块510,用于获取管理服务器发送的时间点信息;
时间点确定模块520,用于确定所述时间点信息表征的目标时间点;其中,所述目标时间点为:当前***时间之前,且与所述当前***时间的时间差为预设存储周期的时间点;
第二数据删除模块530,用于删除所存储数据中,存储时间不晚于所述目标时间点的数据。
以上可见,应用本发明实施例提供的方案,存储节点可以按照目标时间点一次性删除全部过期数据,不需要依赖筛选得到的索引条目确定待删除的过期数据后再进行删除。基于此,应用本发明实施例提供的方案可以提高存储节点中过期数据的删除速度,进而,提高存储节点中的存储空间的释放速度。
可选的,一种具体实现方式中,上述第二数据删除模块630可以具体用于:从所存储数据中,查找存储时间不晚于所述目标时间点的数据;若所查找到的数据未处于锁定状态,则删除所查找到的数据;其中,锁定状态为:在判断出所存储数据的存储时间不晚于所述目标时间点,但所存储数据的存储周期大于所述预设存储周期时所设定的。
相应于上述本发明实施例提供的一种应用于管理服务器的数据删除方法,本发明实施例还提供了一种管理服务器,如图6所示,包括处理器601、通信接口602、存储器603和通信总线604,其中,处理器601,通信接口602,存储器603通过通信总线604完成相互间的通信,
存储器603,用于存放计算机程序;
处理器601,用于执行存储器603上所存放的程序时,实现上述本发明实施例提供的一种应用于管理服务器的数据删除方法。
具体的,上述应用于管理服务器的数据删除方法,包括:
获得与待删除的索引信息表对应的辅助信息表;其中,所述辅助信息表中每一信息条目包括:关键信息和存储时间,所述关键信息用于确定所述索引信息表中,与该信息条目对应的目标数据的全部索引条目,所述存储时间为:距离当前***时间最近一次存储所述目标数据的时间;
从所述辅助信息表的各个信息条目中,筛选所包含存储时间符合预定筛选条件的目标信息条目,其中,所述预定筛选条件为:与当前***时间的时间间隔不小于预设存储周期;
删除所述索引信息表中,与各个目标信息条目所包括的关键信息相匹配的全部索引条目,并向存储节点发送时间点信息,以使得所述存储节点删除所存储数据中,存储时间不晚于目标时间点的数据;
其中,所述时间点信息为:表征所述目标时间点的信息;所述目标时间点为:所述当前***时间之前,且与所述当前***时间的时间差为所述预设存储周期的时间点。
需要说明的是,上述处理器601执行存储器603上存放的程序而实现的一种应用于管理服务器的数据删除方法的其他实现方式,与前述方法实施例部分提供的一种应用于管理服务器的数据删除方法的实施例相同,这里不再赘述。
以上可见,应用本发明实施例提供的方案,可以在管理服务器构建与索引信息表对应的辅助信息表,其中,该辅助信息表中每一信息条目可以包括用于确定索引信息表中,与该信息条目对应的目标数据的全部索引条目的关键信息和距离当前***时间最近一次存储该目标数据的存储时间。也就是说,辅助信息表中的每一信息条目可以对应于索引信息表中的关于同一数据的全部索引条目。这样,当管理服务器筛选待删除数据的索引信息时,管理服务器可以从辅助信息表的各个信息条目中,筛选所包含存储时间符合预定筛选条件的目标信息条目,进而,删除索引信息表中与各个目标信息条目所包括的关键信息相匹配的全部索引条目。同时,管理服务器可以向存储节点发送时间点信息,以使得存储节点可以删除所存储数据中,存储节点不晚于目标时间点的数据,从而,完成对存储节点中所存储的过期数据的删除。
基于此,应用本发明实施例提供的方案,管理服务器可以在删除过期数据的索引条目的同时,向存储节点下发目标时间信息,使得存储节点删除存储时间不晚于目标时间点的数据。这样,在删除过期数据时,便可以不需要依赖筛选得到的索引条目确定待删除的过期数据,而是同步删除过期数据的索引信息和过期数据,并且,存储节点是按照目标时间点一次性删除全部过期数据的。因此,应用本发明实施例提供的方案,可以提高存储节点中过期数据的删除速度,进而,提高存储节点中的存储空间的释放速度。
此外,应用本发明实施例提供的方案,由于不需要扫描整个索引信息表,因此,可以减少过期数据删除过程中,由于扫描整个索引信息表带来的耗时,并且,减轻数据存储***的处理压力以及对其他业务正常进行的影响。
相应于上述本发明实施例提供的一种应用于存储节点的数据删除方法,本发明实施例还提供了一种存储节点,如图7所示,包括处理器701、通信接口702、存储器703和通信总线704,其中,处理器701,通信接口702,存储器703通过通信总线704完成相互间的通信,
存储器703,用于存放计算机程序;
处理器701,用于执行存储器703上所存放的程序时,实现上述本发明实施例提供的一种应用于存储节点的数据删除方法。
具体的,上述应用于存储节点的数据删除方法,包括:
获取管理服务器发送的时间点信息;
确定所述时间点信息表征的目标时间点;其中,所述目标时间点为:当前***时间之前,且与所述当前***时间的时间差为预设存储周期的时间点;
删除所存储数据中,存储时间不晚于所述目标时间点的数据。
需要说明的是,上述处理器701执行存储器703上存放的程序而实现的一种应用于存储节点的数据删除方法的其他实现方式,与前述方法实施例部分提供的一种应用于存储节点的数据删除方法的实施例相同,这里不再赘述。
以上可见,应用本发明实施例提供的方案,存储节点可以按照目标时间点一次性删除全部过期数据,不需要依赖筛选得到的索引条目确定待删除的过期数据后再进行删除。基于此,应用本发明实施例提供的方案可以提高存储节点中过期数据的删除速度,进而,提高存储节点中的存储空间的释放速度。
上述管理服务器和存储节点提到的通信总线可以是外设部件互连标准(Peripheral Component Interconnect,PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述管理服务器和存储节点与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
相应于上述本发明实施例提供的一种应用于管理服务器的数据删除方法,本发明实施例还提供了一种计算机可读存储介质,该计算机程序被处理器执行时实现上述本发明实施例提供的一种应用于管理服务器的数据删除方法。
相应于上述本发明实施例提供的一种应用于存储节点的数据删除方法,本发明实施例还提供了一种计算机可读存储介质,该计算机程序被处理器执行时实现上述本发明实施例提供的一种应用于存储节点的数据删除方法。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置实施例、管理服务器实施例、存储节点实施例、计算机可读存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
Claims (12)
1.一种数据删除方法,其特征在于,应用于管理服务器,所述方法包括:
获得与待删除的索引信息表对应的辅助信息表;其中,所述辅助信息表中每一信息条目包括:关键信息和存储时间,所述关键信息用于确定所述索引信息表中,与该信息条目对应的目标数据的全部索引条目,所述存储时间为:距离当前***时间最近一次存储所述目标数据的时间;
从所述辅助信息表的各个信息条目中,筛选所包含存储时间符合预定筛选条件的目标信息条目,其中,所述预定筛选条件为:与当前***时间的时间间隔不小于预设存储周期;
删除所述索引信息表中,与各个目标信息条目所包括的关键信息相匹配的全部索引条目,并向存储节点发送时间点信息,以使得所述存储节点删除所存储数据中,存储时间不晚于目标时间点的数据;
其中,所述时间点信息为:表征所述目标时间点的信息;所述目标时间点为:所述当前***时间之前,且与所述当前***时间的时间差为所述预设存储周期的时间点。
2.根据权利要求1所述的方法,其特征在于,所述辅助信息表中的每一信息条目的生成方式包括:
接收所述存储节点在任一数据存储完成后,同步的该数据的存储时间和该数据的索引条目中的关键信息;
在所述辅助信息表中,查找是否存在包括所接收到的关键信息的信息条目;
若查找到,则将所查找到的信息条目中包括的存储时间更新为所接收到的存储时间;
否则,则在所述辅助信息表中添加包括所接收的关键信息和存储时间的信息条目。
3.根据权利要求1所述的方法,其特征在于,所述辅助信息表中的每一信息条目的生成方式包括:
接收所述存储节点在任一数据存储完成后,同步的该数据的索引条目和存储时间,并在所接收的索引条目中提取关键信息;
在所述辅助信息表中,查找是否存在包括所接收到的关键信息的信息条目;
若查找到,则将所查找到的信息条目中包括的存储时间更新为所接收到的存储时间;
否则,则在所述辅助信息表中添加包括所提取的关键信息和所接收的存储时间的信息条目。
4.一种数据删除方法,其特征在于,应用于存储节点,所述方法包括:
获取管理服务器发送的时间点信息;
确定所述时间点信息表征的目标时间点;其中,所述目标时间点为:当前***时间之前,且与所述当前***时间的时间差为预设存储周期的时间点;
删除所存储数据中,存储时间不晚于所述目标时间点的数据;
所述删除所存储数据中,存储时间不晚于所述目标时间点的数据的步骤,包括:
从所存储数据中,查找存储时间不晚于所述目标时间点的数据;
若所查找到的数据未处于锁定状态,则删除所查找到的数据;
其中,锁定状态为:在判断出所存储数据的存储时间不晚于所述目标时间点,但所存储数据的存储周期大于所述预设存储周期时所设定的。
5.一种数据删除装置,其特征在于,应用于管理服务器,所述装置包括:
信息表获得模块,用于获得与待删除的索引信息表对应的辅助信息表;其中,所述辅助信息表中每一信息条目包括:关键信息和存储时间,所述关键信息用于确定所述索引信息表中,与该信息条目对应的目标数据的全部索引条目,所述存储时间为:距离当前***时间最近一次存储所述目标数据的时间;
信息条目筛选模块,用于从所述辅助信息表的各个信息条目中,筛选所包含存储时间符合预定筛选条件的目标信息条目,其中,所述预定筛选条件为:与当前***时间的时间间隔不小于预设存储周期;
第一数据删除模块,用于删除所述索引信息表中,与各个目标信息条目所包括的关键信息相匹配的全部索引条目,并向存储节点发送时间点信息,以使得所述存储节点删除所存储数据中,存储时间不晚于目标时间点的数据;
其中,所述时间点信息为:表征所述目标时间点的信息;所述目标时间点为:所述当前***时间之前,且与所述当前***时间的时间差为所述预设存储周期的时间点。
6.根据权利要求5所述的装置,其特征在于,所述装置还包括:信息条目生成模块,用于生成所述辅助信息表中的每一信息条目;
所述信息条目生成模块,具体用于:接收所述存储节点在任一数据存储完成后,同步的该数据的存储时间和该数据的索引条目中的关键信息;在所述辅助信息表中,查找是否存在包括所接收到的关键信息的信息条目;若查找到,则将所查找到的信息条目中包括的存储时间更新为所接收到的存储时间;否则,则在所述辅助信息表中添加包括所接收的关键信息和存储时间的信息条目。
7.根据权利要求5所述的装置,其特征在于,所述装置还包括:信息条目生成模块,用于生成所述辅助信息表中的每一信息条目;
所述信息条目生成模块,具体用于:接收所述存储节点在任一数据存储完成后,同步的该数据的索引条目和存储时间,并在所接收的索引条目中提取关键信息;在所述辅助信息表中,查找是否存在包括所接收到的关键信息的信息条目;若查找到,则将所查找到的信息条目中包括的存储时间更新为所接收到的存储时间;否则,则在所述辅助信息表中添加包括所提取的关键信息和所接收的存储时间的信息条目。
8.一种数据删除装置,其特征在于,应用于存储节点,所述装置包括:
时间点信息获取模块,用于获取管理服务器发送的时间点信息;
时间点确定模块,用于确定时间点信息表征的目标时间点;其中,所述目标时间点为:当前***时间之前,且与所述当前***时间的时间差为预设存储周期的时间点;
第二数据删除模块,用于删除所存储数据中,存储时间不晚于所述目标时间点的数据;
所述第二数据删除模块具体用于:
从所存储数据中,查找存储时间不晚于所述目标时间点的数据;若所查找到的数据未处于锁定状态,则删除所查找到的数据;
其中,锁定状态为:在判断出所存储数据的存储时间不晚于所述目标时间点,但所存储数据的存储周期大于所述预设存储周期时所设定的。
9.一种管理服务器,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求1-3任一所述的方法步骤。
10.一种存储节点,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
存储器,用于存放计算机程序;
处理器,用于执行存储器上所存放的程序时,实现权利要求4所述的方法步骤。
11.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-3任一所述的方法步骤。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求4所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010353937.2A CN111552667B (zh) | 2020-04-29 | 2020-04-29 | 一种数据删除方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010353937.2A CN111552667B (zh) | 2020-04-29 | 2020-04-29 | 一种数据删除方法、装置及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111552667A CN111552667A (zh) | 2020-08-18 |
CN111552667B true CN111552667B (zh) | 2023-11-03 |
Family
ID=71998450
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010353937.2A Active CN111552667B (zh) | 2020-04-29 | 2020-04-29 | 一种数据删除方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111552667B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04369055A (ja) * | 1991-06-18 | 1992-12-21 | Nec Corp | 削除ファイル復旧方式 |
JP2011233000A (ja) * | 2010-04-28 | 2011-11-17 | Century Tokyo Leasing Corp | データ消去管理システム及びデータ消去管理方法 |
US9047312B1 (en) * | 2011-03-30 | 2015-06-02 | Amazon Technologies, Inc. | System and method for deletion of extraneous delete marker objects |
US9875272B1 (en) * | 2015-06-23 | 2018-01-23 | Google Inc. | Method and system for designing a database system for high event rate, while maintaining predictable query performance |
CN108932236A (zh) * | 2017-05-22 | 2018-12-04 | 北京金山云网络技术有限公司 | 一种文件管理方法、过期文件删除方法及装置 |
WO2019057193A1 (zh) * | 2017-09-25 | 2019-03-28 | 杭州海康威视***技术有限公司 | 数据删除方法及分布式存储*** |
CN110069457A (zh) * | 2019-04-24 | 2019-07-30 | 苏州浪潮智能科技有限公司 | 一种基于分布式文件存储***中过期文件删除方法及*** |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103339615B (zh) * | 2011-01-28 | 2016-03-09 | 日本电气株式会社 | 存储***和信息处理方法 |
CN104243425B (zh) * | 2013-06-19 | 2018-09-04 | 深圳市腾讯计算机***有限公司 | 一种在内容分发网络中进行内容管理的方法、装置及*** |
US9569515B2 (en) * | 2014-11-13 | 2017-02-14 | Dropbox, Inc. | Facilitating distributed deletes in a replicated storage system |
US11055266B2 (en) * | 2017-08-21 | 2021-07-06 | Western Digital Technologies, Inc. | Efficient key data store entry traversal and result generation |
US10599613B2 (en) * | 2017-10-19 | 2020-03-24 | International Business Machines Corporation | Index management in storage system |
-
2020
- 2020-04-29 CN CN202010353937.2A patent/CN111552667B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04369055A (ja) * | 1991-06-18 | 1992-12-21 | Nec Corp | 削除ファイル復旧方式 |
JP2011233000A (ja) * | 2010-04-28 | 2011-11-17 | Century Tokyo Leasing Corp | データ消去管理システム及びデータ消去管理方法 |
US9047312B1 (en) * | 2011-03-30 | 2015-06-02 | Amazon Technologies, Inc. | System and method for deletion of extraneous delete marker objects |
US9875272B1 (en) * | 2015-06-23 | 2018-01-23 | Google Inc. | Method and system for designing a database system for high event rate, while maintaining predictable query performance |
CN108932236A (zh) * | 2017-05-22 | 2018-12-04 | 北京金山云网络技术有限公司 | 一种文件管理方法、过期文件删除方法及装置 |
WO2019057193A1 (zh) * | 2017-09-25 | 2019-03-28 | 杭州海康威视***技术有限公司 | 数据删除方法及分布式存储*** |
CN110069457A (zh) * | 2019-04-24 | 2019-07-30 | 苏州浪潮智能科技有限公司 | 一种基于分布式文件存储***中过期文件删除方法及*** |
Non-Patent Citations (1)
Title |
---|
邢晶 ; 熊劲 ; 孙凝晖 ; 马捷 ; .一种支持EB级存储的可扩展存储空间管理方法.计算机研究与发展.2013,(08),全文. * |
Also Published As
Publication number | Publication date |
---|---|
CN111552667A (zh) | 2020-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10417180B1 (en) | Fast recovery of backup cloud gateway following crash without garbage collection | |
CN104283956B (zh) | 强一致性分布式数据存储方法、装置及*** | |
EP2863310A1 (en) | Data processing method and apparatus, and shared storage device | |
EP3125501A1 (en) | File synchronization method, server, and terminal | |
CN106874281B (zh) | 实现数据库读写分离的方法和装置 | |
US10055475B2 (en) | Authentication system, synchronization method, and authentication apparatus | |
US9690796B2 (en) | Non-transitory computer-readable media storing file management program, file management apparatus, and file management method | |
CN105468718B (zh) | 数据一致性处理方法、装置和*** | |
CN111399764B (zh) | 数据存储方法、读取方法、装置、设备及存储介质 | |
WO2014173122A1 (zh) | 一种数据同步方法、装置及*** | |
CN104348859A (zh) | 文件同步方法、装置、服务器、终端及*** | |
CN110046062A (zh) | 分布式数据处理方法及*** | |
CN111046106A (zh) | 缓存数据同步方法、装置、设备及介质 | |
CN110413684B (zh) | 一种数据库同步方法、装置及*** | |
CN105991744B (zh) | 用于同步用户应用数据的方法与设备 | |
CN112000850B (zh) | 进行数据处理的方法、装置、***及设备 | |
CN110955460B (zh) | 一种服务进程启动方法、装置、电子设备和存储介质 | |
CN111552667B (zh) | 一种数据删除方法、装置及电子设备 | |
CN112948494A (zh) | 数据同步方法、装置、电子设备和计算机可读介质 | |
CN110489483B (zh) | 数据同步方法、装置、计算机设备以及存储介质 | |
CN109165259B (zh) | 基于网络附属存储的索引表更新方法、处理器及存储装置 | |
CN111552673A (zh) | 文件处理方法、装置、电子设备及存储介质 | |
CN108023920B (zh) | 一种数据包传输方法、设备及应用接口 | |
CN115189931A (zh) | 一种分布式密钥管理方法、装置、设备、存储介质 | |
CN109325057B (zh) | 中间件管理方法、装置、计算机设备以及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |