CN109976668A - 数据删除方法、数据删除装置和计算机可读存储介质 - Google Patents

数据删除方法、数据删除装置和计算机可读存储介质 Download PDF

Info

Publication number
CN109976668A
CN109976668A CN201910194472.8A CN201910194472A CN109976668A CN 109976668 A CN109976668 A CN 109976668A CN 201910194472 A CN201910194472 A CN 201910194472A CN 109976668 A CN109976668 A CN 109976668A
Authority
CN
China
Prior art keywords
data
metadata
file
deleted
fragment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910194472.8A
Other languages
English (en)
Inventor
高宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910194472.8A priority Critical patent/CN109976668A/zh
Publication of CN109976668A publication Critical patent/CN109976668A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/062Securing storage systems
    • G06F3/0623Securing storage systems in relation to content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0652Erasing, e.g. deleting, data cleaning, moving of data to a wastebasket
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请是关于一种数据删除方法、数据删除装置和计算机可读存储介质。该数据删除方法应用于分布式存储***中,包括:接收客户端发送的数据删除请求,数据删除请求中包含指示待删除的文件的标识信息;将标识信息对应的文件的元数据存储至以集群方式存在的对象中,向客户端返回删除成功的信息;根据读取出的元数据将文件解析出分片数据,将所有分片数据逐一进行删除;当文件的所有分片数据均删除后,将保存在对象中的元数据删除。本申请的数据删除方法将待删除的文件的元数据保存在集群中,根据元数据解析出分片数据进行异步删除,最后删除元数据,能安全快速地进行文件删除,同时还可以保证删除的完整性和数据的一致性。

Description

数据删除方法、数据删除装置和计算机可读存储介质
技术领域
本申请属于计算机软件应用领域,尤其涉及数据删除方法及数据删除装置。
背景技术
随着网络应用的迅速发展,网络信息数据量越来越大,海量数据存储变得越来越重要,虚拟磁盘技术在数据安全方面的应用也越来越普遍,目前比较常用的一种映射虚拟磁盘的方式是创建镜像文件并映射为虚拟磁盘。
相对于数据存储来说,数据的读写和删除也是常用的操作,对于客户端来说,删除操作相较读写操作是较简单的操作类型,理应快速完成。现有技术中当客户端对镜像文件进行删除操作时,会首先确认构成文件的各分片数据的分布,然后逐一地发送删除命令,将所有的分片数据删除后再删除元数据对象,删除完成之后再向客户端返回操作成功信息。这种删除方式是阻塞删除所有分片数据后再删除元数据,对于大的镜像文件删除很慢,占用的删除时间比较长,影响用户对其他功能的使用,而且在执行删除程序时,可能会在删除过程中遇见意外退出的情况,删除操作停止,当用户再次启动应用时,客户端不会再次执行同一删除任务,导致删除不完整。
发明内容
为克服相关技术中存在的问题,本申请公开一种数据删除方法和数据删除装置,将待删除的文件的元数据保存在集群中,根据元数据解析出分片数据进行异步删除,最后删除元数据,可以确保删除信息不丢失,保证数据删除完整。
根据本申请实施例的第一方面,提供一种数据删除方法,包括:
接收客户端发送的数据删除请求,所述数据删除请求中包含指示待删除的文件的标识信息;
将所述标识信息对应的所述文件的元数据存储至以集群方式存在的对象中,向所述客户端返回删除成功的信息;
根据读取出的所述元数据将所述文件解析出分片数据,将所有所述分片数据逐一进行删除;
当所述文件的所有所述分片数据均删除后,保存在所述对象中的所述元数据删除。
可选地,所述数据删除方法还包括:设定超时时限,所述元数据在所述对象中存储达到所述超时时限后被读取。
可选地,所述数据删除方法还包括:当所述对象中存储有多个所述元数据时,按照存储时间先后依次顺序读取多个所述元数据,且每次均仅读取最先存储的一个所述元数据。
可选地,当有元数据被访问时,存储在所述对象中的应被删除但是还没有被执行删除操作的其他所述元数据均被标记为不可访问。
可选地,所述对象以容灾方式保存,根据本地数据复制出异地数据。
可选地,所述元数据在所述以集群方式存在的对象中保存有副本,所述元数据指示所述副本的存放位置。
可选地,所述文件的所述分片数据是指对所述文件进行分片操作所获得的数据包,所述数据包至少为两个。
可选地,所述元数据指示所述分片数据的存储位置和文件名称。
可选地,所述文件为镜像文件,所述对象为服务器。
根据本发明实施例的第二方面,提供一种数据删除装置,包括:
接收模块,用于接收客户端发送的数据删除请求,所述数据删除请求中包含指示待删除的文件的标识信息;
存储模块,用于将所述标识信息对应的所述文件的元数据存储至以集群方式存在的对象中,向所述客户端返回删除成功的信息;
解析模块,用于根据读取出的所述元数据将所述文件解析出分片数据,将所有所述分片数据逐一进行删除;
元数据删除模块,用于当所述文件的所有所述分片数据均删除后,将保存在所述对象中的所述元数据删除。
可选地,所述数据删除装置还包括:时限设定模块,用于设定超时时限,所述元数据在所述对象中存储达到所述超时时限后被读取。
可选地,所述数据删除装置还包括:读取模块,用于当所述对象中存储有多个所述元数据时,按照存储时间先后依次顺序读取多个所述元数据,且每次均仅读取最先存储的一个所述元数据。
可选地,当有元数据被访问时,存储在所述对象中的应被删除但是还没有被执行删除操作的其他所述元数据标记为不可访问。
可选地,所述对象以容灾方式保存,根据本地数据复制出异地数据。
可选地,所述元数据在所述以集群方式存在的对象中保存有副本,所述元数据指示所述副本的存放位置。
可选地,所述文件为镜像文件,所述对象为服务器。
根据本发明实施例的第三方面,提供一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述任意一项所述的数据删除方法。
根据本发明实施例的第四方面,提供一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令被执行时实现上述数据删除方法。
本申请的实施例提供的技术方案可以包括以下有益效果:
该数据删除方法通过在接收到客户端发送的数据删除请求后,将对应的文件的元数据添加至以集群方式存在的对象中来进行元数据的保存,然后向客户端返回删除成功的信息,之后再异步进行文件的删除操作,通过元数据解析出分片数据,逐一删除分片数据,分片数据删除干净后才进行元数据的删除。使得表征数据删除请求的元数据能及时安全地保存,直至所有分片数据删除完成后才删除元数据,确保文件可以删除完整,即使在执行删除操作时意外退出,由于元数据的存在,客户端还是会再次执行分片数据的删除操作;而且在保存元数据之后就向用户返回删除成功的信息,之后进行异步删除,不会占用当前的资源,能快速响应数据删除请求,在保证快速删除的同时可以保证完整删除。
本申请的另一实施例提供的技术方案可以包括以下有益效果:
设定超时时限,在元数据保存一定的时间后开始执行删除操作,可以保证数据的删除及时完成,使得元数据能及时更替,不会占用过多的存储空间;而且按照不同的元数据存入对象中的时间先后顺序读取元数据,使得先保存的元数据可以先执行删除操作,保证所有的删除操作可以有条理地完成,另外,还未被执行删除操作的元数据,被标记为不可访问,可以防止误操作,避免造成删除混乱。
本申请的另一实施例提供的技术方案可以包括以下有益效果:
元数据保存在实体对象中,且以集群方式存储,使得元数据的保存更加可靠,在删除出现故障时,可以及时恢复数据,继续删除,对象以容灾方式保存,是将元数据在异地进行备份,即使本地的元数据损毁,还可以根据异地数据及时恢复,进一步确保文件删除的完整性。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本发明的实施例,并与说明书一起用于解释本发明的原理。
图1是根据一示例性实施例示出的数据删除方法的流程图;
图2是根据一示例性实施例示出的汇总的数据删除方法的流程图;
图3是根据一示例性实施例示出的数据删除方法中数据存储的示意图;
图4是根据一示例性实施例示出的数据删除装置的示意图;
图5是根据一示例性实施例示出的汇总的数据删除装置的示意图;
图6是根据一示例性实施例示出的一种执行数据删除方法的电子设备的框图;
图7是根据一示例性实施例示出的一种执行数据删除方法的数据删除装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的数据删除方法的流程图,具体包括以下步骤。
在步骤S101中,接收客户端发送的数据删除请求,数据删除请求中包含指示待删除的文件的标识信息。
在分布式存储***中,当需要进行数据删除时,首先会接收用户通过客户端发送的数据删除请求,根据数据删除请求删除对应的文件或数据。数据删除请求中包含有指示待删除文件的标识信息,不同的文件或数据对应不同的标识信息,通过此标识信息可以快速定位到要删除的文件,从而执行删除操作。
在步骤S102中,将标识信息对应的文件的元数据存储至以集群方式存在的对象中,向客户端返回删除成功的信息。
上述提到的文件例如为镜像文件,镜像是一种文件形式,镜像文件的格式是一种基于文件的磁盘镜像格式,镜像文件和ZIP压缩包类似,它将特定的一系列文件按照一定的格式制作成单一的文件,以方便用户下载和使用,常见的镜像文件格式有ISO、BIN、IMG、TAO、DAO、CIF、FCD。在镜像文件中可以包含很多信息,比如说***文件、引导文件、分区表信息等,这样镜像文件就可以包含一个分区甚至是一块硬盘的所有信息。镜像文件包括元数据和分片数据,元数据主要是描述数据属性的信息,用来支持如指示存储位置、历史数据、资源查找、文件纪录等功能,所以元数据可以指示分片数据的存储位置。
在本实施例中,在获得用户的数据删除请求后,将需删除的镜像文件对应的元数据存储入一组集群的对象中,对象例如为服务器,集群中至少包含两台服务器。将元数据存储至服务器中后,即向用户所使用的客户端返回删除成功的信息,用于可以执行下一项操作。由于仅将元数据保存在服务器即反馈用户删除成功,因此能快速响应用户的数据删除请求。然后再对数据进行异步删除处理,有效的缩短了客户端的等待时间。而保存待删除的镜像文件的元数据到实体对象,可以确保删除操作不丢失,从而实现完整删除。
在步骤S103中,根据读取出的元数据将文件解析出分片数据,将所有分片数据逐一进行删除。
读取保存的元数据,根据读取出的元数据将待删除的镜像文件解析出分片数据,即根据元数据找到镜像文件对应的分片数据,然后逐一进行删除,由此完成镜像文件的异步删除。文件的分片数据是指对镜像文件进行分片操作所获得的数据包,数据包至少为两个。元数据可以指示分片数据的存储位置和对应的文件名称。
向用户返回删除成功的信息后,后台异步读取表征数据删除请求的元数据,然后根据读取出的元数据解析出镜像文件的分片数据,删除所有分片数据,可以避免用户端阻塞过久,快速响应用户的请求,同时根据元数据来删除分片数据,也保证的删除数据的一致性和完整性。
在步骤S104中,当文件的所有分片数据均删除后,将保存在对象中的元数据删除。
将镜像文件对应的所有分片数据均逐一删除成功之后,此时可以将保存的元数据删除,表示一次镜像文件的完整删除的完成,也表示一条数据操作请求的完整执行。在一个实施例中,由于元数据在集群中存储,存储安全可靠,信息不易丢失,所以可以重复执行根据元数据将文件解析出分片数据的操作,然后将解析出的分片数据删除,直至镜像文件的所有分片数据均为空时,表示所有的分片数据均以删除干净。例如,至少执行两次,第二次解析操作可以看做是判断操作,判断所有的分片数据是否均被删除,如果还有未删除干净的,再进行一次删除,直到所有的分片数据删除成功后才删除元数据。多次执行根据元数据将文件解析出分片数据的操作,可以避免在执行删除操作时意外退出带来的删除不完整的现象,另外,按照本实施例的数据删除方法,即使在删除过程中出现意外退出的情况,下一次进入应用时,由于元数据还保存着,所以还可以继续执行该元数据对应的镜像文件的删除操作,保证需要删除的镜像文件可以完整删除。
在本实施例中,元数据存储在以集群方式存在的对象中,而集群是指用一组服务器运行一到多个应用程序,至少具有两台服务器,在他们之间配置故障切换,如果一台服务器失效,由另一台服务器接管应用程序的处理。所以元数据的保存是具有恢复能力的,及时出现意外退出的情况,也可以及时恢复,保证删除的完整性。
在一个实施例中,对象以容灾方式保存,根据本地数据复制出异地数据。数据容灾是指建立一个异地的数据***,该***是本地关键应用数据的一个可用复制。在本地数据及整个应用***出现灾难时,***至少在异地保存有一份可用的关键业务的数据。该数据可以是与本地生产数据的完全实时复制,也可以比本地数据略微落后,但一定是可用的。采用的主要技术是数据备份和数据复制技术。对象以容灾方式保存,可以确保元数据不丢失,也可以说是保证数据删除请求不丢失,达到完整删除镜像文件的效果,确保数据的一致性。
元数据保存在实体对象中,且以集群方式存储,使得元数据的保存更加可靠,在删除出现故障时,可以及时恢复数据,继续删除,对象以容灾方式保存,是将元数据在异地进行备份,即使本地的元数据损毁,还可以根据异地数据及时恢复,进一步确保文件删除的完整性。
在另一个实施例中,元数据在以集群方式存在的对象中保存有副本,元数据指示副本的存放位置。元数据在存储到服务器中时,可以保存另外的一份副本,元数据可以指示副本的存储位置,便于查找和恢复,也进一步保证了元数据的安全存储。
该数据删除方法通过在接收到客户端发送的数据删除请求后,将对应的文件的元数据添加至以集群方式存在的对象中来进行元数据的保存,然后向客户端返回删除成功的信息,之后再异步进行文件的删除操作,通过元数据解析出分片数据,逐一删除分片数据,分片数据删除干净后才进行元数据的删除。使得表征数据删除请求的元数据能及时安全地保存,直至所有分片数据删除完成后才删除元数据,确保文件可以删除完整,即使在执行删除操作时意外退出,由于元数据的存在,客户端还是会再次执行分片数据的删除操作;而且在保存元数据之后就向用户返回删除成功的信息,之后进行异步删除,不会占用当前的资源,能快速响应数据删除请求,在保证快速删除的同时可以保证完整删除。
图2是根据一示例性实施例示出的汇总的数据删除方法的流程图,具体包括以下步骤。
在步骤S201中,接收客户端发送的数据删除请求,数据删除请求中包含指示待删除的文件的标识信息。
在步骤S202中,将标识信息对应的文件的元数据存储至以集群方式存在的对象中,向客户端返回删除成功的信息。
在步骤S203中,设定超时时限,元数据在对象中存储达到超时时限后被读取。
在步骤S204中,当对象中存储有多个元数据时,按照存储时间先后依次顺序读取多个元数据,且每次均仅读取最先存储的一个元数据。
在步骤S205中,读取元数据并根据元数据将文件解析出分片数据,将所有分片数据逐一进行删除。
在步骤S206中,当文件的所有分片数据均删除后,将保存在对象中的元数据删除。
本实施例是图1实施例的优化方案,步骤S201-S202及步骤S205-S206与图1的步骤S101-S104相同,这里不再赘述。
在步骤S203中,设定超时时限,元数据在对象中存储达到超时时限后被读取。
图1实施例介绍了镜像文件的快速、完整的删除方法,本实施例是对删除时间和删除顺序进行的进一步说明。在本实施例中,可以设定超时时限,即一段固定的时间,例如是十分钟,当元数据在服务器中的存储达到十分钟后便被读取,即开始进行元数据的读取操作,开始异步删除。虽然保存元数据后已经向用户反馈了删除成功的信息,但是镜像文件还是需要进行后台删除,设置一个超时时限,可以保证镜像文件的删除自动进行,而且可以留有一定的时间使处理器执行其他的任务。具体的,可以在到达超时时限时,读取元数据对应的镜像文件的信息,解析出分片数据,然后进行逐一删除,在删除结束后删除保存的元数据。
在步骤S204中,当对象中存储有多个元数据时,按照存储时间先后依次顺序读取多个元数据,且每次均仅读取最先存储的一个元数据。
用户在进行镜像文件的删除时,可能需要进行多个不同的镜像文件的删除,则会产生多个数据删除请求,在对象中就会保存多个元数据,如果同时进行删除,可能导致删除混乱,使得删除不完整,而且如果没有删除顺序,任意挑选一个元数据进行解析和删除,可能导致最先存储的元数据一直未被删除,所以本实施例中按照存储时间的先后顺序依次进行删除。
在本实施例中,当对象中存储有多个元数据时,因为用户发送的对不同镜像文件的数据删除请求是有先后顺序的,那么元数据在服务器中的存储也是有先后顺序的,先存储的元数据应该优先进行删除操作,所以按照存储时间先后依次顺序读取存储的元数据,且每次仅读取最先存储的一个元数据,执行完一个镜像文件的删除任务,再执行下一个。
在一个实施例中,在上一个镜像文件在执行删除操作时,其他的镜像文件应该处于静置状态,所以只要在有一个元数据被访问时,存储在对象中的应被删除但是还没有被执行删除操作的其他元数据均应该被标记为不可访问。在达到超时时限时,开始读取最先存储的一个元数据,如果接连存储了多个元数据,可能出现在第二个存储的元数据达到超时时限时,第一个元数据的删除操作还未完成,此时不能进行第二个元数据的访问,只能等待第一个元数据的删除完成后才可以读取第二个元数据。所以可以将将超时时限的启动设置在上一个元数据删除成功之后。
本实施例中,每次删除操作只能执行一个元数据对应的镜像文件的删除,多次读取该元数据,解析出分片数据,然后逐一地发送删除命令,等待所有的分片数据删除完成之后再删除元数据,之后才执行下一个元数据对应的镜像文件的删除操作,保证删除操作的稳定执行。
本实施例的数据删除方法设定了超时时限,在元数据保存一定的时间后开始执行删除操作,可以保证数据的删除及时完成,使得元数据能及时更替,不会占用过多的存储空间;而且按照不同的元数据存入对象中的时间先后顺序读取元数据,使得先保存的元数据可以先执行删除操作,保证所有的删除操作可以有条理地完成,另外,还未被执行删除操作的元数据,被标记为不可访问,可以防止误操作,避免造成删除混乱。
图3是根据一示例性实施例示出的数据删除方法中数据存储的示意图。
如图3所示,客户端310和元数据服务器320通过元数据接***互,客户端310与数据服务器330通过对象接***互,实现网络化的客户-服务器服务模式。客户端310负责向上层应用程序提供文件访问服务,服务器负责文件在硬盘上的存储。
文件***的存储管理分为文件***的元数据管理和文件***的分片数据管理,元数据服务器320中存储元数据,数据服务器330中存储分片数据,元数据服务器320与数据服务器330之间可以实现数据交互。
元数据服务器320可扩展为多个,即以集群方式存在,这里以两个为例说明。数据服务器330的硬盘用户存放分片数据,数据服务器330也可扩展为多个。例如,有10台元数据服务器320,每一台服务器有5个硬盘,文件是按文件块(约为1MB或4MB)分布在不同服务器的不同硬盘上,另外,由于任何一个服务器或硬盘存在失效的可能,所以,每一个文件有一个或多个副本。
每个服务器中均包含有硬盘,用户存放数据,元数据服务器320的硬盘用于存放元数据,相当于目录,通过该目录可以定位到分片数据的存储位置。文件的分布情况存储在元数据服务器320中,且受元数据服务器320的管理,即元数据服务器320负责文件在数据服务器330上的存储分布,以及调整(如增加、减少、迁移),客户端310通过元数据服务器320知道分片数据在数据服务器330上的分布。
以集群方式存储,且保存有副本,则当***发现一个服务器或服务器上的一个硬盘失效时,会指示元数据服务器把该失效设备上的数据再次备份,保证文件的可靠性,且***自愈是自动的,不需要管理员的参与。由此完成数据的存储和交互。
图4是根据一示例性实施例示出的数据删除装置的示意图。该数据删除装置400包括接收模块401、存储模块402、解析模块403和元数据删除模块404。
接收模块401用于接收客户端发送的数据删除请求,数据删除请求中包含指示待删除的文件的标识信息;
存储模块402用于将标识信息对应的文件的元数据存储至以集群方式存在的对象中,向客户端返回删除成功的信息;
解析模块403用于根据读取出的元数据将文件解析出分片数据,将所有分片数据逐一进行删除;
元数据删除模块404用于当文件的所有分片数据均删除后,将保存在对象中的元数据删除。
在一个实施例中,文件为镜像文件,对象为服务器。对象以容灾方式保存,可以根据本地数据复制出异地数据。元数据在以集群方式存在的对象中保存有副本,元数据指示副本的存放位置,由此可以保证镜像文件的完整删除。
本实施例的数据删除装置通过在接收到客户端发送的数据删除请求后,将对应的文件的元数据添加至以集群方式存在的对象中来进行元数据的保存,然后向客户端返回删除成功的信息,之后再异步进行文件的删除操作,通过元数据解析出分片数据,逐一删除分片数据,分片数据删除干净后才进行元数据的删除。使得表征数据删除请求的元数据能及时安全地保存,直至所有分片数据删除完成后才删除元数据,确保文件可以删除完整,即使在执行删除操作时意外退出,由于元数据的存在,客户端还是会再次执行分片数据的删除操作;而且在保存元数据之后就向用户返回删除成功的信息,之后进行异步删除,不会占用当前的资源,能快速响应数据删除请求,在保证快速删除的同时可以保证完整删除。
图5是根据另一示例性实施例示出的数据删除装置的示意图。
图5是对图4的实施例的优化,该数据删除装置500除包括接收模块401、存储模块402、解析模块403和元数据删除模块404外还包括:时限设定模块501和读取模块502。
时限设定模块501用于设定超时时限,元数据在对象中存储达到超时时限后被读取。
读取模块502用于当对象中存储有多个元数据时,按照存储时间先后依次顺序读取多个元数据,且每次均仅读取最先存储的一个元数据。当有元数据被访问时,存储在对象中的应被删除但是还没有被执行删除操作的其他元数据均被标记为不可访问。
本实施例的数据删除装置设定超时时限,在元数据保存一定的时间后开始执行删除操作,可以保证数据的删除及时完成,使得元数据能及时更替,不会占用过多的存储空间;而且按照不同的元数据存入对象中的时间先后顺序读取元数据,使得先保存的元数据可以先执行删除操作,保证所有的删除操作可以有条理地完成,另外,还未被执行删除操作的元数据,被标记为不可访问,可以防止误操作,避免造成删除混乱。
关于上述实施例中的数据删除装置,由于其中各个模块的功能已经在上述数据删除方法的实施例中进行了详细描述,由此进行了相对简略的描述。
图6是根据一示例性实施例示出的一种用于上述数据删除方法的电子设备1200的框图。例如,电子设备1200可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图6,电子设备1200可以包括以下一个或多个组件:处理组件1202,存储器1204,电力组件1206,多媒体组件1208,音频组件1210,输入/输出(I/O)的接口1212,传感器组件1214,以及通信组件1216。
处理组件1202通常控制电子设备1200的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件1202可以包括一个或多个处理器1220来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1202可以包括一个或多个模块,便于处理组件1202和其他组件之间的交互。例如,处理组件1202可以包括多媒体模块,以方便多媒体组件1208和处理组件1202之间的交互。
存储器1204被配置为存储各种类型的数据以支持在电子设备1200的操作。这些数据的示例包括用于在电子设备1200上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器1204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件1206为电子设备1200的各种组件提供电力。电源组件1206可以包括电源管理***,一个或多个电源,及其他与为电子设备1200生成、管理和分配电力相关联的组件。
多媒体组件1208包括在所述电子设备1200和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1208包括一个前置摄像头和/或后置摄像头。当电子设备1200处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件1210被配置为输出和/或输入音频信号。例如,音频组件1210包括一个麦克风(MIC),当电子设备1200处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1204或经由通信组件1216发送。在一些实施例中,音频组件1210还包括一个扬声器,用于输出音频信号。
I/O接口1212为处理组件1202和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1214包括一个或多个传感器,用于为电子设备1200提供各个方面的状态评估。例如,传感器组件1214可以检测到电子设备1200的打开/关闭状态,组件的相对定位,例如所述组件为装置1200的显示器和小键盘,传感器组件1214还可以检测电子设备1200,或电子设备1200一个组件的位置改变,用户与电子设备1200接触的存在或不存在,电子设备1200方位或加速/减速和电子设备1200的温度变化。传感器组件1214可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1214还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1214还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件1216被配置为便于电子设备1200和其他设备之间有线或无线方式的通信。电子设备1200可以接入基于通信标准的无线网络,如WiFi,运营商网络(如2G、3G、4G或5G),或它们的组合。在一个示例性实施例中,通信组件1216经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件1216还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,电子设备1200可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述数据删除方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器1204,上述指令可由电子设备1200的处理器1220执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
图7是根据一示例性实施例示出的一种用于上述数据删除方法的数据删除装置1300的框图。例如,装置1300可以被提供为一服务器。参照图7,装置1300包括处理组件1322,其进一步包括一个或多个处理器,以及由存储器1332所代表的存储器资源,用于存储可由处理组件1322的执行的指令,例如应用程序。存储器1332中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1322被配置为执行指令,以执行上述数据删除方法。
装置1300还可以包括一个电源组件1326被配置为执行装置1300的电源管理,一个有线或无线网络接口1350被配置为将装置1300连接到网络,和一个输入输出(I/O)接口1358。装置1300可以操作基于存储在存储器1332的操作***,例如Windows ServerTM,MacOS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本申请的真正范围和精神由下面的权利要求指出。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据删除方法,其特征在于,应用于分布式存储***中,包括:
接收客户端发送的数据删除请求,所述数据删除请求中包含指示待删除的文件的标识信息;
将所述标识信息对应的所述文件的元数据存储至以集群方式存在的对象中,向所述客户端返回删除成功的信息;
根据读取出的所述元数据将所述文件解析出分片数据,将所有所述分片数据逐一进行删除;
当所述文件的所有所述分片数据均删除后,将保存在所述对象中的所述元数据删除。
2.根据权利要求1所述的数据删除方法,其特征在于,还包括:
设定超时时限,所述元数据在所述对象中存储达到所述超时时限后被读取。
3.根据权利要求1所述的数据删除方法,其特征在于,还包括:
当所述对象中存储有多个所述元数据时,按照存储时间先后依次顺序读取多个所述元数据,且每次均仅读取最先存储的一个所述元数据。
4.根据权利要求3所述的数据删除方法,其特征在于,当有元数据被访问时,存储在所述对象中的应被删除但是还没有被执行删除操作的其他所述元数据均被标记为不可访问。
5.根据权利要求1所述的数据删除方法,其特征在于,所述对象以容灾方式保存,根据本地数据复制出异地数据。
6.根据权利要求1所述的数据删除方法,其特征在于,所述元数据在所述以集群方式存在的对象中保存有副本,所述元数据指示所述副本的存放位置。
7.根据权利要求1所述的数据删除方法,其特征在于,所述文件为镜像文件,所述对象为服务器。
8.一种数据删除装置,其特征在于,包括:
接收模块,用于接收客户端发送的数据删除请求,所述数据删除请求中包含指示待删除的文件的标识信息;
存储模块,用于将所述标识信息对应的所述文件的元数据存储至以集群方式存在的对象中,向所述客户端返回删除成功的信息;
解析模块,用于根据读取出的所述元数据将所述文件解析出分片数据,将所有所述分片数据逐一进行删除;
元数据删除模块,用于当所述文件的所有所述分片数据均删除后,将保存在所述对象中的所述元数据删除。
9.一种电子设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为执行上述权利要求1-7任意一项所述的数据删除方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令被执行时实现如权利要求1至7任一项所述的数据删除方法。
CN201910194472.8A 2019-03-14 2019-03-14 数据删除方法、数据删除装置和计算机可读存储介质 Pending CN109976668A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910194472.8A CN109976668A (zh) 2019-03-14 2019-03-14 数据删除方法、数据删除装置和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910194472.8A CN109976668A (zh) 2019-03-14 2019-03-14 数据删除方法、数据删除装置和计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN109976668A true CN109976668A (zh) 2019-07-05

Family

ID=67079007

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910194472.8A Pending CN109976668A (zh) 2019-03-14 2019-03-14 数据删除方法、数据删除装置和计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN109976668A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110515553A (zh) * 2019-08-22 2019-11-29 苏州浪潮智能科技有限公司 一种卷删除方法及设备
CN110569219A (zh) * 2019-09-02 2019-12-13 深信服科技股份有限公司 分片垃圾处理方法、用户设备、存储介质及装置
CN110888844A (zh) * 2019-11-22 2020-03-17 浪潮电子信息产业股份有限公司 一种数据删除方法、***、设备及计算机可读存储介质
CN111026751A (zh) * 2019-11-22 2020-04-17 北京金山云网络技术有限公司 分布式表格的处理方法、装置、***及电子设备
CN111596864A (zh) * 2020-05-22 2020-08-28 柏科数据技术(深圳)股份有限公司 一种数据延时删除的方法、装置、服务器及存储介质
CN112181911A (zh) * 2020-09-27 2021-01-05 广州三星通信技术研究有限公司 文件删除方法和设备
WO2021083005A1 (zh) * 2019-10-28 2021-05-06 中兴通讯股份有限公司 缓存内容的批量删除方法、装置、设备和可读存储介质
CN113590605A (zh) * 2021-08-09 2021-11-02 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质
WO2024021492A1 (zh) * 2022-07-29 2024-02-01 天翼云科技有限公司 一种数据回收方法、装置、电子设备及存储介质
WO2024078107A1 (zh) * 2022-10-12 2024-04-18 北京奥星贝斯科技有限公司 一种数据库业务执行的方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104580437A (zh) * 2014-12-30 2015-04-29 创新科存储技术(深圳)有限公司 一种云存储客户端及其高效数据访问方法
CN104731516A (zh) * 2013-12-18 2015-06-24 腾讯科技(深圳)有限公司 一种存取文件的方法、装置及分布式存储***
CN105630808A (zh) * 2014-10-31 2016-06-01 北京奇虎科技有限公司 基于分布式文件***的文件读取、写入方法及节点服务器
CN105677250A (zh) * 2016-01-04 2016-06-15 北京百度网讯科技有限公司 对象存储***中的对象数据的更新方法和更新装置
CN105718484A (zh) * 2014-12-04 2016-06-29 中兴通讯股份有限公司 写文件、读文件、删除文件、查询文件的方法及客户端

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731516A (zh) * 2013-12-18 2015-06-24 腾讯科技(深圳)有限公司 一种存取文件的方法、装置及分布式存储***
CN105630808A (zh) * 2014-10-31 2016-06-01 北京奇虎科技有限公司 基于分布式文件***的文件读取、写入方法及节点服务器
CN105718484A (zh) * 2014-12-04 2016-06-29 中兴通讯股份有限公司 写文件、读文件、删除文件、查询文件的方法及客户端
CN104580437A (zh) * 2014-12-30 2015-04-29 创新科存储技术(深圳)有限公司 一种云存储客户端及其高效数据访问方法
CN105677250A (zh) * 2016-01-04 2016-06-15 北京百度网讯科技有限公司 对象存储***中的对象数据的更新方法和更新装置

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110515553A (zh) * 2019-08-22 2019-11-29 苏州浪潮智能科技有限公司 一种卷删除方法及设备
CN110569219A (zh) * 2019-09-02 2019-12-13 深信服科技股份有限公司 分片垃圾处理方法、用户设备、存储介质及装置
CN110569219B (zh) * 2019-09-02 2023-05-12 深信服科技股份有限公司 分片垃圾处理方法、用户设备、存储介质及装置
WO2021083005A1 (zh) * 2019-10-28 2021-05-06 中兴通讯股份有限公司 缓存内容的批量删除方法、装置、设备和可读存储介质
CN111026751A (zh) * 2019-11-22 2020-04-17 北京金山云网络技术有限公司 分布式表格的处理方法、装置、***及电子设备
WO2021098260A1 (zh) * 2019-11-22 2021-05-27 浪潮电子信息产业股份有限公司 一种数据删除方法、***、设备及计算机可读存储介质
CN110888844B (zh) * 2019-11-22 2023-03-21 浪潮电子信息产业股份有限公司 一种数据删除方法、***、设备及计算机可读存储介质
CN110888844A (zh) * 2019-11-22 2020-03-17 浪潮电子信息产业股份有限公司 一种数据删除方法、***、设备及计算机可读存储介质
CN111026751B (zh) * 2019-11-22 2024-02-09 北京金山云网络技术有限公司 分布式表格的处理方法、装置、***及电子设备
CN111596864A (zh) * 2020-05-22 2020-08-28 柏科数据技术(深圳)股份有限公司 一种数据延时删除的方法、装置、服务器及存储介质
CN112181911A (zh) * 2020-09-27 2021-01-05 广州三星通信技术研究有限公司 文件删除方法和设备
CN113590605A (zh) * 2021-08-09 2021-11-02 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质
CN113590605B (zh) * 2021-08-09 2024-01-05 北京达佳互联信息技术有限公司 数据处理方法、装置、电子设备及存储介质
WO2024021492A1 (zh) * 2022-07-29 2024-02-01 天翼云科技有限公司 一种数据回收方法、装置、电子设备及存储介质
WO2024078107A1 (zh) * 2022-10-12 2024-04-18 北京奥星贝斯科技有限公司 一种数据库业务执行的方法及装置

Similar Documents

Publication Publication Date Title
CN109976668A (zh) 数据删除方法、数据删除装置和计算机可读存储介质
US11275489B2 (en) Method and apparatus for uploading photographed file
CN105204959B (zh) 恢复ext文件***中已删除文件的方法及装置
AU2014369911A1 (en) Providing access to a cloud based content management system on a mobile device
CN109359091B (zh) 文件管理方法、装置、终端及计算机可读存储介质
JP2017531330A (ja) ピクチャ処理方法および装置
CN105095025B (zh) 恢复ext文件***中已删除文件的方法及装置
KR20170097980A (ko) 전자 장치의 컨텐트 그룹 공유 방법 및 그 전자 장치
CN109684406A (zh) 跨机房的redis集群备份数据的方法、装置、设备及存储介质
CN109885255A (zh) 存储空间整理方法及装置
CN110309100B (zh) 一种快照对象生成方法和装置
CN104869169B (zh) 云名片的更新方法和装置
CN110826697B (zh) 获取样本的方法及装置、电子设备和存储介质
CN108573034A (zh) 数据备份方法、装置、计算机设备及可读存储介质
US20210133505A1 (en) Method, device, and storage medium for retrieving samples
US11368531B2 (en) Method and apparatus for file management
CN107231283A (zh) 消息管理方法及装置、消息预读方法及装置
KR20170098113A (ko) 전자 장치의 이미지 그룹 생성 방법 및 그 전자 장치
CN104933085B (zh) 电子图书的更新方法、终端及服务器
WO2021259197A1 (zh) 文件的处理方法及装置、存储介质、终端
CN102932513B (zh) 一种名片维护方法、装置及设备
CN114546992A (zh) 数据库迁移方法、装置、存储介质和电子设备
CN110727808A (zh) 图像处理方法、装置及终端设备
CN107483605A (zh) 文件下载方法及装置、存储介质
CN112966147A (zh) 文件访问方法及装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190705