CN110188076A - 一种Hadoop文件***并发高速数据完全删除的方法 - Google Patents
一种Hadoop文件***并发高速数据完全删除的方法 Download PDFInfo
- Publication number
- CN110188076A CN110188076A CN201910448716.0A CN201910448716A CN110188076A CN 110188076 A CN110188076 A CN 110188076A CN 201910448716 A CN201910448716 A CN 201910448716A CN 110188076 A CN110188076 A CN 110188076A
- Authority
- CN
- China
- Prior art keywords
- hadoop
- data
- task list
- data block
- deleted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
- G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Bioethics (AREA)
- General Health & Medical Sciences (AREA)
- Computer Hardware Design (AREA)
- Computer Security & Cryptography (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种Hadoop文件***并发高速数据完全删除的方法,实现对Hadoop文件***数据的完全删除,快捷且有效地彻底清除数据,保障用户的数据安全,有效防止数据泄露,避免了因数据泄露而导致的危害和经济损失。
Description
技术领域
本发明涉及数据安全领域,尤其涉及到一种Hadoop文件***并发高速数据完全删除的方法。
背景技术
数据安全问题是云计算所面对的主要问题,因此数据安全的研究也成为当前云计算的重点研究方向之一。而Hadoop作为云计算中使用较多的数据处理平台,在运行过程中,针对数据的保密性,尤其是针对删除后的数据没有提供有效保护,没有提供一个安全有效的数据删除机制。由于以下原因很可能会导致数据泄露:
1)如果某一个DataNode失效,则该DataNode中的存储数据不能被彻底保护,从而会导致数据泄露的安全问题。
2)由于Hadoop文件***的回收站机制,用户删除的文件并没有被完全删除,而是移动到了回收站文件夹。因此也就可以找回回收站中的文件。
3)Hadoop文件***部署在Linux文件***中,Linux文件***对于文件的删除操作并不会彻底销毁磁盘中的已删除数据,在新的内容写入磁盘之前,残留的数据内容还将继续存储在磁盘中。所以,HDFS中的数据并没有被实际销毁,只要利用数据恢复技术,文件信息很有可能被恢复。
利用以上原因导致的数据泄露,恶意的用户或云服务提供商可以恢复利用普通用户已经删除的数据,损害用户利益甚至造成更加重大的危害。因此本发明针对Hadoop文件***中的数据不能被彻底销毁的问题,提供了一种Hadoop文件***并发高速数据完全删除的方法。
发明内容
本发明的目的就在于为了解决上述问题而提供一种删除数据彻底,安全系数高的Hadoop文件***并发高速数据完全删除的方法。
本发明通过以下技术方案来实现上述目的:
本发明包括用户客户端、Hadoop的名称节点和数据节点,所述Hadoop名称节点响应用户客户端的服务请求,并在处理后转发给数据节点中的服务程序。
a客户端选择需要完全删除的文件名以及删除等级,发送的服务请求给所述Hadoop的名称节点;
b所述Hadoop的名称节点接受到用户客户端发送的服务请求后,锁定任务列表,独占式访问,如果查询任务列表,用户客户端发送的删除服务请求不在任务列表,则将该任务添加到任务列表,然后释放任务列表锁,如果查询用户客户端发送的删除服务请求已经在任务列表,则反馈给用户客户端该任务已在任务列表,然后释放任务列表锁。
c所述Hadoop的名称节点中的服务程序把数文件名和数据块名包装为数据流发送给所有存放有待删除数据块的数据节点;
d所述数据节点中的服务程序响应所述Hadoop的名称节点服务请求,根据服务请求获得待删除数据块名称和删除等级。
e所述数据节点上获得数据块名称和删除等级后,锁定任务列表,独占式访问,如果查询任务列表,待删除数据块不在任务列表,则将该数据块添加到任务列表,然后释放任务列表锁;如果查询待删除数据块已经在任务列表,则反馈给名称节点中服务程序该任务已在任务列表,然后释放任务列表锁;
f所述数据节点中的服务程序遍历任务列表,对数据块执行覆写操作,所述数据节点实时发送已删除数据块数量给所述Hadoop的名称节点。
G所述Hadoop的名称节点中的服务程序在对完全删除操作结束后,调用Hadoop的API对该文件进行删除,进而使得该文件从Hadoop的文件目录中删除。
h所述Hadoop的名称节点中的服务程序汇总所有有删除任务的数据节点中的服务程序发送的删除进度,进而计算出文件总体删除进度,并实时发送给用户客户端。
具体地,在所述完全删除任务添加到任务列表后,所述Hadoop的名称节点会根据任务文件名获取文件信息。
作为优先,所述文件信息主要包括文件大小、文件副本数量、文件数据块名、文件数据块数量以及存放文件数据块的数据节点的IP地址。
具体地,数据节点中的服务程序根据数据名称查找数据的存储路径。
作为优先,所述数据节点对数据块的覆写次数由删除等级确定。
具体地,所述数据节点中的服务程序对每一个数据块完成一次覆写操作后,检验删除强度和已覆写次数,判断是否已完成对于该数据块的覆写次数。
作为优先,,所述数据节点中的服务程序已完成对于该数据块的覆写次数,则从任务列表中剔除该数据块,然后继续遍历任务列表,进行对于任务列表中下一个数据块的覆写操作;若所述数据节点中的服务程序没有完成对于该数据块的覆写次数,则继续遍历任务列表,进行对于任务列表中下一个数据块的覆写操作。
具体地,所述数据节点中的服务程序完成一次对于任务列表的单向遍历,执行一次刷写磁盘操作,将之前对于数据块的覆写操作确定在磁盘中执行。
本发明的有益效果在于:
本发明的部署和维护工作不会对运行中的Hadoop集群产生影响,避免了对于原本集群的修改,部署方便,维护简单,避免了重新部署带来的经济损失和风险。此外,该方法可以同时响应集群中大量用户的删除请求,并进行妥善处理,保障数据信息的同步,提高了处理效率,实现高并发处理功能。而数据销毁过程中,按照该方法,数据节点中的服务程序通过解析数据在磁盘中的存储信息,利用磁盘调度算法,顺序进行销毁操作,极大提高了数据销毁速度,实现高速销毁数据。
通过本发明提出的方法,可以实现对Hadoop文件***数据的完全删除,快捷且有效地彻底清除数据,保障用户的数据安全,有效防止数据泄露,避免了因数据泄露而导致的危害和经济损失。
附图说明
图1为本发明实施例中一种Hadoop文件***并发高速数据完全删除的方法的***架构图。
图2为本发明实施例中一种Hadoop文件***并发高速数据完全删除的方法的HCCDClient的实施流程图。
图3为本发明实施例中一种Hadoop文件***并发高速数据完全删除的方法的HCCDNServer的实施流程图。
图4为本发明实施例中一种Hadoop文件***并发高速数据完全删除的方法的HCCDDServer的实施流程图。
具体实施方式
下面结合附图对本发明作进一步说明:
如图1所示,本发明包括用户客户端、Hadoop的名称节点和数据节点,所述Hadoop名称节点响应用户客户端的服务请求,并在处理后转发给数据节点中的服务程序。
a客户端选择需要完全删除的文件名以及删除等级,发送的服务请求给所述Hadoop的名称节点。
b所述Hadoop的名称节点接受到用户客户端发送的服务请求后,锁定任务列表,独占式访问,如果查询任务列表,用户客户端发送的删除服务请求不在任务列表,则将该任务添加到任务列表,然后释放任务列表锁,如果查询用户客户端发送的删除服务请求已经在任务列表,则反馈给用户客户端该任务已在任务列表,然后释放任务列表锁。
c所述Hadoop的名称节点中的服务程序把数文件名和数据块名包装为数据流发送给所有存放有待删除数据块的数据节点;
d所述数据节点中的服务程序响应所述Hadoop的名称节点服务请求,根据服务请求获得待删除数据块名称和删除等级。
e所述数据节点上获得数据块名称和删除等级后,锁定任务列表,独占式访问,如果查询任务列表,待删除数据块不在任务列表,则将该数据块添加到任务列表,然后释放任务列表锁;如果查询待删除数据块已经在任务列表,则反馈给名称节点中服务程序该任务已在任务列表,然后释放任务列表锁。
f所述数据节点中的服务程序遍历任务列表,对数据块执行覆写操作,所述数据节点实时发送已删除数据块数量给所述Hadoop的名称节点。
G所述Hadoop的名称节点中的服务程序在对完全删除操作结束后,调用Hadoop的API对该文件进行删除,进而使得该文件从Hadoop的文件目录中删除。
h所述Hadoop的名称节点中的服务程序汇总所有有删除任务的数据节点中的服务程序发送的删除进度,进而计算出文件总体删除进度,并实时发送给用户客户端。
如图1所示,为本发明的一种实施例的***架构图。
本发明主要包括三个服务程序,分别是运行在用户电脑中的HCCDClient,运行在NameNode中的HCCDNServer,运行在所有DataNode中的HCCDDServer。
HCCDClient为用户提供可视化界面,用户可以通过HCCDClient浏览目录以及文件信息,进行完全删除操作。
HCCDNServer是本发明的核心服务程序,负责接收来自各个HCCDClient的删除命令。对各个HCCDClient的删除请求进行并发处理,然后从NameNode中获取数据信息并删除信息发送给HCCDDServer,同时读取删除进度,并反馈给HCCDClient。
HCCDDServer是完全删除操作的最终执行程序。HCCDDServer从HCCDNServer接收完全删除命令,并将完全删除进度反馈给HCCDNServer。
***运行流程如下:
启动HCCDClient,HCCDNServer,HCCDDServer并完成初始化。
用户通过HCCDClient浏览文件目录,选择需要完全删除的文件,以及删除等级,并将以上删除信息包装为数据流发送给HCCDNServer。
HCCDNServer根据删除信息,访问名称节点,获取文件信息,然后将删除信息包装为数据流发送给相应HCCDDServer。
HCCDDServer解析HCCDNServer发送的数据流,执行对于数据块的覆写操作。
HCCDDServer每隔10ms向HCCDNServer发送一次数据块删除进度(已删除数据块数量),HCCDNServer根据各个HCCDDServer的数据块删除进度,计算出文件删除进度(百分比)。HCCDNServer每隔10ms向HCCDClient发送一次文件删除进度。
HCCDNServer在HCCDDServer完全删除操作结束后,会调用Hadoop的API对文件进行删除,使得该文件从Hadoop的文件目录中删除。
如图2所示,为本发明的一种实施例的HCCDClient的实施流程图。
HCCDClient详细运行流程如下:
HCCDClient启动,读取配置文件中的名称节点的IP地址与通信端口,以及线程池配置信息,完成HCCDClient的初始化。
用户运通过HCCDClient浏览文件目录,选择需要完全删除的文件。
用户选择完全删除等级。
完全删除等级根据不同的删除标准而设置,共有三个等级,WEAK,STRONG和THOROUGH,其中WEAK对应DOD5220.22-M简单覆写标准,STRONG对应DOD5220.22-M 7次擦除标准,THOROUGH对应Gutmann[17]标准。
将需要完全删除的文件名以及删除等级封装为数据流。
HCCDClient与HCCDNServer建立通信。
HCCDClient将删除信息数据流发送给HCCDNServer。
HCCDClient接收HCCDNServer发送的数据流。
HCCDClient解析数据流得到文件名以及相应文件删除进度。
如图3所示,为本发明的一种实施例的HCCDNServer的实施流程图。
HCCDNServer详细运行流程如下:
HCCDNServer启动,读取配置文件,完成初始化。
HCCDNServer监听与HCCDClient的通信端口,监听是否有HCCDClient完全删除请求。
HCCDNServer从HCCDClient接收到数据流,解析出文件名以及删除等级。
HCCDNServer锁定任务列表,进行独占式访问。
HCCDNServer查询任务列表,判断文件是否已在任务列表中。
若文件已在任务列表,HCCDNServer反馈给HCCDClient文件已在删除任务列表。
若文件不在任务列表,HCCDNServer将任务添加到任务列表。
HCCDNServer释放任务列表锁。以此保障了数据的同步,解决了并发访问的问题。
HCCDNServer根据文件名从NameNode查询文件数据块信息,主要包括数据块的数量,数据块的副本数,数据块所在的DataNode的IP地址,以及每个IP地址上存有的数据块名称。
HCCDNServer每隔10ms向HCCDClient发送一次删除进度。
HCCDNServer与所有存储待删除数据块的DataNode建立通信。
HCCDNServer将相应数据块名称以及删除等级封装为数据流发送给该DataNode中运行的HCCDDServer。
HCCDNServer接收所有存储待删除数据块的HCCDDServer发送的数据流。数据流中主要包括文件名和已删除的数据块数量。
HCCDNServer根据各个HDFSDataNode反馈的数据块删除进度(已删除数据块数量),计算出要反馈给HCCDClient的文件删除进度(百分比)。
HCCDNServer将文件名以及相应文件删除进度(百分比)封装为数据流发送给HCCDClient。
HCCDNServer在HCCDDServer完全删除操作结束后,会调用Hadoop的API对文件进行删除,使得该文件从Hadoop的文件目录中删除。
如图4所示,为本发明的一种实施例的HCCDDServer的实施流程图。
HCCDDServer详细运行流程如下:
HCCDDServer在启动后,调用Linux控制台命令执行“whereis Hadoop”,获取Hadoop的安装位置。
根据Hadoop的安装位置,查找到Hadoop的hdfs-site.xml配置文件。该配置文件中存储着数据块的大小,副本数,数据块存储位置等信息。
HCCDDServer根据配置文件的大小信息,在内存中初始化三块静态字符数组,分别存有字符是‘0’、随机数、‘F’。
监听与HCCDNServer的通信端口,等待删除命令信息。
HCCDDServer监听到HCCDNServer的通信请求,与HCCDNServer建立通信。
HCCDDServer接收HCCDNServer发送的数据流。
HCCDDServer解析数据流,得到需要完全删除的文件名,数据块名称和删除等级。
HCCDDServer锁定任务列表,进行独占式访问。
HCCDDServer根据收到的数据块名称查询任务列表,判断任务是否已在任务列表中。
如果任务已经在任务列表,则不创建删除任务。
如果任务不在任务列表,则添加到任务列表,并执行下列过程。
HCCDDServer释放任务列表锁。以此保障了数据的同步,解决了并发访问的问题。
HCCDDServer每隔10ms向HCCDNServer发送一次删除进度。
HCCDDServer根据接收到的任务的数据块名称,查找到该数据块在存储机器上的存放的路径。
HCCDDServer遍历任务列表,对数据块执行覆写操作。
对于数据块的覆写次数由删除等级确定。
HCCDDServer对每一个数据块完成一次覆写操作后,检验删除强度,和已覆写次数,判断是否已完成对于该数据块的覆写次数。
若HCCDDServer已完成对于该数据块的覆写次数,则从任务列表中剔除该数据块,然后继续遍历任务列表,进行对于任务列表中下一个数据块的覆写操作。
若HCCDDServer没有完成对于该数据块的覆写次数,则继续遍历任务列表,进行对于任务列表中下一个数据块的覆写操作。
HCCDDServer完成一次对于任务列表的单向遍历,执行一次刷写磁盘操作,将之前对于数据块的覆写操作确定在磁盘中执行,然后继续下一次对于任务列表的遍历,覆写数据块。
以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围内。
Claims (8)
1.一种Hadoop文件***并发高速数据完全删除的方法,其特征在与,包括用户客户端、Hadoop的名称节点和数据节点,所述Hadoop名称节点响应用户客户端的服务请求,并在处理后转发给数据节点中的服务程序。
a客户端选择需要完全删除的文件名以及删除等级,发送的服务请求给所述Hadoop的名称节点;
b所述Hadoop的名称节点接受到用户客户端发送的服务请求后,锁定任务列表,独占式访问,如果查询任务列表,用户客户端发送的删除服务请求不在任务列表,则将该任务添加到任务列表,然后释放任务列表锁,如果查询用户客户端发送的删除服务请求已经在任务列表,则反馈给用户客户端该任务已在任务列表,然后释放任务列表锁;
c所述Hadoop的名称节点中的服务程序把数文件名和数据块名包装为数据流发送给所有存放有待删除数据块的数据节点;
d所述数据节点中的服务程序响应所述Hadoop的名称节点服务请求,根据服务请求获得待删除数据块名称和删除等级;
e所述数据节点上获得数据块名称和删除等级后,锁定任务列表,独占式访问,如果查询任务列表,待删除数据块不在任务列表,则将该数据块添加到任务列表,然后释放任务列表锁;如果查询待删除数据块已经在任务列表,则反馈给名称节点中服务程序该任务已在任务列表,然后释放任务列表锁;
f所述数据节点中的服务程序遍历任务列表,对数据块执行覆写操作,所述数据节点实时发送已删除数据块数量给所述Hadoop的名称节点;
g所述Hadoop的名称节点中的服务程序在对完全删除操作结束后,调用Hadoop的API对该文件进行删除,进而使得该文件从Hadoop的文件目录中删除;
h所述Hadoop的名称节点中的服务程序汇总所有有删除任务的数据节点中的服务程序发送的删除进度,进而计算出文件总体删除进度,并实时发送给用户客户端。
2.根据权利要求1所述的Hadoop文件***并发高速数据完全删除的方法,其特征在于:在所述完全删除任务添加到任务列表后,所述Hadoop的名称节点会根据任务文件名获取文件信息。
3.根据权利要求2所述的Hadoop文件***并发高速数据完全删除的方法,其特征在于:所述文件信息主要包括文件大小、文件副本数量、文件数据块名、文件数据块数量以及存放文件数据块的数据节点的IP地址。
4.根据权利要求1所述的Hadoop文件***并发高速数据完全删除的方法,其特征在于:所述数据节点中的服务程序根据数据名称查找数据的存储路径。
5.根据权利要求1所述的Hadoop文件***并发高速数据完全删除的方法,其特征在于:所述数据节点对数据块的覆写次数由删除等级确定。
6.根据权利要求1所述的Hadoop文件***并发高速数据完全删除的方法,其特征在于:所述数据节点中的服务程序对每一个数据块完成一次覆写操作后,检验删除强度和已覆写次数,判断是否已完成对于该数据块的覆写次数。
7.根据权利要求1所述的Hadoop文件***并发高速数据完全删除的方法,其特征在于:所述数据节点中的服务程序已完成对于该数据块的覆写次数,则从任务列表中剔除该数据块,然后继续遍历任务列表,进行对于任务列表中下一个数据块的覆写操作;若所述数据节点中的服务程序没有完成对于该数据块的覆写次数,则继续遍历任务列表,进行对于任务列表中下一个数据块的覆写操作。
8.根据权利要求1所述的Hadoop文件***并发高速数据完全删除的方法,其特征在于:所述数据节点中的服务程序完成一次对于任务列表的单向遍历,执行一次刷写磁盘操作,将之前对于数据块的覆写操作确定在磁盘中执行。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910448716.0A CN110188076B (zh) | 2019-05-28 | 2019-05-28 | 一种Hadoop文件***并发高速数据完全删除的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910448716.0A CN110188076B (zh) | 2019-05-28 | 2019-05-28 | 一种Hadoop文件***并发高速数据完全删除的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110188076A true CN110188076A (zh) | 2019-08-30 |
CN110188076B CN110188076B (zh) | 2021-04-30 |
Family
ID=67718052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910448716.0A Expired - Fee Related CN110188076B (zh) | 2019-05-28 | 2019-05-28 | 一种Hadoop文件***并发高速数据完全删除的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110188076B (zh) |
Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102375888A (zh) * | 2011-10-25 | 2012-03-14 | 无锡城市云计算中心有限公司 | 一种分布式文件***中大文件高效删除的方法 |
CN103051671A (zh) * | 2012-11-22 | 2013-04-17 | 浪潮电子信息产业股份有限公司 | 一种集群文件***重复数据删除方法 |
US20150248420A1 (en) * | 2014-03-03 | 2015-09-03 | Netapp, Inc. | Distributed file system snapshot |
CN105243340A (zh) * | 2015-11-18 | 2016-01-13 | 浪潮(北京)电子信息产业有限公司 | 一种防止HBase中数据误删除的方法及*** |
CN105320773A (zh) * | 2015-11-03 | 2016-02-10 | 中国人民解放军理工大学 | 一种基于Hadoop平台的分布式重复数据删除***和方法 |
CN105608215A (zh) * | 2015-12-31 | 2016-05-25 | 新浪网技术(中国)有限公司 | PaaS***中hbase数据删除方法及装置 |
CN105912675A (zh) * | 2016-04-13 | 2016-08-31 | 中国科学院计算技术研究所 | 一种针对小文件合并的批量删除/查询方法与装置 |
US20180032544A1 (en) * | 2016-07-28 | 2018-02-01 | Fujitsu Limited | Distributed processing management method and distributed processing management apparatus |
CN109614377A (zh) * | 2018-12-07 | 2019-04-12 | 浪潮电子信息产业股份有限公司 | 分布式文件***的文件删除方法、装置、设备及存储介质 |
CN109726175A (zh) * | 2018-12-29 | 2019-05-07 | 北京赛思信安技术股份有限公司 | 一种基于HBase的海量文件离线分区管理方法 |
-
2019
- 2019-05-28 CN CN201910448716.0A patent/CN110188076B/zh not_active Expired - Fee Related
Patent Citations (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102375888A (zh) * | 2011-10-25 | 2012-03-14 | 无锡城市云计算中心有限公司 | 一种分布式文件***中大文件高效删除的方法 |
CN103051671A (zh) * | 2012-11-22 | 2013-04-17 | 浪潮电子信息产业股份有限公司 | 一种集群文件***重复数据删除方法 |
US20150248420A1 (en) * | 2014-03-03 | 2015-09-03 | Netapp, Inc. | Distributed file system snapshot |
CN105320773A (zh) * | 2015-11-03 | 2016-02-10 | 中国人民解放军理工大学 | 一种基于Hadoop平台的分布式重复数据删除***和方法 |
CN105243340A (zh) * | 2015-11-18 | 2016-01-13 | 浪潮(北京)电子信息产业有限公司 | 一种防止HBase中数据误删除的方法及*** |
CN105608215A (zh) * | 2015-12-31 | 2016-05-25 | 新浪网技术(中国)有限公司 | PaaS***中hbase数据删除方法及装置 |
CN105912675A (zh) * | 2016-04-13 | 2016-08-31 | 中国科学院计算技术研究所 | 一种针对小文件合并的批量删除/查询方法与装置 |
US20180032544A1 (en) * | 2016-07-28 | 2018-02-01 | Fujitsu Limited | Distributed processing management method and distributed processing management apparatus |
CN109614377A (zh) * | 2018-12-07 | 2019-04-12 | 浪潮电子信息产业股份有限公司 | 分布式文件***的文件删除方法、装置、设备及存储介质 |
CN109726175A (zh) * | 2018-12-29 | 2019-05-07 | 北京赛思信安技术股份有限公司 | 一种基于HBase的海量文件离线分区管理方法 |
Non-Patent Citations (2)
Title |
---|
李浩等: "基于HDFS的保障数据安全方法", 《东华大学学报》 * |
秦军等: "HDFS的多安全级数据销毁机制设计", 《计算机技术与发展》 * |
Also Published As
Publication number | Publication date |
---|---|
CN110188076B (zh) | 2021-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106874487B (zh) | 一种分布式爬虫管理***及其方法 | |
JP4578119B2 (ja) | 情報処理装置および情報処理装置におけるセキュリティ確保方法 | |
CN105677250B (zh) | 对象存储***中的对象数据的更新方法和更新装置 | |
CN104137085A (zh) | 集群环境中用于控制客户端对服务的访问的方法 | |
JP2007114983A (ja) | サーバプール管理方法 | |
CN110764871A (zh) | 一种基于云平台的拟态化应用封装与控制***和方法 | |
WO2021128892A1 (zh) | 一种批量创建文件的方法、装置、设备及存储介质 | |
CN109495422A (zh) | 虚拟防火墙的配置方法、装置以及计算机可读存储介质 | |
CN110213207A (zh) | 一种基于日志分析的网络安全防御方法及设备 | |
CN107786551B (zh) | 访问内网服务器的方法及控制访问内网服务器的装置 | |
CN108073352A (zh) | 虚拟磁盘处理方法及装置 | |
WO2016029743A1 (zh) | 一种生成虚拟机的逻辑磁盘的方法,及装置 | |
US5813015A (en) | Method and apparatus for increasing available storage space on a computer system by disposing of data with user defined characteristics | |
CN107483631A (zh) | 一种采用配置文件控制缓存实现移动互联网络服务访问的***及方法 | |
CN109460345A (zh) | 实时数据的计算方法及*** | |
WO2009031158A2 (en) | Method and apparatus for network based data recovery | |
CN110188076A (zh) | 一种Hadoop文件***并发高速数据完全删除的方法 | |
CN105635264B (zh) | 一种基于网络游戏应用的文件*** | |
US11750558B2 (en) | System and method for managing network connected devices | |
KR101767104B1 (ko) | 파일 시스템에 메시지 숨기는 장치 및 방법 | |
US20080208804A1 (en) | Use of Search Templates to Identify Slow Information Server Search Patterns | |
CN110377616A (zh) | 一种数据删除方法、装置、电子设备及存储介质 | |
CN107357690A (zh) | 一种虚拟机数据的备份方法及*** | |
CN113656355A (zh) | 文件的处理方法及装置、非易失性存储介质、处理器 | |
CN106547756A (zh) | 数据库的创建方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210430 |