CN110188076B - 一种Hadoop文件***并发高速数据完全删除的方法 - Google Patents

一种Hadoop文件***并发高速数据完全删除的方法 Download PDF

Info

Publication number
CN110188076B
CN110188076B CN201910448716.0A CN201910448716A CN110188076B CN 110188076 B CN110188076 B CN 110188076B CN 201910448716 A CN201910448716 A CN 201910448716A CN 110188076 B CN110188076 B CN 110188076B
Authority
CN
China
Prior art keywords
data
task list
hadoop
file
node
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201910448716.0A
Other languages
English (en)
Other versions
CN110188076A (zh
Inventor
蔡剑怀
成林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen Digital Certificate Technology Co ltd
China Information Technology Security Evaluation Center
Original Assignee
Xiamen Digital Certificate Technology Co ltd
China Information Technology Security Evaluation Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen Digital Certificate Technology Co ltd, China Information Technology Security Evaluation Center filed Critical Xiamen Digital Certificate Technology Co ltd
Priority to CN201910448716.0A priority Critical patent/CN110188076B/zh
Publication of CN110188076A publication Critical patent/CN110188076A/zh
Application granted granted Critical
Publication of CN110188076B publication Critical patent/CN110188076B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
    • G06F16/162—Delete operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6218—Protecting access to data via a platform, e.g. using keys or access control rules to a system of files or objects, e.g. local or distributed file system or database

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种Hadoop文件***并发高速数据完全删除的方法，实现对Hadoop文件***数据的完全删除，快捷且有效地彻底清除数据，保障用户的数据安全，有效防止数据泄露，避免了因数据泄露而导致的危害和经济损失。

Description

一种Hadoop文件***并发高速数据完全删除的方法
技术领域
本发明涉及数据安全领域，尤其涉及到一种Hadoop文件***并发高速数据完全删除的方法。
背景技术
数据安全问题是云计算所面对的主要问题，因此数据安全的研究也成为当前云计算的重点研究方向之一。而Hadoop作为云计算中使用较多的数据处理平台，在运行过程中，针对数据的保密性，尤其是针对删除后的数据没有提供有效保护，没有提供一个安全有效的数据删除机制。由于以下原因很可能会导致数据泄露：
1)如果某一个DataNode失效，则该DataNode中的存储数据不能被彻底保护，从而会导致数据泄露的安全问题。
2)由于Hadoop文件***的回收站机制，用户删除的文件并没有被完全删除，而是移动到了回收站文件夹。因此也就可以找回回收站中的文件。
3)Hadoop文件***部署在Linux文件***中，Linux文件***对于文件的删除操作并不会彻底销毁磁盘中的已删除数据，在新的内容写入磁盘之前，残留的数据内容还将继续存储在磁盘中。所以，HDFS中的数据并没有被实际销毁，只要利用数据恢复技术，文件信息很有可能被恢复。
利用以上原因导致的数据泄露，恶意的用户或云服务提供商可以恢复利用普通用户已经删除的数据，损害用户利益甚至造成更加重大的危害。因此本发明针对Hadoop文件***中的数据不能被彻底销毁的问题，提供了一种Hadoop 文件***并发高速数据完全删除的方法。
发明内容
本发明的目的就在于为了解决上述问题而提供一种删除数据彻底，安全系数高的Hadoop文件***并发高速数据完全删除的方法。
本发明通过以下技术方案来实现上述目的：
本发明包括用户客户端、Hadoop的名称节点和数据节点，所述数据节点中的服务程序完成一次对于任务列表的单向遍历执行一次刷写磁盘操作，将之前对于数据块的覆写操作确定在磁盘中执行，所述Hadoop名称节点响应用户客户端的服务请求，并在处理后转发给数据节点中的服务程序。
a客户端选择需要完全删除的文件名以及删除等级，发送的服务请求给所述Hadoop名称节点；
b所述Hadoop的名称节点接收到用户客户端发送的服务请求后，锁定任务列表，独占式访问，如果查询任务列表，用户客户端发送的删除服务请求不在任务列表，则将该任务添加到任务列表，然后释放任务列表锁，如果查询用户客户端发送的删除服务请求已经在任务列表，则反馈给用户客户端该任务已在任务列表，然后释放任务列表锁。
c所述Hadoop的名称节点中的服务程序把数据文件名和数据块名包装为数据流发送给所有存放有待删除数据块的数据节点；
d所述数据节点中的服务程序响应所述Hadoop的名称节点服务请求，根据服务请求获得待删除数据块名称和删除等级。
e所述数据节点上获得数据块名称和删除等级后，锁定任务列表，独占式访问，如果查询任务列表，待删除数据块不在任务列表，则将该数据块添加到任务列表，然后释放任务列表锁；如果查询待删除数据块已经在任务列表，则反馈给名称节点中服务程序该任务已在任务列表，然后释放任务列表锁；
f所述数据节点中的服务程序遍历任务列表，对数据块执行覆写操作，所述数据节点实时发送已删除数据块数量给所述Hadoop的名称节点。
g 所述Hadoop的名称节点中的服务程序在对完全删除操作结束后，调用 Hadoop的API对该文件进行删除，进而使得该文件从Hadoop的文件目录中删除。
h所述Hadoop的名称节点中的服务程序汇总所有有删除任务的数据节点中的服务程序发送的删除进度，进而计算出文件总体删除进度，并实时发送给用户客户端。
具体地，在所述完全删除任务添加到任务列表后，所述Hadoop的名称节点会根据任务文件名获取文件信息。
作为优先，所述文件信息包括文件大小、文件副本数量、文件数据块名、文件数据块数量以及存放文件数据块的数据节点的IP地址。
具体地，数据节点中的服务程序根据数据文件名查找数据的存储路径。
作为优先，所述数据节点对数据块的覆写次数由删除等级确定。
具体地，所述数据节点中的服务程序对每一个数据块完成一次覆写操作后，检验删除强度和已覆写次数，判断是否已完成对于该数据块的覆写次数。
作为优先，如果所述数据节点中的服务程序已完成对于该数据块的覆写次数，则从任务列表中剔除该数据块，然后继续遍历任务列表，进行对于任务列表中下一个数据块的覆写操作；若所述数据节点中的服务程序没有完成对于该数据块的覆写次数，则继续遍历任务列表，进行对于任务列表中下一个数据块的覆写操作。
具体地，所述数据节点中的服务程序完成一次对于任务列表的单向遍历，执行一次刷写磁盘操作，将之前对于数据块的覆写操作确定在磁盘中执行。
本发明的有益效果在于：
本发明的部署和维护工作不会对运行中的Hadoop集群产生影响，避免了对于原本集群的修改，部署方便，维护简单，避免了重新部署带来的经济损失和风险。此外，该方法可以同时响应集群中大量用户的删除请求，并进行妥善处理，保障数据信息的同步，提高了处理效率，实现高并发处理功能。而数据销毁过程中，按照该方法，数据节点中的服务程序通过解析数据在磁盘中的存储信息，利用磁盘调度算法，顺序进行销毁操作，极大提高了数据销毁速度，实现高速销毁数据。
通过本发明提出的方法，可以实现对Hadoop文件***数据的完全删除，快捷且有效地彻底清除数据，保障用户的数据安全，有效防止数据泄露，避免了因数据泄露而导致的危害和经济损失。
附图说明
图1为本发明实施例中一种Hadoop文件***并发高速数据完全删除的方法的***架构图。
图2为本发明实施例中一种Hadoop文件***并发高速数据完全删除的方法的HCCDClient的实施流程图。
图3为本发明实施例中一种Hadoop文件***并发高速数据完全删除的方法的HCCDNServer的实施流程图。
图4为本发明实施例中一种Hadoop文件***并发高速数据完全删除的方法的HCCDDServer的实施流程图。
具体实施方式
下面结合附图对本发明作进一步说明：
如图1所示，本发明包括用户客户端、Hadoop的名称节点和数据节点，所述Hadoop名称节点响应用户客户端的服务请求，并在处理后转发给数据节点中的服务程序。
a客户端选择需要完全删除的文件名以及删除等级，发送的服务请求给所述Hadoop的名称节点。
b所述Hadoop的名称节点接收到用户客户端发送的服务请求后，锁定任务列表，独占式访问，如果查询任务列表，用户客户端发送的删除服务请求不在任务列表，则将该任务添加到任务列表，然后释放任务列表锁，如果查询用户客户端发送的删除服务请求已经在任务列表，则反馈给用户客户端该任务已在任务列表，然后释放任务列表锁；
c所述Hadoop的名称节点中的服务程序把数据文件名和数据块名包装为数据流发送给所有存放有待删除数据块的数据节点；
d所述数据节点中的服务程序响应所述Hadoop的名称节点服务请求，根据服务请求获得待删除数据块名称和删除等级。
e所述数据节点上获得数据块名称和删除等级后，锁定任务列表，独占式访问，如果查询任务列表，待删除数据块不在任务列表，则将该数据块添加到任务列表，然后释放任务列表锁；如果查询待删除数据块已经在任务列表，则反馈给名称节点中服务程序该任务已在任务列表，然后释放任务列表锁。
f所述数据节点中的服务程序遍历任务列表，对数据块执行覆写操作，所述数据节点实时发送已删除数据块数量给所述Hadoop的名称节点。
g 所述Hadoop的名称节点中的服务程序在对完全删除操作结束后，调用 Hadoop的API对该文件进行删除，进而使得该文件从Hadoop的文件目录中删除。
h所述Hadoop的名称节点中的服务程序汇总所有有删除任务的数据节点中的服务程序发送的删除进度，进而计算出文件总体删除进度，并实时发送给用户客户端。
如图1所示，为本发明的一种实施例的***架构图。
本发明主要包括三个服务程序，分别是运行在用户电脑中的HCCDClient，运行在NameNode中的HCCDNServer，运行在所有DataNode中的HCCDDServer。
HCCDClient为用户提供可视化界面，用户可以通过HCCDClient浏览目录以及文件信息，进行完全删除操作。
HCCDNServer是本发明的核心服务程序，负责接收来自各个HCCDClient的删除命令。对各个HCCDClient的删除请求进行并发处理，然后从NameNode中获取数据信息并删除信息发送给HCCDDServer，同时读取删除进度，并反馈给 HCCDClient。
HCCDDServer是完全删除操作的最终执行程序。HCCDDServer从HCCDNServer 接收完全删除命令，并将完全删除进度反馈给HCCDNServer。
***运行流程如下：
启动HCCDClient，HCCDNServer，HCCDDServer并完成初始化。
用户通过HCCDClient浏览文件目录，选择需要完全删除的文件，以及删除等级，并将以上删除信息包装为数据流发送给HCCDNServer。
HCCDNServer根据删除信息，访问名称节点，获取文件信息，然后将删除信息包装为数据流发送给相应HCCDDServer。
HCCDDServer解析HCCDNServer发送的数据流，执行对于数据块的覆写操作。
HCCDDServer每隔10ms向HCCDNServer发送一次数据块删除进度(已删除数据块数量)，HCCDNServer根据各个HCCDDServer的数据块删除进度，计算出文件删除进度(百分比)。HCCDNServer每隔10ms向HCCDClient发送一次文件删除进度。
HCCDNServer在HCCDDServer完全删除操作结束后，会调用Hadoop的API对文件进行删除，使得该文件从Hadoop的文件目录中删除。
如图2所示，为本发明的一种实施例的HCCDClient的实施流程图。
HCCDClient详细运行流程如下：
HCCDClient启动，读取配置文件中的名称节点的IP地址与通信端口，以及线程池配置信息，完成HCCDClient的初始化。
用户运通过HCCDClient浏览文件目录，选择需要完全删除的文件。
用户选择完全删除等级。
完全删除等级根据不同的删除标准而设置，共有三个等级，WEAK，STRONG和THOROUGH，其中WEAK对应DOD5220.22-M简单覆写标准，STRONG对应 DOD5220.22-M 7次擦除标准，THOROUGH对应Gutmann[17]标准。
将需要完全删除的文件名以及删除等级封装为数据流。
HCCDClient与HCCDNServer建立通信。
HCCDClient将删除信息数据流发送给HCCDNServer。
HCCDClient接收HCCDNServer发送的数据流。
HCCDClient解析数据流得到文件名以及相应文件删除进度。
如图3所示，为本发明的一种实施例的HCCDNServer的实施流程图。
HCCDNServer详细运行流程如下：
HCCDNServer启动，读取配置文件，完成初始化。
HCCDNServer监听与HCCDClient的通信端口，监听是否有HCCDClient完全删除请求。
HCCDNServer从HCCDClient接收到数据流，解析出文件名以及删除等级。
HCCDNServer锁定任务列表，进行独占式访问。
HCCDNServer查询任务列表，判断文件是否已在任务列表中。
若文件已在任务列表，HCCDNServer反馈给HCCDClient文件已在删除任务列表。
若文件不在任务列表，HCCDNServer将任务添加到任务列表。
HCCDNServer释放任务列表锁。以此保障了数据的同步，解决了并发访问的问题。
HCCDNServer根据文件名从NameNode查询文件数据块信息，包括数据块的数量，数据块的副本数，数据块所在的DataNode的IP地址，以及每个IP地址上存有的数据块名称。
HCCDNServer每隔10ms向HCCDClient发送一次删除进度。
HCCDNServer与所有存储待删除数据块的DataNode建立通信。
HCCDNServer将相应数据块名称以及删除等级封装为数据流发送给该 DataNode中运行的HCCDDServer。
HCCDNServer接收所有存储待删除数据块的HCCDDServer发送的数据流。数据流中包括文件名和已删除的数据块数量。
HCCDNServer根据各个HDFSDataNode反馈的数据块删除进度(已删除数据块数量)，计算出要反馈给HCCDClient的文件删除进度(百分比)。
HCCDNServer将文件名以及相应文件删除进度(百分比)封装为数据流发送给HCCDClient。
HCCDNServer在HCCDDServer完全删除操作结束后，会调用Hadoop的API对文件进行删除，使得该文件从Hadoop的文件目录中删除。
如图4所示，为本发明的一种实施例的HCCDDServer的实施流程图。
HCCDDServer详细运行流程如下：
HCCDDServer在启动后，调用Linux控制台命令执行“whereis Hadoop”，获取Hadoop的安装位置。
根据Hadoop的安装位置，查找到Hadoop的hdfs-site.xml配置文件。该配置文件中存储着数据块的大小，副本数，数据块存储位置等信息。
HCCDDServer根据配置文件的大小信息，在内存中初始化三块静态字符数组，分别存有字符是‘0’、随机数、‘F’。
监听与HCCDNServer的通信端口，等待删除命令信息。
HCCDDServer监听到HCCDNServer的通信请求，与HCCDNServer建立通信。
HCCDDServer接收HCCDNServer发送的数据流。
HCCDDServer解析数据流，得到需要完全删除的文件名，数据块名称和删除等级。
HCCDDServer锁定任务列表，进行独占式访问。
HCCDDServer根据收到的数据块名称查询任务列表，判断任务是否已在任务列表中。
如果任务已经在任务列表，则不创建删除任务。
如果任务不在任务列表，则添加到任务列表，并执行下列过程。
HCCDDServer释放任务列表锁。以此保障了数据的同步，解决了并发访问的问题。
HCCDDServer每隔10ms向HCCDNServer发送一次删除进度。
HCCDDServer根据接收到的任务的数据块名称，查找到该数据块在存储机器上的存放的路径。
HCCDDServer遍历任务列表，对数据块执行覆写操作。
对于数据块的覆写次数由删除等级确定。
HCCDDServer对每一个数据块完成一次覆写操作后，检验删除强度，和已覆写次数，判断是否已完成对于该数据块的覆写次数。
若HCCDDServer已完成对于该数据块的覆写次数，则从任务列表中剔除该数据块，然后继续遍历任务列表，进行对于任务列表中下一个数据块的覆写操作。
若HCCDDServer没有完成对于该数据块的覆写次数，则继续遍历任务列表，进行对于任务列表中下一个数据块的覆写操作。
HCCDDServer完成一次对于任务列表的单向遍历，执行一次刷写磁盘操作，将之前对于数据块的覆写操作确定在磁盘中执行，然后继续下一次对于任务列表的遍历，覆写数据块。
以上仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围内。

Claims (8)

1.一种Hadoop文件***并发高速数据完全删除的方法，其特征在于，包括用户客户端、Hadoop的名称节点和数据节点，所述数据节点中的服务程序完成一次对于任务列表的单向遍历执行一次刷写磁盘操作，将之前对于数据块的覆写操作确定在磁盘中执行，所述Hadoop名称节点响应用户客户端的服务请求，并在处理后转发给数据节点中的服务程序；
a客户端选择需要完全删除的文件名以及删除等级，发送的服务请求给所述Hadoop名称节点；
b所述Hadoop的名称节点接收到用户客户端发送的服务请求后，锁定任务列表，独占式访问，如果查询任务列表，用户客户端发送的删除服务请求不在任务列表，则将删除服务请求任务添加到任务列表，然后释放任务列表锁，如果查询用户客户端发送的删除服务请求已经在任务列表，则反馈给用户客户端该任务已在任务列表，然后释放任务列表锁；
c所述Hadoop的名称节点中的服务程序把数据文件名和数据块名包装为数据流发送给所有存放有待删除数据块的数据节点；
d所述数据节点中的服务程序响应所述Hadoop的名称节点服务请求，根据服务请求获得待删除数据块名称和删除等级；
e所述数据节点上获得数据块名称和删除等级后，锁定任务列表，独占式访问，如果查询任务列表，待删除数据块不在任务列表，则将该数据块添加到任务列表，然后释放任务列表锁；如果查询待删除数据块已经在任务列表，则反馈给名称节点中服务程序该任务已在任务列表，然后释放任务列表锁；
f所述数据节点中的服务程序遍历任务列表，对数据块执行覆写操作，所述数据节点实时发送已删除数据块数量给所述Hadoop的名称节点；
g所述Hadoop的名称节点中的服务程序在对完全删除操作结束后，调用Hadoop的API对该文件进行删除，进而使得该文件从Hadoop的文件目录中删除；
h所述Hadoop的名称节点中的服务程序汇总所有有删除任务的数据节点中的服务程序发送的删除进度，进而计算出文件总体删除进度，并实时发送给用户客户端。
2.根据权利要求1所述的Hadoop文件***并发高速数据完全删除的方法，其特征在于：在所述任务添加到任务列表后，所述Hadoop的名称节点会根据任务文件名获取文件信息。
3.根据权利要求2所述的Hadoop文件***并发高速数据完全删除的方法，其特征在于：所述文件信息包括文件大小、文件副本数量、文件数据块名、文件数据块数量以及存放文件数据块的数据节点的IP地址。
4.根据权利要求1所述的Hadoop文件***并发高速数据完全删除的方法，其特征在于：所述数据节点中的服务程序根据数据文件名查找数据的存储路径。
5.根据权利要求1所述的Hadoop文件***并发高速数据完全删除的方法，其特征在于：所述数据节点对数据块的覆写次数由删除等级确定。
6.根据权利要求1所述的Hadoop文件***并发高速数据完全删除的方法，其特征在于：所述数据节点中的服务程序对每一个数据块完成一次覆写操作后，检验删除强度和已覆写次数，判断是否已完成对于该数据块的覆写次数。
7.根据权利要求1所述的Hadoop文件***并发高速数据完全删除的方法，其特征在于：如果所述数据节点中的服务程序已完成对于该数据块的覆写次数，则从任务列表中剔除该数据块，然后继续遍历任务列表，进行对于任务列表中下一个数据块的覆写操作；若所述数据节点中的服务程序没有完成对于该数据块的覆写次数，则继续遍历任务列表，进行对于任务列表中下一个数据块的覆写操作。
8.根据权利要求1所述的Hadoop文件***并发高速数据完全删除的方法，其特征在于：所述数据节点中的服务程序完成一次对于任务列表的单向遍历，执行一次刷写磁盘操作，将之前对于数据块的覆写操作确定在磁盘中执行。
CN201910448716.0A 2019-05-28 2019-05-28 一种Hadoop文件***并发高速数据完全删除的方法 Expired - Fee Related CN110188076B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910448716.0A CN110188076B (zh) 2019-05-28 2019-05-28 一种Hadoop文件***并发高速数据完全删除的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910448716.0A CN110188076B (zh) 2019-05-28 2019-05-28 一种Hadoop文件***并发高速数据完全删除的方法

Publications (2)

Publication Number Publication Date
CN110188076A CN110188076A (zh) 2019-08-30
CN110188076B true CN110188076B (zh) 2021-04-30

Family

ID=67718052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910448716.0A Expired - Fee Related CN110188076B (zh) 2019-05-28 2019-05-28 一种Hadoop文件***并发高速数据完全删除的方法

Country Status (1)

Country Link
CN (1) CN110188076B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103051671A (zh) * 2012-11-22 2013-04-17 浪潮电子信息产业股份有限公司 一种集群文件***重复数据删除方法
CN105243340A (zh) * 2015-11-18 2016-01-13 浪潮(北京)电子信息产业有限公司 一种防止HBase中数据误删除的方法及***
CN105320773A (zh) * 2015-11-03 2016-02-10 中国人民解放军理工大学 一种基于Hadoop平台的分布式重复数据删除***和方法
CN105608215A (zh) * 2015-12-31 2016-05-25 新浪网技术(中国)有限公司 PaaS***中hbase数据删除方法及装置
CN105912675A (zh) * 2016-04-13 2016-08-31 中国科学院计算技术研究所 一种针对小文件合并的批量删除/查询方法与装置
CN109614377A (zh) * 2018-12-07 2019-04-12 浪潮电子信息产业股份有限公司 分布式文件***的文件删除方法、装置、设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102375888A (zh) * 2011-10-25 2012-03-14 无锡城市云计算中心有限公司 一种分布式文件***中大文件高效删除的方法
US9336219B2 (en) * 2014-03-03 2016-05-10 Netapp, Inc. Distributed file system snapshot
JP6700554B2 (ja) * 2016-07-28 2020-05-27 富士通株式会社 分散処理管理方法、分散処理管理プログラム、および分散処理管理装置
CN109726175A (zh) * 2018-12-29 2019-05-07 北京赛思信安技术股份有限公司 一种基于HBase的海量文件离线分区管理方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103051671A (zh) * 2012-11-22 2013-04-17 浪潮电子信息产业股份有限公司 一种集群文件***重复数据删除方法
CN105320773A (zh) * 2015-11-03 2016-02-10 中国人民解放军理工大学 一种基于Hadoop平台的分布式重复数据删除***和方法
CN105243340A (zh) * 2015-11-18 2016-01-13 浪潮(北京)电子信息产业有限公司 一种防止HBase中数据误删除的方法及***
CN105608215A (zh) * 2015-12-31 2016-05-25 新浪网技术(中国)有限公司 PaaS***中hbase数据删除方法及装置
CN105912675A (zh) * 2016-04-13 2016-08-31 中国科学院计算技术研究所 一种针对小文件合并的批量删除/查询方法与装置
CN109614377A (zh) * 2018-12-07 2019-04-12 浪潮电子信息产业股份有限公司 分布式文件***的文件删除方法、装置、设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于HDFS的保障数据安全方法;李浩等;《东华大学学报》;20150831;第41卷(第4期);第490-493页 *

Also Published As

Publication number Publication date
CN110188076A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
US6330588B1 (en) Verification of software agents and agent activities
US9405520B2 (en) Method for the dynamic creation of an execution environment for an application to secure the application, associated computer program product and computing apparatus
CN109643309B (zh) 用于对跳跃表数据结构执行范围查询的***和方法
US20040181687A1 (en) Stream scanning through network proxy servers
JP2020518926A (ja) 分散コンピューティングシステムのための、バックアップおよび復元フレームワーク
CN103473501B (zh) 一种基于云安全的恶意软件追踪方法
CN108229107B (zh) 一种Android平台应用程序的脱壳方法及容器
WO2021128892A1 (zh) 一种批量创建文件的方法、装置、设备及存储介质
CN110764871A (zh) 一种基于云平台的拟态化应用封装与控制***和方法
US9275238B2 (en) Method and apparatus for data security reading
CN105827574A (zh) 一种文件访问***、方法及装置
CN108874500B (zh) 一种基于硬件虚拟化技术的应用程序安全保护方法
CN110958217B (zh) 远程控制服务器方法、装置、计算机设备及存储介质
US11966302B2 (en) Updating a virtual machine backup
CN111539010A (zh) 剪贴板控制方法、装置、电子设备及计算机可读存储介质
US11947666B2 (en) Systems and methods for exploit prevention and malicious code neutralization using non-predictable results for JavaScript-enabled applications
CN110188076B (zh) 一种Hadoop文件***并发高速数据完全删除的方法
CN108229162A (zh) 一种云平台虚拟机完整性校验的实现方法
CN102799812A (zh) 应用程序的处理方法和装置
CN111796989B (zh) Linux***下防止截屏的方法及计算机可读存储介质
CN106856477B (zh) 一种基于局域网的威胁处理方法和装置
CN112926050B (zh) 基于hook技术获取ssh加密内容的方法及其应用
CN112597492B (zh) 一种基于Windows内核的二进制可执行文件更改监测方法
US11762984B1 (en) Inbound link handling
US9904602B1 (en) Secure search

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20210430