CN104156474B - 一种分布式文件***中文件的快速删除方法 - Google Patents
一种分布式文件***中文件的快速删除方法 Download PDFInfo
- Publication number
- CN104156474B CN104156474B CN201410422309.XA CN201410422309A CN104156474B CN 104156474 B CN104156474 B CN 104156474B CN 201410422309 A CN201410422309 A CN 201410422309A CN 104156474 B CN104156474 B CN 104156474B
- Authority
- CN
- China
- Prior art keywords
- file
- data server
- meta data
- memory node
- write
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供了一种分布式文件***中文件的快速删除方法,当删除分布式文件***中的文件时,先在元数据服务器上将对应的元数据信息加入到回收目录下,然后返回删除成功,元数据服务器定时扫描回收目录,将其中文件对应的数据对象重命名为新的对象名,该对象名为***中下一批待分配给新文件的文件对象,这样在有新文件数据写入时,可以直接使用刚回收文件重命名的对象,在读取文件时,按元数据中记录的文件大小判断有效数据的大小,从而达到不真正删除磁盘对象,且不影响正常读写,而将文件快速删除的目的。本发明在绝大多数情况下不需要删除文件数据磁盘对象,真正做到了文件的快速删除,且不产生磁盘数据IO,从而不影响正常数据的读写IO。
Description
技术领域
本发明涉及一种删除方法,具体涉及一种分布式文件***中文件的快速删除方法。
背景技术
分布式文件***一般包含客户端,元数据服务器和数据服务器,客户端负责文件数据的访问接口制定,元数据服务器处理文件的布局及属性,数据服务器存储文件的数据内容。
对于分布式文件***,可以存储海量数据是其最主要的特征,当***中存储了大量的文件,而文件需要大批量删除时,往往会产生大量的磁盘io,直接影响了正常的数据读写,降低了整***的读写性能。
传统的做法是向将文件的元数据隐藏起来,然后后台回收元数据中对应的数据文件,为了减少对正常读写的影响,只能限制每次回收文件的数量,这样虽然可以减少对***正常读写的影响,但大大降低了删除的速度,即磁盘空间重新被利用的速度。
发明内容
为了克服上述现有技术的不足,本发明提供一种分布式文件***中文件的快速删除方法,在大多数情况下不需要真正删除文件的数据对象,只需要做重命名操作即可让删除的文件的空间被快速的利用,既保证了删除的速度,又保证了数据的读写不受影响。
为了实现上述发明目的,本发明采取如下技术方案:
本发明提供一种分布式文件***中文件的快速删除方法,所述方法包括以下步骤:
步骤1:删除分布式文件***中的文件;
步骤2:元数据服务器定时扫描删除目录中是否存在文件,若存在文件,则执行步骤3;
步骤3:元数据服务器向各个存储节点发起重命名对象为待创建对象的请求,存储节点执行对象的重命名操作;
步骤4:新文件写入存储节点,元数据服务器设置新文件的大小信息;
步骤5:客户端向各个存储节点读取数据内容。
所述步骤1包括以下步骤:
步骤1-1:布式文件***中的文件需要被删除时,客户端向元数据服务器发起删除文件的请求;
步骤1-2:元数据服务器将需要删除的文件移动到删除目录,返回客户端删除成功。
所述步骤3包括以下步骤:
步骤3-1:元数据服务器查找自身的预创建对象池,找到待创建的对象名,向各个存储节点发起重命名对象为待创建对象的请求;
步骤3-2:存储节点执行对象的重命名操作,完成后返回给元数据服务器。
存储节点执行对象的重命名操作为同一文件或不同文件。
所述步骤4中,新文件写入存储节点时,元数据服务器将预创建对象池中的对象分配给新文件,新文件写入存储节点完成时,客户端向元数据服务器发送设置文件的大小信息的请求,元数据服务器设置文件的大小信息。
所述步骤5中,客户端从元数据服务器获取文件的大小信息,按有效大小长度向各个存储节点读取数据内容。
与现有技术相比,本发明的有益效果在于:
本发明提供了一种分布式文件***中文件的快速删除方法,当删除分布式文件***中的文件时,先在元数据服务器上将对应的元数据信息加入到回收目录下,然后返回删除成功,元数据服务器定时扫描回收目录,将其中文件对应的数据对象重命名为新的对象名,该对象名为***中下一批待分配给新文件的文件对象,这样在有新文件数据写入时,可以直接使用刚回收文件重命名的对象,在读取文件时,按元数据中记录的文件大小判断有效数据的大小,从而达到不真正删除磁盘对象,且不影响正常读写,而将文件快速删除的目的。本发明在绝大多数情况下不需要删除文件数据磁盘对象,真正做到了文件的快速删除,且不产生磁盘数据IO,从而不影响正常数据的读写IO。
附图说明
图1是本发明实施例中分布式文件***中文件的快速删除方法流程图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
如图1,本发明提供一种分布式文件***中文件的快速删除方法,所述方法包括以下步骤:
步骤1:删除分布式文件***中的文件;
步骤2:元数据服务器定时扫描删除目录中是否存在文件,若存在文件,则执行步骤3;
步骤3:元数据服务器向各个存储节点发起重命名对象为待创建对象的请求,存储节点执行对象的重命名操作;
步骤4:新文件写入存储节点,元数据服务器设置新文件的大小信息;
步骤5:客户端向各个存储节点读取数据内容。
所述步骤1包括以下步骤:
步骤1-1:布式文件***中的文件需要被删除时,客户端向元数据服务器发起删除文件的请求;
步骤1-2:元数据服务器将需要删除的文件移动到删除目录,返回客户端删除成功。
所述步骤3包括以下步骤:
步骤3-1:元数据服务器查找自身的预创建对象池,找到待创建的对象名,向各个存储节点发起重命名对象为待创建对象的请求;
步骤3-2:存储节点执行对象的重命名操作,完成后返回给元数据服务器。
存储节点执行对象的重命名操作为同一文件或不同文件。
所述步骤4中,新文件写入存储节点时,元数据服务器将预创建对象池中的对象分配给新文件,新文件写入存储节点完成时,客户端向元数据服务器发送设置文件的大小信息的请求,元数据服务器设置文件的大小信息。
所述步骤5中,客户端从元数据服务器获取文件的大小信息,按有效大小长度向各个存储节点读取数据内容。
实施例
A.元数据将指定的文件移动到待删除目录:
在***中建立隐藏的目录,该目录对客户端不可见,专门用来存放客户端已删除,但文件对应的对象未处理的文件。当元数据服务器收到客户端的删除请求时,只需将指定的文件move到该目录下即可。
B.当对象被重新利用后,有效数据未达到之前对象大小时,多余出来的对象内容何时回收。
针对这种情况,在存储节点上启动定时器,定时扫描长时间未被写入的对象,然后向元数据服务器确认是否有多余的对象内容没被使用,若存在,则将多余的内容截断掉,释放该部分空间。
本发明提供的分布式文件***中文件的快速删除方法,当删除分布式文件***中的文件时,先在元数据服务器上将对应的元数据信息加入到回收目录下,然后返回删除成功,元数据服务器定时扫描回收目录,将其中文件对应的数据对象重命名为新的对象名,该对象名为***中下一批待分配给新文件的文件对象,这样在有新文件数据写入时,可以直接使用刚回收文件重命名的对象,在读取文件时,按元数据中记录的文件大小判断有效数据的大小,从而达到不真正删除磁盘对象,且不影响正常读写,而将文件快速删除的目的。本发明在绝大多数情况下不需要删除文件数据磁盘对象,真正做到了文件的快速删除,且不产生磁盘数据IO,从而不影响正常数据的读写IO。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,所属领域的普通技术人员参照上述实施例依然可以对本发明的具体实施方式进行修改或者等同替换,这些未脱离本发明精神和范围的任何修改或者等同替换,均在申请待批的本发明的权利要求保护范围之内。
Claims (1)
1.一种分布式文件***中文件的快速删除方法,其特征在于:所述方法包括以下步骤:
步骤1:删除分布式文件***中的文件;
步骤2:元数据服务器定时扫描删除目录中是否存在文件,若存在文件,则执行步骤3;
步骤3:元数据服务器向各个存储节点发起重命名对象为待创建对象的请求,存储节点执行对象的重命名操作;
步骤4:新文件写入存储节点,元数据服务器设置新文件的大小信息;
步骤5:客户端向各个存储节点读取数据内容;
所述步骤1包括以下步骤:
步骤1-1:分布式文件***中的文件需要被删除时,客户端向元数据服务器发起删除文件的请求;
步骤1-2:元数据服务器将需要删除的文件移动到删除目录,返回客户端删除成功;
所述步骤3包括以下步骤:
步骤3-1:元数据服务器查找自身的预创建对象池,找到待创建的对象名,向各个存储节点发起重命名对象为待创建对象的请求;
步骤3-2:存储节点执行对象的重命名操作,完成后返回给元数据服务器;
存储节点执行对象的重命名操作为同一文件或不同文件;
所述步骤4中,新文件写入存储节点时,元数据服务器将预创建对象池中的对象分配给新文件,新文件写入存储节点完成时,客户端向元数据服务器发送设置文件的大小信息的请求,元数据服务器设置文件的大小信息;
所述步骤5中,客户端从元数据服务器获取文件的大小信息,按有效大小长度向各个存储节点读取数据内容。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410422309.XA CN104156474B (zh) | 2014-08-25 | 2014-08-25 | 一种分布式文件***中文件的快速删除方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410422309.XA CN104156474B (zh) | 2014-08-25 | 2014-08-25 | 一种分布式文件***中文件的快速删除方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104156474A CN104156474A (zh) | 2014-11-19 |
CN104156474B true CN104156474B (zh) | 2017-06-23 |
Family
ID=51881972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410422309.XA Active CN104156474B (zh) | 2014-08-25 | 2014-08-25 | 一种分布式文件***中文件的快速删除方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104156474B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105095489A (zh) * | 2015-08-18 | 2015-11-25 | 浪潮(北京)电子信息产业有限公司 | 一种分布式文件删除方法、装置和*** |
CN106446155A (zh) * | 2016-09-22 | 2017-02-22 | 北京百度网讯科技有限公司 | 用于在云存储***中清理数据的方法和装置 |
CN106407465A (zh) * | 2016-10-14 | 2017-02-15 | 郑州云海信息技术有限公司 | 一种基于分布式文件***的文件删除方法和*** |
CN107066349A (zh) * | 2017-01-20 | 2017-08-18 | 郑州云海信息技术有限公司 | 一种集群文件***数据保护的方法及*** |
CN106960055B (zh) * | 2017-04-01 | 2020-08-04 | 广东浪潮大数据研究有限公司 | 一种文件删除方法及装置 |
CN108595503A (zh) * | 2018-03-19 | 2018-09-28 | 网宿科技股份有限公司 | 文件处理方法及服务器 |
CN109542344B (zh) * | 2018-11-09 | 2022-04-05 | 五八同城信息技术有限公司 | 一种磁盘空间的清理方法、装置、存储介质及终端 |
CN109614377B (zh) * | 2018-12-07 | 2022-04-22 | 浪潮电子信息产业股份有限公司 | 分布式文件***的文件删除方法、装置、设备及存储介质 |
CN109766317B (zh) * | 2019-01-08 | 2022-04-22 | 浪潮电子信息产业股份有限公司 | 一种文件的删除方法、装置、设备及存储介质 |
CN110069457A (zh) * | 2019-04-24 | 2019-07-30 | 苏州浪潮智能科技有限公司 | 一种基于分布式文件存储***中过期文件删除方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102375888A (zh) * | 2011-10-25 | 2012-03-14 | 无锡城市云计算中心有限公司 | 一种分布式文件***中大文件高效删除的方法 |
CN103198100A (zh) * | 2013-03-13 | 2013-07-10 | 中国科学院计算技术研究所 | 一种多设备间文件同步的重命名处理方法及*** |
CN103973731A (zh) * | 2013-01-29 | 2014-08-06 | 中兴通讯股份有限公司 | 一种云存储的回收站管理方法和装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070276823A1 (en) * | 2003-05-22 | 2007-11-29 | Bruce Borden | Data management systems and methods for distributed data storage and management using content signatures |
-
2014
- 2014-08-25 CN CN201410422309.XA patent/CN104156474B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102375888A (zh) * | 2011-10-25 | 2012-03-14 | 无锡城市云计算中心有限公司 | 一种分布式文件***中大文件高效删除的方法 |
CN103973731A (zh) * | 2013-01-29 | 2014-08-06 | 中兴通讯股份有限公司 | 一种云存储的回收站管理方法和装置 |
CN103198100A (zh) * | 2013-03-13 | 2013-07-10 | 中国科学院计算技术研究所 | 一种多设备间文件同步的重命名处理方法及*** |
Also Published As
Publication number | Publication date |
---|---|
CN104156474A (zh) | 2014-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104156474B (zh) | 一种分布式文件***中文件的快速删除方法 | |
US8151139B1 (en) | Preventing data loss from restore overwrites | |
TWI540432B (zh) | Method and apparatus for collapsing virtual disk mirrors | |
US7856522B2 (en) | Flash-aware storage optimized for mobile and embedded DBMS on NAND flash memory | |
KR101384438B1 (ko) | 데이터를 사전 각색하는 방법 및 컴퓨터 판독가능 매체 | |
US9043334B2 (en) | Method and system for accessing files on a storage system | |
CN103020255B (zh) | 分级存储方法和装置 | |
CN104331453B (zh) | 一种分布式文件***及分布式文件***的构建方法 | |
CN102567427B (zh) | 一种对象数据处理方法及装置 | |
CN103595797B (zh) | 一种分布式存储***中的缓存方法 | |
CN105630834B (zh) | 一种实现重复数据删除的方法及装置 | |
CN103744875B (zh) | 基于文件***的数据快速迁移方法及*** | |
US9684664B2 (en) | Elimination of fragmentation of files in storage medium by utilizing head movement time | |
WO2012171434A1 (zh) | 文件或文件夹查找方法和装置 | |
KR101584760B1 (ko) | 순서 모드 저널링 파일 시스템을 위한 블록 그룹 단위 저널링 방법 및 장치 | |
WO2021082422A1 (zh) | 一种存储***空间回收的兼容处理方法、***及设备 | |
CN107066349A (zh) | 一种集群文件***数据保护的方法及*** | |
CN104462388A (zh) | 一种基于级联式存储介质的冗余数据清理方法 | |
CN103942301A (zh) | 一种面向多数据类型访问应用的分布式文件*** | |
CN102609335B (zh) | 一种实现写时复制保护元数据的装置及方法 | |
CN103176868A (zh) | 一种文件状态备份方法 | |
CN108958657A (zh) | 一种数据存储方法、存储设备及存储*** | |
CN104268013B (zh) | 一种快速的全***模拟器确定性回放方法 | |
CN109241011B (zh) | 一种虚拟机文件处理方法及装置 | |
CN106126555A (zh) | 一种文件管理方法及文件*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20220311 Address after: 300384 Xiqing District, Tianjin Huayuan Industrial Zone (outside the ring) 15 1-3, hahihuayu street. Patentee after: DAWNING INFORMATION INDUSTRY Co.,Ltd. Address before: 300384 Xiqing District, Tianjin Huayuan Industrial Zone (outside the ring) 15 1-3, hahihuayu street. Patentee before: DAWNING INFORMATION INDUSTRY Co.,Ltd. Patentee before: Wuxi City Cloud Computing Center Co., Ltd |