CN103617177A - 一种堆叠式重复数据删除文件*** - Google Patents
一种堆叠式重复数据删除文件*** Download PDFInfo
- Publication number
- CN103617177A CN103617177A CN201310541623.5A CN201310541623A CN103617177A CN 103617177 A CN103617177 A CN 103617177A CN 201310541623 A CN201310541623 A CN 201310541623A CN 103617177 A CN103617177 A CN 103617177A
- Authority
- CN
- China
- Prior art keywords
- data
- file system
- repeating
- deletion
- service module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/17—Details of further file system functions
- G06F16/174—Redundancy elimination performed by the file system
- G06F16/1748—De-duplication implemented within the file system, e.g. based on file segments
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Storage Device Security (AREA)
Abstract
提出一种堆叠式重复数据删除文件***,包括文件***服务模块,对于正常的数据,采用直接接口转换的方式将底层文件***的数据导入本文件***中;对于进行了重复数据删除的数据,读取相应的数据属性标识,进行IO流程的重定向,实现重删后数据的透明无缝访问;重删服务模块,读取文件***服务模块导出的文件***日志数据,解析日志内容后进行数据签名的计算、重复数据的检测和删除,完成重删后对数据进行标识。所述***能够充分利用已有存储***的存储能力,无需升级硬件最大限度地节省投资,通过堆叠式的软件设计,在已有的文件***上提供重复数据删除功能,优化数据存储结构,降低存储***的空间占用。
Description
技术领域
本发明涉及计算机存储领域,具体涉及一种基于堆叠式文件***技术实现的重复数据删除文件***。
背景技术
在大型存储***中,数据急速增长与存储设备升级相对缓慢的矛盾较为尖锐,为了缓解存储***的空间增长问题,缩减数据占用的空间,降低成本,最大化利用已有资源,重复数据删除技术已经成为大型***中必不可少的关键技术。
通过使用重复数据删除技术,用户可以获得明显的数据缩减效果,可以大大降低存储***的带宽需求,降低运营成本和维护成本。通过数据缩减使得后端实际的存储容量大大缩减,由此带来了更简洁的存储管理,有效降低了管理成本。
然而目前流行的重复数据删除方案,多为面向近线存储和备份存储的重删方案,而且往往与备份***紧密结合,因而无法提供一般性的文件***服务。能够在在线***中直接提供重复数据删除功能的产品较少,且均需要使用专有的文件***格式,这些专有的文件***往往在性能、功能、可靠性、可扩展性方面均存在诸多限制,使得在大型在线存储***中直接应用存在一定困难。
已有的大型存储***往往基于成熟的文件***构建,如ext3、ext4、xfs、lustre等,这类文件***本身并不具备重复数据删除的功能,而如果要使用重复数据删除功能,则面临着需要使用专有的文件***,忍受明显可感知的性能降低,并进行大规模的数据迁移,这带来极高的时间和空间成本,在已经有大量数据的存储***中,基本上没有可行性,成本过高。
针对这一现状,本发明设计了一种堆叠式重复数据删除文件***,能够基于已有的成熟的文件***提供重复数据删除功能,充分保持原有存储***的性能,同时几乎不需要进行任何数据迁移。
发明内容
本发明设计并实现了一种堆叠式重复数据删除文件***,能够充分利用已有存储***的存储能力,无需升级硬件最大限度地节省投资,通过堆叠式的软件设计,在已有的文件***上提供重复数据删除功能,优化数据存储结构,降低存储***的空间占用。
所述***包括:
文件***服务模块,对于正常的数据,采用直接接口转换的方式将底层文件***的数据导入本文件***中;对于进行了重复数据删除的数据,读取相应的数据属性标识,进行IO流程的重定向,实现重删后数据的透明无缝访问;
重删服务模块,读取文件***服务模块导出的文件***日志数据,解析日志内容后进行数据签名的计算、重复数据的检测和删除,完成重删后对数据进行标识。
本发明的有益效果是:基于堆叠式文件***的设计可以充分利用现有的存储***,仅通过安装本专利描述的软件***即可使已有的文件***支持重复数据删除功能以节省存储空间,无需迁移数据,同时保持了原有存储***的IO性能,实现充分的设备利旧和投资保护。
附图说明
附图1为本专利所提出的堆叠式重复数据删除文件***的架构示意图。
具体实施方式
下面参照附图1,对本发明的内容以一个具体实例来描述实现这一体系结构的过程。
正如发明内容中所描述的,本发明体系结构主要包括:文件***服务模块、重删服务模块。
文件***服务模块实现了一个完整支持POSIX协议的文件***,其采用了堆叠式文件***的设计策略,通过在文件***接口层的映射和重写,将底层文件***的服务完整实现。对于正常的数据,本模块采用直接接口转换的方式将底层文件***的数据导入本文件***中,实现了正常数据的无缝访问。对于进行了重复数据删除的数据,本模块根据本发明所描述的文件***的约定,读取相应的数据属性标识,进行IO流程的重定向,实现重删后数据的透明无缝访问。
重删服务模块在带外独立运行,其采用多线程设计,充分利用多核***的并行计算能力,提供超高速的重复数据删除功能。本模块读取文件***服务模块导出的文件***日志数据,解析日志内容后进行数据签名的计算、重复数据的检测和删除,完成重删后对数据进行标识。本模块可与文件***服务模块同时运行,通过文件***服务模块内设计的细粒度锁,保证数据处理的原子性,提供可靠的并行数据处理能力。
在一个典型的配置环境里,文件***服务模块、重删服务模块可作为一般应用软件安装到主机***中。在进行了相关的软件配置后,可启动文件***服务模块、重删服务模块,此时已经能够在主机上挂载本发明描述的文件***,并能够进行数据访问。在一段时间的文件***IO完成后,重删服务模块能够自动地进行数据签名的计算,并根据配置参数进行重复数据的检测和删除,并完成重删后数据的标记。
至此,已经完整实现了整个堆叠式重复数据删除文件***,实现了在已有文件***上提供高性能重复数据删除服务的功能,极大的提高了存储***的空间利用率,有效保护了客户投资。
当然,本发明还可有其他多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明的权利要求的保护范围。
Claims (1)
1.一种堆叠式重复数据删除文件***,其特征在于包括:
文件***服务模块,对于正常的数据,采用直接接口转换的方式将底层文件***的数据导入本文件***中;对于进行了重复数据删除的数据,读取相应的数据属性标识,进行IO流程的重定向,实现重删后数据的透明无缝访问;
重删服务模块,读取文件***服务模块导出的文件***日志数据,解析日志内容后进行数据签名的计算、重复数据的检测和删除,完成重删后对数据进行标识。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310541623.5A CN103617177A (zh) | 2013-11-05 | 2013-11-05 | 一种堆叠式重复数据删除文件*** |
PCT/CN2014/089303 WO2015067128A1 (zh) | 2013-11-05 | 2014-10-23 | 一种堆叠式重复数据删除文件*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310541623.5A CN103617177A (zh) | 2013-11-05 | 2013-11-05 | 一种堆叠式重复数据删除文件*** |
Publications (1)
Publication Number | Publication Date |
---|---|
CN103617177A true CN103617177A (zh) | 2014-03-05 |
Family
ID=50167880
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310541623.5A Pending CN103617177A (zh) | 2013-11-05 | 2013-11-05 | 一种堆叠式重复数据删除文件*** |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN103617177A (zh) |
WO (1) | WO2015067128A1 (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104133888A (zh) * | 2014-07-30 | 2014-11-05 | 宇龙计算机通信科技(深圳)有限公司 | 一种多***数据处理方法、装置及终端 |
CN104391915A (zh) * | 2014-11-19 | 2015-03-04 | 湖南国科微电子有限公司 | 一种数据重删方法 |
WO2015067128A1 (zh) * | 2013-11-05 | 2015-05-14 | 浪潮(北京)电子信息产业有限公司 | 一种堆叠式重复数据删除文件*** |
CN105205094A (zh) * | 2015-08-12 | 2015-12-30 | 浪潮(北京)电子信息产业有限公司 | 一种多控共享存储*** |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100082700A1 (en) * | 2008-09-22 | 2010-04-01 | Riverbed Technology, Inc. | Storage system for data virtualization and deduplication |
US20100082547A1 (en) * | 2008-09-22 | 2010-04-01 | Riverbed Technology, Inc. | Log Structured Content Addressable Deduplicating Storage |
CN101908073A (zh) * | 2010-08-13 | 2010-12-08 | 清华大学 | 一种文件***中实时删除重复数据的方法 |
CN103051671A (zh) * | 2012-11-22 | 2013-04-17 | 浪潮电子信息产业股份有限公司 | 一种集群文件***重复数据删除方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0104227D0 (en) * | 2001-02-21 | 2001-04-11 | Ibm | Information component based data storage and management |
CN103279502B (zh) * | 2013-05-06 | 2016-01-20 | 北京赛思信安技术有限公司 | 一种具有与并行文件***结合的重复数据删除文件***的架构及方法 |
CN103617177A (zh) * | 2013-11-05 | 2014-03-05 | 浪潮(北京)电子信息产业有限公司 | 一种堆叠式重复数据删除文件*** |
-
2013
- 2013-11-05 CN CN201310541623.5A patent/CN103617177A/zh active Pending
-
2014
- 2014-10-23 WO PCT/CN2014/089303 patent/WO2015067128A1/zh active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100082700A1 (en) * | 2008-09-22 | 2010-04-01 | Riverbed Technology, Inc. | Storage system for data virtualization and deduplication |
US20100082547A1 (en) * | 2008-09-22 | 2010-04-01 | Riverbed Technology, Inc. | Log Structured Content Addressable Deduplicating Storage |
CN101908073A (zh) * | 2010-08-13 | 2010-12-08 | 清华大学 | 一种文件***中实时删除重复数据的方法 |
CN103051671A (zh) * | 2012-11-22 | 2013-04-17 | 浪潮电子信息产业股份有限公司 | 一种集群文件***重复数据删除方法 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015067128A1 (zh) * | 2013-11-05 | 2015-05-14 | 浪潮(北京)电子信息产业有限公司 | 一种堆叠式重复数据删除文件*** |
CN104133888A (zh) * | 2014-07-30 | 2014-11-05 | 宇龙计算机通信科技(深圳)有限公司 | 一种多***数据处理方法、装置及终端 |
CN104133888B (zh) * | 2014-07-30 | 2019-08-02 | 宇龙计算机通信科技(深圳)有限公司 | 一种多***数据处理方法、装置及终端 |
CN104391915A (zh) * | 2014-11-19 | 2015-03-04 | 湖南国科微电子有限公司 | 一种数据重删方法 |
CN104391915B (zh) * | 2014-11-19 | 2016-02-24 | 湖南国科微电子股份有限公司 | 一种数据重删方法 |
CN105205094A (zh) * | 2015-08-12 | 2015-12-30 | 浪潮(北京)电子信息产业有限公司 | 一种多控共享存储*** |
Also Published As
Publication number | Publication date |
---|---|
WO2015067128A1 (zh) | 2015-05-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9852055B2 (en) | Multi-level memory compression | |
US8417912B2 (en) | Management of low-paging space conditions in an operating system | |
CN101866359B (zh) | 一种机群文件***中的小文件存储和访问方法 | |
US8345489B2 (en) | Caching scheme synergy for extent migration between tiers of a storage system | |
CN101398823B (zh) | 利用虚拟文件***技术实现远程存储的方法及*** | |
CN102158349A (zh) | 一种日志管理装置及方法 | |
CN102982182B (zh) | 一种数据存储规划方法及装置 | |
CN103051671A (zh) | 一种集群文件***重复数据删除方法 | |
CN103067480A (zh) | 一种网盘的同步方法及*** | |
CN103617177A (zh) | 一种堆叠式重复数据删除文件*** | |
CN103595799A (zh) | 一种实现分布式共享数据库的方法 | |
CN103744618A (zh) | 实现团队共享存储的方法及*** | |
CN106250571A (zh) | 一种etl数据处理的方法及*** | |
CN103942301A (zh) | 一种面向多数据类型访问应用的分布式文件*** | |
CN103116475A (zh) | 一种自动精简配置扩容的方法 | |
CN103546506B (zh) | 无线存储管理*** | |
US8965855B1 (en) | Systems and methods for hotspot mitigation in object-based file systems | |
CN205263797U (zh) | 一种采用固态硬盘ssd作为二级缓存的存储器 | |
CN112506490A (zh) | 一种接口生成方法、装置、电子设备及存储介质 | |
KR20150128714A (ko) | 최적화된 파일 조작을 위한 파일 그룹화 기법 | |
CN202309769U (zh) | 一种基于云计算的数据存储*** | |
CN102495902B (zh) | 一种同时实现空间数据和属性数据etl过程的方法及*** | |
CN102663140B (zh) | 基于tb级全景图像数据快速访问方法 | |
CN105117282A (zh) | 一种对输入输出请求进行拆分的方法及装置 | |
CN105138565A (zh) | 一种文件处理方法和*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140305 |