CN106713489A - 一种基于重删的同步远程复制***及方法 - Google Patents
一种基于重删的同步远程复制***及方法 Download PDFInfo
- Publication number
- CN106713489A CN106713489A CN201710031983.9A CN201710031983A CN106713489A CN 106713489 A CN106713489 A CN 106713489A CN 201710031983 A CN201710031983 A CN 201710031983A CN 106713489 A CN106713489 A CN 106713489A
- Authority
- CN
- China
- Prior art keywords
- hyperstream
- service ends
- deleted
- backup
- backup data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
- G06F11/1453—Management of the data involved in backup or backup restore using de-duplication of the data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1458—Management of the backup or restore process
- G06F11/1464—Management of the backup or restore process for networked environments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种基于重删的同步远程复制***及方法,包括:HyperStream客户端:将备份数据传输至第一HyperStream服务端;第一HyperStream服务端:对接收的备份数据进行重删检测和重删处理,并将重删后的备份数据发送至第一DPS服务端和第二HyperStream服务端;第一DPS服务端:将接收到的重删后的备份数据备份到第一存储设备;第二HyperStream服务端:将接收到的重删后的备份数据发送至第二DPS服务端;第二DPS服务端:将接收到的重删后的备份数据备份到第二存储设备。本发明重删可大大减少存储***中的冗余数据,提高存储***的使用率。
Description
技术领域
本发明涉及数据复制领域,具体涉及一种基于重删的同步远程复制***及复制方法。
背景技术
目前企业对数据量不断增长的需求,使得数据中心面临严峻的挑战。研究发现,存储***中高达60%的数据是冗余的,如何缩减存储***的冗余数据受到越来越多的关注。
发明内容
为解决上述问题,本发明提供一种采用HyperSteam平台作为重删检测的平台的基于重删的同步远程复制***及复制方法。
本发明的技术方案是:一种基于重删的同步远程复制***,包括:
HyperStream客户端:将备份数据传输至第一HyperStream服务端;
第一HyperStream服务端:对接收的备份数据进行重删检测和重删处理,并将重删后的备份数据发送至第一DPS服务端和第二HyperStream服务端;
第一DPS服务端:将接收到的重删后的备份数据备份到第一存储设备;
第二HyperStream服务端:将接收到的重删后的备份数据发送至第二DPS服务端;
第二DPS服务端:将接收到的重删后的备份数据备份到第二存储设备。
进一步地,第一HyperStream服务端包括:重删引擎、数据库和流文件;
所述重删引擎通过数据库存储所有备份数据的数据块信息,并提示数据块是否已保存;
所述流文件存放数据块标识。
进一步地,第一HyperStream服务端:通过数据块标识进行重删检测。
进一步地,第一存储设备为物理磁带库或虚拟磁带库;
第二存储设备为物理磁带库或虚拟磁带库。
一种基于重删的同步远程复制方法,包括:HyperStream客户端、第一HyperStream服务端、第二HyperStream服务端、第一DPS服务端、第二DPS服务端、第一存储设备、第二存储设备;
S1:HyperStream客户端将备份数据传输至第一HyperStream服务端;
S2:第一HyperStream服务端对接收的备份数据进行重删检测和重删处理,并将重删后的备份数据发送至第一DPS服务端和第二HyperStream服务端;
S3:第一DPS服务端将接收到的重删后的备份数据备份到第一存储设备;
S4:第二HyperStream服务端将接收到的重删后的备份数据发送至第二DPS服务端;
S5:第二DPS服务端将接收到的重删后的备份数据备份到第二存储设备。
进一步地,第一HyperStream服务端包括:重删引擎、数据库和流文件;
所述重删引擎通过数据库存储所有备份数据的数据块信息,并提示数据块是否已保存;
所述流文件存放数据块标识。
进一步地,步骤S2中,第一HyperStream服务端通过数据块标识进行重删检测。
进一步地,第一存储设备为物理磁带库或虚拟磁带库;
第二存储设备为物理磁带库或虚拟磁带库。
本发明采用采用HyperSteam平台作为重删检测的平台,将其部署在PC或服务器集群中,用以实现重复数据的检测,具有较高扩展性、易管理及高可靠性等优点,同时采用DPS***将重删后的数据进行保存和远程复制到其他存储设备,防止出现当前数据中心数据损坏,数据无法还原的问题,且重删可大大减少存储***中的冗余数据,提高存储***的使用率。
附图说明
图1是本发明具体实施例原理示意图。
图2是本发明具体实施例方法流程图。
具体实施方式
下面结合附图并通过具体实施例对本发明进行详细阐述,以下实施例是对本发明的解释,而本发明并不局限于以下实施方式。
如图1所示,本发明提供的基于重删的同步远程复制***,包括:HyperStream客户端1、第一HyperStream服务端2、第二HyperStream服务端3、第一DPS服务端4、第二DPS服务端6、第一存储设备5、第二存储设备7。
HyperStream客户端1:将备份数据传输至第一HyperStream服务端2。
第一HyperStream服务端2:对接收的备份数据进行重删检测和重删处理,并将重删后的备份数据发送至第一DPS服务端4和第二HyperStream服务端3。
第一DPS服务端4:将接收到的重删后的备份数据备份到第一存储设备5。
第二HyperStream服务端3:将接收到的重删后的备份数据发送至第二DPS服务端6。
第二DPS服务端6:将接收到的重删后的备份数据备份到第二存储设备7。
第一HyperStream服务端2包括:重删引擎、数据库和流文件;重删引擎通过数据库存储所有备份数据的数据块信息,并提示数据块是否已保存,即哪些数据块是已经保存过的; 流文件存放数据块标识; 第一HyperStream服务端2:通过数据块标识进行重删检测,即判断数据块是否重复。
第一存储设备5为物理磁带库或虚拟磁带库;第二存储设备7为物理磁带库或虚拟磁带库。
如图2所示,本发明提供的基于重删的同步远程复制方法,包括以下步骤:
S1:HyperStream客户端1将备份数据传输至第一HyperStream服务端2;
S2:第一HyperStream服务端2对接收的备份数据进行重删检测和重删处理,并将重删后的备份数据发送至第一DPS服务端4和第二HyperStream服务端3;
S3:第一DPS服务端4将接收到的重删后的备份数据备份到第一存储设备5;
S4:第二HyperStream服务端3将接收到的重删后的备份数据发送至第二DPS服务端;
S5:第二DPS服务端6将接收到的重删后的备份数据备份到第二存储设备7。
第一HyperStream服务端2包括:重删引擎、数据库和流文件;重删引擎通过数据库存储所有备份数据的数据块信息,并提示数据块是否已保存,即哪些数据块是已经保存过的; 流文件存放数据块标识; 上述步骤S2中,第一HyperStream服务端2通过数据块标识进行重删检测,即判断数据块是否重复。
上述第一存储设备5为物理磁带库或虚拟磁带库;第二存储设备7为物理磁带库或虚拟磁带库。
以上公开的仅为本发明的优选实施方式,但本发明并非局限于此,任何本领域的技术人员能思之的没有创造性的变化,以及在不脱离本发明原理前提下所作的若干改进和润饰,都应落在本发明的保护范围内。
Claims (8)
1.一种基于重删的同步远程复制***,其特征在于,包括:
HyperStream客户端:将备份数据传输至第一HyperStream服务端;
第一HyperStream服务端:对接收的备份数据进行重删检测和重删处理,并将重删后的备份数据发送至第一DPS服务端和第二HyperStream服务端;
第一DPS服务端:将接收到的重删后的备份数据备份到第一存储设备;
第二HyperStream服务端:将接收到的重删后的备份数据发送至第二DPS服务端;
第二DPS服务端:将接收到的重删后的备份数据备份到第二存储设备。
2.根据权利要求1所述的基于重删的同步远程复制***,其特征在于,第一HyperStream服务端包括:重删引擎、数据库和流文件;
所述重删引擎通过数据库存储所有备份数据的数据块信息,并提示数据块是否已保存;
所述流文件存放数据块标识。
3.根据权利要求2所述的基于重删的同步远程复制***,其特征在于,第一HyperStream服务端:通过数据块标识进行重删检测。
4.根据权利要求1、2或3所述的基于重删的同步远程复制***,其特征在于,第一存储设备为物理磁带库或虚拟磁带库;
第二存储设备为物理磁带库或虚拟磁带库。
5.一种基于重删的同步远程复制方法,其特征在于,包括:HyperStream客户端、第一HyperStream服务端、第二HyperStream服务端、第一DPS服务端、第二DPS服务端、第一存储设备、第二存储设备;
S1:HyperStream客户端将备份数据传输至第一HyperStream服务端;
S2:第一HyperStream服务端对接收的备份数据进行重删检测和重删处理,并将重删后的备份数据发送至第一DPS服务端和第二HyperStream服务端;
S3:第一DPS服务端将接收到的重删后的备份数据备份到第一存储设备;
S4:第二HyperStream服务端将接收到的重删后的备份数据发送至第二DPS服务端;
S5:第二DPS服务端将接收到的重删后的备份数据备份到第二存储设备。
6.根据权利要求5所述的基于重删的同步远程复制方法,其特征在于,第一HyperStream服务端包括:重删引擎、数据库和流文件;
所述重删引擎通过数据库存储所有备份数据的数据块信息,并提示数据块是否已保存;
所述流文件存放数据块标识。
7.根据权利要求6所述的基于重删的同步远程复制方法,其特征在于,步骤S2中,第一HyperStream服务端通过数据块标识进行重删检测。
8.根据权利要求5、6或7所述的基于重删的同步远程复制方法,其特征在于,第一存储设备为物理磁带库或虚拟磁带库;
第二存储设备为物理磁带库或虚拟磁带库。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710031983.9A CN106713489A (zh) | 2017-01-17 | 2017-01-17 | 一种基于重删的同步远程复制***及方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710031983.9A CN106713489A (zh) | 2017-01-17 | 2017-01-17 | 一种基于重删的同步远程复制***及方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106713489A true CN106713489A (zh) | 2017-05-24 |
Family
ID=58907616
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710031983.9A Pending CN106713489A (zh) | 2017-01-17 | 2017-01-17 | 一种基于重删的同步远程复制***及方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106713489A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107562575A (zh) * | 2017-09-12 | 2018-01-09 | 郑州云海信息技术有限公司 | 一种Oracle数据库备份的方法及*** |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102982122A (zh) * | 2012-11-13 | 2013-03-20 | 浪潮电子信息产业股份有限公司 | 一种适用于海量存储***的重复数据删除方法 |
CN103049391A (zh) * | 2012-12-29 | 2013-04-17 | 华为技术有限公司 | 数据处理方法、数据格式和设备 |
CN104778095A (zh) * | 2015-01-20 | 2015-07-15 | 成都携恩科技有限公司 | 一种云平台数据管理方法 |
CN104794143A (zh) * | 2014-07-30 | 2015-07-22 | 北京中科同向信息技术有限公司 | 一种无代理的备份技术 |
CN105487942A (zh) * | 2015-11-30 | 2016-04-13 | 上海爱数信息技术股份有限公司 | 一种基于重复数据删除的备份与远程复制方法 |
-
2017
- 2017-01-17 CN CN201710031983.9A patent/CN106713489A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102982122A (zh) * | 2012-11-13 | 2013-03-20 | 浪潮电子信息产业股份有限公司 | 一种适用于海量存储***的重复数据删除方法 |
CN103049391A (zh) * | 2012-12-29 | 2013-04-17 | 华为技术有限公司 | 数据处理方法、数据格式和设备 |
CN104794143A (zh) * | 2014-07-30 | 2015-07-22 | 北京中科同向信息技术有限公司 | 一种无代理的备份技术 |
CN104778095A (zh) * | 2015-01-20 | 2015-07-15 | 成都携恩科技有限公司 | 一种云平台数据管理方法 |
CN105487942A (zh) * | 2015-11-30 | 2016-04-13 | 上海爱数信息技术股份有限公司 | 一种基于重复数据删除的备份与远程复制方法 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107562575A (zh) * | 2017-09-12 | 2018-01-09 | 郑州云海信息技术有限公司 | 一种Oracle数据库备份的方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6296316B2 (ja) | 分散型セキュリティ保護データストレージ、およびストリーミングメディアコンテンツの送信 | |
CN106250270B (zh) | 一种云计算平台下的数据备份方法 | |
US8352540B2 (en) | Distinguishing data streams to enhance data storage efficiency | |
US8234372B2 (en) | Writing a file to a cloud storage solution | |
US8719223B2 (en) | Cloud storage solution for reading and writing files | |
US8260913B2 (en) | Reading a file from a cloud storage solution | |
CN106843760A (zh) | 一种基于重删的异步远程复制***及方法 | |
CN106502823A (zh) | 数据云备份方法和*** | |
CN103327085B (zh) | 一种分布式数据处理方法、数据中心及其*** | |
CN104902009B (zh) | 一种基于可擦除编码和链式备份的分布式存储*** | |
CN103116615B (zh) | 一种基于版本矢量的数据索引方法及服务器 | |
CN103118104B (zh) | 一种基于版本矢量的数据还原方法及服务器 | |
WO2019134211A1 (zh) | 一种文件存储方法、电子设备、***和介质 | |
CN104113606B (zh) | 一致性动态均衡的分布式元数据节点架构的工作方法 | |
US20120173925A1 (en) | Method and a storage server for data redundancy | |
CN103795754A (zh) | 多***间的数据同步方法和*** | |
CN105404679A (zh) | 数据处理方法和装置 | |
CN103593264A (zh) | 远距离广域网络容灾备份***及方法 | |
CN101771717A (zh) | 数据库同步方法及*** | |
CN104967660B (zh) | 一种面向多云架构的网络性能提升方法 | |
CN107506265A (zh) | 一种基于互联网的差异性远程文件备份与恢复*** | |
CN102184218B (zh) | 一种基于因果关系的重复数据删除方法 | |
Gokulakrishnan et al. | Data integrity and recovery management in cloud systems | |
WO2017157062A1 (zh) | 一种动态文件的传输方法、装置及电子设备 | |
CN106713489A (zh) | 一种基于重删的同步远程复制***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination |