CN102902605A - 一种分布式云计算集群组海量数据备份和还原的方法 - Google Patents
一种分布式云计算集群组海量数据备份和还原的方法 Download PDFInfo
- Publication number
- CN102902605A CN102902605A CN2012103725757A CN201210372575A CN102902605A CN 102902605 A CN102902605 A CN 102902605A CN 2012103725757 A CN2012103725757 A CN 2012103725757A CN 201210372575 A CN201210372575 A CN 201210372575A CN 102902605 A CN102902605 A CN 102902605A
- Authority
- CN
- China
- Prior art keywords
- cluster
- file
- data
- distributed
- different
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000011084 recovery Methods 0.000 title claims abstract description 14
- 238000000034 method Methods 0.000 title claims abstract description 9
- 230000002159 abnormal effect Effects 0.000 claims abstract description 9
- 230000000712 assembly Effects 0.000 claims description 4
- 238000000429 assembly Methods 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 206010019233 Headaches Diseases 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开一种分布式云计算集群组海量数据备份和还原的方法，该集群组以分布式文件***为载体，在集群之上建立集群组，在同一区域和不同区域本别部署分布式文件集群，通过云管理驾驶舱对各集群进行统一管理和操作，进行文件的存储和数据的分布式计算，同一份文件在各集群至少保存一份，部分集群异常不影响整个***运行，云管理驾驶舱自动记录异常集群和丢失文件，并在集群恢复后将丢失文件保存到该集群，***中文件的备份和还原过程无需操作，软件***的使用不受影响。该分布式云计算集群组以变通方式实现了海量数据异地备份与还原，提高了分布式计算的效率，保证了软件***的高可用性，同时为企业和软件使用单位节省了成本。
Description
技术领域
本发明涉及到云计算操作***领域，具体的说是一种分布式云计算集群组海量数据备份和还原的方法。
背景技术
随着web2.0的诞生，IT技术的飞跃发展，人们对信息化需求越来越大，传统的结构化数据库面对日益增长的海量数据已明显力不从心。云计算开始登上IT的舞台，NoSql数据库被广泛使用，分布式文件存储已成为主角。
对于一些行业，比如卫生、电信，每天的数据增长量非常庞大，海量数据的存储问题可以使用分布式文件***来存储，但面对庞大的数据，本地和异地的备份与还原的确让人头疼，也是很多IT企业一直研究的课题。目前市场上的备份软件大部分收费且很多是单纯的拷贝移动文件，并简单的进行管理。一旦本地出现问题，受带宽和其他因素影响，根本无法在短时期内将异地备份数据还原，无法保证***的高可用。
因此需要一种海量数据的本地、异地备份方案来解决日益增长的数据，来保证***的高可用性。
发明内容
本发明针对目前海量数据本地、异地处理中存在的问题，提出一种分布式云计算集群组，以解决海量数据的本地、异地备份和还原的问题。
本发明的目的时按一下方式实现的，以分布式文件***为载体，在分布式集群之上建立集群组，在同一区域和不同区域分别部署分布式文件集群，实现海量数据本地、异地的备份和还原，内容包括：集群组分布式计算、云管理驾驶舱和海量数据异地备份与还原三部分，具体步骤如下：
1）集群组分布式计算
分散在同一区域和不同区域的集群分别对数据进行计算和抽取，并将结果进行汇总；
2）云管理驾驶舱
云计算集群组的CPU，担负着整个集群组的管理与分发，异常的处理与恢复，当云管理驾驶舱收到的是一个文件，则将文件根据不同区域保存到不同的集群组，保证每个区域至少保存一份文件；当某个区域出现异常无法保存时，管理驾驶舱记录该区域的信息以及未保存到该区域的文件，并时时监控异常区域的情况；当异常区域正常连接时，云管理驾驶舱自动从其它集群读取相关数据，将未保存到该区域的文件或数据重新保存到该区域集群中，实现数据的恢复；
当云管理驾驶舱收到的是一组数据和指令时，管理驾驶舱首先检查目前可以连接的集群，并将数据分发到各集群按照指令进行运算，并最终将结果汇总输出；
3）海量数据异地备份与还原
在不同区域部署不同的集群，保证数据在不同区域至少保存一份，实现数据的异地备份；当本地集群出现异常时，云管理驾驶舱自动访问异地集群，并保存异常相关信息，等本地集群恢复后，自动将丢失文件存入到本地集群；故障***的还原无需切换，没有时间消耗。
本发明的有益效果是：本发明所述分布式云计算集群组，在分布式集群之上建立集群组，该集群组在同一区域和不同区域本别部署分布文件集群，通过云管理驾驶舱对各集群进行统一管理和操作，同一份文件在不同区域至少保存一份，只要有一个集群的文件存储成功，则文件保存成功，文件的存储对用户透明，部分集群异常不会影响整个***运行，云管理驾驶舱会记录未保存成功的集群与文件，在异常集群恢复后自动从其它集群读取该文件数据保存到该集群，变通的实现海量数据异地备份或还原，大大提高***的可用性和安全性。不同的集群组可以再次组成更高一层的集群组，由更高一层的云管理驾驶舱进行管理。
该集群以云计算为理念，充分利用现有资源，在分布式集群之上建立集群组，不受区域限制，不受宽带限制，存储和计算完全对用户透明，以变通方式实现了海量数据异地备份与还原，提高了分布式计算的效率，保证了软件***的高可用性，同时为企业和软件使用单位节省了成本。
附图说明
附图1本发明所述集群组的宏观数据走向示意图；
附图2本发明所述集群组的微观数据走向示意图。
具体实施方式
下面结合附图1和附图2对本发明的方法作进一步详细说明。
本发明一种分布式云计算集群组海量数据备份和还原的方法，是以分布式文件***为载体，构建对用户透明的集群组式文件存储与计算，其解决所述技术问题采用的技术方案为：该集群组由集群组分布式计算、云管理驾驶舱和海量数据异地备份与还原三部分组成，其中：
集群组分布式计算是指分散在同一区域和不同区域的集群，分别对数据进行计算和抽取，并将结果进行汇总；
云管理驾驶舱是云计算集群组的CPU，担负着整个集群组的管理与分发，异常情况的处理与恢复；
海量数据异地备份与还原是指在不同区域部署不同的集群，保证数据在不同区域至少保存一份，实现数据的异地备份，当本地集群出现异常时，云管理驾驶舱自动访问异地集群，并保存异常相关信息，等本地集群恢复后，自动将丢失文件存入到本地集群。
实施例：
本发明所述集群组由集群组分布式计算、云管理驾驶舱和海量数据异地备份与还原三部分组成，下面分别详细说明：
1.集群组分布式计算
分散在同一区域和不同区域的集群，分别对数据进行计算和抽取，并将结果进行汇总。相对于分布式计算，集群组分布式计算使运算效率更高；
2.云管理驾驶舱
云管理驾驶舱，云计算集群组的CPU，担负着整个集群组的管理与分发，异常的处理与恢复；
当云管理驾驶舱收到的是一个文件，则将文件根据不同区域保存到不同的集群组，保证每个区域至少保存一份文件。当某个区域出现异常无法保存时，管理驾驶舱记录该区域的信息以及未保存到该区域的文件，并时时监控异常区域的情况。当异常区域正常连接时，云管理驾驶舱自动从其它集群读取相关数据，将未保存到该区域的文件或数据重新保存到该区域集群中，实现数据的恢复；
当云管理驾驶舱收到的是一组数据和指令时，管理驾驶舱首先检查目前可以连接的集群，并将数据分发到各集群按照指令进行运算，并最终将结果汇总输出；
3.海量数据异地备份与还原
在不同区域部署不同的集群，保证数据在不同区域至少保存一份，实现数据的异地备份。当本地集群出现异常时，云管理驾驶舱自动访问异地集群，并保存异常相关信息，等本地集群恢复后，自动将丢失文件存入到本地集群。故障***的还原无需切换，没有时间消耗，保证了***的高可用，充分体现了集群组的优势。
本发明所述分布式云计算集群组，以现有的分布式文件***为载体，在集群之上建立集群组，在同一区域和不同区域本别部署分布式文件集群，通过云管理驾驶舱对各集群进行统一管理和操作，进行文件的存储和数据的分布式计算，同一份文件在各集群至少保存一份，部分集群异常时，云管理驾驶舱自动记录异常集群和丢失文件，并在集群恢复后将丢失文件保存到该集群，***中文件的备份和还原过程无需操作，软件***的使用不受影响。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (1)
1.一种分布式云计算集群组海量数据备份和还原的方法，其特征在于以分布式文件***为载体，在分布式集群之上建立集群组，在同一区域和不同区域分别部署分布式文件集群，实现海量数据本地、异地的备份和还原，内容包括：集群组分布式计算、云管理驾驶舱和海量数据异地备份与还原三部分，具体步骤如下：
（1）集群组分布式计算
分散在同一区域和不同区域的集群分别对数据进行计算和抽取，并将结果进行汇总；
（2）云管理驾驶舱
云计算集群组的CPU，担负着整个集群组的管理与分发，异常的处理与恢复，当云管理驾驶舱收到的是一个文件，则将文件根据不同区域保存到不同的集群组，保证每个区域至少保存一份文件；当某个区域出现异常无法保存时，管理驾驶舱记录该区域的信息以及未保存到该区域的文件，并时时监控异常区域的情况；当异常区域正常连接时，云管理驾驶舱自动从其它集群读取相关数据，将未保存到该区域的文件或数据重新保存到该区域集群中，实现数据的恢复；
当云管理驾驶舱收到的是一组数据和指令时，管理驾驶舱首先检查目前可以连接的集群，并将数据分发到各集群按照指令进行运算，并最终将结果汇总输出；
（3）海量数据异地备份与还原
在不同区域部署不同的集群，保证数据在不同区域至少保存一份，实现数据的异地备份；当本地集群出现异常时，云管理驾驶舱自动访问异地集群，并保存异常相关信息，等本地集群恢复后，自动将丢失文件存入到本地集群；故障***的还原无需切换，没有时间消耗。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012103725757A CN102902605A (zh) | 2012-09-29 | 2012-09-29 | 一种分布式云计算集群组海量数据备份和还原的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN2012103725757A CN102902605A (zh) | 2012-09-29 | 2012-09-29 | 一种分布式云计算集群组海量数据备份和还原的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN102902605A true CN102902605A (zh) | 2013-01-30 |
Family
ID=47574851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN2012103725757A Pending CN102902605A (zh) | 2012-09-29 | 2012-09-29 | 一种分布式云计算集群组海量数据备份和还原的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN102902605A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103701906A (zh) * | 2013-12-27 | 2014-04-02 | 北京奇虎科技有限公司 | 分布式实时计算***及其数据处理方法 |
| CN107566499A (zh) * | 2017-09-08 | 2018-01-09 | 阿里巴巴集团控股有限公司 | 数据同步的方法、装置和*** |
| CN109753383A (zh) * | 2018-12-27 | 2019-05-14 | 网联清算有限公司 | 清分计算方法及装置 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20080270694A1 (en) * | 2007-04-30 | 2008-10-30 | Patterson Brian L | Method and system for distributing snapshots across arrays of an array cluster |
| US20090319853A1 (en) * | 2002-11-18 | 2009-12-24 | Seyamak Keyghobad | Method and apparatus for inexpensively monitoring and controlling remotely distributed appliances |
| CN101719089A (zh) * | 2009-10-30 | 2010-06-02 | 曙光信息产业(北京)有限公司 | 分布式集群的远程管理方法及*** |
| CN102693324A (zh) * | 2012-01-09 | 2012-09-26 | 西安电子科技大学 | 一种分布式数据库同步***、同步方法和节点管理方法 |
-
2012
- 2012-09-29 CN CN2012103725757A patent/CN102902605A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090319853A1 (en) * | 2002-11-18 | 2009-12-24 | Seyamak Keyghobad | Method and apparatus for inexpensively monitoring and controlling remotely distributed appliances |
| US20080270694A1 (en) * | 2007-04-30 | 2008-10-30 | Patterson Brian L | Method and system for distributing snapshots across arrays of an array cluster |
| CN101719089A (zh) * | 2009-10-30 | 2010-06-02 | 曙光信息产业(北京)有限公司 | 分布式集群的远程管理方法及*** |
| CN102693324A (zh) * | 2012-01-09 | 2012-09-26 | 西安电子科技大学 | 一种分布式数据库同步***、同步方法和节点管理方法 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103701906A (zh) * | 2013-12-27 | 2014-04-02 | 北京奇虎科技有限公司 | 分布式实时计算***及其数据处理方法 |
| CN103701906B (zh) * | 2013-12-27 | 2017-06-09 | 北京奇安信科技有限公司 | 分布式实时计算***及其数据处理方法 |
| CN107566499A (zh) * | 2017-09-08 | 2018-01-09 | 阿里巴巴集团控股有限公司 | 数据同步的方法、装置和*** |
| CN107566499B (zh) * | 2017-09-08 | 2020-12-29 | 创新先进技术有限公司 | 数据同步的方法、装置和*** |
| CN109753383A (zh) * | 2018-12-27 | 2019-05-14 | 网联清算有限公司 | 清分计算方法及装置 |
| CN109753383B (zh) * | 2018-12-27 | 2021-08-27 | 网联清算有限公司 | 清分计算方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| AU2011312029B2 (en) | Automatic replication of virtual machines | |
| CN101577735B (zh) | 一种接管故障元数据服务器的方法、装置及*** | |
| CN101589371B (zh) | 向分级存储***透明备份的方法和*** | |
| CN103440244A (zh) | 一种大数据存储优化方法 | |
| CN103763155A (zh) | 分布式云存储***多服务心跳监测方法 | |
| US10866864B2 (en) | Systems and methods for backing-up an eventually-consistent database in a production cluster | |
| CN102981931A (zh) | 虚拟机备份方法及装置 | |
| CN102521063A (zh) | 一种适用于虚拟机迁移和容错的共享存储方法 | |
| CN103197988A (zh) | 一种数据备份、恢复的方法、设备和数据库*** | |
| CN108958976A (zh) | 一种pv快照备份恢复分布式数据库数据方法和*** | |
| CN102819615A (zh) | 一种基于应用快照的数据库持续数据保护方法 | |
| CN103902410A (zh) | 云存储***的数据备份加速方法 | |
| AU2011312100A1 (en) | Automatic selection of secondary backend computing devices for virtual machine image replication | |
| CN102184128A (zh) | 快速磁盘增量备份方法 | |
| CN112380067B (zh) | 一种Hadoop环境下基于元数据的大数据备份***及方法 | |
| CN102902605A (zh) | 一种分布式云计算集群组海量数据备份和还原的方法 | |
| CN103384266A (zh) | 一种基于文件级实时同步的Parastor200管理节点高可用方法 | |
| CN103176867A (zh) | 一种快速文件差异备份方法 | |
| CN109299045A (zh) | 一种日志存储方法、装置、设备及可读存储介质 | |
| CN104035522A (zh) | 大数据库一体机 | |
| CN106445729A (zh) | 一种基于备份虚拟化的方法 | |
| CN105871987A (zh) | 数据写入的高可用***及方法 | |
| CN103384267A (zh) | 一种基于分布式块设备的Parastor200并行存储管理节点高可用方法 | |
| CN110413438A (zh) | 针对备份报错的处理方法和装置 | |
| CN103838643A (zh) | 一种基于***盘和raid相互备份的新型方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20130130 |