CN105871987A - 数据写入的高可用***及方法 - Google Patents

数据写入的高可用***及方法 Download PDF

Info

Publication number
CN105871987A
CN105871987A CN201510923305.4A CN201510923305A CN105871987A CN 105871987 A CN105871987 A CN 105871987A CN 201510923305 A CN201510923305 A CN 201510923305A CN 105871987 A CN105871987 A CN 105871987A
Authority
CN
China
Prior art keywords
cluster
data
write
standby
described main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510923305.4A
Other languages
English (en)
Inventor
吴兴义
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LeTV Cloud Computing Co Ltd
Original Assignee
LeTV Cloud Computing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LeTV Cloud Computing Co Ltd filed Critical LeTV Cloud Computing Co Ltd
Priority to CN201510923305.4A priority Critical patent/CN105871987A/zh
Publication of CN105871987A publication Critical patent/CN105871987A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0654—Management of faults, events, alarms or notifications using network fault recovery
    • H04L41/0668—Management of faults, events, alarms or notifications using network fault recovery by dynamic selection of recovery network elements, e.g. replacement by the most appropriate element after failure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1095—Replication or mirroring of data, e.g. scheduling or transport for data synchronisation between network nodes

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Hardware Redundancy (AREA)
  • Retry When Errors Occur (AREA)

Abstract

本发明涉及一种数据写入的高可用***及方法，该***包括：主集群以及一个或多个备集群，其中：所述主集群接收用户的写入操作，并记录所述写入操作至第一日志文件；所述主集群发出同步数据至所述备集群的请求；所述备集群接收来自于所述主集群的数据同步请求，并写入所述数据至所述备集群；及所述备集群启动对写入数据的定时删除机制。利用本发明可以节省存储和网络资源，有利于提供数据写入的高可用性，并且对于维护一个较小的备用集群而言，能有效降低***的复杂度。

Description

数据写入的高可用***及方法
【技术领域】
本发明涉及分布式数据库领域，尤其涉及一种数据写入的高可用***及方法。
【背景技术】
高可用性是指***不间断提供服务的能力，可以通过平均无故障时间(Mean Time Between Failures，MTBF)来度量。所述MTBF为计算机***平均能够正常运行多长时间才发生一次故障。***的可用性越高，平均无故障时间越长。
在当前信息***的环境下，每分每秒都会产生大量的数据。为保障如此巨大的数据量，一般采用分布式集群存储方案将数据分散的存储于大量独立的服务器上。在这样的集群中，增减服务器、服务器故障等出现的概率会提高，此时会造成集群中的数据需要进行大量迁移。而数据迁移过程需要占用服务器的CPU,网卡、磁盘及带宽等资源。一旦出现数据迁移的情况，势必会影响用户的写入，甚至是用户的写入请求完全被拒绝。但现实情况是，如果数据不能够被及时的写入到存储***，后续的针对数据的分析、处理操作都将无法进行。这将对企业的生产活动产生极大的负面影响。这种情况下，数据写入的高可用性是不足以满足需求的。
为提高分布式存储的写入高可用性，最常见的方法是对集群做全备份，即数据写入到主机群的同时，同步到备集群中。一旦主集群出现故障，就快速的切换到备集群中。此方案的最大缺点是会造成存储空间和网络带宽的浪费。因为在互联网的场景下，热点数据会被多次读取，而相对存储较久的数据实际上在绝大部分情况下，并不会被读取到。为了极小的一部分数据而浪费网络和存储资源，势必会造成企业成本的扩大。
【发明内容】
本发明要解决的技术问题是如何提供一种在数据具有明显的冷热特征，且对最新产生的数据具有非常高的可用性要求时，可以实现不对全量数据备份就可保障热点数据写入的高可用方法。
为解决上述技术问题，本发明提供以下技术方案
一方面，本发明提供一种数据写入的高可用***，该***包括：主集群以及一个或多个备集群，其中：
所述主集群接收用户的所有写入操作，并将所述操作记录到日志文件中；
所述主集群发出同步数据至所述备集群的请求；
所述备集群接收来自于所述主集群的同步请求，并将数据写入至所述备集群中；及
所述备集群启动对所述写入数据的定时删除机制。
另一方面，本发明还提供一种数据写入的高可用方法，应用于主集群以及一个或多个备集群中，该方法包括：
所述主集群接收用户的写入操作，并记录所述写入操作至第一日志文件；
所述主集群发出同步数据至所述备集群的请求；
所述备集群接收来自于所述主集群的数据同步请求，并写入所述数据至所述备集群；及
所述备集群启动对写入数据的定时删除机制。
本发明的有益效果在于在极大节省存储和网络资源，有利于提供数据写入的高可用性。对于维护一个较小的备用集群而言，能有效降低***的复杂度。
【附图说明】
图1是本发明数据写入的高可用***较佳实施例的示意图。
图2是本发明数据写入的高可用方法较佳实施例的流程图。
附图标记：
数据写入的高可用*** 1
主集群 2
备集群 3
服务器 20
输入输出单元 21
存储单元 22
处理单元 23
【具体实施方式】
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
参阅图1所示，是本发明数据写入的高可用***较佳实施例的示意图。
在本实施例中，所述的数据写入的高可用***1包括主集群2以及一个或多个备集群3。所述主集群2与所述备集群3通讯连接，所述通讯连接可以是有线网络通讯连接或无线网络通讯连接。
在本实施例中，所述主集群2和所述备集群3分别包括一个或多个服务器20(图中仅示出一个)。所述服务器20可以是机架式服务器、刀片式服务器、塔式服务器、机柜式服务器或计算机等计算设备。该服务器20包括，但不仅限于，输入输出单元21、存储单元22及处理单元23。所述输入输出单元21可以是按键式设备，例如鼠标、键盘及打印机等，也可以是触控式设备，例如LCD(Liquid Crystal Display，液晶)触摸屏或OLED(Organic Light-Emitting Diode，有机发光二极管)触摸屏等。该输入输出单元21用于接收用户的输入操作等。所述存储单元22可以是所述服务器20本身的内存，也可以是SD卡(Secure Digital Card，安全数字卡)、SM卡(Smart Media Card，智能媒体卡)等外部存储设备，用于存储所述服务器20中安装的程序代码及各类数据，例如用户写入的数据等。所述处理单元23用于运行所述存储单元22中存储的程序代码及运算各类数据。
在本实施例中，本发明所述数据写入的高可用***1可实现在分布式数据库主集群2和备集群3之间进行数据迁移，以实现所述主集群2与所述备集群3之间快速备份数据，提高数据写入的高可用性。并且由于对热数据有冗余的一份存储，在一定程度上也能够起到灾备的作用。其中主集群2和备集群3之间的交互请参看下面的方法实施例，此处不再一一赘述。
参阅图2所示，是本发明数据写入的高可用方法较佳实施例的流程图。根据不同的需求，图2所示的流程图中的步骤的执行顺序可以改变，某些步骤可以省略。
步骤S21，所述主集群2接收用户的写入操作，并记录所述写入操作至第一日志文件中。在本实施例中，所述第一日志文件为保存在所述主集群2中的文件。所述第一日志文件可以存储在分布式文件***HDFS中，所述第一日志文件包括，但不仅限于，写入的数据内容、所述数据写入所述主集群2的时间信息(或被更改的时间信息)。所述主集群2通过所述输入输出单元21接收用户的写入操作。
步骤S22，所述主集群2发出同步数据的请求至所述备集群3。在本实施例中，所述主集群2启动一个进程(agent)，发出同步数据的请求至所述备集群3，并根据所述第一日志文件，按顺序将写入的数据同步至所述备集群3中。
步骤S23，所述备集群3接收来自于所述主集群2的数据同步请求，并写入所述数据至所述备集群3。在本实施例中，所述备集群3启动守护进程，接收来自于所述主集群2的数据同步请求。
步骤S24，所述备集群3启动对写入数据的定时删除机制。在本实施例中，所述定时删除机制为每隔预设时间后删除存储在所述备集群3中数据的机制。所述预设时间根据数据的冷热情况配置，例如一个月。而当需要大量访问超过一年的数据时，所述预设时间可以设置为一年。在本实施例中，通过所述定时删除机制可以删除较早以前存储的数据，从而维护所述备集群3。
步骤S25，当所述主集群2出现读写数据故障时，对所述主集群2和所述备集群3进行切换。在本实施例中，当所述主集群2出现读写数据故障时，对所述主集群2和所述备集群3进行切换，所述备集群3作为主集群2的身份来对数据进行读写。
步骤S26，所述备集群3接收用户当前的写入操作，并记录当前写入操作至第二日志文件。在本实施例中，所述第二日志文件为保存在所述备集群3中的文件。所述第二日志文件与所述第一日志文件一样包括，但不仅限于，写入的数据内容、所述数据写入所述备集群3的时间信息(或被更改的时间信息)。
步骤S27，当所述主集群2的读写数据故障消除时，所述备集群3同步所述第二日志文件至所述主集群2，再对所述备集群3和所述主集群2又进行一次切换。在本实施例中，当所述主集群2的读写数据故障消除时，所述备集群3发出同步所述第二日志文件的请求至所述主集群2。所述主集群2接收同步所述第二日志文件的请求，并再次切换所述备集群3与所述主集群2，如此可以重新切换回所述主集群2与所述备集群3的身份。这样，所述主集群2可以重新接收用户的写入操作，而对于用户的读取操作，可以根据查询所述第一日志文件和所述第二日志文件来决定从所述主集群2或者所述备集群3中读取数据。
另外，在所述主集群2处于故障期间，写入至所述备集群3的数据需要重新写入至所述主集群2中。所述备集群3发起数据同步请求至所述主集群2，请求同步所述主集群2故障期间写入至所述备集群3中的数据至所述主集群2。如此，所述主集群2若没有将数据完全恢复，即出现部分数据丢失的情况，由于所述备集群3中存储了所述预设时间内的数据，会在一定程度上降低数据丢失的概率。既保证了写入数据的高可用性，也在一定程度上达到了灾备的效果。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据写入的高可用***，其特征在于，该***包括：主集群以及一个或多个备集群，其中：
所述主集群，用于接收用户的写入操作，并记录所述写入操作至第一日志文件；并发出同步数据至所述备集群的请求；
所述备集群，用于接收来自于所述主集群的数据同步请求，并写入所述数据至所述备集群；并启动对写入数据的定时删除机制。
2.如权利要求1所述的数据写入的高可用***，其特征在于，
当所述主集群出现读写数据故障时，所述备集群还用于接收用户当前的写入操作，并记录当前写入操作至第二日志文件；和/或
当所述主集群的读写数据故障消除时，所述备集群还用于同步所述第二日志文件所述主集群。
3.如权利要求2所述的数据写入的高可用***，其特征在于，
所述备集群还用于发起数据同步请求至所述主集群，请求同步所述主集群故障期间写入至所述备集群中的数据至所述主集群。
4.如权利要求2所述的数据写入的高可用***，其特征在于，所述主集群还用于在接收用户的读取请求时，根据所述主集群的第一日志文件和所述备集群的第二日志文件来决定从所述主集群或者所述备集群中读取数据。
5.如权利要求1所述的数据写入的高可用***，其特征在于，所述定时删除机制为在预设时间后删除存储在所述备集群中的数据。
6.一种数据写入的高可用方法，应用于主集群以及一个或多个备集群中，其特征在于，该方法包括：
所述主集群接收用户的写入操作，并记录所述写入操作至第一日志文件；
所述主集群发出同步数据至所述备集群的请求；
所述备集群接收来自于所述主集群的数据同步请求，并写入所述数据至所述备集群；及
所述备集群启动对写入数据的定时删除机制。
7.如权利要求6所述的数据写入的高可用方法，其特征在于，所述方法还包括：
当所述主集群出现读写数据故障时，所述备集群接收用户当前的写入操作，并记录当前写入操作至第二日志文件；
当所述主集群的读写数据故障消除时，所述备集群同步所述第二日志文件所述主集群。
8.如权利要求7所述的数据写入的高可用方法，其特征在于，所述备集群发起数据同步请求至主集群，请求同步所述主集群故障期间写入至所述备集群中的数据至所述主集群。
9.如权利要求8所述的数据写入的高可用方法，其特征在于，所述主集群接收用户的读取请求时，根据所述主集群的第一日志文件和所述备集群的第二日志文件来决定从所述主集群或者所述备集群中读取数据。
10.如权利要求6所述的数据写入的高可用方法，其特征在于，所述定时删除机制为在预设时间后删除存储在所述备集群中的数据。
CN201510923305.4A 2015-12-14 2015-12-14 数据写入的高可用***及方法 Pending CN105871987A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510923305.4A CN105871987A (zh) 2015-12-14 2015-12-14 数据写入的高可用***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510923305.4A CN105871987A (zh) 2015-12-14 2015-12-14 数据写入的高可用***及方法

Publications (1)

Publication Number Publication Date
CN105871987A true CN105871987A (zh) 2016-08-17

Family

ID=56624143

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510923305.4A Pending CN105871987A (zh) 2015-12-14 2015-12-14 数据写入的高可用***及方法

Country Status (1)

Country Link
CN (1) CN105871987A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101514A (zh) * 2017-06-21 2018-12-28 北京国双科技有限公司 数据导入方法及装置
CN109408280A (zh) * 2017-08-17 2019-03-01 北京金山云网络技术有限公司 数据备份方法、装置及***
CN112000735A (zh) * 2020-08-05 2020-11-27 中国邮政储蓄银行股份有限公司 一种数据处理方法、装置、***

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101930468A (zh) * 2010-08-31 2010-12-29 中兴通讯股份有限公司 文件获取方法及***
CN102088361A (zh) * 2009-12-02 2011-06-08 成都市华为赛门铁克科技有限公司 数据备份设备、方法和***
CN102867035A (zh) * 2012-08-28 2013-01-09 浪潮(北京)电子信息产业有限公司 一种分布式文件***集群高可用方法和装置
CN103593256A (zh) * 2012-08-15 2014-02-19 阿里巴巴集团控股有限公司 一种基于多层排重的虚机快照备份方法和***
CN103645971A (zh) * 2013-12-13 2014-03-19 江苏名通信息科技有限公司 Linux***下文件备份及转移方法
CN104424283A (zh) * 2013-08-30 2015-03-18 阿里巴巴集团控股有限公司 一种数据迁移的***和数据迁移的方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102088361A (zh) * 2009-12-02 2011-06-08 成都市华为赛门铁克科技有限公司 数据备份设备、方法和***
CN101930468A (zh) * 2010-08-31 2010-12-29 中兴通讯股份有限公司 文件获取方法及***
CN103593256A (zh) * 2012-08-15 2014-02-19 阿里巴巴集团控股有限公司 一种基于多层排重的虚机快照备份方法和***
CN102867035A (zh) * 2012-08-28 2013-01-09 浪潮(北京)电子信息产业有限公司 一种分布式文件***集群高可用方法和装置
CN104424283A (zh) * 2013-08-30 2015-03-18 阿里巴巴集团控股有限公司 一种数据迁移的***和数据迁移的方法
CN103645971A (zh) * 2013-12-13 2014-03-19 江苏名通信息科技有限公司 Linux***下文件备份及转移方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109101514A (zh) * 2017-06-21 2018-12-28 北京国双科技有限公司 数据导入方法及装置
CN109408280A (zh) * 2017-08-17 2019-03-01 北京金山云网络技术有限公司 数据备份方法、装置及***
CN112000735A (zh) * 2020-08-05 2020-11-27 中国邮政储蓄银行股份有限公司 一种数据处理方法、装置、***

Similar Documents

Publication Publication Date Title
US10956601B2 (en) Fully managed account level blob data encryption in a distributed storage environment
US8868858B2 (en) Method and apparatus of continuous data backup and access using virtual machines
US10659225B2 (en) Encrypting existing live unencrypted data using age-based garbage collection
US9152501B2 (en) Write performance in fault-tolerant clustered storage systems
CN102024044B (zh) 分布式文件***
US9477565B2 (en) Data access with tolerance of disk fault
US10719407B1 (en) Backing up availability group databases configured on multi-node virtual servers
US20150213100A1 (en) Data synchronization method and system
CN103516736A (zh) 分布式缓存***的数据恢复方法及装置
US9753792B2 (en) Method and system for byzantine fault tolerant data replication
CN103929500A (zh) 一种分布式存储***的数据分片方法
CN103268318A (zh) 一种强一致性的分布式键值数据库***及其读写方法
US8566636B2 (en) Application recovery in a file system
US20120278429A1 (en) Cluster system, synchronization controlling method, server, and synchronization controlling program
CN103037004A (zh) 云存储***操作的实现方法和装置
CN101901250A (zh) 一种内存数据库及其数据处理方法
US8527454B2 (en) Data replication using a shared resource
CN103516549A (zh) 一种基于共享对象存储的文件***元数据日志机制
CN102110154A (zh) 一种集群文件***中文件冗余存储方法
US8683258B2 (en) Fast I/O failure detection and cluster wide failover
CN115167782B (zh) 临时存储副本管理方法、***、设备和存储介质
CN105871987A (zh) 数据写入的高可用***及方法
CN108259569A (zh) 一种基于ipsan共享存储的无代理连续数据保护方法
US9465810B2 (en) Method and system for a fast full style system check using multithreaded read ahead
CN109254880B (zh) 一种处理数据库宕机的方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160817