CN106446031A - 一种大规模集群数据库快速节点替换方法 - Google Patents
一种大规模集群数据库快速节点替换方法 Download PDFInfo
- Publication number
- CN106446031A CN106446031A CN201610777769.3A CN201610777769A CN106446031A CN 106446031 A CN106446031 A CN 106446031A CN 201610777769 A CN201610777769 A CN 201610777769A CN 106446031 A CN106446031 A CN 106446031A
- Authority
- CN
- China
- Prior art keywords
- node
- database
- cluster
- user
- synchronization
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/273—Asynchronous replication or reconciliation
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种大规模集群数据库快速节点替换方法,包括以下步骤:设置节点不可用状态;安装替换节点的新节点的安装程序,进行新节点和集群配置;设置集群模式为只读,判断写操作是否执行完成;当写操作执行完成后,同步元数据;元数据同步完成后,恢复集群模式为正常,对用户的数据设置同步数据标志,根据同步数据标志进行用户数据同步。一种大规模集群数据库快速节点替换方法,将数据节点替换过程分为两步进行:元数据同步和用户数据同步。元数据同步期间禁止用户对数据库进行写操作,用户数据同步期间允许用户进行所有的数据库操作。数据库元数据的数据量一般不大,同步时间短,会最大限度减少用户不能对数据库进行写操作的时间。
Description
技术领域
本发明涉及数据库节点替换领域,尤其涉及一种大规模集群数据库快速节点替换方法。
背景技术
随着集群数据库规模的扩大,集群节点的数量不断增加,集群节点的损坏会成为一个常见的现象。同时随着数据量的增大,单个节点的计算能力和存储能力也会成为瓶颈。这两种情况下都需要对集群节点进行替换升级,使集群能够正常工作,这正是本发明的典型应用场景。
运用手工方法也可以对集群数据节点进行替换,这样操作的问题在于:
一,需要停止当前集群,中断用户的业务操作来等待管理员进行替换操作。
二,在数据量巨大时,替换数据节点的耗时非常大,用户的业务停顿时间也会很长,这对于一些实时性要求比较高的用户是不能忍受的。
发明内容
本发明要解决以上技术问题,提供一种大规模集群数据库快速节点替换方法。
为解决上述技术问题,本发明采用的技术方案是:一种大规模集群数据库快速节点替换方法,包括以下步骤:
设置节点不可用状态;
安装替换所述节点的新节点的安装程序,进行所述新节点和集群配置;
设置所述集群模式为只读,判断写操作是否执行完成;
当写操作执行完成后,同步元数据;
所述元数据同步完成后,恢复所述集群模式为正常,对用户的数据设置同步数据标志,根据所述同步数据标志进行用户数据同步。
本发明具有的优点和积极效果是:一种大规模集群数据库快速节点替换方法,将数据节点替换过程分为两步进行:元数据同步和用户数据同步。元数据同步期间禁止用户对数据库进行写操作,用户数据同步期间允许用户进行所有的数据库操作。数据库元数据的数据量一般不大,同步时间短,会最大限度减少用户不能对数据库进行写操作的时间,能够快速更换大规模集群数据库中的数据节点。
具体实施方式
一种大规模集群数据库快速节点替换方法,包括以下步骤:
1)设置节点不可用状态,屏蔽数据库对于损坏节点的操作,减少数据库执行的无效操作。
2)替换安装简化替换节点的安装过程,并自动进行配置,使新节点和集群兼容,不需要用户手工进行。
3)节点替换进行元数据同步前,首先设置集群模式为只读,阻止集群后续所有的写操作,并等待当前写操作执行完成。当确认集群没有写操作后,开始同步数据库的元数据,同步完成后,对用户的数据设置同步数据标志,设置完成后,恢复集群模式为正常,允许用户进行任何操作。此时可以从集群状态中看到集群数据不一致。
4)元数据同步完成后,自动恢复根据设置的数据同步标志进行用户念数据的同步操作,此时不阻塞用户的任何操作。用户数据同步完成后,集群数据状态一致。
一种大规模集群数据库快速节点替换方法的最佳实施方式,若需要对集群中一个节点进行替换,则按照如下步骤进行:
步骤1:发现一个节点损坏或需要替换,设置节点状态为不可用(UNAVAILABLE)。
步骤2:准备新的机器,安装和原节点相同的操作***。
步骤3:把原节点机器从集群撤出,配置新节点的IP和原节点一样。
步骤4:执行节点替换命令,对节点进行替换。
步骤5:替换命令成功后,检查集群状态,当集群状态已经恢复正常时,检查所有的用户表数据和替换前一样。
以上对本发明的实施例进行了详细说明,但所述内容仅为本发明的较佳实施例,不能被认为用于限定本发明的实施范围。凡依本发明范围所作的均等变化与改进等,均应仍归属于本专利涵盖范围之内。
Claims (1)
1.一种大规模集群数据库快速节点替换方法,其特征在于:包括以下步骤:
设置节点不可用状态;
安装替换所述节点的新节点的安装程序,进行所述新节点和集群配置;
设置所述集群模式为只读,判断写操作是否执行完成;
当写操作执行完成后,同步元数据;
所述元数据同步完成后,恢复所述集群模式为正常,对用户的数据设置同步数据标志,根据所述同步数据标志进行用户数据同步。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610777769.3A CN106446031A (zh) | 2016-08-31 | 2016-08-31 | 一种大规模集群数据库快速节点替换方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610777769.3A CN106446031A (zh) | 2016-08-31 | 2016-08-31 | 一种大规模集群数据库快速节点替换方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN106446031A true CN106446031A (zh) | 2017-02-22 |
Family
ID=58090721
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610777769.3A Pending CN106446031A (zh) | 2016-08-31 | 2016-08-31 | 一种大规模集群数据库快速节点替换方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106446031A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108984602A (zh) * | 2018-06-05 | 2018-12-11 | 网易(杭州)网络有限公司 | 一种数据库控制方法和数据库*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090043887A1 (en) * | 2002-11-27 | 2009-02-12 | Oracle International Corporation | Heartbeat mechanism for cluster systems |
CN102158540A (zh) * | 2011-02-18 | 2011-08-17 | 广州从兴电子开发有限公司 | 分布式数据库实现***及方法 |
CN102693324A (zh) * | 2012-01-09 | 2012-09-26 | 西安电子科技大学 | 一种分布式数据库同步***、同步方法和节点管理方法 |
-
2016
- 2016-08-31 CN CN201610777769.3A patent/CN106446031A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090043887A1 (en) * | 2002-11-27 | 2009-02-12 | Oracle International Corporation | Heartbeat mechanism for cluster systems |
CN102158540A (zh) * | 2011-02-18 | 2011-08-17 | 广州从兴电子开发有限公司 | 分布式数据库实现***及方法 |
CN102693324A (zh) * | 2012-01-09 | 2012-09-26 | 西安电子科技大学 | 一种分布式数据库同步***、同步方法和节点管理方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108984602A (zh) * | 2018-06-05 | 2018-12-11 | 网易(杭州)网络有限公司 | 一种数据库控制方法和数据库*** |
CN108984602B (zh) * | 2018-06-05 | 2021-04-16 | 网易(杭州)网络有限公司 | 一种数据库控制方法和数据库*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108536752B (zh) | 一种数据同步方法、装置和设备 | |
CN102591964B (zh) | 数据读写分离机制的实现方法和装置 | |
CN102681917B (zh) | 一种操作***及其修复方法 | |
CN104239365A (zh) | 一种获取数据库连接池中连接的方法和数据库连接池 | |
CN108205560B (zh) | 一种数据同步方法以及装置 | |
CN104935618B (zh) | 一种集群部署方法 | |
CN112364049B (zh) | 数据同步脚本生成方法、***、终端及存储介质 | |
CN110263095B (zh) | 数据备份与恢复方法、装置、计算机设备及存储介质 | |
CN105701159A (zh) | 一种数据同步装置和方法 | |
EP3147789B1 (en) | Method for re-establishing standby database, and apparatus thereof | |
CN104462342B (zh) | 数据库快照同步处理方法及装置 | |
US20130041868A1 (en) | Data synchronization | |
CN106547584A (zh) | 一种应用程序的回退方法及装置 | |
CN111177173A (zh) | 大数据环境下实现数据同步优化处理的***及其方法 | |
CN112367186B (zh) | 一种基于0penStack裸机的故障保护方法及装置 | |
CN106446031A (zh) | 一种大规模集群数据库快速节点替换方法 | |
CN109491679B (zh) | 一种cpld在线升级方法及装置 | |
CN107621994A (zh) | 一种数据快照创建的方法及装置 | |
CN105760456B (zh) | 一种保持数据一致性的方法和装置 | |
CN112597242B (zh) | 一种基于涉及批量任务的应用***数据切片的抽取方法 | |
CN108984660A (zh) | 一种MySQL数据库主从同步数据去重方法 | |
CN110569231B (zh) | 数据迁移方法、装置、设备和介质 | |
CN102413154A (zh) | 一种***之间数据信息同步的方法及装置 | |
CN103327105A (zh) | hadoop***中从属节点服务自动恢复方法 | |
CN103281326A (zh) | 一种基于相同密钥的集群***无密码访问配置方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170222 |