CN106446031A - 一种大规模集群数据库快速节点替换方法 - Google Patents

一种大规模集群数据库快速节点替换方法 Download PDF

Info

Publication number
CN106446031A
CN106446031A CN201610777769.3A CN201610777769A CN106446031A CN 106446031 A CN106446031 A CN 106446031A CN 201610777769 A CN201610777769 A CN 201610777769A CN 106446031 A CN106446031 A CN 106446031A
Authority
CN
China
Prior art keywords
node
database
cluster
user
synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610777769.3A
Other languages
English (en)
Inventor
武新
崔维力
侯文强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TIANJIN NANKAI UNIVERSITY GENERAL DATA TECHNOLOGIES Co Ltd
Original Assignee
TIANJIN NANKAI UNIVERSITY GENERAL DATA TECHNOLOGIES Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TIANJIN NANKAI UNIVERSITY GENERAL DATA TECHNOLOGIES Co Ltd filed Critical TIANJIN NANKAI UNIVERSITY GENERAL DATA TECHNOLOGIES Co Ltd
Priority to CN201610777769.3A priority Critical patent/CN106446031A/zh
Publication of CN106446031A publication Critical patent/CN106446031A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21Design, administration or maintenance of databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • G06F16/273Asynchronous replication or reconciliation

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提供一种大规模集群数据库快速节点替换方法,包括以下步骤:设置节点不可用状态;安装替换节点的新节点的安装程序,进行新节点和集群配置;设置集群模式为只读,判断写操作是否执行完成;当写操作执行完成后,同步元数据;元数据同步完成后,恢复集群模式为正常,对用户的数据设置同步数据标志,根据同步数据标志进行用户数据同步。一种大规模集群数据库快速节点替换方法,将数据节点替换过程分为两步进行:元数据同步和用户数据同步。元数据同步期间禁止用户对数据库进行写操作,用户数据同步期间允许用户进行所有的数据库操作。数据库元数据的数据量一般不大,同步时间短,会最大限度减少用户不能对数据库进行写操作的时间。

Description

一种大规模集群数据库快速节点替换方法
技术领域
本发明涉及数据库节点替换领域,尤其涉及一种大规模集群数据库快速节点替换方法。
背景技术
随着集群数据库规模的扩大,集群节点的数量不断增加,集群节点的损坏会成为一个常见的现象。同时随着数据量的增大,单个节点的计算能力和存储能力也会成为瓶颈。这两种情况下都需要对集群节点进行替换升级,使集群能够正常工作,这正是本发明的典型应用场景。
运用手工方法也可以对集群数据节点进行替换,这样操作的问题在于:
一,需要停止当前集群,中断用户的业务操作来等待管理员进行替换操作。
二,在数据量巨大时,替换数据节点的耗时非常大,用户的业务停顿时间也会很长,这对于一些实时性要求比较高的用户是不能忍受的。
发明内容
本发明要解决以上技术问题,提供一种大规模集群数据库快速节点替换方法。
为解决上述技术问题,本发明采用的技术方案是:一种大规模集群数据库快速节点替换方法,包括以下步骤:
设置节点不可用状态;
安装替换所述节点的新节点的安装程序,进行所述新节点和集群配置;
设置所述集群模式为只读,判断写操作是否执行完成;
当写操作执行完成后,同步元数据;
所述元数据同步完成后,恢复所述集群模式为正常,对用户的数据设置同步数据标志,根据所述同步数据标志进行用户数据同步。
本发明具有的优点和积极效果是:一种大规模集群数据库快速节点替换方法,将数据节点替换过程分为两步进行:元数据同步和用户数据同步。元数据同步期间禁止用户对数据库进行写操作,用户数据同步期间允许用户进行所有的数据库操作。数据库元数据的数据量一般不大,同步时间短,会最大限度减少用户不能对数据库进行写操作的时间,能够快速更换大规模集群数据库中的数据节点。
具体实施方式
一种大规模集群数据库快速节点替换方法,包括以下步骤:
1)设置节点不可用状态,屏蔽数据库对于损坏节点的操作,减少数据库执行的无效操作。
2)替换安装简化替换节点的安装过程,并自动进行配置,使新节点和集群兼容,不需要用户手工进行。
3)节点替换进行元数据同步前,首先设置集群模式为只读,阻止集群后续所有的写操作,并等待当前写操作执行完成。当确认集群没有写操作后,开始同步数据库的元数据,同步完成后,对用户的数据设置同步数据标志,设置完成后,恢复集群模式为正常,允许用户进行任何操作。此时可以从集群状态中看到集群数据不一致。
4)元数据同步完成后,自动恢复根据设置的数据同步标志进行用户念数据的同步操作,此时不阻塞用户的任何操作。用户数据同步完成后,集群数据状态一致。
一种大规模集群数据库快速节点替换方法的最佳实施方式,若需要对集群中一个节点进行替换,则按照如下步骤进行:
步骤1:发现一个节点损坏或需要替换,设置节点状态为不可用(UNAVAILABLE)。
步骤2:准备新的机器,安装和原节点相同的操作***。
步骤3:把原节点机器从集群撤出,配置新节点的IP和原节点一样。
步骤4:执行节点替换命令,对节点进行替换。
步骤5:替换命令成功后,检查集群状态,当集群状态已经恢复正常时,检查所有的用户表数据和替换前一样。
以上对本发明的实施例进行了详细说明,但所述内容仅为本发明的较佳实施例,不能被认为用于限定本发明的实施范围。凡依本发明范围所作的均等变化与改进等,均应仍归属于本专利涵盖范围之内。

Claims (1)

1.一种大规模集群数据库快速节点替换方法,其特征在于:包括以下步骤:
设置节点不可用状态;
安装替换所述节点的新节点的安装程序,进行所述新节点和集群配置;
设置所述集群模式为只读,判断写操作是否执行完成;
当写操作执行完成后,同步元数据;
所述元数据同步完成后,恢复所述集群模式为正常,对用户的数据设置同步数据标志,根据所述同步数据标志进行用户数据同步。
CN201610777769.3A 2016-08-31 2016-08-31 一种大规模集群数据库快速节点替换方法 Pending CN106446031A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610777769.3A CN106446031A (zh) 2016-08-31 2016-08-31 一种大规模集群数据库快速节点替换方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610777769.3A CN106446031A (zh) 2016-08-31 2016-08-31 一种大规模集群数据库快速节点替换方法

Publications (1)

Publication Number Publication Date
CN106446031A true CN106446031A (zh) 2017-02-22

Family

ID=58090721

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610777769.3A Pending CN106446031A (zh) 2016-08-31 2016-08-31 一种大规模集群数据库快速节点替换方法

Country Status (1)

Country Link
CN (1) CN106446031A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108984602A (zh) * 2018-06-05 2018-12-11 网易(杭州)网络有限公司 一种数据库控制方法和数据库***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090043887A1 (en) * 2002-11-27 2009-02-12 Oracle International Corporation Heartbeat mechanism for cluster systems
CN102158540A (zh) * 2011-02-18 2011-08-17 广州从兴电子开发有限公司 分布式数据库实现***及方法
CN102693324A (zh) * 2012-01-09 2012-09-26 西安电子科技大学 一种分布式数据库同步***、同步方法和节点管理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090043887A1 (en) * 2002-11-27 2009-02-12 Oracle International Corporation Heartbeat mechanism for cluster systems
CN102158540A (zh) * 2011-02-18 2011-08-17 广州从兴电子开发有限公司 分布式数据库实现***及方法
CN102693324A (zh) * 2012-01-09 2012-09-26 西安电子科技大学 一种分布式数据库同步***、同步方法和节点管理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108984602A (zh) * 2018-06-05 2018-12-11 网易(杭州)网络有限公司 一种数据库控制方法和数据库***
CN108984602B (zh) * 2018-06-05 2021-04-16 网易(杭州)网络有限公司 一种数据库控制方法和数据库***

Similar Documents

Publication Publication Date Title
CN108536752B (zh) 一种数据同步方法、装置和设备
CN102591964B (zh) 数据读写分离机制的实现方法和装置
CN102681917B (zh) 一种操作***及其修复方法
CN104239365A (zh) 一种获取数据库连接池中连接的方法和数据库连接池
CN108205560B (zh) 一种数据同步方法以及装置
CN104935618B (zh) 一种集群部署方法
CN112364049B (zh) 数据同步脚本生成方法、***、终端及存储介质
CN110263095B (zh) 数据备份与恢复方法、装置、计算机设备及存储介质
CN105701159A (zh) 一种数据同步装置和方法
EP3147789B1 (en) Method for re-establishing standby database, and apparatus thereof
CN104462342B (zh) 数据库快照同步处理方法及装置
US20130041868A1 (en) Data synchronization
CN106547584A (zh) 一种应用程序的回退方法及装置
CN111177173A (zh) 大数据环境下实现数据同步优化处理的***及其方法
CN112367186B (zh) 一种基于0penStack裸机的故障保护方法及装置
CN106446031A (zh) 一种大规模集群数据库快速节点替换方法
CN109491679B (zh) 一种cpld在线升级方法及装置
CN107621994A (zh) 一种数据快照创建的方法及装置
CN105760456B (zh) 一种保持数据一致性的方法和装置
CN112597242B (zh) 一种基于涉及批量任务的应用***数据切片的抽取方法
CN108984660A (zh) 一种MySQL数据库主从同步数据去重方法
CN110569231B (zh) 数据迁移方法、装置、设备和介质
CN102413154A (zh) 一种***之间数据信息同步的方法及装置
CN103327105A (zh) hadoop***中从属节点服务自动恢复方法
CN103281326A (zh) 一种基于相同密钥的集群***无密码访问配置方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20170222