CN103970907A - 一种动态扩展数据库集群的方法 - Google Patents
一种动态扩展数据库集群的方法 Download PDFInfo
- Publication number
- CN103970907A CN103970907A CN201410228562.1A CN201410228562A CN103970907A CN 103970907 A CN103970907 A CN 103970907A CN 201410228562 A CN201410228562 A CN 201410228562A CN 103970907 A CN103970907 A CN 103970907A
- Authority
- CN
- China
- Prior art keywords
- node
- module
- cluster
- resource
- added
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 11
- 238000013459 approach Methods 0.000 claims abstract description 9
- 238000012544 monitoring process Methods 0.000 claims description 18
- 238000013500 data storage Methods 0.000 claims description 3
- 241000238876 Acari Species 0.000 claims description 2
- 230000000737 periodic effect Effects 0.000 claims description 2
- 230000002159 abnormal effect Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 abstract description 2
- 230000015556 catabolic process Effects 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/217—Database tuning
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明提供一种动态扩展数据库集群的方法，适用于具有可动态扩展的数据库集群在资源包括：内存、CPU、磁盘等快接近满载时，自动触发式的增加服务器节点到集群，实现无人工操作干预的实时扩展。该***提供了一种数据库集群的实时自动扩展途径，使得具有动态横向扩展能力的数据库集群自动增加资源，实现实时的扩展；解决当资源匮乏时带来的性能下降、功能出错和***崩溃等影响正常业务的异常问题，提高***的可用性和稳定性。
Description
技术领域
本发明涉及一种数据库技术领域, 具体地说是一种动态扩展数据库集群的方法。
背景技术
目前，较为成熟的可横向扩展的数据库集群均可动态扩展，即可在线不停业务状态下新增节点。但是动态扩展的过程需要人工干预，当资源不足时，如果无人员监控采取对应的解决措施，依然会引发业务的处理能力下降，甚至引发***崩溃。本发明就是实现实时扩展，能够自动解决资源不足带来的问题。
发明内容
本发明的目的是提供一种动态扩展数据库集群的方法。
本发明的目的是按以下方式实现的，***包括：资源监控模块（1）；待添加节点管理模块（2）；触发自动横向扩展模块（3）；已扩展集群任务负载均衡模块（4），其中：
资源监控模块（1）负责对数据库集群内存、CPU、磁盘等资源的监控，当业务需要的集群的资源接近满载时，发出告警；
待添加节点管理模块（2）负责管理当集群需要扩展时可用的数据库节点；
触发自动横向扩展模块（3）负责触发扩展事件，执行可用数据库节点添加工作；
已扩展集群任务负载均衡模块（4）负责数据库集群任务负载均衡执行，使新增节点分担一定量的任务；
具体步骤如下：
1）资源监控模块（1）进行数据库集群的总体资源包括内存、CPU、磁盘的监控，对资源使用量进行周期性报告，然后资源使用量进行判断是否已接近满载，即是否达到了设定的限额；
2）资源监控模块（1）判断如果资源已接近满载，则发出告警信息触发扩展事件；
3）然后，待添加节点管理模块（2）查找可添加节点的信息列表，查找是否有可用的节点，如果有节点可添加，则触发自动横向扩展模块（3）执行新节点的添加工作；
4）如果新节点没有添加成功，则再次的到添加节点管理模块（2）尝试查找另一个可用节点；
5）触发自动横向扩展模块（3）如果新节点添加成功，则由待添加节点管理模块（2）负责将已添加的节点标记为已使用，并且触发集群进行负载均衡操作；
6）已扩展集群任务负载均衡模块（4）来完成新增节点后的集群负载均衡，使新节点承担相应的任务，包括数据存储、读写操作。
本发明的一种动态扩展数据库集群方法的优异效果是，适用于具有可动态扩展的数据库集群在资源（内存、CPU、磁盘等）快接近满载时，自动触发式的增加服务器节点到集群，实现无人工操作干预的实时扩展。该方法提供了一种数据库集群的实时自动扩展途径，使得具有动态横向扩展能力的数据库集群自动增加资源，实现实时的扩展；解决当资源匮乏时带来的性能下降、功能出错和***崩溃等影响正常业务的异常问题，提高***的可用性和稳定性。
附图说明
图1是数据库集群实时横向扩展实现流程图。
具体实施方式
参照说明书附图对本发明的方法作以下详细地说明。
实施例:
该方法的适用的体系结构包括：资源监控模块（1）；待添加节点管理模块（2）；触发自动横向扩展模块（3）；已扩展集群任务负载均衡模块（4）。
资源监控模块（1）主要负责对数据库集群内存、CPU、磁盘等资源的监控，当业务需要的集群的资源接近满载时，发出告警。
待添加节点管理模块（2）主要负责管理当集群需要扩展时可用的数据库节点。
触发自动横向扩展模块（3）主要负责触发扩展事件，执行可用数据库节点添加工作。
已扩展集群任务负载均衡模块（4）主要负责数据库集群任务负载均衡执行，使新增节点分担一定量的任务。
1、所述的待添加节点管理模块（2），是将自动添加的节点信息预先进行配置，当需要时通过此列表查询可用节点，并对节点状态进行标记。
所述的触发自动横向扩展模块（3），是对于资源监控模块（1）的资源监测报告进行分析，当资源接近满载时，即到达设定的某个标准线时，实时触发新增节点事件。
按说明书附图所示，具体步骤如下：
（1） 待添加节点管理模块（2）管理一个当实时扩展时要新增节点的信息（一般为主机IP）列表，如果列表中的节点已经添加成功，将其标记为被使用状态。这个列表的维护是全局的，在集群启动后就加载完毕，一般服务运行在全局控制节点上。
（2）资源监控模块（1）发出的资源不足告警，作为触发事件，使待添加节点管理模块（2）进行判断是否有可增加的有效节点；如果有可用的节点，则交付给触发自动横向扩展模块（3）进行新节点的添加；否则如果没有可用的节点，则返回错误。
触发自动横向扩展模块（3）执行新节点的添加工作，启动或唤醒新节点，然后启动数据库服务。如果新增节点失败则将返回到查询可添加节点列表步骤，进行再次的节点添加尝试；如果新增成功，则使集群进行任务负载均衡，使新节点负载相应的任务（数据存储、读写操作等）。
除说明书所述的技术特征外，均为本专业技术人员的已知技术。
Claims (1)
1.一种动态扩展数据库集群的方法, 其特征在于***包括：资源监控模块（1）；待添加节点管理模块（2）；触发自动横向扩展模块（3）；已扩展集群任务负载均衡模块（4），其中：
资源监控模块（1）负责对数据库集群内存、CPU、磁盘等资源的监控，当业务需要的集群的资源接近满载时，发出告警；
待添加节点管理模块（2）负责管理当集群需要扩展时可用的数据库节点；
触发自动横向扩展模块（3）负责触发扩展事件，执行可用数据库节点添加工作；
已扩展集群任务负载均衡模块（4）负责数据库集群任务负载均衡执行，使新增节点分担一定量的任务；
具体步骤如下：
1）资源监控模块（1）进行数据库集群的总体资源包括内存、CPU、磁盘的监控，对资源使用量进行周期性报告，然后资源使用量进行判断是否已接近满载，即是否达到了设定的限额；
2）资源监控模块（1）判断如果资源已接近满载，则发出告警信息触发扩展事件；
3）然后，待添加节点管理模块（2）查找可添加节点的信息列表，查找是否有可用的节点，如果有节点可添加，则触发自动横向扩展模块（3）执行新节点的添加工作；
4）如果新节点没有添加成功，则再次的到添加节点管理模块（2）尝试查找另一个可用节点；
5）触发自动横向扩展模块（3）如果新节点添加成功，则由待添加节点管理模块（2）负责将已添加的节点标记为已使用，并且触发集群进行负载均衡操作；
6）已扩展集群任务负载均衡模块（4）来完成新增节点后的集群负载均衡，使新节点承担相应的任务，包括数据存储、读写操作。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410228562.1A CN103970907A (zh) | 2014-05-28 | 2014-05-28 | 一种动态扩展数据库集群的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410228562.1A CN103970907A (zh) | 2014-05-28 | 2014-05-28 | 一种动态扩展数据库集群的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103970907A true CN103970907A (zh) | 2014-08-06 |
Family
ID=51240405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410228562.1A Pending CN103970907A (zh) | 2014-05-28 | 2014-05-28 | 一种动态扩展数据库集群的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103970907A (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105760510A (zh) * | 2016-02-24 | 2016-07-13 | 浪潮通用软件有限公司 | 一种软件业务***的数据库横向扩展方法 |
| CN106446268A (zh) * | 2016-10-19 | 2017-02-22 | 中国工商银行股份有限公司 | 一种数据库横向扩展***及方法 |
| CN106603631A (zh) * | 2016-11-17 | 2017-04-26 | 北京奇艺世纪科技有限公司 | 分布式消息***及扩容方法 |
| CN106682199A (zh) * | 2016-12-29 | 2017-05-17 | 北京奇虎科技有限公司 | 一种实现Mongos集群自动化扩容的方法和装置 |
| CN109669642A (zh) * | 2018-12-24 | 2019-04-23 | 广东浪潮大数据研究有限公司 | 存储***的节点加入方法、***、装置及可读存储介质 |
| CN109783391A (zh) * | 2019-01-28 | 2019-05-21 | 浪潮软件集团有限公司 | 一种基于用户大数据行为反馈数据的分布式数据库测试方法和*** |
| CN110995856A (zh) * | 2019-12-16 | 2020-04-10 | 上海米哈游天命科技有限公司 | 一种服务器扩展的方法、装置、设备及存储介质 |
| CN114615277A (zh) * | 2022-03-04 | 2022-06-10 | 杭州觅恒科技有限公司 | 一种基于emq x的多集群动态扩展方法及*** |
| CN115417025A (zh) * | 2022-08-12 | 2022-12-02 | 广州大学 | 分布式处理的智能垃圾分类方法、装置及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6832236B1 (en) * | 1999-07-08 | 2004-12-14 | International Business Machines Corporation | Method and system for implementing automatic filesystem growth monitor for production UNIX computer system |
| CN101140594A (zh) * | 2007-10-12 | 2008-03-12 | 中兴通讯股份有限公司 | 一种数据库空间自动扩展的方法及管理模块 |
| CN102244685A (zh) * | 2011-08-11 | 2011-11-16 | 中国科学院软件研究所 | 一种支持负载均衡的分布式缓存动态伸缩方法及*** |
| CN103095804A (zh) * | 2011-12-13 | 2013-05-08 | 微软公司 | 集群存储***中的负载平衡 |
-
2014
- 2014-05-28 CN CN201410228562.1A patent/CN103970907A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6832236B1 (en) * | 1999-07-08 | 2004-12-14 | International Business Machines Corporation | Method and system for implementing automatic filesystem growth monitor for production UNIX computer system |
| CN101140594A (zh) * | 2007-10-12 | 2008-03-12 | 中兴通讯股份有限公司 | 一种数据库空间自动扩展的方法及管理模块 |
| CN102244685A (zh) * | 2011-08-11 | 2011-11-16 | 中国科学院软件研究所 | 一种支持负载均衡的分布式缓存动态伸缩方法及*** |
| CN103095804A (zh) * | 2011-12-13 | 2013-05-08 | 微软公司 | 集群存储***中的负载平衡 |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105760510A (zh) * | 2016-02-24 | 2016-07-13 | 浪潮通用软件有限公司 | 一种软件业务***的数据库横向扩展方法 |
| CN106446268A (zh) * | 2016-10-19 | 2017-02-22 | 中国工商银行股份有限公司 | 一种数据库横向扩展***及方法 |
| CN106603631B (zh) * | 2016-11-17 | 2020-07-03 | 北京奇艺世纪科技有限公司 | 分布式消息***及扩容方法 |
| CN106603631A (zh) * | 2016-11-17 | 2017-04-26 | 北京奇艺世纪科技有限公司 | 分布式消息***及扩容方法 |
| CN106682199A (zh) * | 2016-12-29 | 2017-05-17 | 北京奇虎科技有限公司 | 一种实现Mongos集群自动化扩容的方法和装置 |
| CN106682199B (zh) * | 2016-12-29 | 2020-09-01 | 北京奇虎科技有限公司 | 一种实现Mongos集群自动化扩容的方法和装置 |
| CN109669642B (zh) * | 2018-12-24 | 2022-06-10 | 广东浪潮大数据研究有限公司 | 存储***的节点加入方法、***、装置及可读存储介质 |
| CN109669642A (zh) * | 2018-12-24 | 2019-04-23 | 广东浪潮大数据研究有限公司 | 存储***的节点加入方法、***、装置及可读存储介质 |
| CN109783391A (zh) * | 2019-01-28 | 2019-05-21 | 浪潮软件集团有限公司 | 一种基于用户大数据行为反馈数据的分布式数据库测试方法和*** |
| CN110995856A (zh) * | 2019-12-16 | 2020-04-10 | 上海米哈游天命科技有限公司 | 一种服务器扩展的方法、装置、设备及存储介质 |
| CN110995856B (zh) * | 2019-12-16 | 2022-09-13 | 上海米哈游天命科技有限公司 | 一种服务器扩展的方法、装置、设备及存储介质 |
| CN114615277A (zh) * | 2022-03-04 | 2022-06-10 | 杭州觅恒科技有限公司 | 一种基于emq x的多集群动态扩展方法及*** |
| CN114615277B (zh) * | 2022-03-04 | 2024-01-16 | 杭州觅恒科技有限公司 | 一种基于emq x的多集群动态扩展方法及*** |
| CN115417025A (zh) * | 2022-08-12 | 2022-12-02 | 广州大学 | 分布式处理的智能垃圾分类方法、装置及存储介质 |
| CN115417025B (zh) * | 2022-08-12 | 2024-01-12 | 广州大学 | 分布式处理的智能垃圾分类方法、装置及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103970907A (zh) | 一种动态扩展数据库集群的方法 | |
| CN102882909B (zh) | 云计算服务监控***及方法 | |
| TWI669620B (zh) | Database switching method, server, storage medium, electronic device and product | |
| US9053166B2 (en) | Dynamically varying the number of database replicas | |
| CN102917025B (zh) | 一种云计算平台的业务迁移方法 | |
| US10228977B2 (en) | Managing distributed analytics on device groups | |
| US10171620B2 (en) | Non-transitory computer-readable recording medium having stored therein control program, control apparatus and control method | |
| US9146705B2 (en) | Split brain protection in computer clusters | |
| US9600487B1 (en) | Self healing and restartable multi-steam data backup | |
| CN106777126B (zh) | 一种支持异构时序数据库的数据在线迁移方法 | |
| CN103502942A (zh) | 虚拟机管理设备、虚拟机管理方法及其程序 | |
| US9225586B2 (en) | Automatic expansion method, management device, management system | |
| CN102546256A (zh) | 用于对云计算服务进行监控的***及方法 | |
| WO2016169166A1 (zh) | 虚拟机调度方法和装置 | |
| CN107656705B (zh) | 一种计算机存储介质和一种数据迁移方法、装置及*** | |
| CN109241004A (zh) | 元数据文件大小恢复方法、***、装置及可读存储介质 | |
| CN103973516A (zh) | 一种数据处理***中实现监控功能的方法及装置 | |
| CN105262640A (zh) | 一种提升云平台服务器可靠性的***、方法及其部署框架 | |
| CN104753992A (zh) | 一种数据存储、虚拟平台故障恢复的方法、设备和*** | |
| CN106201772A (zh) | 一种基于数据中心的操作***备份、恢复方法及装置 | |
| CN107943615B (zh) | 基于分布式集群的数据处理方法与*** | |
| CN106815318B (zh) | 一种时序数据库的集群化方法及*** | |
| CN104461757A (zh) | 一种恢复虚拟机的方法及装置 | |
| CN101207518B (zh) | 一种面向分布式资源节点的异步维护*** | |
| US20160006635A1 (en) | Monitoring method and monitoring system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140806 |
|
| WD01 | Invention patent application deemed withdrawn after publication |