CN109271256A - 一种基于分布式部署的云资源管理和监控***及方法 - Google Patents

一种基于分布式部署的云资源管理和监控***及方法 Download PDF

Info

Publication number
CN109271256A
CN109271256A CN201811130033.2A CN201811130033A CN109271256A CN 109271256 A CN109271256 A CN 109271256A CN 201811130033 A CN201811130033 A CN 201811130033A CN 109271256 A CN109271256 A CN 109271256A
Authority
CN
China
Prior art keywords
cloud
data
monitoring
bus
resource
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811130033.2A
Other languages
English (en)
Inventor
张艳华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Inspur Software Co Ltd
Original Assignee
Inspur Software Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Inspur Software Co Ltd filed Critical Inspur Software Co Ltd
Priority to CN201811130033.2A priority Critical patent/CN109271256A/zh
Publication of CN109271256A publication Critical patent/CN109271256A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
    • G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H04L67/025—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP] for remote control or remote monitoring of applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multi Processors (AREA)

Abstract

本发明特别涉及一种基于分布式部署的云资源管理和监控***及方法。该基于分布式部署的云资源管理和监控***及方法，包括在不同地域的云资源池中分布式部署的控制器和监控器，所述控制器和监控器统一接入到云平台中，通过消息总线与云平台进行数据交互。该基于分布式部署的云资源管理和监控***及方法，不仅能够避免在不同地域资源池之间相互调用时由网络等原因导致的问题，在提高执行效率的同时保证安全性；而且通过监控数据总线的方式收集和传输监控数据，还能保证海量资源的监控数据传输完整性和安全性，保证数据不会因为断网等故障而缺失，提高了整个***的稳定性和可靠性。

Description

一种基于分布式部署的云资源管理和监控***及方法
技术领域
本发明涉及大数据云计算技术领域，特别涉及一种基于分布式部署的云资源管理和监控***及方法。
背景技术
随着信息化时代的高速发展，物联网、互联网、移动等领域的数据在不断产生，各行业拥有和使用的数据量越来越大，需要的计算能力也越来越高。传统的架构越来越力不从心。随着技术的不断发展，平台架构也在发生变化，拥有海量存储和极高计算力的大数据和云计算平台逐渐成熟。
现在大数据和云计算平台已经很常见，建立云计算平台需要将一个或多个地域的很多物理设备整合到一起，组成一个或多个拥有海量存储和计算资源的资源池。为了统一管理和使用资源池，提高资源利用率，并且能尽早发现和解决云平台运行中的问题，以及掌握资源的使用情况，就需要有一套对不同地域海量资源进行可靠的管理和监控的方法。但是现在业界并没有很好的公开的解决方案，特别是对分布式部署资源池的监控和管理更是力不从心。
基于上述情况，本发明设计了一种基于分布式部署的云资源管理和监控***及方法。
发明内容
本发明为了弥补现有技术的缺陷，提供了一种简单高效的基于分布式部署的云资源管理和监控***及方法。
本发明是通过如下技术方案实现的：
一种基于分布式部署的云资源管理和监控***，其特征在于：包括在不同地域的云资源池中分布式部署的控制器和监控器，所述控制器和监控器统一接入到云平台中，通过消息总线与云平台进行数据交互；所述控制器包括远端指令调度器，控制总线，本地资源仓库和指令执行器，云平台通过专用CPI（Computer PBX interface，计算机PBX接口）接口连接远端指令调度器；所述监控器包括资源监控器，监控数据总线，数据分析器，监控存储和服务监控器。
所述远端指令调度器通过API（Application Programming Interface，应用程序编程接口）连接本地云资源池，以实现对于本地云资源池内云主机的生命周期管理；同时，远端指令调度器和指令执行器均连接到控制总线，并通过控制总线实现数据交互；所述本地资源仓库连接到指令执行器。
所述控制总线包括操作指令队列总线和返回结果队列总线。
所述资源控制器通过API与本地云资源池对接，所述云平台，数据分析器，资源监控器和服务监控器均连接到监控数据总线，通过监控数据总线实现数据交互；所述监控存储连接到数据分析器，用于存储监控数据。
所述监控数据总线包括主机和中间件监控数据队列总线和汇总分析后的监控数据队列总线。
该基于分布式部署的云资源管理和监控***的监控方法，其特征在于：云平台对资源池的操作指令通过专用CPI接口发送给控制器，控制器负责从控制总线中接收云平台发出的操作指令，解析指令后发送给对应的主机或中间件去执行，并将执行结果通过控制总线返回给云平台；监控器负责收集本地云资源池的资源使用情况、中间件的运行情况和异常告警数据，经过计算和分析汇总后发送给云平台。
所述远端指令调度器调用本地云资源池API，实现对本地云资源池内云主机的生命周期管理；发送指令给控制总线，控制云中间件的生命周期管理；所述控制总线接收远端指令调度器发出的指令，采用集群模式，可实现对大规模的云资源池的可靠控制；所述指令执行器接收控制总线发送的指令，解析并执行，指令执行后将结果返回控制总线；同时，控制器会将云平台资源仓库的数据同步到本地云资源池中，本地云资源池在使用各种资源时可以直接从本地资源仓库中提取，提高了使用效率和安全性，减少了因网络出错的可能性。
所述云中间件包括web中间件，消息中间件，数据库和大数据；所述云中间件的生命周期管理包括创建、启停和销毁。
所述资源监控器与本地云资源池管理接口对接，周期性采集资源池运行和使用情况，VM虚拟机和中间件的主要运行指标数据，并发送到监控数据总线；所述监控数据总线接收资源监控器收集的资源池数据和服务监控器发送的VM虚拟机及中间件监控数据，采用集群模式，可对大规模的云资源池实现海量监控数据的接收和发送；所述数据分析器对监控数据总线接收的全部监控数据，按照配置的规则进行指标检测和计算，形成运行状态统计数据和告警数据，数据存储在监控存储的同时，同步发送给监控数据总线的监控数据队列，等待云平台接收，云平台收到监控VM、中间件及容器信息收集。
通过云资源池的调度产生VM虚拟机或者容器的时候，同时向VM虚拟机或者容器内部署服务监控器，负责对VM虚拟机或者容器以及内部的中间件服务运行状态及运行日志进行收集，并推送到监控数据总线。
本发明的有益效果是：该基于分布式部署的云资源管理和监控***及方法，不仅能够避免在不同地域资源池之间相互调用时由网络等原因导致的问题，在提高执行效率的同时保证安全性；而且通过监控数据总线的方式收集和传输监控数据，还能保证海量资源的监控数据传输完整性和安全性，保证数据不会因为断网等故障而缺失，提高了整个***的稳定性和可靠性。
附图说明
附图1为本发明基于分布式部署的云资源管理和监控***结构示意图。
附图2为本发明控制器结构示意图。
附图3为本发明监控器结构示意图。
具体实施方式
为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图和实施例，对本发明进行详细的说明。应当说明的是，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
该基于分布式部署的云资源管理和监控***，包括在不同地域的云资源池中分布式部署的控制器和监控器，所述控制器和监控器统一接入到云平台中，通过消息总线与云平台进行数据交互；所述控制器包括远端指令调度器，控制总线，本地资源仓库和指令执行器，云平台通过专用CPI接口连接远端指令调度器；所述监控器包括资源监控器，监控数据总线，数据分析器，监控存储和服务监控器。
所述远端指令调度器通过API（Application Programming Interface，应用程序编程接口）连接本地云资源池，以实现对于本地云资源池内云主机的生命周期管理；同时，远端指令调度器和指令执行器均连接到控制总线，并通过控制总线实现数据交互；所述本地资源仓库连接到指令执行器。
所述控制总线包括操作指令队列总线和返回结果队列总线。
所述资源控制器通过API与本地云资源池对接，所述云平台，数据分析器，资源监控器和服务监控器均连接到监控数据总线，通过监控数据总线实现数据交互；所述监控存储连接到数据分析器，用于存储监控数据。
所述监控数据总线包括主机和中间件监控数据队列总线和汇总分析后的监控数据队列总线。
该基于分布式部署的云资源管理和监控***的监控方法，云平台对资源池的操作指令通过专用CPI（Computer PBX interface，计算机PBX接口）接口发送给控制器，控制器负责从控制总线中接收云平台发出的操作指令，解析指令后发送给对应的主机或中间件去执行，并将执行结果通过控制总线返回给云平台；监控器负责收集本地云资源池的资源使用情况、中间件的运行情况和异常告警数据，经过计算和分析汇总后发送给云平台。
所述远端指令调度器调用本地云资源池API，实现对本地云资源池内云主机的生命周期管理；发送指令给控制总线，控制云中间件的生命周期管理；所述控制总线接收远端指令调度器发出的指令，采用集群模式，可实现对大规模的云资源池的可靠控制；所述指令执行器接收控制总线发送的指令，解析并执行，指令执行后将结果返回控制总线；同时，控制器会将云平台资源仓库的数据同步到本地云资源池中，本地云资源池在使用各种资源时可以直接从本地资源仓库中提取，提高了使用效率和安全性，减少了因网络出错的可能性。
所述云中间件包括web中间件，消息中间件，数据库和大数据；所述云中间件的生命周期管理包括创建、启停和销毁；所述本地资源仓库用于存放VM虚拟机和中间件创建和运行需要的资源，供资源池中的VM虚拟机和中间件服务使用。
所述资源监控器与本地云资源池管理接口对接，周期性采集资源池运行和使用情况，VM虚拟机和中间件的主要运行指标数据，并发送到监控数据总线；所述监控数据总线接收资源监控器收集的资源池数据和服务监控器发送的VM虚拟机及中间件监控数据，采用集群模式，可对大规模的云资源池实现海量监控数据的接收和发送；所述数据分析器对监控数据总线接收的全部监控数据，按照配置的规则进行指标检测和计算，形成运行状态统计数据和告警数据，数据存储在监控存储的同时，同步发送给监控数据总线的监控数据队列，等待云平台接收，云平台收到监控VM、中间件及容器信息收集。
通过云资源池的调度产生VM虚拟机或者容器的时候，同时向VM虚拟机或者容器内部署服务监控器，负责对VM虚拟机或者容器以及内部的中间件服务运行状态及运行日志进行收集，并推送到监控数据总线。
该基于分布式部署的云资源管理和监控***及方法，在不同地域的云资源池中分布式部署控制器和监控器组件，对云资源进行可靠的管理和监控。每个资源池有独立的控制器和监控器，由于控制器就在资源池内，所以可以让控制器直接操作本地的资源池，资源池也可以直接使用控制器创建的本地仓库的资源，都是在资源池内操作就避免了在不同地域之间相互调用由网络等原因导致的问题，提高了执行效率的同时也保证了安全性。
数据总线可以高效和可靠的传输大量的数据，云平台对资源的操作指令和监控器收集的监控数据统一通过数据总线传输，能保证海量资源的监控数据传输完整性和安全性。因此，在不同资源池之间出现网络中断等故障导致无法通信时，不影响资源池中中间件的创建运行和资源池的数据监控，资源池监控数据还可以正常收集，计算分析后会在本地保存，等网络接通后再推送给监控数据总线发给云平台接收，保证数据不会因为断网等故障而缺失，提高了整个***的稳定性和可靠性。

Claims (10)

1.一种基于分布式部署的云资源管理和监控***，其特征在于：包括在不同地域的云资源池中分布式部署的控制器和监控器，所述控制器和监控器统一接入到云平台中，通过消息总线与云平台进行数据交互；所述控制器包括远端指令调度器，控制总线，本地资源仓库和指令执行器，云平台通过专用CPI接口连接远端指令调度器；所述监控器包括资源监控器，监控数据总线，数据分析器，监控存储和服务监控器。
2.根据权利要求1所述的基于分布式部署的云资源管理和监控***，其特征在于：所述远端指令调度器通过API连接本地云资源池，以实现对于本地云资源池内云主机的生命周期管理；同时，远端指令调度器和指令执行器均连接到控制总线，并通过控制总线实现数据交互；所述本地资源仓库连接到指令执行器。
3.根据权利要求2所述的基于分布式部署的云资源管理和监控***，其特征在于：所述控制总线包括操作指令队列总线和返回结果队列总线。
4.根据权利要求1所述的基于分布式部署的云资源管理和监控***，其特征在于：所述资源控制器通过API与本地云资源池对接，所述云平台，数据分析器，资源监控器和服务监控器均连接到监控数据总线，通过监控数据总线实现数据交互；所述监控存储连接到数据分析器，用于存储监控数据。
5.根据权利要求4所述的基于分布式部署的云资源管理和监控***，其特征在于：所述监控数据总线包括主机和中间件监控数据队列总线和汇总分析后的监控数据队列总线。
6.根据权利要求1~5所述的基于分布式部署的云资源管理和监控***的监控方法，其特征在于：云平台对资源池的操作指令通过专用CPI接口发送给控制器，控制器负责从控制总线中接收云平台发出的操作指令，解析指令后发送给对应的主机或中间件去执行，并将执行结果通过控制总线返回给云平台；监控器负责收集本地云资源池的资源使用情况、中间件的运行情况和异常告警数据，经过计算和分析汇总后发送给云平台。
7.根据权利要求6所述的基于分布式部署的云资源管理和监控***的监控方法，其特征在于：所述远端指令调度器调用本地云资源池API，实现对本地云资源池内云主机的生命周期管理；发送指令给控制总线，控制云中间件的生命周期管理；所述控制总线接收远端指令调度器发出的指令，采用集群模式，可实现对大规模的云资源池的可靠控制；所述指令执行器接收控制总线发送的指令，解析并执行，指令执行后将结果返回控制总线；同时，控制器会将云平台资源仓库的数据同步到本地云资源池中，本地云资源池在使用各种资源时可以直接从本地资源仓库中提取，提高了使用效率和安全性，减少了因网络出错的可能性。
8.根据权利要求7所述的基于分布式部署的云资源管理和监控***的监控方法，其特征在于：所述云中间件包括web中间件，消息中间件，数据库和大数据；所述云中间件的生命周期管理包括创建、启停和销毁。
9.根据权利要求6所述的基于分布式部署的云资源管理和监控***的监控方法，其特征在于：所述资源监控器与本地云资源池管理接口对接，周期性采集资源池运行和使用情况，VM虚拟机和中间件的主要运行指标数据，并发送到监控数据总线；所述监控数据总线接收资源监控器收集的资源池数据和服务监控器发送的VM虚拟机及中间件监控数据，采用集群模式，可对大规模的云资源池实现海量监控数据的接收和发送；所述数据分析器对监控数据总线接收的全部监控数据，按照配置的规则进行指标检测和计算，形成运行状态统计数据和告警数据，数据存储在监控存储的同时，同步发送给监控数据总线的监控数据队列，等待云平台接收，云平台收到监控VM、中间件及容器信息收集。
10.根据权利要求9所述的基于分布式部署的云资源管理和监控***的监控方法，其特征在于：通过云资源池的调度产生VM虚拟机或者容器的时候，同时向VM虚拟机或者容器内部署服务监控器，负责对VM虚拟机或者容器以及内部的中间件服务运行状态及运行日志进行收集，并推送到监控数据总线。
CN201811130033.2A 2018-09-27 2018-09-27 一种基于分布式部署的云资源管理和监控***及方法 Pending CN109271256A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811130033.2A CN109271256A (zh) 2018-09-27 2018-09-27 一种基于分布式部署的云资源管理和监控***及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811130033.2A CN109271256A (zh) 2018-09-27 2018-09-27 一种基于分布式部署的云资源管理和监控***及方法

Publications (1)

Publication Number Publication Date
CN109271256A true CN109271256A (zh) 2019-01-25

Family

ID=65199022

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811130033.2A Pending CN109271256A (zh) 2018-09-27 2018-09-27 一种基于分布式部署的云资源管理和监控***及方法

Country Status (1)

Country Link
CN (1) CN109271256A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290075A (zh) * 2019-04-17 2019-09-27 李士锋 一种警用云计算平台的资源管理方法及***
CN110995783A (zh) * 2019-11-05 2020-04-10 河北寰亚泵业股份有限公司 一种远程监控***
CN112433818A (zh) * 2020-11-30 2021-03-02 上海天旦网络科技发展有限公司 使Kubernetes持久化的方法和***
CN112698931A (zh) * 2021-01-12 2021-04-23 北京理工大学 一种云工作流分布式调度***
CN113225375A (zh) * 2021-03-29 2021-08-06 北京城建智控科技有限公司 一种基于分布式的中心车站一体城轨云架构***
CN113312238A (zh) * 2021-06-07 2021-08-27 中国建设银行股份有限公司 一种资源池监控方法及其相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102916992A (zh) * 2011-08-03 2013-02-06 中兴通讯股份有限公司 一种统一调度云计算远端资源的方法及***
CN103281306A (zh) * 2013-05-03 2013-09-04 四川省电力公司信息通信公司 云数据中心虚拟化基础架构平台
CN107085539A (zh) * 2017-04-27 2017-08-22 北京邮电大学 一种云数据库***以及云数据库资源动态调整方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102916992A (zh) * 2011-08-03 2013-02-06 中兴通讯股份有限公司 一种统一调度云计算远端资源的方法及***
CN103281306A (zh) * 2013-05-03 2013-09-04 四川省电力公司信息通信公司 云数据中心虚拟化基础架构平台
CN107085539A (zh) * 2017-04-27 2017-08-22 北京邮电大学 一种云数据库***以及云数据库资源动态调整方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110290075A (zh) * 2019-04-17 2019-09-27 李士锋 一种警用云计算平台的资源管理方法及***
CN110995783A (zh) * 2019-11-05 2020-04-10 河北寰亚泵业股份有限公司 一种远程监控***
CN112433818A (zh) * 2020-11-30 2021-03-02 上海天旦网络科技发展有限公司 使Kubernetes持久化的方法和***
CN112433818B (zh) * 2020-11-30 2022-09-30 上海天旦网络科技发展有限公司 使Kubernetes持久化的方法和***
CN112698931A (zh) * 2021-01-12 2021-04-23 北京理工大学 一种云工作流分布式调度***
CN112698931B (zh) * 2021-01-12 2022-11-11 北京理工大学 一种云工作流分布式调度***
CN113225375A (zh) * 2021-03-29 2021-08-06 北京城建智控科技有限公司 一种基于分布式的中心车站一体城轨云架构***
CN113312238A (zh) * 2021-06-07 2021-08-27 中国建设银行股份有限公司 一种资源池监控方法及其相关设备

Similar Documents

Publication Publication Date Title
CN109271256A (zh) 一种基于分布式部署的云资源管理和监控***及方法
US9659251B2 (en) Systems and methods of autonomic virtual network management
CN106487596B (zh) 分布式服务跟踪实现方法
CN103873279B (zh) 一种服务器管理方法,及装置
CN105224445B (zh) 分布式跟踪***
CN101465863B (zh) 一种内核虚拟机环境下高效网络i/o的实现方法
US9389936B2 (en) Monitoring the responsiveness of a user interface
CN107544839B (zh) 虚拟机迁移***、方法及装置
US20190268401A1 (en) Automated configuration based deployment of stream processing pipeline
US11190401B2 (en) Impartial buffering in stream processing
US10498817B1 (en) Performance tuning in distributed computing systems
CN102739452A (zh) 资源监控方法和***
CN102143022A (zh) 用于ip网络的云测量装置和测量方法
CN103516802A (zh) 一种实现跨异构虚拟交换机无缝迁移的方法和装置
JP2018509086A (ja) アラーム情報を処理する方法、関連デバイス、およびシステム
CN112579288A (zh) 一种基于云计算智能安全用数据管理***
CN109960634A (zh) 一种应用程序监控方法、装置及***
CN102929769A (zh) 一种基于代理服务的虚拟机内部数据采集方法
CN108845865A (zh) 一种监控服务部署方法、***和存储介质
CN109669877A (zh) 内存管理方法、装置、终端及存储介质
Simoncelli et al. Stream-monitoring with blockmon: convergence of network measurements and data analytics platforms
Bedini et al. Modeling performance of a parallel streaming engine: bridging theory and costs
CN114422386B (zh) 一种微服务网关的监测方法及装置
CN110099116B (zh) 一种基于大数据的子网安全性评估方法
CN107948001B (zh) 一种船舶制造车间工业网络智能监控***及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190125

RJ01 Rejection of invention patent application after publication