CN103078759B - 计算节点的管理方法及装置、*** - Google Patents
计算节点的管理方法及装置、*** Download PDFInfo
- Publication number
- CN103078759B CN103078759B CN201310027398.3A CN201310027398A CN103078759B CN 103078759 B CN103078759 B CN 103078759B CN 201310027398 A CN201310027398 A CN 201310027398A CN 103078759 B CN103078759 B CN 103078759B
- Authority
- CN
- China
- Prior art keywords
- resource
- calculate node
- server
- task
- laws
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Computer And Data Communications (AREA)
- Debugging And Monitoring (AREA)
Abstract
本发明提供了一种计算节点的管理方法及装置、***,其中,上述方法包括:云管理中心的服务器监测各个计算节点的资源使用规律;上述服务器根据资源使用规律获取资源使用策略,其中,资源使用策略与分配到各个计算节点的任务类型相对应;上述服务器将资源使用策略发送到各个计算节点。采用本发明提供的上述技术方案,解决了相关技术中,在一定规模的网络内存在的不必要的能源和计算资源浪费等技术问题,从而兼顾了成本和计算资源,即在不浪费能源的同时,合理地利用了闲散的计算资源。
Description
技术领域
本发明涉及网络通信领域,具体而言,涉及一种计算节点的管理方法及装置、***。
背景技术
大型IT运营企业和运营商在网运行设备数以万计,由于操作***、具体应用和应用级别均采用分别建设独立运行,每个***在日常运行中负载占用一般都比较低,甚至很多占用不超过10%,为保证***的高可用性和性能,一般都未使用关闭CPU、降低主频、关闭不用硬盘等方式做节能部署;在一个可以控制的规模网络内,存在着大量的松散的计算资源,这就造成了不必要的能源和计算资源的浪费。
针对相关技术中的上述问题,目前尚未提出有效的解决方案。
发明内容
针对相关技术中的上述技术问题,本发明提供了一种计算节点的管理方法及装置、***,以至少解决上述问题。
根据本发明的一个方面,提供了一种计算节点的管理方法,包括:云管理中心的服务器监测各个计算节点的资源使用规律;上述服务器根据资源使用规律获取资源使用策略,其中,资源使用策略与分配到各个计算节点的任务类型相对应;上述服务器将资源使用策略发送到各个计算节点。
根据本发明的另一个方面,提供了一种计算节点的管理装置,位于云管理中心的服务器,包括:监测模块,用于监测各个计算节点的资源使用规律;获取模块,用于根据资源使用规律获取资源使用策略,其中,资源使用策略与分配到各个计算节点的任务类型相对应;发送模块,用于将资源使用策略发送到各个计算节点。
根据本发明的再一个方面,提供了一种计算节点的管理***,包括:云管理中心的服务器和各个计算节点,还包括:监测模块,位于服务器中,用于监测各个计算节点的资源使用规律;第一获取模块,位于服务器中,用于根据资源使用规律获取资源使用策略,其中,资源使用策略与分配到各个计算节点的任务类型相对应;发送模块,位于服务器中,用于将资源使用策略发送到各个计算节点。
通过本发明,采用根据各个计算节点的资源使用规律来获取与各个计算节点的任务类型相对应的资源使用策略的技术手段,解决了相关技术中,在一定规模的网络内存在的不必要的能源和计算资源浪费等技术问题,从而兼顾了成本和计算资源,即在不浪费能源的同时,合理地利用了闲散的计算资源。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1为根据本发明实施例1的计算节点的管理方法的流程图;
图2为根据本发明实施例1的计算节点的管理装置的结构框图;
图3为根据本发明实施例1的计算节点的管理***的结构框图;
图4为根据本发明实施例1的计算节点的管理***的另一结构框图;
图5为根据本发明实施例2的计算节点的管理***的拓扑示意图;
图6为根据本发明实施例3的计算节点的管理***的拓扑示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
考虑到相关技术中,在一定规模的网络内存在的不必要的能源和计算资源浪费等技术问题,以下结合实施例提供了相关的解决方案,现详细说明。
实施例1
图1为根据本发明实施例1的计算节点的管理方法的流程图。如图1所示,该方法包括:
步骤S102,云管理中心的服务器监测各个计算节点的资源使用规律;
步骤S104,上述服务器根据资源使用规律获取资源使用策略,其中,资源使用策略与分配到各个计算节点的任务类型相对应;
步骤S106,上述服务器将资源使用策略发送到各个计算节点。
在本实施例中,监测上述资源使用规律的方式有多种,例如可以通过本地的特定程序监测,还可以通过上述服务器下载的探针实现,对于后一种处理方式,具体可以采用以下过程实现:服务器监测各个计算节点的资源使用规律之前,计算节点从服务器中主动下载资源探针,其中,资源探针用于监测资源使用规律并将检测到的资源使用规律主动上报到服务器。
和现有的由服务器向计算节点分配任务的任务分配方式不同,本实施例中计算节点主动获取其执行的任务,具体可以表现为以下实现形式:在服务器将资源使用策略发送到各个计算节点之后,计算节点通过其获取的资源探针主动从服务器上获取与任务类型对应的任务;计算节点通过资源探针将任务的执行结果上报给服务器。
在本实施例中,计算节点在主动从服务器上获取与任务类型对应的任务时,还获取执行上述任务所需要的任务执行工具,其中,计算节点通过任务执行工具执行任务。
本实施例中,为开放式任务设计,即可以新增任务类型,上述计算节点获取的与任务类型,可以包括:当前新增的任务类型。
在本实施例中,还提供了一种计算节点的管理装置,用于实现上述方法,该装置位于云管理中心的服务器,如图2所述,该装置包括:
监测模块20,连接至获取模块22,用于监测各个计算节点的资源使用规律;
获取模块22,连接至发送模块24,用于根据资源使用规律获取资源使用策略,其中,资源使用策略与分配到各个计算节点的任务类型相对应;
发送模块24,用于将资源使用策略发送到各个计算节点。
在本实施例中,还提供了一种计算节点的管理***,如图3所示,该***包括:云管理中心的服务器30和各个计算节点32,还包括:
监测模块300,连接至第一获取模块302,位于上述服务器中,用于监测各个计算节点的资源使用规律;
第一获取模块302,连接至发送模块304,位于上述服务器中,用于根据资源使用规律获取资源使用策略,其中,资源使用策略与分配到各个计算节点的任务类型相对应;
发送模块304,位于上述服务器30中,用于将资源使用策略发送到各个计算节点。
在本实施例中,如图4所示,该装置还可以包括以下模块:
下载模块320,位于计算节点中,连接至监测模块300,用于从服务器中主动下载资源探针,其中,资源探针用于监测资源使用规律并将检测到的资源使用规律主动上报到服务器。
在本发明的一个优选实施过程中,如图4所示,上述装置还包括:第二获取模块322,位于计算节点中,用于通过计算节点获取的资源探针主动从服务器上获取与任务类型对应的任务;上报模块324,用于通过资源探针将任务的执行结果上报给服务器。
在本实施例中,上述第二获取模块322,还用于获取执行任务所需要的任务执行工具,其中,计算节点通过任务执行工具执行任务。
为了更好地理解上述实施例,以下结合实施例2-3详细说明。以下实施例的主要设计思想在于,利用现有网络上可用的空闲资源配合微云部署方案,形成开放式云平台支持分布式计算的方式;作为一种绿色节能、充分利用在网设备空闲资源形成可动态获取和释放计算资源,形成规模计算资源的方法,通过制定任务管理中心分配计算任务,获取计算结果的方法。包含并不限于探针获取资源信息(资源可用性规律),根据资源利用规则,自动划分资源类型;资源类型匹配任务类型获得稳定的任务执行资源池,主动获取任务更新和上报计算结果;开放式任务设计、资源的绑定与释放等。
实施例2
本实施例采用图5所示的拓扑结构实现。
1、关键内容定义
1.1微云探针(相当于实施例1中的资源探针)
微云探针作为微云***部署的前期资源探查,所有***均可下载自己相应的探针,初期探针只作为资源注册和性能监控,并将监测结果上传到微云核心管理中心,通过长期的监测后,确认***资源使用规律或长期稳定空闲资源后,由微云中心制定资源使用策略和并由资源探针主动下载到节点机本地执行;
微云探针可以分为几个运行级别(主动升降级或关闭):
初级-资源注册和监控型;
中级-任务处理单元;
高级-根据本机特点和中心控制策略升级为微云节点管理,实现对虚机的创建回收,虚机任务管理等;
1.2微云中心
支持多种操作***的微云探针下载,接收探针上报数据,产生探针任务队列,并不采用主动联系探针的控制手段,由探针主动连接获取,安全性上保证了资源节点没有因为增加探针而增加被攻击的危险,并建立探针跟中心通信的加密验证、ip绑定以及主动通信的机制,增强***整体的安全性;
1.2.1开放式资源管理
微云***资源节点可以分为紧密型、波动型、松散型多种类型
紧密型资源节点,设备资源长期空闲,并且稳定,可以创建虚机作为云中心的主要应用部署节点和备份节点;为增加紧密型资源节点,先期时,可以将一些服务离线的利旧设备加入进该***,能够创建专门网络连接,应对大数据量的传输;
紧密型资源也可用于固定的长期在线服务业务。
波动性资源节点,规律性较强的设备,比如每月5-25号设备资源空闲很多,其他时间因为业务***需要,会占用较多资源;
松散型资源节点,不确定性较大,不能保持7*24小时在线的个人电脑或维护终端,但是有一定的规律性,可以作为松散任务的载体。
1.2.2开放式任务设计
可以根据实际业务需要不断增加微云***承载任务类型,包括:任务报告模版、任务内容定义、任务计算模型、任务数据源分布等;
任务报告模版,定义该任务最终实现效果,任务分解和合并过程;
任务内容定义,具体任务内容设定,标准化内容规范;
任务计算模型,为任务具体执行单元,自动匹配任务内容定义类型和加载任务内容,在云节点完成全部内容计算;
任务数据源分布,针对大容量任务原始数据,根据预先设定原始数据分配,直接由数据源传送到计算节点,避免汇总传输带来的带宽浪费和云中心瓶颈。
1.2.3计算资源与任务绑定
根据任务类型自动建立可以利用资源列表,管理员手动完成资源与任务绑定,在任务周期内形成稳定的耦合关系,避免资源动态调整带来的数据重复传输占用带宽资源。
任务完成后自动释放原来的计算节点资源,以便接收新的任务分配。
实施例3
微云***部署示例
分布式大log分析部署
以域名解析log或radius log为例,每天都有接近百亿条的数据,如果要建立一套***对这些数据做全文检索和分析,可能需要建立强大的硬件集群***和复杂的软件体系才有可能完成,而这些数据所产生的应用和实际价值,还没有被发掘出来,直接看来投入产出比不成正比,可以采用微云技术实现,并不需要大规模增加硬件投入;
需要分析的log数据根据云控制中心分配的计算单元和策略,直接传到计算节点,云中心提供计算模型和分析模版,下发查询分析指令,并将计算结果汇总统一显示;
支持这类密集计算的云节点一般建议使用紧密型资源或波动型资源,动态资源由于无法保证数据稳定和计算能力稳定,只能用作其它任务类型。
分布式拨测***部署
如图6所示的分布式拨测***,可以使用任何资源类型节点,为提高拨测的覆盖面和多样性,同物理节点或网段自动部署不超过三个拨测探针,实现多种接入方式、接入地、不同终端等组合拨测。
可以支持下列拨测内容:域名解析、网页浏览、路由验证、虚拟radius认证、网络时延、下载速率、自有业务等。
在另外一个实施例中,还提供了一种软件,该软件用于执行上述实施例及优选实施方式中描述的技术方案。
在另外一个实施例中,还提供了一种存储介质,该存储介质中存储有上述软件,该存储介质包括但不限于:光盘、软盘、硬盘、可擦写存储器等。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (5)
1.一种计算节点的管理方法,其特征在于,包括:
云管理中心的服务器监测各个计算节点的资源使用规律;
所述服务器根据所述资源使用规律获取资源使用策略,其中,所述资源使用策略与分配到所述各个计算节点的任务类型相对应;
所述服务器将所述资源使用策略发送到所述各个计算节点;
所述服务器监测各个计算节点的资源使用规律之前,包括:
所述计算节点从所述服务器中主动下载资源探针,其中,所述资源探针用于监测所述资源使用规律并将检测到的所述资源使用规律主动上报到所述服务器;
所述服务器将所述资源使用策略发送到所述各个计算节点之后,还包括:
所述计算节点通过其获取的资源探针主动从所述服务器上获取与所述任务类型对应的任务;
所述计算节点通过所述资源探针将所述任务的执行结果上报给所述服务器。
2.根据权利要求1所述的方法,其特征在于,所述计算节点上的资源探针主动从所述服务器上获取与所述任务类型对应的任务时,还包括:
所述计算节点获取执行所述任务所需要的任务执行工具,其中,所述计算节点通过所述任务执行工具执行所述任务。
3.根据权利要求1或2所述的方法,其特征在于,所述计算节点获取的所述任务类型,包括:当前新增的任务类型。
4.一种计算节点的管理***,包括:云管理中心的服务器和各个计算节点,其特征在于,还包括:
监测模块,位于所述服务器中,用于监测所述各个计算节点的资源使用规律;
第一获取模块,位于所述服务器中,用于根据所述资源使用规律获取资源使用策略,其中,所述资源使用策略与分配到所述各个计算节点的任务类型相对应;
发送模块,位于所述服务器中,用于将所述资源使用策略发送到所述各个计算节点;
下载模块,位于所述计算节点中,用于从所述服务器中主动下载资源探针,其中,所述资源探针用于监测所述资源使用规律并将检测到的所述资源使用规律主动上报到所述服务器;
第二获取模块,位于所述计算节点中,用于通过所述计算节点获取的资源探针主动从所述服务器上获取与所述任务类型对应的任务;
上报模块,用于通过所述资源探针将所述任务的执行结果上报给所述服务器。
5.根据权利要求4所述的***,其特征在于,所述第二获取模块,还用于获取执行所述任务所需要的任务执行工具,其中,所述计算节点通过所述任务执行工具执行所述任务。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310027398.3A CN103078759B (zh) | 2013-01-25 | 2013-01-25 | 计算节点的管理方法及装置、*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310027398.3A CN103078759B (zh) | 2013-01-25 | 2013-01-25 | 计算节点的管理方法及装置、*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103078759A CN103078759A (zh) | 2013-05-01 |
CN103078759B true CN103078759B (zh) | 2017-06-06 |
Family
ID=48155169
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310027398.3A Active CN103078759B (zh) | 2013-01-25 | 2013-01-25 | 计算节点的管理方法及装置、*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103078759B (zh) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104714868B (zh) * | 2015-03-27 | 2018-03-30 | 上海新炬网络信息技术股份有限公司 | 一种分布式计算机自动拨测方法 |
CN106293931B (zh) * | 2015-06-23 | 2019-11-08 | 北京神州泰岳软件股份有限公司 | 一种分配服务器资源的方法和装置 |
CN108363407B (zh) * | 2018-01-04 | 2021-06-01 | 浙江大学 | 一种无人船自主航行的协同云控制*** |
CN108173878A (zh) * | 2018-02-02 | 2018-06-15 | 北京杰思安全科技有限公司 | 终端检测响应***及方法 |
CN111078537B (zh) * | 2019-11-29 | 2023-09-22 | 珠海金山数字网络科技有限公司 | Unity游戏bundle包资源划分的评估方法 |
CN112948067A (zh) * | 2019-12-11 | 2021-06-11 | 北京金山云网络技术有限公司 | 服务调度方法、装置、电子设备及存储介质 |
CN113535389A (zh) * | 2021-06-28 | 2021-10-22 | 中国人民解放军国防科技大学 | 一种实验方案并行推演管控*** |
CN113255165A (zh) * | 2021-06-28 | 2021-08-13 | 中国人民解放军国防科技大学 | 一种基于动态任务分配的实验方案并行推演*** |
WO2024000498A1 (zh) * | 2022-06-30 | 2024-01-04 | 西门子股份公司 | 工业控制***、边缘设备、云端服务器、装置及方法 |
CN115756822B (zh) * | 2022-10-18 | 2024-03-19 | 超聚变数字技术有限公司 | 高性能计算应用性能调优的方法及*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102096461A (zh) * | 2011-01-13 | 2011-06-15 | 浙江大学 | 基于虚拟机迁移和负载感知整合的云数据中心节能方法 |
CN102104496A (zh) * | 2010-12-23 | 2011-06-22 | 北京航空航天大学 | 一种云计算环境下中间数据的容错性优化方法 |
CN102801587A (zh) * | 2012-08-29 | 2012-11-28 | 北京邮电大学 | 面向大规模网络的虚拟化监测***与动态监测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102193832B (zh) * | 2010-03-11 | 2013-03-27 | 精英电脑股份有限公司 | 云端计算资源排程方法与应用的*** |
CN102004671B (zh) * | 2010-11-15 | 2013-03-13 | 北京航空航天大学 | 一种云计算环境下数据中心基于统计模型的资源管理方法 |
-
2013
- 2013-01-25 CN CN201310027398.3A patent/CN103078759B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102104496A (zh) * | 2010-12-23 | 2011-06-22 | 北京航空航天大学 | 一种云计算环境下中间数据的容错性优化方法 |
CN102096461A (zh) * | 2011-01-13 | 2011-06-15 | 浙江大学 | 基于虚拟机迁移和负载感知整合的云数据中心节能方法 |
CN102801587A (zh) * | 2012-08-29 | 2012-11-28 | 北京邮电大学 | 面向大规模网络的虚拟化监测***与动态监测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN103078759A (zh) | 2013-05-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103078759B (zh) | 计算节点的管理方法及装置、*** | |
Dhaya et al. | Energy-efficient resource allocation and migration in private cloud data centre | |
CN105074702B (zh) | 提供单租户和多租户环境的数据库*** | |
Wang et al. | Mobile micro-cloud: Application classification, mapping, and deployment | |
US20130297803A1 (en) | Method for providing development and deployment services using a cloud-based platform and devices thereof | |
US10498854B2 (en) | Method and controller for clustering applications in a software-defined network | |
CN103793485A (zh) | 客户端基于缓存数据实现查询网络数据的方法 | |
CN109408205A (zh) | 基于hadoop集群的任务调度方法和装置 | |
Bambrik | A survey on cloud computing simulation and modeling | |
US11411830B2 (en) | Systems and methods for determining entry points for mapping a network | |
US20150281006A1 (en) | Method and apparatus distributed multi- cloud resident elastic analytics engine | |
CN109614227A (zh) | 任务资源调配方法、装置、电子设备及计算机可读介质 | |
CN108243012A (zh) | 在线计费***ocs中计费应用处理***、方法及装置 | |
CN109726004A (zh) | 一种数据处理方法及装置 | |
Laroui et al. | SO‐VMEC: service offloading in virtual mobile edge computing using deep reinforcement learning | |
CN104065538B (zh) | 网络性能的测量控制方法、控制服务器和*** | |
Lomotey et al. | MobiCrop: supporting crop farmers with a cloud-enabled mobile app | |
Kumar et al. | Fog and edge computing simulators systems: research challenges and an overview | |
CN105591782A (zh) | 测试设备的管理方法及装置 | |
Sharma et al. | VNF-AAPC: Accelerator-aware VNF placement and chaining | |
Silva et al. | Energy awareness and energy efficiency in internet of things middleware: a systematic literature review | |
US20150212834A1 (en) | Interoperation method of newtork device performed by computing device including cloud operating system in could environment | |
CN109684059A (zh) | 用于监控数据的方法及装置 | |
Clouet et al. | A unified monitoring framework for energy consumption and network traffic | |
CN109684240A (zh) | 一种jtag接口设备运维服务器、终端及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |