CN103227839B - 内容分发网络服务器区域自治的管理*** - Google Patents
内容分发网络服务器区域自治的管理*** Download PDFInfo
- Publication number
- CN103227839B CN103227839B CN201310173427.7A CN201310173427A CN103227839B CN 103227839 B CN103227839 B CN 103227839B CN 201310173427 A CN201310173427 A CN 201310173427A CN 103227839 B CN103227839 B CN 103227839B
- Authority
- CN
- China
- Prior art keywords
- server
- cluster
- autonomy
- regional
- central dispatching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本发明公开了一种内容分发网络服务器区域自治的管理***,提高了对大型服务器集群的管理效率,降低了对大型服务器集群的维护难度。其技术方案为:***包括中心调度服务器和多个区域自治集群,其中每一区域自治集群由多个边缘服务器组成,中心调度服务器接收外部输入数据,对边缘服务器进行区域自治集群的划分、调度和管理,一方面接收所有边缘服务器的网络心跳回报和部署结果反馈,另一方面分发指定配置给各个区域自治集群的代表服务器。
Description
技术领域
本发明涉及一种大型服务器集群的管理和维护技术,尤其是针对全球***器节点的实时控制的管理***。
背景技术
随着互联网的普及,网站数量和网站内容的丰富,网民数量和访问频度的日趋上升,传统的网站内容提供商已经无力应对大流量的访问,因此诞生了CDN(ContentDelivery Network,内容分发网站)网站加速服务提供商。通过CDN加速服务能够让网站轻松应对数以亿计的日访问流量。以国内某著名的购物网站双11促销为例,单天共完成订单1亿多笔,如次巨大的订单请求,正式得益于CDN的加速服务,才能使得网民的购物体验畅通无阻。
而CDN高速可靠的加速服务背后正是有着数以万计的边缘服务器来支撑。这些边缘服务器有着总量大、覆盖面广、各地区网络情况复杂的特点。在日常中对服务器的软件安装、配置管理、状态监控需要巨大的工作量,也是个高难度的挑战。
传统的集中式CDN管理***存在如下问题:
1.首先全国各地的网络互通情况存在不同ISP(Internet service provider网络服务提供商)割据一方、彼此互通不畅的大背景,如果通过传统的中心到边缘的策略对CDN边缘服务器进行管理就难免会存在局部路由不通的问题。
2.其次这些边缘服务器在每时每刻总会有少数机器存在断电、硬件故障、软件缺陷等问题导致服务器暂时失控。如果通过传统的中心到边缘策略对CDN边缘服务器进行管理就难免会存在局部机器不可控的问题,导致管理有盲区。
3.同时大量的软件与配置文件分发和命令执行,也必消耗中心调度服务器大量资源,继而导致中心调度服务器经常出现资源不足、任务执行缓慢等异常情况。如果有一台边缘服务器的软件安装或者配置分发出现问题,一方面会大大影响后面服务器的部署进度,另一方面也将对CDN的正常加速服务造成局部影响。
发明内容
本发明的目的在于解决上述问题,提供了一种内容分发网络服务器区域自治的管理***,提高了对大型服务器集群的管理效率,降低了对大型服务器集群的维护难度。
本发明的技术方案为:本发明揭示了一种内容分发网络服务器区域自治的管理***,包括中心调度服务器和多个区域自治集群,其中每一区域自治集群由多个边缘服务器组成,该中心调度服务器接收外部输入数据,对边缘服务器进行区域自治集群的划分、调度和管理,一方面接收所有边缘服务器的网络心跳回报和部署结果反馈,另一方面分发指定配置给各个区域自治集群的代表服务器。
根据本发明的内容分发网络服务器区域自治的管理***的一实施例,该中心调度服务器接收的外部输入数据包括边缘服务器的IP信息、应用信息、机房信息、网络服务提供商以及地理信息。
根据本发明的内容分发网络服务器区域自治的管理***的一实施例,该中心调度服务器是根据网络服务提供商和省份优先合并的原则对边缘服务器进行区域自治集群的划分。
根据本发明的内容分发网络服务器区域自治的管理***的一实施例,每一边缘服务器包括:
心跳上报模块,主动向中心调度服务器上报心跳,供中心调度服务器决策下一个任务需要选定的区域自治集群的代表服务器。
根据本发明的内容分发网络服务器区域自治的管理***的一实施例,每一边缘服务器包括:
升级模块,通过来自中心调度服务器的部署指令主动进行升级并在同一区域自治集群内进行扩散升级,在全部扩散完毕或者任务超时后,将结果反馈给中心调度服务器。
根据本发明的内容分发网络服务器区域自治的管理***的一实施例,每一边缘服务器包括:
异常告警模块,在区域自治集群内彼此探测对方的服务状态和配置版本信息,若发现同一区域自治集群内有机器服务异常则主动向中心调度服务器发出告警。
根据本发明的内容分发网络服务器区域自治的管理***的一实施例,每一边缘服务器包括:
版本检测模块,在区域自治集群内彼此探测对方的配置版本是否低于自身的配置版本,主动为配置版本比自身低的机器提供升级指令。
本发明对比现有技术有如下的有益效果:本发明的方案是通过设定的规则(比如同一个机房或者同一个地区或同一个ISP)把彼此网络互通质量比较好的服务器分堆规划,建立起区域自治集群,中心调度服务器只对这个区域自治集群进行管理,而不直接管理所有的边缘服务器。本发明的管理***相较于传统的管理***有如下的有益效果:1.通过把相同地区相同ISP的边缘服务器划分在同一个区域自治集群内,可以利用区域自治集群内部机器的网络互通质量比较稳定的特性解决局部路由不通的问题,而中心调度服务器只需要从每个区域自治集群获取一台网络质量比较稳定的代表机器即可。2.每个区域自治集群对本区域内的机器是全天候进行互相监控和比对,通过这种机制可以保证服务器在状态恢复的第一时间能够及时获得最新的软件或者配置文件信息,解决服务器不可控的问题,消除管理盲区,保证线上服务器的服务连续性和可靠性。3.通过区域自治集群内部部署任务的自我调度自我管理,可以让中心调度服务器只管理每个区域自治集群的代表服务器,而不必直接管理每个区域自治集群内的所有服务器。这样一来可以成倍减轻中心调度服务器的部署强度,大大提高管理部署效率,有效解决中心调度服务器资源不足的问题。
附图说明
图1示出了本发明的内容分发网络服务器区域自治的管理***的较佳实施例的原理图。
图2示出了本发明的边缘服务器的细化原理图。
具体实施方式
下面结合附图和实施例对本发明作进一步的描述。
图1示出了本发明的内容分发网络服务器区域自治的管理***的较佳实施例的原理。请参见图1,本实施例的管理***包括中心调度服务器1以及多个区域自治集群(图示为N个区域自治集群21~2N)。
每一区域自治集群由多个边缘服务器组成,例如,边缘服务器A1~A4组成区域自治集群21,边缘服务器N1~N4组成区域自治集群2N,等等。
中心调度服务器1接收外部输入的基础数据,例如包括边缘服务器的IP信息、应用信息、机房信息、网络服务提供商以及地理信息,对边缘服务器进行区域自治集群的划分、调度和管理。在集群划分过程中,中心调度服务器1是根据网络服务提供商和省份优先合并的原则对边缘服务器进行区域自治集群的划分。
等基础信息规划完毕后,中心调度服务器1一方面接收所有边缘服务器的网络心跳回报和部署结果反馈,另一方面根据人为指令或者***计划任务分发指定配置给各个区域自治集群的代表服务器。
边缘服务器的内部原理请参见图2所示,包括心跳上报模块31、升级模块32、异常告警模块33和版本检测模块34。
其中心跳上报模块31主动向中心调度服务器1上报心跳,供中心调度服务器1决策下一个任务需要选定的区域自治集群的代表服务器。升级模块32通过来自中心调度服务器1的部署指令主动进行升级并在同一区域自治集群内进行扩散升级,在全部扩散完毕或者任务超时后,将结果反馈给中心调度服务器1。异常告警模块33在区域自治集群内彼此探测对方的服务状态和配置版本信息,若发现同一区域自治集群内有机器服务异常则主动向中心调度服务器1发出告警。版本检测模块34在区域自治集群内彼此探测对方的配置版本是否低于自身的配置版本,主动为配置版本比自身低的机器提供升级指令,使之保持最新的配置版本。
在图1所示的***结构中,***运行过程主要包含10个数据和指令流程,请继续参见图1,用户在流程①中是通过web界面对中心调度服务器进行基础数据的管理,录入的格式例如是“1.1.1.1,xm1,static_acc,厦门机房,中国电信,福建省”、“1.1.2.2,qz2,static_acc,泉州机房,中国电信,福建省”。中心调度服务器在流程②中实时根据流程①所录入机器的ISP、省份等信息,划分区域自治集群范围和数量,比如把所有属于中国电信福建省的边缘机器规划为集群21。
中心调度服务器在流程③中根据人工指令或者***计划任务,对所有区域自治集群进行配置部署或软件升级操作。具体的操作如下:在每个集群挑选两台网络心跳质量比较好的边缘服务器作为代表服务器。比如集群21中选择A1,A2作为代表服务器(选择两台的目的是保持冗余防止单点故障)。对所有代表服务器进行配置文件传输和升级指令下达。接收所有集群的代表服务器的部署与升级结果(每个集群收到一台代表服务器即可)。
流程④⑤⑥⑦分别表示集群A的四台边缘服务器A1,A2,A3,A4向中心调度服务器发送数据的过程。这些数据主要分为三个部分:
一部分是边缘服务器周期性上报的心跳指令及实时测试传输速度,让中心调度服务器可以实时更新每个集群的代表服务器,供下次部署升级时调度使用。
一部分是部署升级的结果信息,如果有部署升级任务下发时,代表服务器主动反馈升级结果给中心调度服务器,这些信息格式(G-1)如下:
A,A1,M,1.1.1.1,task_123,201205062323,201205062325,success
A,A2,S,1.1.1.2,task_123,201205062323,201205062325,success
A,A3,S,1.1.1.3,task_123,201205062323,201205062326,success
A,A4,S,1.1.1.4,task_123,201205062323,null,fail
上述格式解释为:
集群名称,集群服务器代号,机器性质(M是代表服务器,S是非代表服务器),IP,任务名称,任务下放时间,任务结束时间,任务执行结果(success代表执行成功,fail代表执行失败)。
一部分是集群内服务与版本探测结果,如果边缘服务器A1探测发现A2对外服务或者连接异常,则将异常信息上报给中心调度服务器,通知运营人员及时介入处理。如果A1探测发现A2某个配置的版本比自己的要低,则主动向A2发送最新的部署任务信息,并将结果按格式(G-1)的方式发送给中心调度服务器。
流程⑧⑨⑩表示集群21里面的四台边缘服务器A1、A2、A3、A4之间相互对方的探测服务状态和版本信息。具体的探测方式如下,以A1为例:
边缘服务器A1接收到中心调度服务器的基础配置数据,得知和自己所在同一个集群A的其他三台边缘服务器A2,A3,A4的IP和API认证信息。
A1对A2,A3,A4按指定时间间隔,探测A2,A3,A4的服务器状态,如果发现某台服务器的服务状态异常则通过⑥向中心调度服务器发出告警。
A1对A2,A3,A4按指定时间间隔,探测A2,A3,A4的所有软件与配置版本信息,如果发现A3的某个软件版本比A1的要低,则找出该软件相关的最新升级任务信息,并下方给A3,并将升级结果通过⑥向中心调度服务器进行汇报。该流程可以大大避免比如A3在上次升级期间机器宕机导致升级遗漏的风险。
此外,对于图1中的流程②,本发明也可以通过让全部的边缘服务器周期性的互相探测对比,得出彼此网络连通质量的优劣,把区域自治服务器的规划信息改为由***动态规划,而不是人工去按相同机房来规划区域集群信息,这样一来可以提升整个***的自动化程度,另一方面也能更大程度的发挥区域自治集群内部网络优势。
上述实施例是提供给本领域普通技术人员来实现和使用本发明的,本领域普通技术人员可在不脱离本发明的发明思想的情况下,对上述实施例做出种种修改或变化,因而本发明的保护范围并不被上述实施例所限,而应该是符合权利要求书所提到的创新性特征的最大范围。
Claims (4)
1.一种内容分发网络服务器区域自治的管理***,包括中心调度服务器和多个区域自治集群,其中每一区域自治集群由多个边缘服务器组成,该中心调度服务器接收外部输入数据,对边缘服务器进行区域自治集群的划分、调度和管理,一方面接收所有边缘服务器的网络心跳回报和部署结果反馈,另一方面分发指定配置给各个区域自治集群的代表服务器,其中每一边缘服务器包括:
心跳上报模块,主动向中心调度服务器上报心跳,供中心调度服务器决策下一个任务需要选定的区域自治集群的代表服务器;
其中该中心调度服务器所接收的外部输入数据包括边缘服务器的IP信息、应用信息、机房信息、网络服务提供商以及地理信息;
而且该中心调度服务器是根据网络服务提供商和省份优先合并的原则对边缘服务器进行的区域自治集群的划分。
2.根据权利要求1所述的内容分发网络服务器区域自治的管理***,其特征在于,每一边缘服务器包括:
升级模块,通过来自中心调度服务器的部署指令主动进行升级并在同一区域自治集群内进行扩散升级,在全部扩散完毕或者任务超时后,将结果反馈给中心调度服务器。
3.根据权利要求1所述的内容分发网络服务器区域自治的管理***,其特征在于,每一边缘服务器包括:
异常告警模块,在区域自治集群内彼此探测对方的服务状态和配置版本信息,若发现同一区域自治集群内有机器服务异常则主动向中心调度服务器发出告警。
4.根据权利要求1所述的内容分发网络服务器区域自治的管理***,其特征在于,每一边缘服务器包括:
版本检测模块,在区域自治集群内彼此探测对方的配置版本是否低于自身的配置版本,主动为配置版本比自身低的机器提供升级指令。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310173427.7A CN103227839B (zh) | 2013-05-10 | 2013-05-10 | 内容分发网络服务器区域自治的管理*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310173427.7A CN103227839B (zh) | 2013-05-10 | 2013-05-10 | 内容分发网络服务器区域自治的管理*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103227839A CN103227839A (zh) | 2013-07-31 |
CN103227839B true CN103227839B (zh) | 2016-08-17 |
Family
ID=48838095
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310173427.7A Active CN103227839B (zh) | 2013-05-10 | 2013-05-10 | 内容分发网络服务器区域自治的管理*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103227839B (zh) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104468174B (zh) * | 2013-09-25 | 2017-10-13 | 北京新媒传信科技有限公司 | 一种集群服务器执行任务的方法和装置 |
CN104735481B (zh) * | 2013-12-19 | 2018-07-06 | 北京四达时代软件技术股份有限公司 | 一种视频内容分发调度方法、服务器及*** |
CN104320487B (zh) * | 2014-11-11 | 2018-03-20 | 网宿科技股份有限公司 | 内容分发网络的http调度***和方法 |
CN104811401B (zh) * | 2015-03-26 | 2017-12-19 | 重庆金美通信有限责任公司 | 一种基于泛洪机制的参数分发方法 |
CN107395379A (zh) * | 2016-05-16 | 2017-11-24 | 北京京东尚科信息技术有限公司 | 一种集群巡检***及方法 |
CN106357435A (zh) * | 2016-08-31 | 2017-01-25 | 广州唯品会信息科技有限公司 | 同机房的匹配方法及装置 |
CN106487910B (zh) * | 2016-10-26 | 2019-07-19 | 苏州大学 | 一种内容分发网络创建方法 |
CN106933616A (zh) * | 2017-01-17 | 2017-07-07 | 成都华立达电力信息***有限公司 | 基于宽带载波的远程升级方法 |
CN109039795B (zh) * | 2017-06-12 | 2021-10-08 | 贵州白山云科技股份有限公司 | 一种云服务器资源监控方法和*** |
CN107645386B (zh) * | 2017-09-25 | 2021-06-22 | 网宿科技股份有限公司 | 一种获取数据资源的方法和装置 |
CN109104309B (zh) * | 2018-08-01 | 2021-12-21 | 网宿科技股份有限公司 | Cdn网络的边缘服务器管理***及方法 |
CN109167840B (zh) * | 2018-10-19 | 2021-12-07 | 网宿科技股份有限公司 | 一种任务推送方法、节点自治服务器及边缘缓存服务器 |
CN111371571A (zh) * | 2018-12-25 | 2020-07-03 | 成都鼎桥通信技术有限公司 | 一种基于微服务框架的分布式服务部署方法 |
CN109618003B (zh) * | 2019-01-14 | 2022-02-22 | 网宿科技股份有限公司 | 一种服务器规划方法、服务器及存储介质 |
CN110191007B (zh) * | 2019-06-27 | 2022-05-03 | 广州虎牙科技有限公司 | 节点管理方法、***及计算机可读存储介质 |
CN110690699B (zh) * | 2019-07-30 | 2022-03-18 | 国网浙江省电力有限公司嘉兴供电公司 | 一种基于泛在电力物联网的变电站智慧检测*** |
CN110519121B (zh) * | 2019-08-09 | 2021-08-27 | 网宿科技股份有限公司 | 一种分区域任务探测的方法及装置 |
CN111314126B (zh) * | 2020-02-11 | 2023-05-09 | 网宿科技股份有限公司 | 服务ip的部署方法及***、监控设备 |
CN113301078B (zh) * | 2020-05-22 | 2022-05-06 | 阿里巴巴集团控股有限公司 | 网络***、服务部署与网络划分方法、设备及存储介质 |
CN112073266B (zh) * | 2020-09-03 | 2022-04-05 | 北京珞安科技有限责任公司 | 一种基于心跳机制的指令分发***及方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101447910A (zh) * | 2007-11-26 | 2009-06-03 | 华为技术有限公司 | 分布式网络存储控制方法、装置和分发*** |
-
2013
- 2013-05-10 CN CN201310173427.7A patent/CN103227839B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101447910A (zh) * | 2007-11-26 | 2009-06-03 | 华为技术有限公司 | 分布式网络存储控制方法、装置和分发*** |
Also Published As
Publication number | Publication date |
---|---|
CN103227839A (zh) | 2013-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103227839B (zh) | 内容分发网络服务器区域自治的管理*** | |
CN113037823B (zh) | 消息传递***和方法 | |
CN100437483C (zh) | 基于Web页面的事件分发方法与装置 | |
CN101119231A (zh) | 计算机安全漏洞库集中管理并自动下发补丁的方法 | |
CN102135929B (zh) | 一种分布式容错服务*** | |
CN106980678A (zh) | 基于zookeeper技术的数据分析方法及*** | |
CN105915633A (zh) | 自动化运维***和方法 | |
CN103403683A (zh) | 虚拟数据中心服务请求的基于能力的路由 | |
CN101189611A (zh) | 可扩展及自动复制的服务器群配置管理基础设施 | |
CN102624570A (zh) | 实现对web服务器可用性进行检测的监控***和方法 | |
KR20050084802A (ko) | 서버의 원격 및 동적 구성 시스템과 그 방법 및 컴퓨터 판독 가능 기록 매체 | |
EP2561444A2 (en) | Automated recovery and escalation in complex distributed applications | |
CN104065517A (zh) | 分布式***软件配置管理方法和*** | |
CN102916839A (zh) | 一种糖厂农务自动化监管*** | |
CN105245560B (zh) | 一种实现分布式缓存的方法、装置及*** | |
CN105630589A (zh) | 分布式流程调度***及流程调度、执行方法 | |
CN103118130A (zh) | 一种用于分布式服务的集群管理方法和*** | |
CN110737643A (zh) | 一种基于餐饮信息管理***的大数据分析处理管理中台 | |
CN102508709A (zh) | 购供售一体化电能量采集与监控***中基于分布式缓存的采集任务调度方法 | |
US10567244B1 (en) | Near real-time feed manager for data center infrastructure monitoring (DCIM) using custom tags for infrastructure assets | |
CN105227379A (zh) | 一种针对java web 应用的集中监控和预警方法 | |
CN113535391A (zh) | 跨域大数据平台的分布式集群状态信息管理方法及*** | |
CN107634849A (zh) | 一种全局区块链环境构建方法 | |
CN103731289A (zh) | 一种网络服务器自动扩展的方法 | |
CN104601378A (zh) | 结合应用性能指标监控数据的虚拟资源弹性调度实现方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |