CN109672728A - 一种大规模分布式集群节点信息快速获取方法 - Google Patents

一种大规模分布式集群节点信息快速获取方法 Download PDF

Info

Publication number
CN109672728A
CN109672728A CN201811485311.6A CN201811485311A CN109672728A CN 109672728 A CN109672728 A CN 109672728A CN 201811485311 A CN201811485311 A CN 201811485311A CN 109672728 A CN109672728 A CN 109672728A
Authority
CN
China
Prior art keywords
node
information
database
cluster
scale distributed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811485311.6A
Other languages
English (en)
Inventor
郝旗
丁火平
田维
黄森
何志伟
陈丰琪
卜锋
顾晓伟
张燕
邱杨
杨志才
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Space Star Technology Co Ltd
Original Assignee
Space Star Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Space Star Technology Co Ltd filed Critical Space Star Technology Co Ltd
Priority to CN201811485311.6A priority Critical patent/CN109672728A/zh
Publication of CN109672728A publication Critical patent/CN109672728A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/50—Network services
    • H04L67/60—Scheduling or organising the servicing of application requests, e.g. requests for application data transmissions using the analysis and optimisation of the required network resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B7/00—Radio transmission systems, i.e. using radiation field
    • H04B7/14—Relay systems
    • H04B7/15—Active relay systems
    • H04B7/185—Space-based or airborne stations; Stations for satellite systems
    • H04B7/1851—Systems using a satellite or space-based relay
    • H04B7/18519—Operations control, administration or maintenance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0811—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking connectivity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network
    • H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明一种大规模分布式集群节点信息快速获取方法，包括：对集群中所有节点时间同步更新；采集节点资源信息，并周期性以消息中间件的方式向主节点发送采集到的节点资源信息；主节点将采集到的节点资源信息和数据发送时间存入数据库，并周期性分析数据库中集群资源状态，包括：节点与主节点的连通状态、节点资源信息；及将分析得到的集群资源状态更新至数据库；查询主节点的数据库中集群资源状态，结合负载均衡算法进行任务调度。本发明大大节省了大规模分布式集群节点信息的获取时间，使得分析集群状态时间的缩短，提升任务调度响应时间，提高调度整体效率。

Description

一种大规模分布式集群节点信息快速获取方法
技术领域
本发明属于遥感卫星通信技术领域，涉及一种大规模分布式集群节点信息快速获取方法。
背景技术
随着信息技术的发展和网络规模的扩大，遥感卫星数据处理由单节点处理转变为分布式集群处理。在遥感卫星地面站数据处理过程中，因获取集群节点信息慢，导致任务调度***作业过程中使某些要求实时性高的模块丢失数据，从而直接影响了整个调度***的功能与性能。目前节点资源信息获取主要有两种方式，主节点主动轮询与和心跳检测。
1、主节点主动轮询方式
此方式通过集群中主节点周期性主动轮询方式采集子节点资源信息。该方式最大的缺点就是需要定时不断的轮询集群各个子节点，***开销较大；若间隔时间太长的话，集群节点敏感度较低，获取的节点状态信息很可能是过时的信息；如果间隔时间过短则需要反复创建大量socket连接，在集群节点数量较大时，需要对每个节点创建对应的socket连接，不断的创建、删除socket连接对整个***冲击较大、占用主节点***资源。
2、心跳检测
心跳检测与轮询的结果一样但实现方式有差别，心跳需要主节点发布通信接口，以webservice或者socket的方式实现主节点与子节点的连接，虽然这种方式相比于轮询方式减轻了主节点的压力，但是webservice与socket需要通信握手，如果其中一方因为某种原因宕机，数据就会在tcp层面超时，需要尝试重连，当多次无果后才会断开连接，这个过程需要耗费一定的时间，如果宕机节点多这种方式也会存在效率低下，获取节点信息时间相对较长。
发明内容
发明所要解决的课题是，解决遥感地面站卫星数据处理过程中调度整体效率低下，且某些要求实时性高的模块丢失数据问题。
用于解决课题的技术手段是，本发明提出一种大规模分布式集群节点信息快速获取方法，包括如下步骤：
步骤1、对集群中所有节点时间同步更新；
步骤2、采集节点资源信息，并周期性以消息中间件的方式向主节点发送采集到的节点资源信息；
步骤3、主节点将采集到的节点资源信息和数据发送时间存入数据库，并周期性分析数据库中集群资源状态，包括：节点与主节点的连通状态、节点资源信息；及将分析得到的集群资源状态更新至数据库；
步骤4、查询主节点的数据库中集群资源状态，结合负载均衡算法进行任务调度。
进一步地，作为本发明的一种优选技术方案：所述步骤2中按照资源信息模板自动采集节点资源信息。
进一步地，作为本发明的一种优选技术方案：所述步骤3中主节点将采集到的节点信息存入数据库，并且将下一次接收的节点资源信息覆盖前一次存入的节点资源信息。
进一步地，作为本发明的一种优选技术方案：所述步骤3中分析节点与主节点的连通状态，包括：
进一步地，作为本发明的一种优选技术方案：根据预先设定的节点连通状态阈值判断，如果最近一次数据发送时间小于阈值，则将节点连通状态判断为可用，否则将节点连通状态判断为不可用。
进一步地，作为本发明的一种优选技术方案：所述步骤3中分析节点资源信息包括分析节点CPU、内存及使用率。
发明效果为：
本发明的大规模分布式集群节点信息快速获取方法，集群内节点资源信息的自动获取，大大节省了大规模分布式集群节点信息的获取时间，可通过分析快速获取整个集群状态，提升了任务调度的响应时间。使得分析集群状态时间的缩短，提升任务调度响应时间，提高调度整体效率。实现了集群节点信息的快速获取，提高了在遥感地面站数据处理过程中调度整体效率，圆满解决了某些依赖实时性高的模块丢数据问题。
附图说明
图1为本发明大规模分布式集群节点信息快速获取方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明一种大规模分布式集群节点信息快速过去方法进一步详细说明，此处所描述的具体实施仅仅用以解释本发明，并不用于限定本发明。
如图1所示，本发明设计一种大规模分布式集群节点信息快速获取方法，包括如下步骤：
步骤1、使用软件对集群中所有节点时间同步更新，保证每一过程时间同步。
步骤2、***自定义需要采集节点资源模板，采集节点资源信息，并周期性以消息中间件的方式向主节点发送采集到的节点资源信息。
步骤3、主节点将采集到的节点资源信息和数据发送时间存入数据库，可将下一次接收的节点资源信息覆盖前一次存入的节点资源信息
并且，周期性分析数据库中集群资源状态，包括：分析节点与主节点的连通状态、分析节点资源信息。
分析节点与主节点的连通状态，包括：根据预先设定的节点连通状态阈值判断，如果最近一次数据发送时间小于阈值，则将节点连通状态判断为可用，否则将节点连通状态判断为不可用。
分析节点资源信息包括分析可用节点的CPU、内存及使用率等。
然后，将分析得到的集群资源状态包括节点状连通状况与节点资源信息更新至数据库。
步骤4、查询主节点的数据库中集群资源状态，结合负载均衡算法进行任务调度。
在调度作业过程，调度程序查询数据库中的节点资源信息分析结果并结合负载均衡方法进行任务调度作业，如按照节点与主节点的连通状态分析结果,将可用节点资源量使用率低的节点优先选取为任务调度节点,由该节点进行任务接收和执行。任务调度***按照以上过程进行遥感数据处理的自动化调度作业，实现任务调度。
综上，本发明实现了集群内节点资源信息的自动获取，大大节省了时间，可通过分析快速获取整个集群状态，提升了任务调度的响应时间。分析集群状态时间的缩短，提升任务调度响应时间，提高调度整体效率。
需要说明的是，以上说明仅是本发明的优选实施方式，应当理解，对于本领域技术人员来说，在不脱离本发明技术构思的前提下还可以做出若干改变和改进，这些都包括在本发明的保护范围内。

Claims (5)

1.一种大规模分布式集群节点信息快速获取方法，其特征在于，包括如下步骤：
步骤1、对集群中所有节点时间同步更新；
步骤2、采集节点资源信息，并周期性以消息中间件的方式向主节点发送采集到的节点资源信息；
步骤3、主节点将采集到的节点资源信息和数据发送时间存入数据库，并周期性分析数据库中集群资源状态，包括：节点与主节点的连通状态、节点资源信息；及将分析得到的集群资源状态更新至数据库；
步骤4、查询主节点的数据库中集群资源状态，结合负载均衡算法进行任务调度。
2.根据权利要求1所述的大规模分布式集群节点信息快速获取方法，其特征在于，所述步骤2中按照资源信息模板自动采集节点资源信息。
3.根据权利要求1所述的大规模分布式集群节点信息快速获取方法，其特征在于，所述步骤3中主节点将采集到的节点信息存入数据库，并且将下一次接收的节点资源信息覆盖前一次存入的节点资源信息。
4.根据权利要求1所述的大规模分布式集群节点信息快速获取方法，其特征在于，所述步骤3中分析节点与主节点的连通状态，包括：
根据预先设定的节点连通状态阈值判断，如果最近一次数据发送时间小于阈值，则将节点连通状态判断为可用，否则将节点连通状态判断为不可用。
5.根据权利要求1所述的大规模分布式集群节点信息快速获取方法，其特征在于，所述步骤3中分析节点资源信息包括分析节点CPU、内存及使用率。
CN201811485311.6A 2018-12-06 2018-12-06 一种大规模分布式集群节点信息快速获取方法 Pending CN109672728A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811485311.6A CN109672728A (zh) 2018-12-06 2018-12-06 一种大规模分布式集群节点信息快速获取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811485311.6A CN109672728A (zh) 2018-12-06 2018-12-06 一种大规模分布式集群节点信息快速获取方法

Publications (1)

Publication Number Publication Date
CN109672728A true CN109672728A (zh) 2019-04-23

Family

ID=66143622

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811485311.6A Pending CN109672728A (zh) 2018-12-06 2018-12-06 一种大规模分布式集群节点信息快速获取方法

Country Status (1)

Country Link
CN (1) CN109672728A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110649958A (zh) * 2019-09-05 2020-01-03 北京百度网讯科技有限公司 用于处理数据的方法、装置、设备和介质
CN113872673A (zh) * 2021-09-27 2021-12-31 哈工大机器人(中山)无人装备与人工智能研究院 一种卫星星座仿真的容器云资源调度***及其调度方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102695204A (zh) * 2012-04-24 2012-09-26 北京讯风光通信技术开发有限责任公司 一种用于工业无线网络的业务控制方法及***
CN103618644A (zh) * 2013-11-26 2014-03-05 曙光信息产业股份有限公司 一种基于hadoop集群的分布式监控***及其方法
CN104283948A (zh) * 2014-09-26 2015-01-14 东软集团股份有限公司 服务器集群***及其负载均衡实现方法
CN104507156A (zh) * 2014-12-17 2015-04-08 西南大学 针对无线网络的基于ieee 1588ptp机制的时间同步改进方法
CN104935482A (zh) * 2015-06-26 2015-09-23 曙光信息产业(北京)有限公司 分布式监控***及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102695204A (zh) * 2012-04-24 2012-09-26 北京讯风光通信技术开发有限责任公司 一种用于工业无线网络的业务控制方法及***
CN103618644A (zh) * 2013-11-26 2014-03-05 曙光信息产业股份有限公司 一种基于hadoop集群的分布式监控***及其方法
CN104283948A (zh) * 2014-09-26 2015-01-14 东软集团股份有限公司 服务器集群***及其负载均衡实现方法
CN104507156A (zh) * 2014-12-17 2015-04-08 西南大学 针对无线网络的基于ieee 1588ptp机制的时间同步改进方法
CN104935482A (zh) * 2015-06-26 2015-09-23 曙光信息产业(北京)有限公司 分布式监控***及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110649958A (zh) * 2019-09-05 2020-01-03 北京百度网讯科技有限公司 用于处理数据的方法、装置、设备和介质
CN110649958B (zh) * 2019-09-05 2022-07-26 北京百度网讯科技有限公司 用于处理卫星数据的方法、装置、设备和介质
CN113872673A (zh) * 2021-09-27 2021-12-31 哈工大机器人(中山)无人装备与人工智能研究院 一种卫星星座仿真的容器云资源调度***及其调度方法

Similar Documents

Publication Publication Date Title
CN101958804B (zh) 提升告警处理效率的方法、服务器及***
CN106033476B (zh) 一种云计算环境中分布式计算模式下的增量式图计算方法
CN112162865A (zh) 服务器的调度方法、装置和服务器
CN111459665A (zh) 一种分布式边缘计算***及分布式边缘计算方法
CN102110022B (zh) 基于优先级调度的传感器网络嵌入式操作***
CN105677469A (zh) 定时任务执行方法及装置
CN105430030A (zh) 基于osgi技术的可平行扩展的应用服务器
CN103235835A (zh) 用于数据库集群的查询实现方法和装置
CN109672728A (zh) 一种大规模分布式集群节点信息快速获取方法
CN103150324A (zh) 一种基于链式处理的数据收集***及其方法
CN103699433A (zh) 一种于Hadoop平台中动态调整任务数目的方法及***
CN109672731A (zh) 一种分布式节点信息监测方法、***及应用
CN102970104A (zh) 一种获取数据的方法及服务器
CN111160873A (zh) 基于分布式架构的跑批处理装置及方法
CN115086379B (zh) 一种基于边缘计算及虚拟化技术的数控机床数据采集方法
CN102026228B (zh) 通信网络性能数据的统计方法和设备
CN114500543B (zh) 一种基于分布式的弹性边缘采集***及其应用方法
CN102510403B (zh) 用于车辆数据接收和实时分析的集群分布式***及方法
CN107479966B (zh) 一种基于多核心cpu的信令采集方法
CN115756822A (zh) 高性能计算应用性能调优的方法及***
CN101692737B (zh) 一种面向移动rfid的轻量级数据同步***及同步方法
KR102246079B1 (ko) 클라우드 중심 IoT를 위한 멀티 모달 센서 데이터 획득 및 동기화 시스템과 이의 실행 방법
CN112600842A (zh) 集群shell方法、装置、电子设备及计算机可读存储介质
CN107220114A (zh) 基于资源统一调度的分布式资源调度方法
CN116166396A (zh) 调度模型的训练方法、装置、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190423