CN113190403A - 大数据平台运行状态的监控***、计算机设备、终端、介质 - Google Patents
大数据平台运行状态的监控***、计算机设备、终端、介质 Download PDFInfo
- Publication number
- CN113190403A CN113190403A CN202110434297.2A CN202110434297A CN113190403A CN 113190403 A CN113190403 A CN 113190403A CN 202110434297 A CN202110434297 A CN 202110434297A CN 113190403 A CN113190403 A CN 113190403A
- Authority
- CN
- China
- Prior art keywords
- data platform
- big data
- node
- information
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012544 monitoring process Methods 0.000 title claims abstract description 100
- 238000006243 chemical reaction Methods 0.000 claims description 54
- 238000010276 construction Methods 0.000 claims description 37
- 230000005540 biological transmission Effects 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 claims description 18
- 238000000034 method Methods 0.000 claims description 16
- 238000004422 calculation algorithm Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 6
- 238000004590 computer program Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
- G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3051—Monitoring arrangements for monitoring the configuration of the computing system or of the computing system component, e.g. monitoring the presence of processing resources, peripherals, I/O links, software programs
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Mobile Radio Communication Systems (AREA)
Abstract
本发明属于平台监控技术领域,公开了一种大数据平台运行状态的监控***、计算机设备、终端、介质,***包括平台信息获取模块、信息转换与传输模块、信息接收与转换模块、信息分析模块、中央控制模块、运行流程获取模块、监控节点部署模块、运行监控模块、任务类型获取模块、运行状态判定模块。本发明实现对监控节点的预先部署,方便进行平台运行信息的监控;在进行监控节点部署前进行平台的运行流程的获取,能够实现部署的监控节点与平台运行各阶段的一一对应,进行平台的各阶段运行信息获取更加准确,克服了准确性偏低的问题,实现对大数据平台的运行状态进行准确监控,还保证了大数据平台的运行效率。
Description
技术领域
本发明属于平台监控技术领域,尤其涉及一种大数据平台运行状态的监控***、计算机设备、终端、介质。
背景技术
目前:随着社会信息化程度的不断提高,在诸多业务领域产生了海量、实时的数据。当前大数据分析逐渐以非结构化为主,单机存储空间与运算能力难以满足需求,所以基于分布式的hadoop集群、spark集群和storm集群等大数据***被广泛应用。大数据集群***通常部署了成百上千个节点,节点规模的扩展不仅使大数据平台的集群资源配置与服务部署维护等越发困难,而且也使大数据平台的计算作业的提交、调度、重试及撤销告警等任务耗时耗力。
监控是大数据平台的重要组成部分,大数据***的动态性、复杂性给大数据平台运行状态的监控带来了诸多困难,如何对集群软硬件资源及不同粒度的作业进行有效监控和预警,并在出现故障时及时采取措施,是提高大数据平台计算准确性与时效性的关键。现有的进行大数据平台的监控的方案是通过监控大数据平台的各个服务组件的服务情况来获取大数据平台的运行状态,难以监控到大数据平台的具体业务需求,进行运行状态的获取的准确性偏低。
通过上述分析,现有技术存在的问题及缺陷为:现有的进行大数据平台的监控的方案是通过监控大数据平台的各个服务组件的服务情况来获取大数据平台的运行状态,难以监控到大数据平台的具体业务需求,进行运行状态的获取的准确性偏低。
发明内容
针对现有技术存在的问题,本发明提供了一种大数据平台运行状态的监控***、计算机设备、终端、介质。
本发明是这样实现的,一种大数据平台运行状态的监控***,所述大数据平台运行状态的监控***包括:
平台信息获取模块、信息转换与传输模块、信息接收与转换模块、信息分析模块、中央控制模块、运行流程获取模块、监控节点部署模块、运行监控模块、任务类型获取模块、运行状态判定模块;
平台信息获取模块,与中央控制模块连接,用于通过平台信息获取程序进行大数据平台建设信息的获取,得到大数据平台建设信息;
信息转换与传输模块,与中央控制模块连接,用于通过信息转换与传输程序进行大数据平台建设信息的转换并对转换信息进行传输;
所述通过信息转换与传输程序进行大数据平台建设信息的转换并对转换信息进行传输,包括:
确定A/D转换对象的物理量与对应电压值之间的线性关系;
判断当前物理量下测量的电压值是否存在偏差,若存在偏差,主控机进行A/D转换校准;
在完成校准后进行大数据平台建设信息的转换得到转换信息;
所述进行大数据平台建设信息的转换得到转换信息,包括:
连接并设置主控机的参数以及测试主控机的运行特性;所述测试主控机的运行特性,包括:使主控机处于速度模式下,使主控机进行控制和校正,保证速度内环性能稳定;将设计的MFAC控制算法在上位PC机上通过cSPACE的Simulink搭建好;运行MFAC主控机中的编译模块;将MFAC算法自动生成DSP代码;通过上位PC机的USB接口将代码下载到数字信号处理器中运行,经过主控机,生成电压输出信号,驱动主控机运行;
编程实现MFAC控制方法:
其中,所述MFAC主控机u(k)部分基于cSPACE的Simulink搭建,λ>0为权重系数,用来限制控制输入量的变化;ρ∈(0,1]是额外加入的步长因子,使算法具有更强的灵活性和一般性;是φ(k)在k时刻的估计值;y*(k+1)为期望的输出信号;u(k),y(k)分别表示***在k时刻的输入和输出;
所述MFAC主控机u(k)部分基于cSPACE的Simulink搭建,包括:
u(k)经过延时模块得到u(k-1);通过cSPACE中Sine Wave模块给定正弦位置信号即,y*(k+1);直线电机的输出y(k+1)经光栅检测单元可得到,再经延时模块得到y(k);由cSPACE中的WM-Write2和WM-Write3可直接在线调节MFAC控制律算法中的λ和ρ值;将估计器的输出接入到Subsystem的In端,输出Out得到y(k)以负反馈的形式与期望信号y*(k+1)连接,由此得到y*(k+1)-y(k);将输出介入Product模块中,从而得到将输出和u(k-1)接入到Add模块中,其中Add模块中的Listofsigns设置为(++│);得到MFAC主控机的输出信号u(k);
Δy(k)=y(k)-y(k-1);Δu(k-1)=u(k-1)-u(k-2);
对转换信息进行传输;
信息接收与转换模块,与中央控制模块连接,用于通过信息接收与转换程序进行转换信息的接收并将转换信息转换为数字信号,得到大数据平台建设信息;
信息分析模块,与中央控制模块连接,用于通过信息分析程序进行获取的大数据平台建设信息的分析,得到信息分析结果;
中央控制模块,与平台信息获取模块、信息转换与传输模块、信息接收与转换模块、信息分析模块连接,用于通过主控机对各连接模块的运行进行控制,保证各个模块正常运行。
进一步,所述大数据平台运行状态的监控***还包括:
运行流程获取模块,与中央控制模块连接,用于通过运行流程获取程序依据信息分析结果进行大数据平台的运行流程的获取,得到大数据平台的运行流程;
监控节点部署模块,与中央控制模块连接,用于通过监控节点部署程序进行大数据平台监控节点的部署;
运行监控模块,与中央控制模块连接,用于通过部署的的监控节点进行大数据平台运行的监控,得到大数据平台运行监控结果;
任务类型获取模块,与中央控制模块连接,用于通过任务类型获取结果依据获取的大数据平台运行监控结果进行大数据平台运行任务的类型的获取;所述大数据平台运行任务的类型包括离线任务与在线任务;
运行状态判定模块,与中央控制模块连接,用于通过运行状态判定程序依据获取的大数据平台的运行流程、大数据平台运行监控结果以及大数据平台运行任务的类型进行大数据平台运行状态判定,得到大数据平台运行状态。
进一步,所述通过平台信息获取程序进行大数据平台建设信息的获取,得到大数据平台建设信息,包括:
由移动节点构成一个网络,网络中一个数据ID定义一种类型的数据,网络中能够提供同一种类型数据的移动节点构建成一个k-anycast组,所述k-anycast组由定义所述种类型数据的数据ID唯一标识,一个k-anycast组里的移动节点称为骨干节点;
在一个包含X个骨干节点且能提供数据C的k-anycast组中,其中,X≥2,骨干节点Bx由唯一网络前缀Mx标识,k-anycast组由网络前缀集合G定义,如下式:
其中,X≥x≥1;
骨干节点或者移动节点的地址包括两个部分:i比特的网络前缀和j比特的节点ID;网络前缀包括k比特的数据ID和(i-k)比特的骨干ID,节点ID包括k比特的数据ID和(j-k)比特的内部ID,i,j和k为小于64的正整数;
骨干节点B启动后,创建一个临时地址,所述临时地址的网络前缀为i比特的随机数,节点ID为j比特的随机数;骨干节点Bx广播一个地址创建消息,消息源地址为临时地址,负载为一个随机数和数据ID c;骨干节点Bx等待一定时间,在接收到同一个k-anycast组里的其他X-1个骨干节点广播的地址创建消息后,判断骨干节点By1和骨干节点By2的优先级,其中,y1≠y2;
骨干节点Bx将同一个k-anycast组中的X个骨干节点按照优先级递增排序,如果骨干节点Bx的优先级在X骨干节点中的排序值为p,X≥p≥1,骨干节点Bx则将自己的骨干ID设置为px,同时构建一个地址,所述地址的网络前缀中的数据ID为c,节点ID为零,同时根据公式构建网络前缀集合G;
进一步,所述对转换信息进行传输,包括:
(1)针对无线体域网中传感节点的能量水平、数据业务和工作量将节点划分为不同的等级;
(2)当前传感器节点采集到数据后,判断与汇聚节点之间的信道状态,若信道状态良好,则当前传感器节点直接将数据发送给汇聚节点,数据传输结束;否则,进入(3);
(3)将当前传感器节点作为源节点;利用增强学习算法为源节点选择通向汇聚节点的中继节点;
(4)数据到达选择的中继节点后,判断当前中继节点与汇聚节点之间的信道状态,若信道状态良好,则当前中继节点直接将数据发送给汇聚节点,数据传输结束;否则,将当前中继节点作为源节点,返回(4)。
进一步,所述判断与汇聚节点之间的信道状态,包括:利用马尔可夫信道模型判断当前传感器节点或当前中继节点与汇聚节点之间的信道状态。
进一步,所述利用马尔可夫信道模型判断当前传感器节点或当前中继节点与汇聚节点之间的信道状态,包括:
进行马尔可夫信道模型的状态转移矩阵P的设置;
所述马尔可夫信道模型的状态转移矩阵P为:
其中,状态集合S={0,1},0表示坏状态,1表示好状态;Pij表示信道由i状态转为j状态的概率,满足条件为:
设S0为节点与汇聚节点之间的信道的初始状态变量,则经历n时刻后,该信道为好状态的概率p(n)为:
进一步,所述通过任务类型获取结果依据获取的大数据平台运行监控结果进行大数据平台运行任务的类型的获取,包括:
获取大数据平台的运行流程,得到大数据平台的多个任务类型;
获取大数据平台运行监控结果;
依据获取的大数据平台的任务类型对大数据平台运行监控结果进行分阶段分析,得到所述阶段对应的监控节点;
调用预先部署在大数据平台与所述阶段对应的监控节点,获取计算任务在相应阶段的任务执行情况。
本发明的另一目的在于提供一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行所述的大数据平台运行状态的监控***的功能。
本发明的另一目的在于提供一种信息数据处理终端,所述信息数据处理终端执行所述的大数据平台运行状态的监控***的功能。
本发明的另一目的在于提供一种计算机可读存储介质,储存有指令,当所述指令在计算机上运行时,使得计算机应用所述的大数据平台运行状态的监控***的功能。
结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明提供的通过对大数据运行平台的建设信息的获取,实现对监控节点的预先部署,方便进行平台运行信息的监控;在进行监控节点部署前进行平台的运行流程的获取,能够实现部署的监控节点与平台运行各阶段的一一对应,进行平台的各阶段运行信息获取更加准确;本发明通过预先部署的监控节点获取大数据平台的各个任务阶段信息,克服了传统技术通过监控大数据平台的服务组件而导致准确性偏低的问题,实现对大数据平台的运行状态进行准确监控,还保证了大数据平台的运行效率。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的大数据平台运行状态的监控***结构框图。
图2是本发明实施例提供的大数据平台运行状态的监控方法流程图。
图3是本发明实施例提供的通过信息转换与传输程序进行大数据平台建设信息的转换并对转换信息进行传输流程图。
图4是本发明实施例提供的对转换信息进行传输流程图。
图5是本发明实施例提供的通过任务类型获取结果依据获取的大数据平台运行监控结果进行大数据平台运行任务的类型的获取流程图。
图中:1、平台信息获取模块;2、信息转换与传输模块;3、信息接收与转换模块;4、信息分析模块;5、中央控制模块;6、运行流程获取模块;7、监控节点部署模块;8、运行监控模块;9、任务类型获取模块;10、运行状态判定模块。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
针对现有技术存在的问题,本发明提供了一种大数据平台运行状态的监控***,下面结合附图对本发明作详细的描述。
如图1所示,本发明实施例提供的大数据平台运行状态的监控***包括:
平台信息获取模块1,与中央控制模块5连接,用于通过平台信息获取程序进行大数据平台建设信息的获取,得到大数据平台建设信息;
信息转换与传输模块2,与中央控制模块5连接,用于通过信息转换与传输程序进行大数据平台建设信息的转换并对转换信息进行传输;
信息接收与转换模块3,与中央控制模块5连接,用于通过信息接收与转换程序进行转换信息的接收并将转换信息转换为数字信号,得到大数据平台建设信息;
信息分析模块4,与中央控制模块5连接,用于通过信息分析程序进行获取的大数据平台建设信息的分析,得到信息分析结果;
中央控制模块5,与平台信息获取模块1、信息转换与传输模块2、信息接收与转换模块3、信息分析模块4、运行流程获取模块6、监控节点部署模块7、运行监控模块8、任务类型获取模块9、运行状态判定模块10连接,用于通过主控机对各连接模块的运行进行控制,保证各个模块正常运行;
运行流程获取模块6,与中央控制模块5连接,用于通过运行流程获取程序依据信息分析结果进行大数据平台的运行流程的获取,得到大数据平台的运行流程;
监控节点部署模块7,与中央控制模块5连接,用于通过监控节点部署程序进行大数据平台监控节点的部署;
运行监控模块8,与中央控制模块5连接,用于通过部署的的监控节点进行大数据平台运行的监控,得到大数据平台运行监控结果;
任务类型获取模块9,与中央控制模块5连接,用于通过任务类型获取结果依据获取的大数据平台运行监控结果进行大数据平台运行任务的类型的获取;所述大数据平台运行任务的类型包括离线任务与在线任务;
运行状态判定模块10,与中央控制模块5连接,用于通过运行状态判定程序依据获取的大数据平台的运行流程、大数据平台运行监控结果以及大数据平台运行任务的类型进行大数据平台运行状态判定,得到大数据平台运行状态。
如图2所示,本发明实施例提供的大数据平台运行状态的监控方法包括以下步骤:
S101,通过平台信息获取模块利用平台信息获取程序进行大数据平台建设信息的获取,得到大数据平台建设信息;通过信息转换与传输模块利用信息转换与传输程序进行大数据平台建设信息的转换并对转换信息进行传输;
S102,通过信息接收与转换模块利用信息接收与转换程序进行转换信息的接收并将转换信息转换为数字信号,得到大数据平台建设信息;通过信息分析模块利用信息分析程序进行获取的大数据平台建设信息的分析,得到信息分析结果;
S103,通过中央控制模块利用主控机对各连接模块的运行进行控制,保证各个模块正常运行;通过运行流程获取模块利用运行流程获取程序依据信息分析结果进行大数据平台的运行流程的获取,得到大数据平台的运行流程;
S104,通过监控节点部署模块利用监控节点部署程序进行大数据平台监控节点的部署;通过运行监控模块利用部署的的监控节点进行大数据平台运行的监控,得到大数据平台运行监控结果;
S105,通过任务类型获取模块利用任务类型获取结果依据获取的大数据平台运行监控结果进行大数据平台运行任务的类型的获取;所述大数据平台运行任务的类型包括离线任务与在线任务;
S106,通过运行状态判定模块利用运行状态判定程序依据获取的大数据平台的运行流程、大数据平台运行监控结果以及大数据平台运行任务的类型进行大数据平台运行状态判定,得到大数据平台运行状态。
本发明实施例提供的通过平台信息获取程序进行大数据平台建设信息的获取,得到大数据平台建设信息,包括:
由移动节点构成一个网络,网络中一个数据ID定义一种类型的数据,网络中能够提供同一种类型数据的移动节点构建成一个k-anycast组,所述k-anycast组由定义所述种类型数据的数据ID唯一标识,一个k-anycast组里的移动节点称为骨干节点;
在一个包含X个骨干节点且能提供数据C的k-anycast组中,其中,X≥2,骨干节点Bx由唯一网络前缀Mx标识,k-anycast组由网络前缀集合G定义,如下式:
其中,X≥x≥1;
骨干节点或者移动节点的地址包括两个部分:i比特的网络前缀和j比特的节点ID;网络前缀包括k比特的数据ID和(i-k)比特的骨干ID,节点ID包括k比特的数据ID和(j-k)比特的内部ID,i,j和k为小于64的正整数;
骨干节点B启动后,创建一个临时地址,所述临时地址的网络前缀为i比特的随机数,节点ID为j比特的随机数;骨干节点Bx广播一个地址创建消息,消息源地址为临时地址,负载为一个随机数和数据ID c;骨干节点Bx等待一定时间,在接收到同一个k-anycast组里的其他X-1个骨干节点广播的地址创建消息后,判断骨干节点By1和骨干节点By2的优先级,其中,y1≠y2;
骨干节点Bx将同一个k-anycast组中的X个骨干节点按照优先级递增排序,如果骨干节点Bx的优先级在X骨干节点中的排序值为p,X≥p≥1,骨干节点Bx则将自己的骨干ID设置为px,同时构建一个地址,所述地址的网络前缀中的数据ID为c,节点ID为零,同时根据公式构建网络前缀集合G;
如图3所示,本发明实施例提供的通过信息转换与传输程序进行大数据平台建设信息的转换并对转换信息进行传输,包括:
S201,确定A/D转换对象的物理量与对应电压值之间的线性关系;
S202,判断当前物理量下测量的电压值是否存在偏差,若存在偏差,主控机进行A/D转换校准;
S203,在完成校准后进行大数据平台建设信息的转换得到转换信息;
S204,对转换信息进行传输。
本发明实施例提供的进行大数据平台建设信息的转换得到转换信息,包括:
连接并设置主控机的参数以及测试主控机的运行特性;所述测试主控机的运行特性,包括:使主控机处于速度模式下,使主控机进行控制和校正,保证速度内环性能稳定;将设计的MFAC控制算法在上位PC机上通过cSPACE的Simulink搭建好;运行MFAC主控机中的编译模块;将MFAC算法自动生成DSP代码;通过上位PC机的USB接口将代码下载到数字信号处理器中运行,经过主控机,生成电压输出信号,驱动主控机运行;
编程实现MFAC控制方法:
其中,所述MFAC主控机u(k)部分基于cSPACE的Simulink搭建,λ>0为权重系数,用来限制控制输入量的变化;ρ∈(0,1]是额外加入的步长因子,使算法具有更强的灵活性和一般性;是φ(k)在k时刻的估计值;y*(k+1)为期望的输出信号;u(k),y(k)分别表示***在k时刻的输入和输出;
所述MFAC主控机u(k)部分基于cSPACE的Simulink搭建,包括:
u(k)经过延时模块得到u(k-1);通过cSPACE中Sine Wave模块给定正弦位置信号即,y*(k+1);直线电机的输出y(k+1)经光栅检测单元可得到,再经延时模块得到y(k);由cSPACE中的WM-Write2和WM-Write3可直接在线调节MFAC控制律算法中的λ和ρ值;将估计器的输出接入到Subsystem的In端,输出Out得到y(k)以负反馈的形式与期望信号y*(k+1)连接,由此得到y*(k+1)-y(k);将输出介入Product模块中,从而得到将输出和u(k-1)接入到Add模块中,其中Add模块中的Listofsigns设置为(++│);得到MFAC主控机的输出信号u(k);
Δy(k)=y(k)-y(k-1);Δu(k-1)=u(k-1)-u(k-2);
如图4所示,本发明实施例提供的对转换信息进行传输,包括:
S301,针对无线体域网中传感节点的能量水平、数据业务和工作量将节点划分为不同的等级;
S302,当前传感器节点采集到数据后,判断与汇聚节点之间的信道状态,若信道状态良好,则当前传感器节点直接将数据发送给汇聚节点,数据传输结束;否则,进入步骤S303;
S303,将当前传感器节点作为源节点;利用增强学习算法为源节点选择通向汇聚节点的中继节点;
S304,数据到达选择的中继节点后,判断当前中继节点与汇聚节点之间的信道状态,若信道状态良好,则当前中继节点直接将数据发送给汇聚节点,数据传输结束;否则,将当前中继节点作为源节点,返回步骤S303。
本发明实施例提供的判断与汇聚节点之间的信道状态,包括:利用马尔可夫信道模型判断当前传感器节点或当前中继节点与汇聚节点之间的信道状态。
本发明实施例提供的利用马尔可夫信道模型判断当前传感器节点或当前中继节点与汇聚节点之间的信道状态,包括:
进行马尔可夫信道模型的状态转移矩阵P的设置;
所述马尔可夫信道模型的状态转移矩阵P为:
其中,状态集合S={0,1},0表示坏状态,1表示好状态;Pij表示信道由i状态转为j状态的概率,满足条件为:
设S0为节点与汇聚节点之间的信道的初始状态变量,则经历n时刻后,该信道为好状态的概率p(n)为:
如图5所示,本发明实施例提供的通过任务类型获取结果依据获取的大数据平台运行监控结果进行大数据平台运行任务的类型的获取,包括:
S401,获取大数据平台的运行流程,得到大数据平台的多个任务类型;
S402,获取大数据平台运行监控结果;
S403,依据获取的大数据平台的任务类型对大数据平台运行监控结果进行分阶段分析,得到所述阶段对应的监控节点;
S404,调用预先部署在大数据平台与所述阶段对应的监控节点,获取计算任务在相应阶段的任务执行情况。
以上所述,仅为本发明较优的具体的实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。
Claims (10)
1.一种大数据平台运行状态的监控***,其特征在于,所述大数据平台运行状态的监控***包括:
平台信息获取模块,与中央控制模块连接,用于通过平台信息获取程序进行大数据平台建设信息的获取,得到大数据平台建设信息;
信息转换与传输模块,与中央控制模块连接,用于通过信息转换与传输程序进行大数据平台建设信息的转换并对转换信息进行传输;
所述通过信息转换与传输程序进行大数据平台建设信息的转换并对转换信息进行传输,包括:
确定A/D转换对象的物理量与对应电压值之间的线性关系;
判断当前物理量下测量的电压值是否存在偏差,若存在偏差,主控机进行A/D转换校准;
在完成校准后进行大数据平台建设信息的转换得到转换信息;
所述进行大数据平台建设信息的转换得到转换信息,包括:
连接并设置主控机的参数以及测试主控机的运行特性;所述测试主控机的运行特性,包括:使主控机处于速度模式下,使主控机进行控制和校正,保证速度内环性能稳定;将设计的MFAC控制算法在上位PC机上通过cSPACE的Simulink搭建好;运行MFAC主控机中的编译模块;将MFAC算法自动生成DSP代码;通过上位PC机的USB接口将代码下载到数字信号处理器中运行,经过主控机,生成电压输出信号,驱动主控机运行;
编程实现MFAC控制方法:
其中,所述MFAC主控机u(k)部分基于cSPACE的Simulink搭建,λ>0为权重系数,用来限制控制输入量的变化;ρ∈(0,1]是额外加入的步长因子,使算法具有更强的灵活性和一般性;是φ(k)在k时刻的估计值;y*(k+1)为期望的输出信号;u(k),y(k)分别表示***在k时刻的输入和输出;
所述MFAC主控机u(k)部分基于cSPACE的Simulink搭建,包括:
u(k)经过延时模块得到u(k-1);通过cSPACE中Sine Wave模块给定正弦位置信号即,y*(k+1);直线电机的输出y(k+1)经光栅检测单元可得到,再经延时模块得到y(k);由cSPACE中的WM-Write2和WM-Write3可直接在线调节MFAC控制律算法中的λ和ρ值;将估计器的输出接入到Subsystem的In端,输出Out得到y(k)以负反馈的形式与期望信号y*(k+1)连接,由此得到y*(k+1)-y(k);将输出介入Product模块中,从而得到将输出和u(k-1)接入到Add模块中,其中Add模块中的Listofsigns设置为(++│);得到MFAC主控机的输出信号u(k);
Δy(k)=y(k)-y(k-1);Δu(k-1)=u(k-1)-u(k-2);
对转换信息进行传输;
信息接收与转换模块,与中央控制模块连接,用于通过信息接收与转换程序进行转换信息的接收并将转换信息转换为数字信号,得到大数据平台建设信息;
信息分析模块,与中央控制模块连接,用于通过信息分析程序进行获取的大数据平台建设信息的分析,得到信息分析结果;
中央控制模块,与平台信息获取模块、信息转换与传输模块、信息接收与转换模块、信息分析模块连接,用于通过主控机对各连接模块的运行进行控制,保证各个模块正常运行。
2.如权利要求1所述大数据平台运行状态的监控***,其特征在于,所述大数据平台运行状态的监控***还包括:
运行流程获取模块,与中央控制模块连接,用于通过运行流程获取程序依据信息分析结果进行大数据平台的运行流程的获取,得到大数据平台的运行流程;
监控节点部署模块,与中央控制模块连接,用于通过监控节点部署程序进行大数据平台监控节点的部署;
运行监控模块,与中央控制模块连接,用于通过部署的的监控节点进行大数据平台运行的监控,得到大数据平台运行监控结果;
任务类型获取模块,与中央控制模块连接,用于通过任务类型获取结果依据获取的大数据平台运行监控结果进行大数据平台运行任务的类型的获取;所述大数据平台运行任务的类型包括离线任务与在线任务;
运行状态判定模块,与中央控制模块连接,用于通过运行状态判定程序依据获取的大数据平台的运行流程、大数据平台运行监控结果以及大数据平台运行任务的类型进行大数据平台运行状态判定,得到大数据平台运行状态。
3.如权利要求1所述大数据平台运行状态的监控***,其特征在于,所述通过平台信息获取程序进行大数据平台建设信息的获取,得到大数据平台建设信息,包括:
由移动节点构成一个网络,网络中一个数据ID定义一种类型的数据,网络中能够提供同一种类型数据的移动节点构建成一个k-anycast组,所述k-anycast组由定义所述种类型数据的数据ID唯一标识,一个k-anycast组里的移动节点称为骨干节点;
在一个包含X个骨干节点且能提供数据C的k-anycast组中,其中,X≥2,骨干节点Bx由唯一网络前缀Mx标识,k-anycast组由网络前缀集合G定义,如下式:
其中,X≥x≥1;
骨干节点或者移动节点的地址包括两个部分:i比特的网络前缀和j比特的节点ID;网络前缀包括k比特的数据ID和(i-k)比特的骨干ID,节点ID包括k比特的数据ID和(j-k)比特的内部ID,i,j和k为小于64的正整数;
骨干节点B启动后,创建一个临时地址,所述临时地址的网络前缀为i比特的随机数,节点ID为j比特的随机数;骨干节点Bx广播一个地址创建消息,消息源地址为临时地址,负载为一个随机数和数据ID c;骨干节点Bx等待一定时间,在接收到同一个k-anycast组里的其他X-1个骨干节点广播的地址创建消息后,判断骨干节点By1和骨干节点By2的优先级,其中,y1≠y2;
骨干节点Bx将同一个k-anycast组中的X个骨干节点按照优先级递增排序,如果骨干节点Bx的优先级在X骨干节点中的排序值为p,X≥p≥1,骨干节点Bx则将自己的骨干ID设置为px,同时构建一个地址,所述地址的网络前缀中的数据ID为c,节点ID为零,同时根据公式构建网络前缀集合G;
4.如权利要求1所述大数据平台运行状态的监控***,其特征在于,所述对转换信息进行传输,包括:
(1)针对无线体域网中传感节点的能量水平、数据业务和工作量将节点划分为不同的等级;
(2)当前传感器节点采集到数据后,判断与汇聚节点之间的信道状态,若信道状态良好,则当前传感器节点直接将数据发送给汇聚节点,数据传输结束;否则,进入(3);
(3)将当前传感器节点作为源节点;利用增强学习算法为源节点选择通向汇聚节点的中继节点;
(4)数据到达选择的中继节点后,判断当前中继节点与汇聚节点之间的信道状态,若信道状态良好,则当前中继节点直接将数据发送给汇聚节点,数据传输结束;否则,将当前中继节点作为源节点,返回(4)。
5.如权利要求4所述大数据平台运行状态的监控***,其特征在于,所述判断与汇聚节点之间的信道状态,包括:利用马尔可夫信道模型判断当前传感器节点或当前中继节点与汇聚节点之间的信道状态。
7.如权利要求2所述大数据平台运行状态的监控***,其特征在于,所述通过任务类型获取结果依据获取的大数据平台运行监控结果进行大数据平台运行任务的类型的获取,包括:
获取大数据平台的运行流程,得到大数据平台的多个任务类型;
获取大数据平台运行监控结果;
依据获取的大数据平台的任务类型对大数据平台运行监控结果进行分阶段分析,得到所述阶段对应的监控节点;
调用预先部署在大数据平台与所述阶段对应的监控节点,获取计算任务在相应阶段的任务执行情况。
8.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行权利要求1~7任意一项所述的大数据平台运行状态的监控***的功能。
9.一种信息数据处理终端,其特征在于,所述信息数据处理终端执行权利要求1~7任意一项所述的大数据平台运行状态的监控***的功能。
10.一种计算机可读存储介质,储存有指令,当所述指令在计算机上运行时,使得计算机应用如权利要求1~7任意一项所述的大数据平台运行状态的监控***的功能。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110434297.2A CN113190403A (zh) | 2021-04-22 | 2021-04-22 | 大数据平台运行状态的监控***、计算机设备、终端、介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110434297.2A CN113190403A (zh) | 2021-04-22 | 2021-04-22 | 大数据平台运行状态的监控***、计算机设备、终端、介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113190403A true CN113190403A (zh) | 2021-07-30 |
Family
ID=76978054
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110434297.2A Pending CN113190403A (zh) | 2021-04-22 | 2021-04-22 | 大数据平台运行状态的监控***、计算机设备、终端、介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113190403A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113835967A (zh) * | 2021-09-28 | 2021-12-24 | 北京京东拓先科技有限公司 | 一种监控方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105871641A (zh) * | 2016-06-08 | 2016-08-17 | 常熟理工学院 | 一种基于云的数据获取方法 |
CN106686533A (zh) * | 2017-01-06 | 2017-05-17 | 东华大学 | 一种基于增强学习算法的无线体域网数据传输方法 |
CN108319538A (zh) * | 2018-02-02 | 2018-07-24 | 世纪龙信息网络有限责任公司 | 大数据平台运行状态的监控方法和*** |
CN109462356A (zh) * | 2018-12-06 | 2019-03-12 | 北京信息科技大学 | 一种直线电机伺服***的无模型自适应控制方法 |
CN111259073A (zh) * | 2020-01-08 | 2020-06-09 | 国网福建省电力有限公司 | 基于日志、流量和业务访问的业务***运行状态智能研判*** |
CN112685385A (zh) * | 2020-12-31 | 2021-04-20 | 广西中科曙光云计算有限公司 | 一种用于智慧城市建设的大数据平台 |
-
2021
- 2021-04-22 CN CN202110434297.2A patent/CN113190403A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105871641A (zh) * | 2016-06-08 | 2016-08-17 | 常熟理工学院 | 一种基于云的数据获取方法 |
CN106686533A (zh) * | 2017-01-06 | 2017-05-17 | 东华大学 | 一种基于增强学习算法的无线体域网数据传输方法 |
CN108319538A (zh) * | 2018-02-02 | 2018-07-24 | 世纪龙信息网络有限责任公司 | 大数据平台运行状态的监控方法和*** |
CN109462356A (zh) * | 2018-12-06 | 2019-03-12 | 北京信息科技大学 | 一种直线电机伺服***的无模型自适应控制方法 |
CN111259073A (zh) * | 2020-01-08 | 2020-06-09 | 国网福建省电力有限公司 | 基于日志、流量和业务访问的业务***运行状态智能研判*** |
CN112685385A (zh) * | 2020-12-31 | 2021-04-20 | 广西中科曙光云计算有限公司 | 一种用于智慧城市建设的大数据平台 |
Non-Patent Citations (1)
Title |
---|
曹荣敏等: "非圆切削刀具进给***的复合迭代学习控制", 《电气传动》 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113835967A (zh) * | 2021-09-28 | 2021-12-24 | 北京京东拓先科技有限公司 | 一种监控方法、装置、电子设备及存储介质 |
CN113835967B (zh) * | 2021-09-28 | 2024-05-17 | 北京京东拓先科技有限公司 | 一种监控方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102456900B1 (ko) | 에지 컴퓨팅 기반 데이터 분석 시스템 및 그 방법 | |
CN112990330B (zh) | 用户用能异常数据检测方法及设备 | |
CN107203464B (zh) | 业务问题的定位方法以及装置 | |
CN115756642A (zh) | 一种业务流程配置方法、装置、设备及存储介质 | |
CN113190403A (zh) | 大数据平台运行状态的监控***、计算机设备、终端、介质 | |
CN114884997A (zh) | 传感器数据分级传输的智能电缆监测*** | |
CN117767250B (zh) | 基于故障监测的直流微电网协调控制方法及*** | |
CN112948353B (zh) | 一种应用于DAstudio的数据分析方法、***及存储介质 | |
CN112036634A (zh) | 光伏发电功率的确定方法、预测***及可读存储介质 | |
CN111090401A (zh) | 存储设备性能预测方法及装置 | |
CN114819754A (zh) | 一种基于边缘计算的物流企业碳排放量的检测方法及装置 | |
CN112733454B (zh) | 一种基于联合学习的设备预测性维护方法及装置 | |
CN114065937A (zh) | 一种设备故障诊断方法、装置及终端设备 | |
CN110999263B (zh) | Iot装置集群的分层数据处理 | |
CN116954169B (zh) | 基于dcs控制的信息安全控制方法、装置、设备及介质 | |
CN115688447B (zh) | 一种高性能电力***云仿真***架构 | |
CN117649061B (zh) | 一种用于环保监测的多节点组网用电分析方法及*** | |
CN116164820A (zh) | 智能燃气表的燃气数据的校正方法及*** | |
KR20190129675A (ko) | 지향성 비용함수를 이용한 에너지 수요예측을 위한 장치 및 방법 | |
CN113295963B (zh) | 一种有源配电网cps***跨域连锁故障源节点判别方法 | |
WO2020202168A1 (en) | A computer implemented method for handling occurrence of anomalies and/or faults in a network node | |
CN114697234B (zh) | 智能上报数据的电缆 | |
CN117195580B (zh) | 一种配电网智能规划方法及*** | |
CN117707745B (zh) | 一种基于自适应禁忌搜索算法的计量任务同步调度方法 | |
CN117474292B (zh) | 一种基于5g传输的网联无人机用调度***及调度方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210730 |