CN112905423A - 大数据环境中分布式资源容器监控与自评估方法及*** - Google Patents

大数据环境中分布式资源容器监控与自评估方法及*** Download PDF

Info

Publication number
CN112905423A
CN112905423A CN202110323299.4A CN202110323299A CN112905423A CN 112905423 A CN112905423 A CN 112905423A CN 202110323299 A CN202110323299 A CN 202110323299A CN 112905423 A CN112905423 A CN 112905423A
Authority
CN
China
Prior art keywords
node
nodes
preset
data
self
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110323299.4A
Other languages
English (en)
Other versions
CN112905423B (zh
Inventor
王军平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Saibo Yunrui Intelligent Technology Co ltd
Original Assignee
Beijing Saibo Yunrui Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Saibo Yunrui Intelligent Technology Co ltd filed Critical Beijing Saibo Yunrui Intelligent Technology Co ltd
Priority to CN202110323299.4A priority Critical patent/CN112905423B/zh
Publication of CN112905423A publication Critical patent/CN112905423A/zh
Application granted granted Critical
Publication of CN112905423B publication Critical patent/CN112905423B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3003—Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3006—Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the computing system is distributed, e.g. networked systems, clusters, multiprocessor systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45591—Monitoring or debugging support

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供一种大数据环境中分布式资源容器监控与自评估方法及***，其中，方法包括：基于预设的第一规则对大数据上各个节点进行分组；在每个分组的各个节点中挑选出一个节点作为第一级监控节点；通过第一级监控节点对组内的各个节点内运行的容器进行监控；在每隔一预设时间，向所述容器输入预设的测试数据并接收所述容器对于所述测试数据的自评估数据。本发明的大数据环境中分布式资源容器监控与自评估方法，实现对大数据的各个节点上运行的容器的监控，提高大数据运行的稳定性及安全性。

Description

大数据环境中分布式资源容器监控与自评估方法及***
技术领域
本发明涉及监控技术领域，特别涉及一种大数据环境中分布式资源容器监控与自评估方法及***。
背景技术
目前，现在的社会是一个高速发展的社会，科技发达，信息流通，人们之间的交流越来越密切，生活也越来越方便，大数据就是这个高科技时代的产物。大数据必然无法用单台的计算机进行处理，必须采用分布式架构。它的特色在于对海量数据进行分布式数据挖掘。但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
Docker是PaaS提供商dotCloud开源的一个基于LXC的高级容器引擎，源代码托管在Github上,基于go语言并遵从Apache2.0协议开源。简单得来说，Docker是一个由GO语言写的程序运行的“容器”(Linuxcontainers，LXCs)；目前云服务的基石是操作***级别的隔离，在同一台宿主机上虚拟出多个主机。Docker则实现了一种应用程序级别的隔离，它改变我们基本的开发、操作单元，由直接操作虚拟主机(VM)转换到操作程序运行的“容器”上来。
现在，亟需一种对于大数据中各个节点的容器的统一监控方法，来实现对大数据的各个节点上运行的容器的监控，提高大数据运行的稳定性及安全性。
发明内容
本发明目的之一在于提供了一种大数据环境中分布式资源容器监控与自评估方法，以解决上述技术问题。
本发明实施例提供的一种大数据环境中分布式资源容器监控与自评估方法，包括：
基于预设的第一规则对大数据上各个节点进行分组；
在每个分组的各个节点中挑选出一个节点作为第一级监控节点；通过第一级监控节点对组内的各个节点内运行的容器进行监控；
在每隔一预设时间，向容器输入预设的测试数据并接收容器对于测试数据的自评估数据。
优选的，基于预设的第一规则对大数据上各个节点进行分组，包括：
获取各个节点的位置信息；
构建虚拟地图，将位置信息映射至虚拟地图中，确定各个位置信息对应的虚拟位置；
确定包含所有的虚拟位置的最小的规则区域；
确定规则区域的中点，任选一个虚拟位置作为标准位置，
确定各个虚拟位置相对于标准位置的偏转角度；偏转角度为虚拟位置至中点的连线与标准位置至中点的连线之间所呈角度；
将偏转角度按照从大至小排列，形成第一列表；
将第一列表从上至下分为预设的第一数量的分组；
或，
获取各个节点的重要度；基于重要度从高到低对节点进行排序，获取节点列表；
从节点列表中从上至下提取预设的第一数量的节点作为核心节点，构建核心节点列表；
基于节点列表和核心节点列表，确定非核心节点列表；
依次提取核心节点列表中核心节点，确定核心节点与非核心节点列表中的节点的关联度；
基于关联度，提取预设的第二数量的非核心节点列表中的节点与核心节点组成一个分组；
当核心节点列表中的核心节点都提取完后，获得预设的第一数量的分组。
优选的，在每个分组的各个节点中挑选出一个节点作为第一级监控节点；通过第一级监控节点对组内的各个节点内运行的容器进行监控，包括：
计算分组内各个节点到该分组内的其他的节点的传输距离和值，以传输距离和值最小的节点作为第一级监控节点；
或，
以核心节点为第一级监控节点。
优选的，在每隔一预设时间，向容器输入预设的测试数据并接收容器对于测试数据的自评估数据，包括：
容器接收到测试数据时，基于测试数据进行运行；
获取运行过程中的各个预设部位的监控数据，以及运行后的输出数据；
基于监控数据与输出数据，构建自评估向量；
获取预设的自评估数据库，自评估数据库中匹配向量与自评估数据一一对应；
计算自评估向量与自评估数据库中每个匹配向量的匹配度，计算公式如下：
Figure BDA0002993626040000031
其中，PPDj为自评估向量与自评估数据库中第j个匹配向量的匹配度，n为自评估向量中数据的总数或匹配向量中数据的总数；σi为自评估向量的第i个数据的值；μi,j为第j个匹配向量的第i个数据的值；
获取自评估数据库中与自评估向量的匹配度最大的匹配向量所对应的自评估数据。
优选的，获取各个节点的重要度，包括：
获取预设时间内节点参与大数据内的任务的参与数据；
解析参与数据，确定第一重要值；第一重要值的计算公式如下：
Figure BDA0002993626040000041
其中，D1为第一重要值，M为预设时间内大数据内的任务总数；m为节点参与的任务数；Qk为节点参与的第k个任务的任务总量；qk为节点参与的第k个任务时完成的任务量；
Figure BDA0002993626040000042
分别为预设的第一相关系数和第二相关系数；
获取节点的节点数据；
解析节点数据，获取第二重要值；第二重要值的计算公式如下：
Figure BDA0002993626040000043
其中，D2为第二重要值，Af为节点数据中第f个参数的参数值；δf为对应f个参数的预设权重值；P为节点数据中参数的总数；
获取节点的连接情况；
解析连接情况，获取第三重要值；第三重要值的计算公式如下：
Figure BDA0002993626040000044
其中，D3为第三重要值；T为节点与大数据的其他节点的数据传输时间总和；
Figure BDA0002993626040000045
为所有的节点的数据传输时间总和的平均值；ΔT0预设的标准误差阈值；Qd为与节点直接连接的第d个其他节点的预设的权限值；ωd为第d个其他节点与节点的连接系数，连接系数根据其他节点与节点的数据传输参数查询预设的连接系数表获得；F为与节点直接连接的其他节点的总数；
基于第一重要值、第二重要值和第三重要值，确定节点的重要度，计算公式如下：
D＝τ1Q+τ2D1+τ3D2+τ4D3；
其中，D为重要度，Q为节点的预设的权限值；τ1为预设的对应权限值的关系系数；τ2为预设的对应第一重要值的关系系数；τ3为预设的对应第二重要值的关系系数；τ4为预设的对应第三重要值的关系系数。
优选的，确定核心节点与非核心节点列表中的节点的关联度，包括：
获取核心节点到非核心节点的所有路径；
确定所有路径中最短路径所经过的节点数；
确定所有路径中经过的节点数小于等于预设节点数的各个路径的路径传输时间及路径传输数据量；
基于节点数、路径传输时间和路径传输数据量，确定关联度，计算公式如下：
Figure BDA0002993626040000051
其中，G为关联度；N为最短路径所经过的节点数；O为经过的节点数小于等于预设节点数的路径总数；tl经过的节点数小于等于预设节点数的第l个路径的路径传输时间；ql经过的节点数小于等于预设节点数的第l个路径的路径传输数据量，β1、β2、β3都为预设权重值。
优选的，大数据环境中分布式资源容器监控与自评估方法，还包括：
设置第二级监控节点，用于采集第一级监控节点的监控数据及第一级监控节点的运行状态数据。
本发明还提供一种大数据环境中分布式资源容器监控与自评估***，包括：
分组模块，用于基于预设的第一规则对大数据上各个节点进行分组；
监控模块，同于在每个分组的各个节点中挑选出一个节点作为第一级监控节点；通过第一级监控节点对组内的各个节点内运行的容器进行监控；
自评估模块，用于在每隔一预设时间，向容器输入预设的测试数据并接收容器对于测试数据的自评估数据。
优选的，基于预设的第一规则对大数据上各个节点进行分组，包括：
获取各个节点的位置信息；
构建虚拟地图，将位置信息映射至虚拟地图中，确定各个位置信息对应的虚拟位置；
确定包含所有的虚拟位置的最小的规则区域；
确定规则区域的中点，任选一个虚拟位置作为标准位置，
确定各个虚拟位置相对于标准位置的偏转角度；偏转角度为虚拟位置至中点的连线与标准位置至中点的连线之间所呈角度；
将偏转角度按照从大至小排列，形成第一列表；
将第一列表从上至下分为预设的第一数量的分组；
或，
获取各个节点的重要度；基于重要度从高到低对节点进行排序，获取节点列表；
从节点列表中从上至下提取预设的第一数量的节点作为核心节点，构建核心节点列表；
基于节点列表和核心节点列表，确定非核心节点列表；
依次提取核心节点列表中核心节点，确定核心节点与非核心节点列表中的节点的关联度；
基于关联度，提取预设的第二数量的非核心节点列表中的节点与核心节点组成一个分组；
当核心节点列表中的核心节点都提取完后，获得预设的第一数量的分组。
优选的，在每个分组的各个节点中挑选出一个节点作为第一级监控节点；通过第一级监控节点对组内的各个节点内运行的容器进行监控，包括：
计算分组内各个节点到该分组内的其他的节点的传输距离和值，以传输距离和值最小的节点作为第一级监控节点；
或，
以核心节点为第一级监控节点。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为本发明实施例中一种大数据环境中分布式资源容器监控与自评估方法的示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例提供了一种大数据环境中分布式资源容器监控与自评估方法，如图1所示，包括：
步骤S1：基于预设的第一规则对大数据上各个节点进行分组；
步骤S2：在每个分组的各个节点中挑选出一个节点作为第一级监控节点；通过第一级监控节点对组内的各个节点内运行的容器进行监控；
步骤S3：在每隔一预设时间，向容器输入预设的测试数据并接收容器对于测试数据的自评估数据。
上述技术方案的工作原理及有益效果为：
对大数据的节点进行分组，分组后在组内指定或建立一个第一级监控节点，用于对组内各个节点上运行的容器的状态进行监控；在原有的节点自我监控基础上，增加组内监控机制，提高了容器运行的安全性；此外，每个一预设时间，向容器输入预设的测试数据，容器运行测试数据；基于测试数据进行自我评估；第一级监控节点接收容器输出的自评估数据进行记录，并对自评估数据进行分析，便于发现容器运行的异常。
本发明的大数据环境中分布式资源容器监控与自评估方法，在原有的节点对容器监控的基础上，设置第一级监控节点，实现了各个节点上运行的容器的统一监控，提高了大数据运行的稳定性及安全性。
在一个实施例中，基于预设的第一规则对大数据上各个节点进行分组，包括：
获取各个节点的位置信息；
构建虚拟地图，将位置信息映射至虚拟地图中，确定各个位置信息对应的虚拟位置；
确定包含所有的虚拟位置的最小的规则区域；
确定规则区域的中点，任选一个虚拟位置作为标准位置，
确定各个虚拟位置相对于标准位置的偏转角度；偏转角度为虚拟位置至中点的连线与标准位置至中点的连线之间所呈角度；
将偏转角度按照从大至小排列，形成第一列表；
将第一列表从上至下分为预设的第一数量的分组；
或，
获取各个节点的重要度；基于重要度从高到低对节点进行排序，获取节点列表；
从节点列表中从上至下提取预设的第一数量的节点作为核心节点，构建核心节点列表；
基于节点列表和核心节点列表，确定非核心节点列表；
依次提取核心节点列表中核心节点，确定核心节点与非核心节点列表中的节点的关联度；
基于关联度，提取预设的第二数量的非核心节点列表中的节点与核心节点组成一个分组；
当核心节点列表中的核心节点都提取完后，获得预设的第一数量的分组。
上述技术方案的工作原理及有益效果为：
分组方法分为两种。第一种，基于节点的实际地理位置，对各个节点进行分组；节点的设置位置相近，其之间的传输数据的速度也快，采用本实施例中的基于位置信息分组法，规则区域的面积不能超过一预设值，例如实际位置不超高一个市的区域；规则区域指代圆形区域、方形区域等区域边界为规则图形的情况；此外除了射线区域划分法，还可采用区块划分，例如将规则区域等分为N*M个区块。第二种，以重要度筛选出核心节点，以核心节点为核心进行分组。实现合理的分组，通过分组进行监控，以降低采用一个监控节点进行统一监控，对监控节点的负荷压力。
在一个实施例中，在每个分组的各个节点中挑选出一个节点作为第一级监控节点；通过第一级监控节点对组内的各个节点内运行的容器进行监控，包括：
计算分组内各个节点到该分组内的其他的节点的传输距离和值，以传输距离和值最小的节点作为第一级监控节点；
或，
以核心节点为第一级监控节点。
上述技术方案的工作原理及有益效果为：
通过计算传输距离和值，实现第一级监控节点到各个被监控的节点的距离最短，实现反映时间最短化，提高监控的及时性。或，核心节点的分组方案是以核心节点为核心，采用核心节点作为第一级监控节点具有代表意义，并且在分组的时候已经考虑核心节点与组内其他节点的关联度，故采用核心节点作为第一级监控节点较为合理。
在一个实施例中，在每隔一预设时间，向容器输入预设的测试数据并接收容器对于测试数据的自评估数据，包括：
容器接收到测试数据时，基于测试数据进行运行；
获取运行过程中的各个预设部位的监控数据，以及运行后的输出数据；
基于监控数据与输出数据，构建自评估向量；
获取预设的自评估数据库，自评估数据库中匹配向量与自评估数据一一对应；
计算自评估向量与自评估数据库中每个匹配向量的匹配度，计算公式如下：
Figure BDA0002993626040000101
其中，PPDj为自评估向量与自评估数据库中第j个匹配向量的匹配度，n为自评估向量中数据的总数或匹配向量中数据的总数；σi为自评估向量的第i个数据的值；μi,j为第j个匹配向量的第i个数据的值；
获取自评估数据库中与自评估向量的匹配度最大的匹配向量所对应的自评估数据。
上述技术方案的工作原理及有益效果为：
通过自评估方法，实现容器的自我评估，便于当自评估不过关时，对容器进行调整。在自评估时，采用预设的自评估数据库实现自评估数据的生成，其中自评估数据库是事先采用大量的数据构建的。
在一个实施例中，获取各个节点的重要度，包括：
获取预设时间内节点参与大数据内的任务的参与数据；
解析参与数据，确定第一重要值；第一重要值的计算公式如下：
Figure BDA0002993626040000102
其中，D1为第一重要值，M为预设时间内大数据内的任务总数；m为节点参与的任务数；Qk为节点参与的第k个任务的任务总量；qk为节点参与的第k个任务时完成的任务量；
Figure BDA0002993626040000103
分别为预设的第一相关系数和第二相关系数；
获取节点的节点数据；
解析节点数据，获取第二重要值；第二重要值的计算公式如下：
Figure BDA0002993626040000104
其中，D2为第二重要值，Af为节点数据中第f个参数的参数值；δf为对应f个参数的预设权重值；P为节点数据中参数的总数；
获取节点的连接情况；
解析连接情况，获取第三重要值；第三重要值的计算公式如下：
Figure BDA0002993626040000111
其中，D3为第三重要值；T为节点与大数据的其他节点的数据传输时间总和；
Figure BDA0002993626040000112
为所有的节点的数据传输时间总和的平均值；ΔT0预设的标准误差阈值；Qd为与节点直接连接的第d个其他节点的预设的权限值；ωd为第d个其他节点与节点的连接系数，连接系数根据其他节点与节点的数据传输参数查询预设的连接系数表获得；F为与节点直接连接的其他节点的总数；
基于第一重要值、第二重要值和第三重要值，确定节点的重要度，计算公式如下：
D＝τ1Q+τ2D1+τ3D2+τ4D3；
其中，D为重要度，Q为节点的预设的权限值；τ1为预设的对应权限值的关系系数；τ2为预设的对应第一重要值的关系系数；τ3为预设的对应第二重要值的关系系数；τ4为预设的对应第三重要值的关系系数。
上述技术方案的工作原理及有益效果为：
参与数据为节点参与大数据平台的任务的数据；节点数据主要包库节点缓存、节点内存、节点的CPU占用率等；节点的连接情况包括：与节点连接的节点的权限值以及传输时间等；基于参与数据、节点数据、节点的连接情况和节点的预设权限值确定节点的重要度，实现节点重要度的准确分析确定。
在一个实施例中，确定核心节点与非核心节点列表中的节点的关联度，包括：
获取核心节点到非核心节点的所有路径；
确定所有路径中最短路径所经过的节点数；
确定所有路径中经过的节点数小于等于预设节点数的各个路径的路径传输时间及路径传输数据量；
基于节点数、路径传输时间和路径传输数据量，确定关联度，计算公式如下：
Figure BDA0002993626040000121
其中，G为关联度；N为最短路径所经过的节点数；O为经过的节点数小于等于预设节点数的路径总数；tl经过的节点数小于等于预设节点数的第l个路径的路径传输时间；ql经过的节点数小于等于预设节点数的第l个路径的路径传输数据量，β1、β2、β3都为预设权重值。
上述技术方案的工作原理及有益效果为：
基于核心节点与非核心节点之间的连接路径分析非核心节点对于核心节点的关联度，实现准确的关联度的确定。
在一个实施例中，大数据环境中分布式资源容器监控与自评估方法，还包括：
设置第二级监控节点，用于采集第一级监控节点的监控数据及第一级监控节点的运行状态数据。
上述技术方案的工作原理及有益效果为：
二级监控节点，为总监控，通过第一级监控节点上报的数据对大数据级的节点中的容器的运行情况进行汇总；实现了统筹监控，此外第二级监控节点还在第一级监控节点异常时，替代第一级监控节点的功能。
本发明还提供一种大数据环境中分布式资源容器监控与自评估***，包括：
分组模块，用于基于预设的第一规则对大数据上各个节点进行分组；
监控模块，同于在每个分组的各个节点中挑选出一个节点作为第一级监控节点；通过第一级监控节点对组内的各个节点内运行的容器进行监控；
自评估模块，用于在每隔一预设时间，向容器输入预设的测试数据并接收容器对于测试数据的自评估数据。
上述技术方案的工作原理及有益效果为：
对大数据的节点进行分组，分组后在组内指定或建立一个第一级监控节点，用于对组内各个节点上运行的容器的状态进行监控；在原有的节点自我监控基础上，增加组内监控机制，提高了容器运行的安全性；此外，每个一预设时间，向容器输入预设的测试数据，容器运行测试数据；基于测试数据进行自我评估；第一级监控节点接收容器输出的自评估数据进行记录，并对自评估数据进行分析，便于发现容器运行的异常。
本发明的大数据环境中分布式资源容器监控与自评估方法，在原有的节点对容器监控的基础上，设置第一级监控节点，实现了各个节点上运行的容器的统一监控，提高了大数据运行的稳定性及安全性。
在一个实施例中，基于预设的第一规则对大数据上各个节点进行分组，包括：
获取各个节点的位置信息；
构建虚拟地图，将位置信息映射至虚拟地图中，确定各个位置信息对应的虚拟位置；
确定包含所有的虚拟位置的最小的规则区域；
确定规则区域的中点，任选一个虚拟位置作为标准位置，
确定各个虚拟位置相对于标准位置的偏转角度；偏转角度为虚拟位置至中点的连线与标准位置至中点的连线之间所呈角度；
将偏转角度按照从大至小排列，形成第一列表；
将第一列表从上至下分为预设的第一数量的分组；
或，
获取各个节点的重要度；基于重要度从高到低对节点进行排序，获取节点列表；
从节点列表中从上至下提取预设的第一数量的节点作为核心节点，构建核心节点列表；
基于节点列表和核心节点列表，确定非核心节点列表；
依次提取核心节点列表中核心节点，确定核心节点与非核心节点列表中的节点的关联度；
基于关联度，提取预设的第二数量的非核心节点列表中的节点与核心节点组成一个分组；
当核心节点列表中的核心节点都提取完后，获得预设的第一数量的分组。
上述技术方案的工作原理及有益效果为：
分组方法分为两种。第一种，基于节点的实际地理位置，对各个节点进行分组；节点的设置位置相近，其之间的传输数据的速度也快，采用本实施例中的基于位置信息分组法，规则区域的面积不能超过一预设值，例如实际位置不超高一个市的区域；规则区域指代圆形区域、方形区域等区域边界为规则图形的情况；此外除了射线区域划分法，还可采用区块划分，例如将规则区域等分为N*M个区块。第二种，以重要度筛选出核心节点，以核心节点为核心进行分组。实现合理的分组，通过分组进行监控，以降低采用一个监控节点进行统一监控，对监控节点的负荷压力。
在一个实施例中，在每个分组的各个节点中挑选出一个节点作为第一级监控节点；通过第一级监控节点对组内的各个节点内运行的容器进行监控，包括：
计算分组内各个节点到该分组内的其他的节点的传输距离和值，以传输距离和值最小的节点作为第一级监控节点；
或，
以核心节点为第一级监控节点。
上述技术方案的工作原理及有益效果为：
通过计算传输距离和值，实现第一级监控节点到各个被监控的节点的距离最短，实现反映时间最短化，提高监控的及时性。或，核心节点的分组方案是以核心节点为核心，采用核心节点作为第一级监控节点具有代表意义，并且在分组的时候已经考虑核心节点与组内其他节点的关联度，故采用核心节点作为第一级监控节点较为合理。
在一个实施例中，在每隔一预设时间，向容器输入预设的测试数据并接收容器对于测试数据的自评估数据，包括：
容器接收到测试数据时，基于测试数据进行运行；
获取运行过程中的各个预设部位的监控数据，以及运行后的输出数据；
基于监控数据与输出数据，构建自评估向量；
获取预设的自评估数据库，自评估数据库中匹配向量与自评估数据一一对应；
计算自评估向量与自评估数据库中每个匹配向量的匹配度，计算公式如下：
Figure BDA0002993626040000151
其中，PPDj为自评估向量与自评估数据库中第j个匹配向量的匹配度，n为自评估向量中数据的总数或匹配向量中数据的总数；σi为自评估向量的第i个数据的值；μi,j为第j个匹配向量的第i个数据的值；
获取自评估数据库中与自评估向量的匹配度最大的匹配向量所对应的自评估数据。
上述技术方案的工作原理及有益效果为：
通过自评估方法，实现容器的自我评估，便于当自评估不过关时，对容器进行调整。在自评估时，采用预设的自评估数据库实现自评估数据的生成，其中自评估数据库是事先采用大量的数据构建的。
在一个实施例中，获取各个节点的重要度，包括：
获取预设时间内节点参与大数据内的任务的参与数据；
解析参与数据，确定第一重要值；第一重要值的计算公式如下：
Figure BDA0002993626040000152
其中，D1为第一重要值，M为预设时间内大数据内的任务总数；m为节点参与的任务数；Qk为节点参与的第k个任务的任务总量；qk为节点参与的第k个任务时完成的任务量；
Figure BDA0002993626040000153
分别为预设的第一相关系数和第二相关系数；
获取节点的节点数据；
解析节点数据，获取第二重要值；第二重要值的计算公式如下：
Figure BDA0002993626040000161
其中，D2为第二重要值，Af为节点数据中第f个参数的参数值；δf为对应f个参数的预设权重值；P为节点数据中参数的总数；
获取节点的连接情况；
解析连接情况，获取第三重要值；第三重要值的计算公式如下：
Figure BDA0002993626040000162
其中，D3为第三重要值；T为节点与大数据的其他节点的数据传输时间总和；
Figure BDA0002993626040000163
为所有的节点的数据传输时间总和的平均值；ΔT0预设的标准误差阈值；Qd为与节点直接连接的第d个其他节点的预设的权限值；ωd为第d个其他节点与节点的连接系数，连接系数根据其他节点与节点的数据传输参数查询预设的连接系数表获得；F为与节点直接连接的其他节点的总数；
基于第一重要值、第二重要值和第三重要值，确定节点的重要度，计算公式如下：
D＝τ1Q+τ2D1+τ3D2+τ4D3；
其中，D为重要度，Q为节点的预设的权限值；τ1为预设的对应权限值的关系系数；τ2为预设的对应第一重要值的关系系数；τ3为预设的对应第二重要值的关系系数；τ4为预设的对应第三重要值的关系系数。
上述技术方案的工作原理及有益效果为：
参与数据为节点参与大数据平台的任务的数据；节点数据主要包库节点缓存、节点内存、节点的CPU占用率等；节点的连接情况包括：与节点连接的节点的权限值以及传输时间等；基于参与数据、节点数据、节点的连接情况和节点的预设权限值确定节点的重要度，实现节点重要度的准确分析确定。
在一个实施例中，确定核心节点与非核心节点列表中的节点的关联度，包括：
获取核心节点到非核心节点的所有路径；
确定所有路径中最短路径所经过的节点数；
确定所有路径中经过的节点数小于等于预设节点数的各个路径的路径传输时间及路径传输数据量；
基于节点数、路径传输时间和路径传输数据量，确定关联度，计算公式如下：
Figure BDA0002993626040000171
其中，G为关联度；N为最短路径所经过的节点数；O为经过的节点数小于等于预设节点数的路径总数；tl经过的节点数小于等于预设节点数的第l个路径的路径传输时间；ql经过的节点数小于等于预设节点数的第l个路径的路径传输数据量，β1、β2、β3都为预设权重值。
上述技术方案的工作原理及有益效果为：
基于核心节点与非核心节点之间的连接路径分析非核心节点对于核心节点的关联度，实现准确的关联度的确定。
在一个实施例中，大数据环境中分布式资源容器监控与自评估***，还包括：
二级监控模块，用于设置第二级监控节点，用于采集第一级监控节点的监控数据及第一级监控节点的运行状态数据。
上述技术方案的工作原理及有益效果为：
二级监控节点，为总监控，通过第一级监控节点上报的数据对大数据级的节点中的容器的运行情况进行汇总；实现了统筹监控，此外第二级监控节点还在第一级监控节点异常时，替代第一级监控节点的功能。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种大数据环境中分布式资源容器监控与自评估方法，其特征在于，包括：
基于预设的第一规则对大数据上各个节点进行分组；
在每个分组的各个节点中挑选出一个节点作为第一级监控节点；通过第一级监控节点对组内的各个节点内运行的容器进行监控；
在每隔一预设时间，向所述容器输入预设的测试数据并接收所述容器对于所述测试数据的自评估数据。
2.如权利要求1所述的大数据环境中分布式资源容器监控与自评估方法，其特征在于，所述基于预设的第一规则对大数据上各个节点进行分组，包括：
获取各个所述节点的位置信息；
构建虚拟地图，将所述位置信息映射至所述虚拟地图中，确定各个所述位置信息对应的虚拟位置；
确定包含所有的虚拟位置的最小的规则区域；
确定所述规则区域的中点，任选一个所述虚拟位置作为标准位置，
确定各个所述虚拟位置相对于所述标准位置的偏转角度；所述偏转角度为所述虚拟位置至所述中点的连线与所述标准位置至所述中点的连线之间所呈角度；
将所述偏转角度按照从大至小排列，形成第一列表；
将所述第一列表从上至下分为预设的第一数量的分组；
或，
获取所述各个节点的重要度；基于所述重要度从高到低对所述节点进行排序，获取节点列表；
从所述节点列表中从上至下提取预设的第一数量的所述节点作为核心节点，构建核心节点列表；
基于所述节点列表和所述核心节点列表，确定非核心节点列表；
依次提取所述核心节点列表中所述核心节点，确定所述核心节点与所述非核心节点列表中的所述节点的关联度；
基于所述关联度，提取预设的第二数量的所述非核心节点列表中的所述节点与所述核心节点组成一个分组；
当所述核心节点列表中的所述核心节点都提取完后，获得预设的第一数量的分组。
3.如权利要求2所述的大数据环境中分布式资源容器监控与自评估方法，其特征在于，所述在每个分组的各个节点中挑选出一个节点作为第一级监控节点；通过第一级监控节点对组内的各个节点内运行的容器进行监控，包括：
计算所述分组内各个所述节点到该分组内的其他的所述节点的传输距离和值，以所述传输距离和值最小的所述节点作为所述第一级监控节点；
或，
以所述核心节点为所述第一级监控节点。
4.如权利要求1所述的大数据环境中分布式资源容器监控与自评估方法，其特征在于，所述在每隔一预设时间，向所述容器输入预设的测试数据并接收所述容器对于所述测试数据的自评估数据，包括：
所述容器接收到所述测试数据时，基于所述测试数据进行运行；
获取运行过程中的各个预设部位的监控数据，以及运行后的输出数据；
基于所述监控数据与所述输出数据，构建自评估向量；
获取预设的自评估数据库，所述自评估数据库中匹配向量与所述自评估数据一一对应；
计算所述自评估向量与所述自评估数据库中每个所述匹配向量的匹配度，计算公式如下：
Figure FDA0002993626030000031
其中，PPDj为所述自评估向量与所述自评估数据库中第j个所述匹配向量的匹配度，n为所述自评估向量中数据的总数或所述匹配向量中数据的总数；σi为所述自评估向量的第i个数据的值；μi,j为第j个所述匹配向量的第i个数据的值；
获取所述自评估数据库中与所述自评估向量的匹配度最大的所述匹配向量所对应的所述自评估数据。
5.如权利要求2所述的大数据环境中分布式资源容器监控与自评估方法，其特征在于，所述获取所述各个节点的重要度，包括：
获取预设时间内所述节点参与大数据内的任务的参与数据；
解析所述参与数据，确定第一重要值；所述第一重要值的计算公式如下：
Figure FDA0002993626030000032
其中，D1为所述第一重要值，M为预设时间内所述大数据内的任务总数；m为所述节点参与的任务数；Qk为所述节点参与的第k个任务的任务总量；qk为所述节点参与的第k个任务时完成的任务量；
Figure FDA0002993626030000033
分别为预设的第一相关系数和第二相关系数；
获取所述节点的节点数据；
解析所述节点数据，获取第二重要值；所述第二重要值的计算公式如下：
Figure FDA0002993626030000034
其中，D2为所述第二重要值，Af为所述节点数据中第f个参数的参数值；δf为对应所述f个参数的预设权重值；P为所述节点数据中所述参数的总数；
获取所述节点的连接情况；
解析所述连接情况，获取第三重要值；所述第三重要值的计算公式如下：
Figure FDA0002993626030000041
其中，D3为所述第三重要值；T为所述节点与大数据的其他节点的数据传输时间总和；
Figure FDA0002993626030000042
为所有的节点的所述数据传输时间总和的平均值；△T0预设的标准误差阈值；Qd为与所述节点直接连接的第d个其他节点的预设的权限值；ωd为第d个其他节点与所述节点的连接系数，所述连接系数根据所述其他节点与所述节点的数据传输参数查询预设的连接系数表获得；F为与所述节点直接连接的所述其他节点的总数；
基于所述第一重要值、所述第二重要值和所述第三重要值，确定所述节点的重要度，计算公式如下：
D＝τ1Q+τ2D1+τ3D2+τ4D3；
其中，D为所述重要度，Q为所述节点的预设的权限值；τ1为预设的对应所述权限值的关系系数；τ2为预设的对应所述第一重要值的关系系数；τ3为预设的对应所述第二重要值的关系系数；τ4为预设的对应所述第三重要值的关系系数。
6.如权利要求2所述的大数据环境中分布式资源容器监控与自评估方法，其特征在于，所述确定所述核心节点与所述非核心节点列表中的所述节点的关联度，包括：
获取所述核心节点到所述非核心节点的所有路径；
确定所有路径中最短路径所经过的节点数；
确定所有路径中经过的节点数小于等于预设节点数的各个路径的路径传输时间及路径传输数据量；
基于所述节点数、所述路径传输时间和所述路径传输数据量，确定所述关联度，计算公式如下：
Figure FDA0002993626030000051
其中，G为所述关联度；N为最短路径所经过的节点数；O为经过的节点数小于等于预设节点数的路径总数；tl经过的节点数小于等于预设节点数的第l个路径的路径传输时间；ql经过的节点数小于等于预设节点数的第l个路径的路径传输数据量，β1、β2、β3都为预设权重值。
7.如权利要求1所述的大数据环境中分布式资源容器监控与自评估方法，其特征在于，还包括：
设置第二级监控节点，用于采集所述第一级监控节点的监控数据及所述第一级监控节点的运行状态数据。
8.一种大数据环境中分布式资源容器监控与自评估***，其特征在于，包括：
分组模块，用于基于预设的第一规则对大数据上各个节点进行分组；
监控模块，同于在每个分组的各个节点中挑选出一个节点作为第一级监控节点；通过第一级监控节点对组内的各个节点内运行的容器进行监控；
自评估模块，用于在每隔一预设时间，向所述容器输入预设的测试数据并接收所述容器对于所述测试数据的自评估数据。
9.如权利要求8所述的大数据环境中分布式资源容器监控与自评估***，其特征在于，所述基于预设的第一规则对大数据上各个节点进行分组，包括：
获取各个所述节点的位置信息；
构建虚拟地图，将所述位置信息映射至所述虚拟地图中，确定各个所述位置信息对应的虚拟位置；
确定包含所有的虚拟位置的最小的规则区域；
确定所述规则区域的中点，任选一个所述虚拟位置作为标准位置，
确定各个所述虚拟位置相对于所述标准位置的偏转角度；所述偏转角度为所述虚拟位置至所述中点的连线与所述标准位置至所述中点的连线之间所呈角度；
将所述偏转角度按照从大至小排列，形成第一列表；
将所述第一列表从上至下分为预设的第一数量的分组；
或，
获取所述各个节点的重要度；基于所述重要度从高到低对所述节点进行排序，获取节点列表；
从所述节点列表中从上至下提取预设的第一数量的所述节点作为核心节点，构建核心节点列表；
基于所述节点列表和所述核心节点列表，确定非核心节点列表；
依次提取所述核心节点列表中所述核心节点，确定所述核心节点与所述非核心节点列表中的所述节点的关联度；
基于所述关联度，提取预设的第二数量的所述非核心节点列表中的所述节点与所述核心节点组成一个分组；
当所述核心节点列表中的所述核心节点都提取完后，获得预设的第一数量的分组。
10.如权利要求9所述的大数据环境中分布式资源容器监控与自评估***，其特征在于，所述在每个分组的各个节点中挑选出一个节点作为第一级监控节点；通过第一级监控节点对组内的各个节点内运行的容器进行监控，包括：
计算所述分组内各个所述节点到该分组内的其他的所述节点的传输距离和值，以所述传输距离和值最小的所述节点作为所述第一级监控节点；
或，
以所述核心节点为所述第一级监控节点。
CN202110323299.4A 2021-03-26 2021-03-26 大数据环境中分布式资源容器监控与自评估方法及*** Active CN112905423B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110323299.4A CN112905423B (zh) 2021-03-26 2021-03-26 大数据环境中分布式资源容器监控与自评估方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110323299.4A CN112905423B (zh) 2021-03-26 2021-03-26 大数据环境中分布式资源容器监控与自评估方法及***

Publications (2)

Publication Number Publication Date
CN112905423A true CN112905423A (zh) 2021-06-04
CN112905423B CN112905423B (zh) 2024-02-13

Family

ID=76108732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110323299.4A Active CN112905423B (zh) 2021-03-26 2021-03-26 大数据环境中分布式资源容器监控与自评估方法及***

Country Status (1)

Country Link
CN (1) CN112905423B (zh)

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7296180B1 (en) * 2004-06-30 2007-11-13 Sun Microsystems, Inc. Method for recovery of data
CN106776005A (zh) * 2016-11-23 2017-05-31 华中科技大学 一种面向容器化应用的资源管理***及方法
CN107766157A (zh) * 2017-11-02 2018-03-06 山东浪潮云服务信息科技有限公司 基于国产cpu和os的分布式容器集群框架实现方法
CN108989080A (zh) * 2018-05-29 2018-12-11 华为技术有限公司 管理节点的方法和装置
US20190379590A1 (en) * 2018-06-06 2019-12-12 Servicenow, Inc. Discovery and Mapping of Containerized Software Applications
KR20200027783A (ko) * 2018-09-05 2020-03-13 주식회사 나눔기술 분산 지능모듈의 통합관리 시스템
CN110941495A (zh) * 2019-12-10 2020-03-31 广西大学 一种基于图着色的容器协同编排方法
CN111611129A (zh) * 2020-05-12 2020-09-01 中国工商银行股份有限公司 PaaS云平台的性能监控方法及装置
CN111708604A (zh) * 2020-05-28 2020-09-25 北京赛博云睿智能科技有限公司 一种智能运维支撑方法
EP3767894A1 (de) * 2019-07-19 2021-01-20 Siemens Aktiengesellschaft Verfahren zur datenkommunikation, arbeitsknoten, cluster, industrielles netzwerk, computerprogramm und computerlesbares medium
WO2021042790A1 (zh) * 2019-09-05 2021-03-11 南京邮电大学 分布式容器集群镜像管理主节点、从节点、***及方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7296180B1 (en) * 2004-06-30 2007-11-13 Sun Microsystems, Inc. Method for recovery of data
CN106776005A (zh) * 2016-11-23 2017-05-31 华中科技大学 一种面向容器化应用的资源管理***及方法
CN107766157A (zh) * 2017-11-02 2018-03-06 山东浪潮云服务信息科技有限公司 基于国产cpu和os的分布式容器集群框架实现方法
CN108989080A (zh) * 2018-05-29 2018-12-11 华为技术有限公司 管理节点的方法和装置
US20190379590A1 (en) * 2018-06-06 2019-12-12 Servicenow, Inc. Discovery and Mapping of Containerized Software Applications
KR20200027783A (ko) * 2018-09-05 2020-03-13 주식회사 나눔기술 분산 지능모듈의 통합관리 시스템
EP3767894A1 (de) * 2019-07-19 2021-01-20 Siemens Aktiengesellschaft Verfahren zur datenkommunikation, arbeitsknoten, cluster, industrielles netzwerk, computerprogramm und computerlesbares medium
WO2021042790A1 (zh) * 2019-09-05 2021-03-11 南京邮电大学 分布式容器集群镜像管理主节点、从节点、***及方法
CN110941495A (zh) * 2019-12-10 2020-03-31 广西大学 一种基于图着色的容器协同编排方法
CN111611129A (zh) * 2020-05-12 2020-09-01 中国工商银行股份有限公司 PaaS云平台的性能监控方法及装置
CN111708604A (zh) * 2020-05-28 2020-09-25 北京赛博云睿智能科技有限公司 一种智能运维支撑方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
童智高;张丽娜;邓水光;: "面向容器化PaaS平台的智能监控技术研究与实现", 计算机集成制造***, no. 05, pages 1125 - 1131 *
郑勇锋等: "一体化国网云平台的高可用方案研究", 《电力信息与通信技术》, vol. 17, no. 7, pages 46 - 51 *

Also Published As

Publication number Publication date
CN112905423B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN110070117B (zh) 一种数据处理方法及装置
US10984889B1 (en) Method and apparatus for providing global view information to a client
KR102522005B1 (ko) 가상 네트워크 관리를 위한 머신 러닝 기반 vnf 이상 탐지 시스템 및 방법
CN109697456B (zh) 业务分析方法、装置、设备及存储介质
CN108683560A (zh) 一种大数据流处理框架的性能基准测试***及方法
CN110740054B (zh) 一种基于强化学习的数据中心虚拟化网络故障诊断方法
Tribastone et al. Fluid rewards for a stochastic process algebra
CN112433853B (zh) 一种面向超级计算机数据并行应用的异构感知数据划分方法
WO2022142013A1 (zh) 基于人工智能的ab测试方法、装置、计算机设备及介质
JP2009527839A (ja) 通信ネットワークのトランザクション監視のための方法及びシステム
CN112367191B (zh) 一种5g网络切片下服务故障定位方法
CN113158435B (zh) 基于集成学习的复杂***仿真运行时间预测方法与设备
CN113934512A (zh) 负载均衡实现方法、装置、设备及存储介质
Mahmud et al. A human mobility data driven hybrid GNN+ RNN based model for epidemic prediction
CN113098912A (zh) 用户账户异常的识别方法、装置、电子设备及存储介质
CN112905423A (zh) 大数据环境中分布式资源容器监控与自评估方法及***
CN111159251A (zh) 一种异常数据的确定方法及装置
CN106161058A (zh) 一种告警分级方法及装置
CN114416410A (zh) 一种异常分析方法、设备和计算机可读存储介质
CN113779116A (zh) 对象排序方法、相关设备及介质
CN112948469A (zh) 数据挖掘方法、装置、计算机设备及存储介质
CN113572639A (zh) 一种载波网络故障的诊断方法、***、设备和介质
CN118101344B (zh) 一种针对5g消息的传输安全识别***、方法及介质
CN111628901A (zh) 一种指标异常检测方法以及相关装置
CN114422324B (zh) 一种告警信息的处理方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant