CN115733762A - 具有大数据分析能力的监控*** - Google Patents

具有大数据分析能力的监控*** Download PDF

Info

Publication number
CN115733762A
CN115733762A CN202211421202.4A CN202211421202A CN115733762A CN 115733762 A CN115733762 A CN 115733762A CN 202211421202 A CN202211421202 A CN 202211421202A CN 115733762 A CN115733762 A CN 115733762A
Authority
CN
China
Prior art keywords
module
data
alarm
signal
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211421202.4A
Other languages
English (en)
Inventor
陈晓明
陈亮
刘静倩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jooan Technology Co ltd
Original Assignee
Shenzhen Jooan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jooan Technology Co ltd filed Critical Shenzhen Jooan Technology Co ltd
Priority to CN202211421202.4A priority Critical patent/CN115733762A/zh
Publication of CN115733762A publication Critical patent/CN115733762A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明提供具有大数据分析能力的监控***,涉及大数据智能监控相关技术领域。该监控***,包括信号采集模块、信号分析模块、信号存储模块、数据库对比识别模块、趋势预测模块、统计分析模块、控制终端模块、预警模块、显示模块、信号传递模块、信号管理模块、云信号存储模块、云服务器模块、安防监控模块、数据处理模块、异常数据检测模块、无线通信模块、网络运维服务***、采集数据存储模块、阀值存储模块。本发明中,通过大数据分析做好数据分析的预处理,以确保数据库的科学性,并且挖掘出数据库中包含的基本价值,同时针对网络规划的领域复杂度,进行多种类规划预判分析,能够有效避免过分拟合,并利用联合决策获取最佳结果。

Description

具有大数据分析能力的监控***
技术领域
本发明涉及大数据智能监控相关技术领域,具体为具有大数据分析能力的监控***。
背景技术
物联网是新一代信息技术的重要组成部分,也是“信息化”时代的重要发展阶段。顾名思义,物联网就是物物相连的互联网,这其中具有两层意思:其一,物联网的核心和基础仍然是互联网,是在互联网基础上的延伸和扩展的网络;其二,其用户端延伸和扩展到了任何物品与物品之间,进行信息交换和通信,也就是物物相息。
目前,随着计算机的逐渐普及,数据通信成为人与人之间交流的主要途径。所以,强化数据通信的安全性具有重要的现实意义。在我国互联网技术不断深入推进的当代,我国在网络安全层面提供了多种多样的防护措施,其中最简便有效的便是维护管理。维护管理对于数据通讯来说具有举足轻重的意义,在专业技术人员的管理下,网络能够在专业***的保障下正常运行,进而确保客户的信息和财产不会被恶意窃取,进而也降低了市场交流成本,确保了信息通讯的真实性。但是,我国在数据通讯领域仍然存在较大的问题,必须进行重点研究。
因此,本领域技术人员提供了具有大数据分析能力的监控***,以解决上述背景技术中提出的问题。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供了具有大数据分析能力的监控***,能够通过大数据分析做好数据分析的预处理,以确保数据库的科学性,并且挖掘出数据库中包含的基本价值,同时,针对网络规划的领域复杂度,进行多种类规划预判分析,能够有效避免过分拟合,并利用联合决策获取最佳结果。
(二)技术方案
为实现以上目的,本发明通过以下技术方案予以实现:
具有大数据分析能力的监控***,包括信号采集模块、信号分析模块、信号存储模块、数据库对比识别模块、趋势预测模块、统计分析模块、控制终端模块、预警模块、显示模块、信号传递模块、信号管理模块、云信号存储模块、云服务器模块、安防监控模块、数据处理模块、异常数据检测模块、无线通信模块、网络运维服务***、采集数据存储模块、阀值存储模块,所述信号采集模块的输出端连接所述信号分析模块的输入端,所述信号分析模块的输出端连接至信号存储模块的输入端,所述信号存储模块的输出端通过数据库对比识别模块将信号传输到所述控制终端模块的输出端,所述控制终端模块将信号通过信号传递模块传输到所述云服务器模块的输出端,所述信号传递模块也将信号传递到所述信号管理模块,所述信号管理模块的输出端连接至所述云信号存储模块,所述数据处理模块的输出端连接在所述安防监控模块的输入端,所述安防监控模块的输出端连接至所述云服务器模块的输入端,所述控制终端模块的输出端连接至预警模块的输入端,所述预警模块的输出端连接至显示模块的输入端,所述控制终端模块的输出端还连接至趋势预测模块和统计分析模块的输入端,所述控制终端模块通过无线通信模块与网络运维服务***指之间建立远程无线通信连接,所述控制终端模块与异常数据监测模块相连接;
信号采集模块,用于对网络的运维监测数据资源进行采集;
信号分析模块,用于对采集的网络数据资源进行统计分析;
信号存储模块,用于对统计分析后的数据进行临时存储;
数据库对比识别模块,用于将贴近匹配后的网络运维服务***工作状态模型与阈值存储模块中存储的网络运维服务***工作阈值参数进行对比;
趋势预测模块,用于对网络运维服务***工作状态模型进行趋势预测;
统计分析模块,用于根据趋势预测模块的预测结果构建未来匹配的网络运维服务***工作状态模型;
预警模块,用于对数据传输中产生的故障告警进行预警;
显示模块,用于以柱状图显示数据库对比识别模块的对比结果,并显示统计分析模块构建未来匹配的网络运维服务***的工作状态模型;
信号传递模块,用于将控制终端模块的信号传递给云服务器模块;
信号管理模块,用于将信号传递模块的信号传输到云信号存储模块;
异常数据检测模块,用于检测网络运维服务***是否存在异常状态;
网络运维服务***,用于采集运维监测数据;
采集数据存储模块,用于存储运维监测过程中的运维监测数据;
阀值存储模块,用于存储网络运维服务***工作阈值的参数。
优选的,所述信号采集模块在全网范围内多环节同步采集数据,数据囊括了网络数据、信息数据、地域数据、网管数据、环境数据及用户数据等,信息数据等属于重要大数据源,网管数据、用户数据属于传统数据范畴,为了提升数据采集的能力将半结构化数据与结构化数据共同采集。
优选的,所述信号分析模块和信号存储模块对数据进行初步处理,其在不改变数据格式、结构等条件下,在数据缓存时间内进行原始文件与数据信息的保存,在此之后,将基础数据里的资源数据根据最小粒度进行统一储存处理,并以多维度解析技术获取大数据,采集价值较高、需求量较大的热点数据,并且以4G/5G扫频为技术基础,将覆盖类数据分类采集,通过综合解析确保采集数据的全面性,并将各类数据进行分类储存。
优选的,所述预警模块会对接收到的告警信息进行实时监控、统计处理,通过利用云计算数据处理技术,展开告警风险数据的多线程、多进程并行处理,同时通信网络监管人员,也要对故障告警作出优先解析、处理,对非重要故障告警数据进行标准化解析,以及告警数据的挖掘、关联分析,并且将处理后的故障告警进行缓存。
优选的,所述异常数据检测单元包括无效告警分析模块、重复告警分析模块和异常告警分析模块;
无效告警分析模块,用于检测分析网络运维服务***无效告警信号;
重复告警分析模块,用于检测分析网络运维服务***重复告警信号;
异常告警分析模块,用于检测分析网络运维服务***异常告警信号。
优选的,所述无效告警分析模块的检测方法为:判断接收到的告警信号是否为每日同时间段内发生的,若接收到的告警信号为每日同时间段内发生的,则判定该类告警信号为无效告警信号。
优选的,所述重复告警分析模块的检测方法为:每隔一个时间周期,判断从当前时刻向前追溯一个时间周期内的告警信号是否存在短时间内重复告警,如存在,则判定该类告警信号为重复告警信号。
优选的,所述异常数据检测单元判定网络运维服务***处于异常状态的方法为:统计每周内无效告警信号、重复告警信号、异常告警信号的数量,并相加得到网络运维服务***的告警总数,当告警总数不低于阈值时,则判定该网络运维服务***处于异常状态。
优选的,一种具有大数据分析能力的监控***的数据处理方法,包括以下步骤:
S1.在全网范围内多环节同步采集数据,数据囊括了网络数据、信息数据、地域数据、网管数据、环境数据及用户数据等;
S2.在不改变数据格式、结构等条件下,在数据缓存时间内进行原始文件与数据信息的保存,在此之后,将基础数据里的资源数据根据最小粒度进行统一储存处理,并以多维度解析技术获取大数据,采集价值较高、需求量较大的热点数据,并且以4G/5G扫频为技术基础,将覆盖类数据分类采集,通过综合解析确保采集数据的全面性,并将各类数据进行分类储存;
S3.在多种性能告警指标、工程告警指标的管理与存储中,通常借助于云计算管理平台、后台数据库等,对网络生成性能告警进行实时监控、缓存与管理;
S4.根据网络中存在的海量告警风暴数据,云计算数据处理技术会进行告警数据的多线程、多进程并行处理,将其分为多个不同的告警等级,对重大故障、重大告警消息源优先处理,对常规级别告警作出延时处理,以保证所有告警数据的正常监控与管理;
S5.对通信设备、网络通信软件等方面工程告警进行筛选,对多种告警数据进行关聪处理与分析,尽可能完成工程告警信息的及时发现、及时故障处理;
S6.关联规则挖掘与质量评估。利用关联规则挖掘分析工具、多模字符串匹配算法,对现有告警数据进行挖掘分析,将告警消息关联匹配后生成故障工单,向网络运营维护人员机械能分发,从而有利于通信网络故障的集中管理;
S7.故障工单派发与处理。在故障管理***完成告警消息的处理后,运用掌上APP软件通过网络指令传输的形式,进行故障工单的MQ队列派发,并查询故障设备、网络通信软件的实时状态,最后将故障工单、故障处理督办事项发送至运维工程师的手机中,通过电话与运维人员展开直接的故障沟通,保证通信网络监控与管理责任落实到每个运维工程师。
(三)有益效果
本发明提供了具有大数据分析能力的监控***。具备以下有益效果:
1、本发明提供了具有大数据分析能力的监控***,其通过异常数据检测单元检测网络运维服务***是否存在异常状态,控制终端模块从采集数据存储模块中删除处于异常状态的网络运维服务***的运维数据,从而能够删除异常数据,在保证运维数据质量的同时能够保证后期对网络运维服务***调节的准确性。
2、本发明提供了具有大数据分析能力的监控***,其通过对比识别模块将贴近匹配后的网络运维服务***工作状态模型与阈值存储模块中存储的网络运维服务***工作阈值参数进行对比,趋势预测模块对网络工作状态模型进行趋势预测,统计分析模块根据趋势预测模块的预测结果构建未来匹配的网络运维服务***工作状态模型,能够有效提高智能运维监控***的响应速度,以及与网络运行情况的契合度。
3、本发明提供了具有大数据分析能力的监控***,其通过大数据分析做好数据分析的预处理,以确保数据库的科学性,并且挖掘出数据库中包含的基本价值,考虑到数据大小与数据解析效率的需求,利用机器学习是大数据解析的重点,因为网络规划现在面临的各式数据有关性的复杂程度,优先需要考虑的就是借助于深度网络对数据进行分析,同时,针对网络规划的领域复杂度,进行多种类规划预判分析,能够有效避免过分拟合,并利用联合决策获取最佳结果。
附图说明
图1为本发明的***架构组成示意图;
图2为本发明的异常数据检测模块组成示意图;
图3为本发明的数据处理方法流程示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例:
如图1-3所示,本发明实施例提供具有大数据分析能力的监控***,包括信号采集模块、信号分析模块、信号存储模块、数据库对比识别模块、趋势预测模块、统计分析模块、控制终端模块、预警模块、显示模块、信号传递模块、信号管理模块、云信号存储模块、云服务器模块、安防监控模块、数据处理模块、异常数据检测模块、无线通信模块、网络运维服务***、采集数据存储模块、阀值存储模块,所述信号采集模块的输出端连接所述信号分析模块的输入端,所述信号分析模块的输出端连接至信号存储模块的输入端,所述信号存储模块的输出端通过数据库对比识别模块将信号传输到所述控制终端模块的输出端,所述控制终端模块将信号通过信号传递模块传输到所述云服务器模块的输出端,所述信号传递模块也将信号传递到所述信号管理模块,所述信号管理模块的输出端连接至所述云信号存储模块,所述数据处理模块的输出端连接在所述安防监控模块的输入端,所述安防监控模块的输出端连接至所述云服务器模块的输入端,所述控制终端模块的输出端连接至预警模块的输入端,所述预警模块的输出端连接至显示模块的输入端,所述控制终端模块的输出端还连接至趋势预测模块和统计分析模块的输入端,所述控制终端模块通过无线通信模块与网络运维服务***指之间建立远程无线通信连接,所述控制终端模块与异常数据监测模块相连接;
信号采集模块,用于对网络的运维监测数据资源进行采集;
信号分析模块,用于对采集的网络数据资源进行统计分析;
信号存储模块,用于对统计分析后的数据进行临时存储;
数据库对比识别模块,用于将贴近匹配后的网络运维服务***工作状态模型与阈值存储模块中存储的网络运维服务***工作阈值参数进行对比;
趋势预测模块,用于对网络运维服务***工作状态模型进行趋势预测;
统计分析模块,用于根据趋势预测模块的预测结果构建未来匹配的网络运维服务***工作状态模型;
预警模块,用于对数据传输中产生的故障告警进行预警;
显示模块,用于以柱状图显示数据库对比识别模块的对比结果,并显示统计分析模块构建未来匹配的网络运维服务***的工作状态模型;
信号传递模块,用于将控制终端模块的信号传递给云服务器模块;
信号管理模块,用于将信号传递模块的信号传输到云信号存储模块;
异常数据检测模块,用于检测网络运维服务***是否存在异常状态;
网络运维服务***,用于采集运维监测数据;
采集数据存储模块,用于存储运维监测过程中的运维监测数据;
阀值存储模块,用于存储网络运维服务***工作阈值的参数。
信号采集模块在全网范围内多环节同步采集数据,数据囊括了网络数据、信息数据、地域数据、网管数据、环境数据及用户数据等,信息数据等属于重要大数据源,网管数据、用户数据属于传统数据范畴,为了提升数据采集的能力将半结构化数据与结构化数据共同采集;
信号分析模块和信号存储模块对数据进行初步处理,其在不改变数据格式、结构等条件下,在数据缓存时间内进行原始文件与数据信息的保存,在此之后,将基础数据里的资源数据根据最小粒度进行统一储存处理,并以多维度解析技术获取大数据,采集价值较高、需求量较大的热点数据,并且以4G/5G扫频为技术基础,将覆盖类数据分类采集,通过综合解析确保采集数据的全面性,并将各类数据进行分类储存;
预警模块会对接收到的告警信息进行实时监控、统计处理,通过利用云计算数据处理技术,展开告警风险数据的多线程、多进程并行处理,同时通信网络监管人员,也要对故障告警作出优先解析、处理,对非重要故障告警数据进行标准化解析,以及告警数据的挖掘、关联分析,并且将处理后的故障告警进行缓存;
异常数据检测单元包括无效告警分析模块、重复告警分析模块和异常告警分析模块;
无效告警分析模块,用于检测分析网络运维服务***无效告警信号;
重复告警分析模块,用于检测分析网络运维服务***重复告警信号;
异常告警分析模块,用于检测分析网络运维服务***异常告警信号。
无效告警分析模块的检测方法为:判断接收到的告警信号是否为每日同时间段内发生的,若接收到的告警信号为每日同时间段内发生的,则判定该类告警信号为无效告警信号;
重复告警分析模块的检测方法为:每隔一个时间周期,判断从当前时刻向前追溯一个时间周期内的告警信号是否存在短时间内重复告警,如存在,则判定该类告警信号为重复告警信号;
异常数据检测单元判定网络运维服务***处于异常状态的方法为:统计每周内无效告警信号、重复告警信号、异常告警信号的数量,并相加得到网络运维服务***的告警总数,当告警总数不低于阈值时,则判定该网络运维服务***处于异常状态。
该具有大数据分析能力的监控***的数据处理方法,包括以下步骤:
S1.在全网范围内多环节同步采集数据,数据囊括了网络数据、信息数据、地域数据、网管数据、环境数据及用户数据等;
S2.在不改变数据格式、结构等条件下,在数据缓存时间内进行原始文件与数据信息的保存,在此之后,将基础数据里的资源数据根据最小粒度进行统一储存处理,并以多维度解析技术获取大数据,采集价值较高、需求量较大的热点数据,并且以4G/5G扫频为技术基础,将覆盖类数据分类采集,通过综合解析确保采集数据的全面性,并将各类数据进行分类储存;
S3.在多种性能告警指标、工程告警指标的管理与存储中,通常借助于云计算管理平台、后台数据库等,对网络生成性能告警进行实时监控、缓存与管理;
S4.根据网络中存在的海量告警风暴数据,云计算数据处理技术会进行告警数据的多线程、多进程并行处理,将其分为多个不同的告警等级,对重大故障、重大告警消息源优先处理,对常规级别告警作出延时处理,以保证所有告警数据的正常监控与管理;
S5.对通信设备、网络通信软件等方面工程告警进行筛选,对多种告警数据进行关聪处理与分析,尽可能完成工程告警信息的及时发现、及时故障处理;
S6.关联规则挖掘与质量评估。利用关联规则挖掘分析工具、多模字符串匹配算法,对现有告警数据进行挖掘分析,将告警消息关联匹配后生成故障工单,向网络运营维护人员机械能分发,从而有利于通信网络故障的集中管理;
S7.故障工单派发与处理。在故障管理***完成告警消息的处理后,运用掌上APP软件通过网络指令传输的形式,进行故障工单的MQ队列派发,并查询故障设备、网络通信软件的实时状态,最后将故障工单、故障处理督办事项发送至运维工程师的手机中,通过电话与运维人员展开直接的故障沟通,保证通信网络监控与管理责任落实到每个运维工程师。
通过本发明的上述方案,对本发明提出的具有大数据分析能力的通信网络运营维护监控***的应用作出详细解释。
通信网络运营维护监控***的构建,主要依托大数据技术、云计算技术、物联网智能技术等,形成网络通信设备、用户终端设备的连接,并对数据传输中产生的故障告警进行监控。当前通信网络监控的整个运维***,包括网络可视化监控平台、实施故障监控、电子运维、故障管理等模块,不同模块分别负责网络数据资源的采集、挖掘、统计分析与存储。
用户可以通过掌上客户端APP,对故障管理***中存在的故障告警、工程告警、性能告警进行了解,执行内存计算、负载均衡、增量处理等数据分析环节,将不同告警分为多个等级。在面临重大告警、重大网络通信故障情况下,故障预警模块会在短时间内,接收到大量的告警风暴数据。这时故障预警模块会对接收到的告警信息进行实时监控、统计处理,通过利用云计算数据处理技术,展开告警风暴数据的多线程、多进程并行处理。
同时,通信网络监管人员,也要对故障告警作出优先解析、处理,对非重要故障告警数据进行标准化解析,以及告警数据的挖掘、关联分析,将处理后的故障告警进行缓存。具体表现如下:
一方面,对于那些通信设备、通信线路老化,以及通信网络应用软件未及时更新所形成的报警,则需要标记为工程告警,然后通知网络监控管理人员,对通信网络中的软件、硬件设施作出排查,并采取相应措施解除故障报警。
另一方面,对那些由于非工程原因导致的故障告警,则需要在进行告警故障定位、故障验证、相关性分析后,生成涵盖告警I D、告警标题、告警内容的派单数据,并由EOMS***派发故障工单。监控部门针对故障工单的轻重缓急,向通信网络监管人员派发工单,由监管人员对网络信号质量、数据传输、业务功能服务等进行修复,并将管控工单发回至可视化管理平台,从而形成故障报警的闭环流程。
待工作人员找到了威胁网络安全的因素之后,应该在第一时间制定完善的处理举措,同时有效提高整体网络的安全性能。
通过实际调查发现,在处理网络安全问题过程中有着多方面的举措,而在应对病毒性攻击安全问题时,最常见的就是用户下载相关的杀毒软件,或者是建立防火墙,为促使数据通信网络具备最高的安全性,还可以利用以下几种手段。
第一,合理分析用户网络使用过程中影响安全的软件以及文件等,做好相关的处理工作,对于可能包含病毒的网页访问进行限制;
第二,不断升级网络的硬件设备,促使整体网络环境具备更高的稳定性能;
第三,对于一些企业而言,可以借助主机***与服务器分开的外包形式,避免病毒借助主机攻击服务器的安全问题,努力营造安全的网络环境。
尽管已经示出和描述了本发明的实施例,对于本领域的普通技术人员而言,可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型,本发明的范围由所附权利要求及其等同物限定。

Claims (9)

1.具有大数据分析能力的监控***,包括信号采集模块、信号分析模块、信号存储模块、数据库对比识别模块、趋势预测模块、统计分析模块、控制终端模块、预警模块、显示模块、信号传递模块、信号管理模块、云信号存储模块、云服务器模块、安防监控模块、数据处理模块、异常数据检测模块、无线通信模块、网络运维服务***、采集数据存储模块、阀值存储模块,其特征在于:所述信号采集模块的输出端连接所述信号分析模块的输入端,所述信号分析模块的输出端连接至信号存储模块的输入端,所述信号存储模块的输出端通过数据库对比识别模块将信号传输到所述控制终端模块的输出端,所述控制终端模块将信号通过信号传递模块传输到所述云服务器模块的输出端,所述信号传递模块也将信号传递到所述信号管理模块,所述信号管理模块的输出端连接至所述云信号存储模块,所述数据处理模块的输出端连接在所述安防监控模块的输入端,所述安防监控模块的输出端连接至所述云服务器模块的输入端,所述控制终端模块的输出端连接至预警模块的输入端,所述预警模块的输出端连接至显示模块的输入端,所述控制终端模块的输出端还连接至趋势预测模块和统计分析模块的输入端,所述控制终端模块通过无线通信模块与网络运维服务***指之间建立远程无线通信连接,所述控制终端模块与异常数据监测模块相连接;
信号采集模块,用于对网络的运维监测数据资源进行采集;
信号分析模块,用于对采集的网络数据资源进行统计分析;
信号存储模块,用于对统计分析后的数据进行临时存储;
数据库对比识别模块,用于将贴近匹配后的网络运维服务***工作状态模型与阈值存储模块中存储的网络运维服务***工作阈值参数进行对比;
趋势预测模块,用于对网络运维服务***工作状态模型进行趋势预测;
统计分析模块,用于根据趋势预测模块的预测结果构建未来匹配的网络运维服务***工作状态模型;
预警模块,用于对数据传输中产生的故障告警进行预警;
显示模块,用于以柱状图显示数据库对比识别模块的对比结果,并显示统计分析模块构建未来匹配的网络运维服务***的工作状态模型;
信号传递模块,用于将控制终端模块的信号传递给云服务器模块;
信号管理模块,用于将信号传递模块的信号传输到云信号存储模块;
异常数据检测模块,用于检测网络运维服务***是否存在异常状态;
网络运维服务***,用于采集运维监测数据;
采集数据存储模块,用于存储运维监测过程中的运维监测数据;
阀值存储模块,用于存储网络运维服务***工作阈值的参数。
2.根据权利要求1所述的具有大数据分析能力的监控***,其特征在于:所述信号采集模块在全网范围内多环节同步采集数据,数据囊括了网络数据、信息数据、地域数据、网管数据、环境数据及用户数据等,信息数据等属于重要大数据源,网管数据、用户数据属于传统数据范畴,为了提升数据采集的能力将半结构化数据与结构化数据共同采集。
3.根据权利要求1所述的具有大数据分析能力的监控***,其特征在于:所述信号分析模块和信号存储模块对数据进行初步处理,其在不改变数据格式、结构等条件下,在数据缓存时间内进行原始文件与数据信息的保存,在此之后,将基础数据里的资源数据根据最小粒度进行统一储存处理,并以多维度解析技术获取大数据,采集价值较高、需求量较大的热点数据,并且以4G/5G扫频为技术基础,将覆盖类数据分类采集,通过综合解析确保采集数据的全面性,并将各类数据进行分类储存。
4.根据权利要求1所述的具有大数据分析能力的监控***,其特征在于:所述预警模块会对接收到的告警信息进行实时监控、统计处理,通过利用云计算数据处理技术,展开告警风险数据的多线程、多进程并行处理,同时通信网络监管人员,也要对故障告警作出优先解析、处理,对非重要故障告警数据进行标准化解析,以及告警数据的挖掘、关联分析,并且将处理后的故障告警进行缓存。
5.根据权利要求1所述的具有大数据分析能力的监控***,其特征在于:所述异常数据检测单元包括无效告警分析模块、重复告警分析模块和异常告警分析模块;
无效告警分析模块,用于检测分析网络运维服务***无效告警信号;
重复告警分析模块,用于检测分析网络运维服务***重复告警信号;
异常告警分析模块,用于检测分析网络运维服务***异常告警信号。
6.根据权利要求5所述的具有大数据分析能力的监控***,其特征在于:所述无效告警分析模块的检测方法为:判断接收到的告警信号是否为每日同时间段内发生的,若接收到的告警信号为每日同时间段内发生的,则判定该类告警信号为无效告警信号。
7.根据权利要求5所述的具有大数据分析能力的监控***,其特征在于:所述重复告警分析模块的检测方法为:每隔一个时间周期,判断从当前时刻向前追溯一个时间周期内的告警信号是否存在短时间内重复告警,如存在,则判定该类告警信号为重复告警信号。
8.根据权利要求5所述的具有大数据分析能力的监控***,其特征在于:所述异常数据检测单元判定网络运维服务***处于异常状态的方法为:统计每周内无效告警信号、重复告警信号、异常告警信号的数量,并相加得到网络运维服务***的告警总数,当告警总数不低于阈值时,则判定该网络运维服务***处于异常状态。
9.一种具有大数据分析能力的监控***的数据处理方法,其特征在于:包括以下步骤:
S1.在全网范围内多环节同步采集数据,数据囊括了网络数据、信息数据、地域数据、网管数据、环境数据及用户数据等;
S2.在不改变数据格式、结构等条件下,在数据缓存时间内进行原始文件与数据信息的保存,在此之后,将基础数据里的资源数据根据最小粒度进行统一储存处理,并以多维度解析技术获取大数据,采集价值较高、需求量较大的热点数据,并且以4G/5G扫频为技术基础,将覆盖类数据分类采集,通过综合解析确保采集数据的全面性,并将各类数据进行分类储存;
S3.在多种性能告警指标、工程告警指标的管理与存储中,通常借助于云计算管理平台、后台数据库等,对网络生成性能告警进行实时监控、缓存与管理;
S4.根据网络中存在的海量告警风暴数据,云计算数据处理技术会进行告警数据的多线程、多进程并行处理,将其分为多个不同的告警等级,对重大故障、重大告警消息源优先处理,对常规级别告警作出延时处理,以保证所有告警数据的正常监控与管理;
S5.对通信设备、网络通信软件等方面工程告警进行筛选,对多种告警数据进行关聪处理与分析,尽可能完成工程告警信息的及时发现、及时故障处理;
S6.关联规则挖掘与质量评估。利用关联规则挖掘分析工具、多模字符串匹配算法,对现有告警数据进行挖掘分析,将告警消息关联匹配后生成故障工单,向网络运营维护人员机械能分发,从而有利于通信网络故障的集中管理;
S7.故障工单派发与处理。在故障管理***完成告警消息的处理后,运用掌上APP软件通过网络指令传输的形式,进行故障工单的MQ队列派发,并查询故障设备、网络通信软件的实时状态,最后将故障工单、故障处理督办事项发送至运维工程师的手机中,通过电话与运维人员展开直接的故障沟通,保证通信网络监控与管理责任落实到每个运维工程师。
CN202211421202.4A 2022-11-14 2022-11-14 具有大数据分析能力的监控*** Pending CN115733762A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211421202.4A CN115733762A (zh) 2022-11-14 2022-11-14 具有大数据分析能力的监控***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211421202.4A CN115733762A (zh) 2022-11-14 2022-11-14 具有大数据分析能力的监控***

Publications (1)

Publication Number Publication Date
CN115733762A true CN115733762A (zh) 2023-03-03

Family

ID=85295577

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211421202.4A Pending CN115733762A (zh) 2022-11-14 2022-11-14 具有大数据分析能力的监控***

Country Status (1)

Country Link
CN (1) CN115733762A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116404755A (zh) * 2023-04-18 2023-07-07 内蒙古铖品科技有限公司 一种基于物联网的大数据处理***及方法
CN116483290A (zh) * 2023-06-26 2023-07-25 深圳市亲邻科技有限公司 一种数据存储装置的远程监控***及其方法
CN117221151A (zh) * 2023-09-12 2023-12-12 北京城建智控科技股份有限公司 云计算存储的可视化管理装置及方法
CN118042492A (zh) * 2024-04-11 2024-05-14 深圳市友恺通信技术有限公司 一种基于5g通信的网络数据运维管理***及方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116404755A (zh) * 2023-04-18 2023-07-07 内蒙古铖品科技有限公司 一种基于物联网的大数据处理***及方法
CN116483290A (zh) * 2023-06-26 2023-07-25 深圳市亲邻科技有限公司 一种数据存储装置的远程监控***及其方法
CN116483290B (zh) * 2023-06-26 2024-02-09 深圳市亲邻科技有限公司 一种数据存储装置的远程监控***及其方法
CN117221151A (zh) * 2023-09-12 2023-12-12 北京城建智控科技股份有限公司 云计算存储的可视化管理装置及方法
CN118042492A (zh) * 2024-04-11 2024-05-14 深圳市友恺通信技术有限公司 一种基于5g通信的网络数据运维管理***及方法

Similar Documents

Publication Publication Date Title
CN115733762A (zh) 具有大数据分析能力的监控***
CN110620759B (zh) 基于多维关联的网络安全事件危害指数评估方法及其***
CN101562537B (zh) 分布式自优化入侵检测报警关联***
CN114757590B (zh) 基于大数据分析的企业运营风险预警及管控***
CN101808351B (zh) 业务影响分析方法和***
CN115809183A (zh) 基于知识图谱的信创终端故障发现及处置的方法
CN114267178B (zh) 一种车站的智能运营维护方法及装置
CN105184886A (zh) 一种云数据中心智能巡检***及方法
CN115225536B (zh) 一种基于无监督学习的虚拟机异常检测方法及***
CN104574219A (zh) 电网业务信息***运行工况的监测预警方法及***
CN106570567A (zh) 一种主网检修多约束多目标评估专家***及优化方法
CN117692345B (zh) 一种基于人工智能的it运营方法及***
CN110149303B (zh) 一种党校的网络安全预警方法及预警***
CN115174353A (zh) 故障根因确定方法、装置、设备及介质
CN105930255A (zh) 一种***健康度预测方法及装置
CN106649034B (zh) 一种可视化智能运维方法及平台
CN117408561A (zh) 一种住宅工程建设监理方法、装置及电子设备
CN117034149A (zh) 故障处理策略确定方法、装置、电子设备和存储介质
CN115037559B (zh) 一种基于流量的数据安全监测***、电子设备及存储介质
CN116881958A (zh) 电网大数据安全防护方法、***、电子设备及存储介质
CN116128197A (zh) 一种智慧机场管理***和方法
CN115408236A (zh) 一种日志数据审计***、方法、设备及介质
CN114385398A (zh) 一种请求响应状态确定方法、装置、设备和存储介质
CN110113301B (zh) 一种基于云计算的入侵检测***
Wang et al. LSTM-based alarm prediction in the mobile communication network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination