CN115037645A - 一种基于大数据分析的全链路监控与预警*** - Google Patents
一种基于大数据分析的全链路监控与预警*** Download PDFInfo
- Publication number
- CN115037645A CN115037645A CN202210536108.7A CN202210536108A CN115037645A CN 115037645 A CN115037645 A CN 115037645A CN 202210536108 A CN202210536108 A CN 202210536108A CN 115037645 A CN115037645 A CN 115037645A
- Authority
- CN
- China
- Prior art keywords
- link
- early warning
- dpi
- monitoring
- detector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L43/00—Arrangements for monitoring or testing data switching networks
- H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Environmental & Geological Engineering (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明涉及链路监控与预警技术领域,且公开了一种基于大数据分析的全链路监控与预警***,包括布设在全链路上的探测器***,其用于监控全链路的运行状况、并将获得的链路监控表单LmsDPi‑CNb‑Linkb‑o‑CNo发送给云平台的链路运行评价***;链路运行评价***通过从其中获取的大数据,按照链路运行评价方法,计算出综合评价值A,并发送给云平台的链路异常预警***;链路异常预警***将综合评价值A的数值与链路异常预警各等级的量值进行比对,若综合评价值A的数值落在链路异常的量值范围之内,则执行链路预警操作。本发明实现了对全链路有效监控与精准预警的技术效果。
Description
技术领域
本发明涉及链路监控与预警技术领域,具体为一种基于大数据分析的全链路监控与预警***。
背景技术
各大互联网公司已经诞生了其专属的全链路监控,全链路服务监控***是在机器部署复杂的服务当中,发现隐藏故障而生,利用业务***作为载体,嵌入探针和接收器,在***运行的同时,探针和接收器开始编织一张大网,连接其他业务,形成可监控的数据流。服务端持续接收大网的数据流,充当着集群监视者的角色,实时为使用者提供可靠的链路监控信息,精确定位故障点。
但是当前的分布式***越做越大,集群分布越来越广,其服务化的规模也越来越复杂,致使监控数据的规模越来越大,从而导致传统的数据处理方法越来越无法满足快速精准定位故障的要求。
针对传统的互联网技术无法处理大量级的数据,也无法通过实时计算监控数据获得精准链路预警信息的问题,本发明提供一种基于大数据分析的全链路监控与预警***。
发明内容
(一)解决的技术问题
针对现有技术的不足,本发明提供一种基于大数据分析的全链路监控与预警***,旨在通过链路运行评价方法计算出综合评价值这一具有重要价值的链路预警信息。
(二)技术方案
为实现上述目的,本发明提供如下技术方案:
一种基于大数据分析的全链路监控与预警***,包括:布设在通信节点CNb与通信节点CNo之间的链路Linkb-o上的探测器***,该探测器***用于监控通信节点CNb、通信节点CNo和链路Linkb-o的运行状况、并将获得的链路监控表单LmsDPi-CNb-Linkb-o-CNo发送给云平台的链路运行评价***;
链路运行评价***通过从链路监控表单LmsDPi-CNb-Linkb-o-CNo中获取的大数据,按照链路运行评价方法,计算出综合评价值A,并发送给云平台的链路异常预警***;
链路异常预警***将综合评价值A的数值与链路异常预警各等级的量值进行比对,若综合评价值A的数值落在链路异常的量值范围之内,则执行链路预警操作。
优选的,所述探测器***包括布设在通信节点CNb处的探测器Prb、布设在链路Linkb-o上的探测器Prm、布设在通信节点CNo处的探测器Pro。
优选的,所述探测器Prb用于产生通信节点CNb的链路信息,生成一张关于数据包DPi在链路Linkb-o上运行的链路监控表单LmsDPi-CNb。
优选的,所述探测器Prm用于产生链路Linkb-o上的链路信息,生成一张链路监控表单LmsDPi-CNb-Linkb-o。
优选的,所述探测器Pro用于产生通信节点CNo的链路信息,生成一张链路监控表单LmsDPi-CNb-Linkb-o-CNo。
(三)有益的技术效果
与现有技术相比,本发明具备以下有益的技术效果:
本发明通过探测器***实时监控全链路的运行状况获得链路监控表单,云平台的链路运行评价***从链路监控表单中获取链路运行性能指标的大数据,并通过链路运行评价方法计算出综合评价值这一具有重要价值的链路预警信息,从而实现了对全链路有效监控与精准预警的技术效果。
具体实施方式
一种基于大数据分析的全链路监控与预警***,包括:布设在通信节点CNb与通信节点CNo之间的链路Linkb-o上的探测器***,该探测器***用于监控通信节点CNb、通信节点CNo和链路Linkb-o的运行状况;
还包括:用于对探测器***监测的大数据进行分析计算的云平台,该云平台包括链路运行评价***与链路异常预警***;
所述探测器***包括布设在通信节点CNb处的探测器Prb、布设在链路Linkb-o上的探测器Prm、布设在通信节点CNo处的探测器Pro;
其中,探测器Prb用于产生通信节点CNb的链路信息,具体执行以下操作:
步骤S1-1,当通信节点CNb向通信节点CNo请求发送数据包DPi时,探测器Prb获取通信节点CNb发出请求的时刻TCNb-I;
步骤S1-2,探测器Prb为数据包DPi生成一个名称为IDDPi的标识,并从数据包DPi的净载数据中随机抽取固定字节的查验数据CdDPi-CNb;
步骤S1-3,探测器Prb记录通信节点CNo对于通信节点CNb发出请求的响应时刻TCNo-I;
步骤S1-4,探测器Prb获取数据包DPi离开通信节点CNb的时刻TDPi-CNb;
步骤S1-5,将标识IDDPi、查验数据CdDPi-CNb、请求时刻TCNb-I、响应时刻TCNo、起始时刻TDPi-CNb结合在一起,生成一张关于数据包DPi在链路Linkb-o上运行的链路监控表单LmsDPi-CNb;
若通信节点CNo对于通信节点CNb发出的请求未作响应,则该未响应结果也将记录链路监控表单LmsDPi-CNb在上;
步骤S1-6,探测器Prb将链路监控表单LmsDPi-CNb发送给探测器Prm;
探测器Prm可以布设在链路Linkb-o上的任一位置处,优选布设在链路Linkb-o的中点位置处,其用于产生链路Linkb-o上的链路信息,具体执行以下操作:
步骤S2-1,当数据包DPi已从通信节点CNb发出、在到达通信节点CNo之前,其在链路Linkb-o上传输时,探测器Prm从数据包DPi的净载数据中随机抽取固定字节的查验数据CdDPi-Linkb-o;
步骤S2-2,获取数据包DPi在链路Linkb-o上的途经探测器Prm的时刻TDPi-Linkb-o;
步骤S2-3,将查验数据CdDPi-Linkb-o和途经时刻TDPi-Linkb-o写入链路监控表单LmsDPi-CNb,得到链路监控表单LmsDPi-CNb-Linkb-o;
步骤S2-4,将链路监控表单LmsDPi-CNb-Linkb-o发送给探测器Pro;
探测器Pro用于产生通信节点CNo的链路信息,具体执行以下操作:
步骤S3-1,当通信节点CNo接收到数据包DPi时,探测器Pro获取数据包DPi到达通信节点CNo的终止时刻TDPi-CNo;
步骤S3-2,验证查验数据CdDPi-CNb与查验数据CdDPi-Linkb-o是否存在于数据包DPi的净载数据中;
步骤S3-3,将终止时刻TDPi-CNo、上述查验数据的验证结果写入链路监控表单LmsDPi-CNb-Linkb-o,得到链路监控表单LmsDPi-CNb-Linkb-o-CNo;
步骤S3-4,将链路监控表单LmsDPi-CNb-Linkb-o-CNo发送给云平台的链路运行评价***;
所述链路运行评价***的评价方法如下:
步骤S4-1,从链路监控表单LmsDPi-CNb-Linkb-o-CNo中提取下述数据:
请求时刻TCNb-I、响应时刻TCNo-I、起始时刻TDPi-CNb、途经时刻TDPi-Linkb-o、终止时刻TDPi-CNo、查验数据CdDPi-CNb的验证结果、查验数据CdDPi-Linkb-o的验证结果;
步骤S4-2,根据上述数据进行下述计算:
链路Linkb-o的请求响应时长ΔT1=TCNo-I-TCNb-I;
链路Linkb-o的各段传输时长:
ΔT2=TDPi-CNo-TDPi-CNb;
ΔT2-1=TDPi-Linkb-o-TDPi-CNb;
ΔT2-2=TDPi-CNo-TDPi-Linkb-o;
步骤S4-3,分别定义并量化链路的请求响应时长、传输时长、数据完整性的运行性能指标的评分标准;
根据上述的各个评分标准,分别结合步骤S4-2中的计算结果、步骤S4-1中的查验数据的验证结果,依次获得链路Linkb-o的各项运行性能指标响应效率、传输效率、传输完整性的评分数据;
步骤S4-4,定义并量化链路的运行性能指标的评价等级标准,具体为:运行优秀的量值范围为[8,10],运行一般的量值范围为(5,8),运行较差的量值范围为[0,5];
步骤S4-5,构造用于表征运行性能指标的评价等级隶属程度的评价函数f(x),标准评价函数f*(x),具体如下:
当x≤(d+u)/2时,f(x)=2(x-d)/(u-d);
当x≥(d+u)/2时,f(x)=2(U-x)/(u-d);
f*(x)=max{f(x)};
其中,x为运行性能指标的评分数据,d为运行性能指标的各个评价等级的量值的下限,u为运行性能指标的各个评价等级的量值的上限;
步骤S4-6,计算各个运行性能指标的归一化权重值,具体计算模型如下:
Wf*(x)=Qf*(x)/∑Qf*(x);
其中,Qf*(x)=[3-Nf*(x)+1]*(1+f*(x));
Nf*(x)表示f*(x)的评价等级标准的编号,具体:若属于运行优秀的等级,则Nf*(x)=1,若属于运行一般的等级,则Nf*(x)=2,若属于运行较差的等级,则Nf*(x)=3;
步骤S4-7,首先计算运行性能指标的评价函数值对应于各个评价等级的加权评价值S,然后计算上述加权评价值的隶属度值M,最后计算隶属度值M的综合评价值A,具体计算如下:
S=∑Wf*(x)f(x);
M=[S-min(S)]/[max(S)-min(S)];
A=∑[NM-S*M]/∑(M);
其中,NM-S表示隶属度值M的加权评价值S对应于评价等级的编号;
步骤S4-8,将综合评价值A发送给链路异常预警***;
链路异常预警***,具体执行以下操作:
步骤S5-1,定义链路异常预警的等级标准,并量化上述预警等级的量值范围,其具体如下:
链路正常的量值范围为[0,1.5),链路一般的量值范围为[1.5,2.5),链路异常的量值范围为[2.5,3.5);
步骤S5-2,将综合评价值A的数值与预警等级的量值进行比对,若综合评价值A的数值落在链路异常的量值范围之内,则执行链路预警操作。
Claims (5)
1.一种基于大数据分析的全链路监控与预警***,其特征在于,包括:布设在通信节点CNb与通信节点CNo之间的链路Linkb-o上的探测器***该探测器***用于监控通信节点CNb、通信节点CNo和链路Linkb-o的运行状况、并将获得的链路监控表单LmsDPi-CNb-Linkb-o-CNo发送给云平台的链路运行评价***;
链路运行评价***通过从链路监控表单LmsDPi-CNb-Linkb-o-CNo中获取的大数据,按照链路运行评价方法,计算出综合评价值A,并发送给云平台的链路异常预警***;
链路异常预警***将综合评价值A的数值与链路异常预警各等级的量值进行比对,若综合评价值A的数值落在链路异常的量值范围之内,则执行链路预警操作。
2.根据权利要求1所述的基于大数据分析的全链路监控与预警***,其特征在于,所述探测器***包括布设在通信节点CNb处的探测器Prb、布设在链路Linkb-o上的探测器Prm、布设在通信节点CNo处的探测器Pro。
3.根据权利要求2所述的基于大数据分析的全链路监控与预警***,其特征在于,所述探测器Prb用于产生通信节点CNb的链路信息,生成一张关于数据包DPi在链路Linkb-o上运行的链路监控表单LmsDPi-CNb。
4.根据权利要求2所述的基于大数据分析的全链路监控与预警***,其特征在于,所述探测器Prm用于产生链路Linkb-o上的链路信息,生成一张链路监控表单LmsDPi-CNb-Linkb-o。
5.根据权利要求2所述的基于大数据分析的全链路监控与预警***,其特征在于,所述探测器Pro用于产生通信节点CNo的链路信息,生成一张链路监控表单LmsDPi-CNb-Linkb-o-CNo。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210536108.7A CN115037645B (zh) | 2022-05-17 | 2022-05-17 | 一种基于大数据分析的全链路监控与预警*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210536108.7A CN115037645B (zh) | 2022-05-17 | 2022-05-17 | 一种基于大数据分析的全链路监控与预警*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115037645A true CN115037645A (zh) | 2022-09-09 |
CN115037645B CN115037645B (zh) | 2023-03-24 |
Family
ID=83121774
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210536108.7A Active CN115037645B (zh) | 2022-05-17 | 2022-05-17 | 一种基于大数据分析的全链路监控与预警*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115037645B (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107729210A (zh) * | 2017-09-29 | 2018-02-23 | 百度在线网络技术(北京)有限公司 | 分布式服务集群的异常诊断方法和装置 |
CN109547296A (zh) * | 2019-01-10 | 2019-03-29 | 凌云天博光电科技股份有限公司 | 一种有线电视网络链路信号质量的监测方法、监测模块及*** |
WO2020147419A1 (zh) * | 2019-01-18 | 2020-07-23 | 深圳壹账通智能科技有限公司 | 监控方法、装置、计算机设备及存储介质 |
CN111740860A (zh) * | 2020-06-15 | 2020-10-02 | 中国工商银行股份有限公司 | 日志数据传输链路监控方法及装置 |
CN112383436A (zh) * | 2020-11-17 | 2021-02-19 | 珠海大横琴科技发展有限公司 | 一种网络监控的方法和装置 |
CN112653586A (zh) * | 2019-10-12 | 2021-04-13 | 苏州工业园区测绘地理信息有限公司 | 基于全链路监控的时空大数据平台应用性能管理方法 |
CN114025044A (zh) * | 2021-10-15 | 2022-02-08 | 中国人民财产保险股份有限公司 | 呼叫中心的控制方法、装置及电子设备 |
CN114116396A (zh) * | 2021-11-29 | 2022-03-01 | 重庆富民银行股份有限公司 | 一种全链路追踪方法、***、存储介质及设备 |
-
2022
- 2022-05-17 CN CN202210536108.7A patent/CN115037645B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107729210A (zh) * | 2017-09-29 | 2018-02-23 | 百度在线网络技术(北京)有限公司 | 分布式服务集群的异常诊断方法和装置 |
CN109547296A (zh) * | 2019-01-10 | 2019-03-29 | 凌云天博光电科技股份有限公司 | 一种有线电视网络链路信号质量的监测方法、监测模块及*** |
WO2020147419A1 (zh) * | 2019-01-18 | 2020-07-23 | 深圳壹账通智能科技有限公司 | 监控方法、装置、计算机设备及存储介质 |
CN112653586A (zh) * | 2019-10-12 | 2021-04-13 | 苏州工业园区测绘地理信息有限公司 | 基于全链路监控的时空大数据平台应用性能管理方法 |
CN111740860A (zh) * | 2020-06-15 | 2020-10-02 | 中国工商银行股份有限公司 | 日志数据传输链路监控方法及装置 |
CN112383436A (zh) * | 2020-11-17 | 2021-02-19 | 珠海大横琴科技发展有限公司 | 一种网络监控的方法和装置 |
CN114025044A (zh) * | 2021-10-15 | 2022-02-08 | 中国人民财产保险股份有限公司 | 呼叫中心的控制方法、装置及电子设备 |
CN114116396A (zh) * | 2021-11-29 | 2022-03-01 | 重庆富民银行股份有限公司 | 一种全链路追踪方法、***、存储介质及设备 |
Also Published As
Publication number | Publication date |
---|---|
CN115037645B (zh) | 2023-03-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100617310B1 (ko) | 네트워크 트래픽 이상 징후 감지 장치 및 그 방법 | |
US10771377B2 (en) | System and method for real-time load balancing of network packets | |
KR100561628B1 (ko) | 통계적 분석을 이용한 네트워크 수준에서의 이상 트래픽감지 방법 | |
US6684247B1 (en) | Method and system for identifying congestion and anomalies in a network | |
CN111176879A (zh) | 设备的故障修复方法及装置 | |
CN101808351B (zh) | 业务影响分析方法和*** | |
CN111162949A (zh) | 一种基于Java字节码嵌入技术的接口监测方法 | |
CN105721184A (zh) | 一种网络链路质量的监控方法及装置 | |
CN113014418B (zh) | 一种基于网络历史拓扑流量的故障诊断方法 | |
CN112994972B (zh) | 一种分布式探针监测平台 | |
CN106452941A (zh) | 网络异常的检测方法及装置 | |
CN112637006A (zh) | 一种电力通信网关键节点及影响域分析方法 | |
CN115001877A (zh) | 一种基于大数据的信息安全运维管理***及方法 | |
CN114866137B (zh) | 电力光缆网的检测方法及装置 | |
CN106878109A (zh) | 服务器检测方法及服务器*** | |
CN115037645B (zh) | 一种基于大数据分析的全链路监控与预警*** | |
CN117040943B (zh) | 基于IPv6地址驱动的云网络内生安全防御方法和装置 | |
CN116405412B (zh) | 基于混沌工程故障模拟服务端集群有效性验证方法和*** | |
CN117560196A (zh) | 一种智慧变电站二次***测试***及方法 | |
CN117061257A (zh) | 一种网络安全评估*** | |
CN112328463A (zh) | 一种日志监控方法及装置 | |
CN115225455B (zh) | 异常设备检测方法及装置、电子设备、存储介质 | |
CN115174350B (zh) | 一种运维告警方法、装置、设备及介质 | |
CN114528548B (zh) | 用于电力监控***的网络安全威胁溯源装置 | |
CN115102865A (zh) | 一种网络安全设备拓扑管理方法及*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |