CN106878092A - 一种多源异构数据融合的网络运维实时监控与分析呈现平台 - Google Patents

一种多源异构数据融合的网络运维实时监控与分析呈现平台 Download PDF

Info

Publication number
CN106878092A
CN106878092A CN201710191580.0A CN201710191580A CN106878092A CN 106878092 A CN106878092 A CN 106878092A CN 201710191580 A CN201710191580 A CN 201710191580A CN 106878092 A CN106878092 A CN 106878092A
Authority
CN
China
Prior art keywords
data
network
flow
module
monitor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710191580.0A
Other languages
English (en)
Inventor
应磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yi Information Technology Co Ltd
Original Assignee
Shanghai Yi Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Yi Information Technology Co Ltd filed Critical Shanghai Yi Information Technology Co Ltd
Priority to CN201710191580.0A priority Critical patent/CN106878092A/zh
Publication of CN106878092A publication Critical patent/CN106878092A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/04—Processing captured monitoring data, e.g. for logfile generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种多源异构数据融合的网络运维实时监控与分析呈现平台，对网络流量、网络行为、***日志分别采用不同的分布式数据采集模块，采集流经各个网络设备的网络流量数据、不同网络设备的行为数据以及其***日志数据；数据采集模块通过网络，包括带内网络和带外网络，将所采集的数据传输到消息队列中。本发明的***平台能够提供大规模网络运维监控能力，实时准确地对网络流量、网络行为和设备日志进行采集、存储和分析，并提供路由还原和异常检测等功能，使得运维人员对于网络情况有更加直观的认识且能够及时发现网络异常。

Description

一种多源异构数据融合的网络运维实时监控与分析呈现平台
技术领域
本发明涉及一种平台，具体是一种多源异构数据融合的网络运维实时监控与分析呈现平台。
背景技术
在当前，大量的主机和设备横跨用户的整个信息基础设施，从交换机和路由器到安全设备，主机资产，应用软件，服务器及存储层，从物理层到应用层，运维管理人员无法对所有安全威胁进行100％可视化管理，无法预先防范即将出现的问题，无法快速定位发生问题的原因，或无法提供有说服力的设备故障原因等方面的依据。
很多企业的IT部门为了保证***的正常运行，部署了各种网络管理和分析工具，但却达不到预期的成效。主要的原因其实就是三大网络管理技术之间(SNMP/SYSLOG/FLOW)没有加以有效的整合。
在大多数情况下，各设备的CPU之所以升高通常是因为它必须要处理瞬间流经的大量数据包。使用SNMP监控技术的网关工具只能监测到CPU升高的状况和具体数值，卻无法告知是哪些IP发送了大量数据包才造成了性能负担。IT管理者必须使用另一套管理工具--Flow分析***自行找出可疑的IP地址。然而，就算知道了IP地址，如果网络复杂且庞大，想要进一步了解这些IP在哪個具***置(ex:哪個Switch3的哪個Port)？是谁正在操作这台电脑？而又是什么样的Application让这些IP发送了这么大量的数据包？是电脑中毒或被植入了木马吗？这些问题的答案还是只能再从Syslog分析去慢慢拼凑蛛丝马迹。
下面是企业一些经常出现的问题：
网络异常缓慢时该如何快速定位原因？
员工反映有些邮件收不到也发不出去，真的是邮件服务器的问题吗？
无法浏览外部网站，或是客戶反映无法浏览我们的网站，什么原因？
公司网站遭受入侵攻击或重要的信息被泄露该如何处理和防御？
如何知道各部门的网络使用量？流量这么大是什么样的服务占用了网络资源？
员工无法登陆网络使用IT资源，故障原因是什么，如何能最快速度定位？
管理的网络这么庞大，这么多人使用网络，我怎么能及时知道哪些IP发生了异常？谁正在用这个IP？这个IP在哪个物理位置？
信息安全事件这么多，每个时间点应该要优先处理的事件是什么？
目前市场上针对IT运维的产品和工具很多，但是没有一款能将三大网络管理技术之间(SNMP/SYSLOG/FLOW)(运维大数据)加以有效的整合和关联。
发明内容
本发明的目的在于提供一种多源异构数据融合的网络运维实时监控与分析呈现平台，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：
一种多源异构数据融合的网络运维实时监控与分析呈现平台，对网络流量、网络行为、***日志分别采用不同的分布式数据采集模块，采集流经各个网络设备的网络流量数据、不同网络设备的行为数据以及其***日志数据；数据采集模块通过网络，包括带内网络和带外网络，将所采集的数据传输到消息队列中；流式处理模块对缓存在消息队列中的数据进行流水线处理，其能够完成数据整理、路由还原功能，并将处理后的数据存入内存数据库中，内存数据库能够提供高性能的数据读写能力；大数据处理模块定时轮询内存数据库，并采用分布式并行处理的方式，快速地对海量数据进行定制化处理；大数据处理模块同时将已完成的数据流数据传输到消息队列中；关系型数据库按照一定的时间间隔存储大量数据流的统计数据，并提供统计数据访问接口，以供前端呈现模块调用；采用分布式数据库存储来自消息队列的海量数据，分布式数据库依靠分布式文件***的大容量和高可靠特性保证海量数据的安全存储；同时分布式数据库通过查询工具提供历史详细数据的查询功能，以供前端呈现模块调用。
作为本发明进一步的方案：所述消息队列是在数据的传输过程中保存消息的容器，能够解决数据采集速率和处理速率不匹配的问题，当后续处理模块不可用时，起到缓存数据的作用，避免产生数据丢失的问题。
作为本发明再进一步的方案：所述的对海量数据进行定制化处理，包括对网络中所有的数据流进行统计，统计的数据流具体包括已完成的数据流和未完成的数据流，按自定义指标统计出前N条数据流，并将该N条数据流的元信息存入关系型数据库中。
与现有技术相比，本发明的有益效果是：本发明的***平台能够提供大规模网络运维监控能力，实时准确地对网络流量、网络行为和设备日志进行采集、存储和分析，并提供路由还原和异常检测等功能，使得运维人员对于网络情况有更加直观的认识且能够及时发现网络异常。
附图说明
图1为多源异构数据融合的网络运维实时监控与分析呈现平台的控制流程图。
图2为多源异构数据融合的网络运维实时监控与分析呈现平台的一个具体实施例的控制流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1～2，本发明实施例中，一种多源异构数据融合的网络运维实时监控与分析呈现平台，对网络流量101、网络行为102、***日志103分别采用不同的分布式数据采集模块，采集流经各个网络设备的网络流量数据、不同网络设备的行为数据以及其***日志数据；
数据采集模块通过网络，包括带内网络和带外网络，将所采集的数据传输到消息队列111中。消息队列111是在数据的传输过程中保存消息的容器，能够解决数据采集速率和处理速率不匹配的问题，而且当后续处理模块不可用时，起到缓存数据的作用，可以避免产生数据丢失的问题。
流式处理模块112对缓存在消息队列111中的数据进行流水线处理，其能够完成数据整理、路由还原等功能，并将处理后的数据存入内存数据库113中。内存数据库113能够提供高性能的数据读写能力。
大数据处理模块114定时轮询内存数据库113，并采用分布式并行处理的方式，快速地对海量数据进行定制化处理。如对网络中所有的数据流进行统计，包括已完成的数据流和未完成的数据流，按自定义指标统计出前N条数据流，并将该N条数据流的元信息存入关系型数据库121中；大数据处理模块114同时将已完成的数据流数据传输到消息队列122中。关系型数据库121按照一定的时间间隔存储大量数据流的统计数据，并提供统计数据访问接口，以供前端呈现模块131调用，可自定义时间区间进行查询。
分布式数据库123存储来自消息队列122的海量数据。分布式数据库123依靠分布式文件***124的大容量和高可靠等特性保证海量数据的安全存储。同时分布式数据库123通过查询工具125提供历史详细数据的查询功能，以供前端呈现模块131调用，可自定义进行查询。
网络流量采集模块101采用NetFlow协议***；
网络行为采集模块102采用SNMP(简单网络管理协议)***；
***日志采集模块采用syslog协议***；
消息队列模块111采用高吞吐量的分布式消息***Kafka；
流式处理模块112采用大规模流式数据处理***Spark Streaming；
内存数据库113采用著名的开源键值对内存数据库Redis；
大数据处理模块114采用开源大规模数据计算引擎Spark；
关系型数据库121模块采用开源关系型数据库MySQL；
消息队列模块122采用高吞吐量的分布式消息***Kafka；
分布式数据库123采用开源面向列的分布式数据库HBase；
分布式文件***124采用开源大规模分布式文件***HDFS；
查询工具模块125采用开源数据仓库工具Hive，可将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。
从NetFlow到Kafka(topic 1)为数据流处理(Flow Process)部分：网络流量采集工具SiLK将其解析出来的NetFlow数据包信息保存在预先定义的flow record结构体中，然后从这个结构体将所需信息读取出来，并以CSV的格式将这些信息传送到Kafka的特定topic上。
从Kafka(topic 1)往上到Redis为数据还原(Flow Merge)部分：Spark Streaming会读取存储在Redis中未完成(Unfinished)的数据流信息，并从Kafka的特定topic上获取NetFlow记录，判断NetFlow记录是在Redis中已有的未完成的数据流还是新到来的数据流。更新那些未完成的数据流，同时添加新到来的数据流。
数据流存储(Flow Store)部分：运行在Spark中的job定期轮询Redis读取所有的数据流记录，包括未完成的(Unfinished)数据流和已完成的(Finished)数据流，然后分为两路进行处理。轮询的时间间隔可自定义设置，目前设置与Flow Merge中的时间间隔相同(3秒)。
a)一路将已完成(Finished)的数据流记录写入到Kafka的特定topic中，同时删除Redis中已完成的数据流记录。使用Flume中间件从Kafka特定topic中读取已完成的数据流，并按照其key的组合方式序列化后存储到HBase中。HBase中的key为六元组(数据流开始时间+源IP+源端口+目的IP+目的端口+协议类型)。HBase使用Hadoop HDFS作为后端存储。
b)另一路统计所有数据流在当前设置的时间间隔(目前设置为1min)内的Top 100数据流，并按时间窗口的整数倍存入MySQL中。
数据流查询(Flow Query)部分同样分为两路：
a)使用Hive建立外部表查询HBase(提供条件查询)，可以根据用户的输入使用Hive做查询，并返回查询结果；同时也设置了从Web界面查看HBase的功能。
统计Top N部分给前端提供一个查询接口，使用户可以查询自定义时间段内Top100的数据流。查询时间段为存入数据时间间隔的整数倍(目前为1min的整数倍)。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (3)

1.一种多源异构数据融合的网络运维实时监控与分析呈现平台，其特征在于，对网络流量、网络行为、***日志分别采用不同的分布式数据采集模块，采集流经各个网络设备的网络流量数据、不同网络设备的行为数据以及其***日志数据；数据采集模块通过网络，包括带内网络和带外网络，将所采集的数据传输到消息队列中；流式处理模块对缓存在消息队列中的数据进行流水线处理，其能够完成数据整理、路由还原功能，并将处理后的数据存入内存数据库中，内存数据库能够提供高性能的数据读写能力；大数据处理模块定时轮询内存数据库，并采用分布式并行处理的方式，快速地对海量数据进行定制化处理；大数据处理模块同时将已完成的数据流数据传输到消息队列中；关系型数据库按照一定的时间间隔存储大量数据流的统计数据，并提供统计数据访问接口，以供前端呈现模块调用；采用分布式数据库存储来自消息队列的海量数据，分布式数据库依靠分布式文件***的大容量和高可靠特性保证海量数据的安全存储；同时分布式数据库通过查询工具提供历史详细数据的查询功能，以供前端呈现模块调用。
2.根据权利要求1所述的多源异构数据融合的网络运维实时监控与分析呈现平台，其特征在于，所述消息队列是在数据的传输过程中保存消息的容器，能够解决数据采集速率和处理速率不匹配的问题，当后续处理模块不可用时，起到缓存数据的作用，避免产生数据丢失的问题。
3.根据权利要求1所述的多源异构数据融合的网络运维实时监控与分析呈现平台，其特征在于，所述的对海量数据进行定制化处理，包括对网络中所有的数据流进行统计，统计的数据流具体包括已完成的数据流和未完成的数据流，按自定义指标统计出前N条数据流，并将该N条数据流的元信息存入关系型数据库中。
CN201710191580.0A 2017-03-28 2017-03-28 一种多源异构数据融合的网络运维实时监控与分析呈现平台 Pending CN106878092A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710191580.0A CN106878092A (zh) 2017-03-28 2017-03-28 一种多源异构数据融合的网络运维实时监控与分析呈现平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710191580.0A CN106878092A (zh) 2017-03-28 2017-03-28 一种多源异构数据融合的网络运维实时监控与分析呈现平台

Publications (1)

Publication Number Publication Date
CN106878092A true CN106878092A (zh) 2017-06-20

Family

ID=59159451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710191580.0A Pending CN106878092A (zh) 2017-03-28 2017-03-28 一种多源异构数据融合的网络运维实时监控与分析呈现平台

Country Status (1)

Country Link
CN (1) CN106878092A (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808259A (zh) * 2017-11-22 2018-03-16 广州拓息信息技术有限公司 一种基于明细数据的运营状态在线监测方法
CN107992746A (zh) * 2017-12-14 2018-05-04 华中师范大学 恶意行为挖掘方法及装置
CN108337122A (zh) * 2018-02-22 2018-07-27 深圳市脉山龙信息技术股份有限公司 基于分布式流计算的运维管理***
CN108616415A (zh) * 2018-03-16 2018-10-02 新华三大数据技术有限公司 数据关联方法及装置
CN108696389A (zh) * 2018-04-24 2018-10-23 国家电网公司信息通信分公司 一种基于海量数据的网络流量及协议报文分析平台
CN109255523A (zh) * 2018-08-16 2019-01-22 北京奥技异科技发展有限公司 基于kks编码规则和大数据架构的分析指标计算平台
CN109408579A (zh) * 2018-10-31 2019-03-01 武汉光谷联众大数据技术有限责任公司 一种数据管理监控装置
CN110032558A (zh) * 2019-04-12 2019-07-19 重庆天蓬网络有限公司 一种数据同步方法、装置、***及存储介质
CN110119343A (zh) * 2018-02-07 2019-08-13 上海鼎茂信息技术有限公司 一种主机运维分析方法
CN110365668A (zh) * 2019-07-04 2019-10-22 杭州吉讯汇通科技有限公司 网络信息处理方法、装置、设备、介质及***
CN110730103A (zh) * 2019-10-24 2020-01-24 苏州盈虚有数信息科技有限公司 一种网络质量分析方法和装置
CN111708880A (zh) * 2020-05-12 2020-09-25 北京明略软件***有限公司 类簇的识别***及方法
CN111737325A (zh) * 2020-05-25 2020-10-02 南京华盾电力信息安全测评有限公司 一种基于大数据技术的电力数据分析方法和装置
CN112333020A (zh) * 2020-11-03 2021-02-05 广东电网有限责任公司 一种基于五元组的网络安全监测及数据报文解析***
CN112995184A (zh) * 2021-03-05 2021-06-18 中电积至(海南)信息技术有限公司 一种多源网络流量内容完整还原方法和装置
CN113468168A (zh) * 2021-05-27 2021-10-01 中国特种设备检测研究院 一种起重机械多源异构数据高速采集与处理软控制方法
CN113542158A (zh) * 2020-04-20 2021-10-22 上海文广互动电视有限公司 一种面向广电网络的数据处理方法
CN113923051A (zh) * 2021-11-12 2022-01-11 国网河南省电力公司漯河供电公司 一种新型内网异常ip发现技术
CN114007234A (zh) * 2021-10-29 2022-02-01 中国联合网络通信集团有限公司 网络性能监控方法、装置、设备及存储介质
CN114095800A (zh) * 2021-09-03 2022-02-25 复旦大学 基于多数据源的大规模无线局域网数据采集与处理方法
CN117319246A (zh) * 2023-09-25 2023-12-29 江苏省秦淮河水利工程管理处 一种基于多源数据的水利网流量监测***

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021194A (zh) * 2014-06-13 2014-09-03 浪潮(北京)电子信息产业有限公司 一种面向行业大数据多样性应用的混合型处理***及处理方法
CN105681397A (zh) * 2015-12-30 2016-06-15 曙光信息产业(北京)有限公司 一种网络流量数据存储方法及***、查询方法及装置
CN105959184A (zh) * 2016-07-14 2016-09-21 杨林 一种智能室内空气净化***
CN106168909A (zh) * 2016-06-30 2016-11-30 北京奇虎科技有限公司 一种日志的处理方法和装置
CN106528865A (zh) * 2016-12-02 2017-03-22 航天科工智慧产业发展有限公司 一种快速精准的交通大数据清洗方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104021194A (zh) * 2014-06-13 2014-09-03 浪潮(北京)电子信息产业有限公司 一种面向行业大数据多样性应用的混合型处理***及处理方法
CN105681397A (zh) * 2015-12-30 2016-06-15 曙光信息产业(北京)有限公司 一种网络流量数据存储方法及***、查询方法及装置
CN106168909A (zh) * 2016-06-30 2016-11-30 北京奇虎科技有限公司 一种日志的处理方法和装置
CN105959184A (zh) * 2016-07-14 2016-09-21 杨林 一种智能室内空气净化***
CN106528865A (zh) * 2016-12-02 2017-03-22 航天科工智慧产业发展有限公司 一种快速精准的交通大数据清洗方法

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107808259A (zh) * 2017-11-22 2018-03-16 广州拓息信息技术有限公司 一种基于明细数据的运营状态在线监测方法
CN107992746A (zh) * 2017-12-14 2018-05-04 华中师范大学 恶意行为挖掘方法及装置
CN110119343A (zh) * 2018-02-07 2019-08-13 上海鼎茂信息技术有限公司 一种主机运维分析方法
CN108337122A (zh) * 2018-02-22 2018-07-27 深圳市脉山龙信息技术股份有限公司 基于分布式流计算的运维管理***
CN108337122B (zh) * 2018-02-22 2021-07-30 深圳市脉山龙信息技术股份有限公司 基于分布式流计算的运维管理***
CN108616415A (zh) * 2018-03-16 2018-10-02 新华三大数据技术有限公司 数据关联方法及装置
CN108616415B (zh) * 2018-03-16 2020-11-27 新华三大数据技术有限公司 数据关联方法及装置
CN108696389A (zh) * 2018-04-24 2018-10-23 国家电网公司信息通信分公司 一种基于海量数据的网络流量及协议报文分析平台
CN109255523A (zh) * 2018-08-16 2019-01-22 北京奥技异科技发展有限公司 基于kks编码规则和大数据架构的分析指标计算平台
CN109255523B (zh) * 2018-08-16 2021-07-20 北京奥技异科技发展有限公司 基于kks编码规则和大数据架构的分析指标计算平台
CN109408579A (zh) * 2018-10-31 2019-03-01 武汉光谷联众大数据技术有限责任公司 一种数据管理监控装置
CN110032558A (zh) * 2019-04-12 2019-07-19 重庆天蓬网络有限公司 一种数据同步方法、装置、***及存储介质
CN110365668A (zh) * 2019-07-04 2019-10-22 杭州吉讯汇通科技有限公司 网络信息处理方法、装置、设备、介质及***
CN110730103A (zh) * 2019-10-24 2020-01-24 苏州盈虚有数信息科技有限公司 一种网络质量分析方法和装置
CN113542158A (zh) * 2020-04-20 2021-10-22 上海文广互动电视有限公司 一种面向广电网络的数据处理方法
CN111708880A (zh) * 2020-05-12 2020-09-25 北京明略软件***有限公司 类簇的识别***及方法
CN111737325A (zh) * 2020-05-25 2020-10-02 南京华盾电力信息安全测评有限公司 一种基于大数据技术的电力数据分析方法和装置
CN112333020A (zh) * 2020-11-03 2021-02-05 广东电网有限责任公司 一种基于五元组的网络安全监测及数据报文解析***
CN112333020B (zh) * 2020-11-03 2023-07-21 广东电网有限责任公司 一种基于五元组的网络安全监测及数据报文解析***
CN112995184A (zh) * 2021-03-05 2021-06-18 中电积至(海南)信息技术有限公司 一种多源网络流量内容完整还原方法和装置
CN112995184B (zh) * 2021-03-05 2022-07-12 中电积至(海南)信息技术有限公司 一种多源网络流量内容完整还原方法和装置
CN113468168A (zh) * 2021-05-27 2021-10-01 中国特种设备检测研究院 一种起重机械多源异构数据高速采集与处理软控制方法
CN113468168B (zh) * 2021-05-27 2024-01-19 中国特种设备检测研究院 一种起重机械多源异构数据高速采集与处理软控制方法
CN114095800A (zh) * 2021-09-03 2022-02-25 复旦大学 基于多数据源的大规模无线局域网数据采集与处理方法
CN114095800B (zh) * 2021-09-03 2023-08-25 复旦大学 基于多数据源的大规模无线局域网数据采集与处理方法
CN114007234A (zh) * 2021-10-29 2022-02-01 中国联合网络通信集团有限公司 网络性能监控方法、装置、设备及存储介质
CN114007234B (zh) * 2021-10-29 2023-05-09 中国联合网络通信集团有限公司 网络性能监控方法、装置、设备及存储介质
CN113923051A (zh) * 2021-11-12 2022-01-11 国网河南省电力公司漯河供电公司 一种新型内网异常ip发现技术
CN117319246A (zh) * 2023-09-25 2023-12-29 江苏省秦淮河水利工程管理处 一种基于多源数据的水利网流量监测***

Similar Documents

Publication Publication Date Title
CN106878092A (zh) 一种多源异构数据融合的网络运维实时监控与分析呈现平台
AU2020257044B2 (en) Cybersecurity system
CN109376532A (zh) 基于elk日志采集分析的电力网络安全监测方法及***
CN103716173B (zh) 一种存储监控***及监控告警发布的方法
CN108197261A (zh) 一种智慧交通操作***
CN107229556A (zh) 基于elastic组件的日志分析***
CN106487574A (zh) 自动化运行维护监测***
US20020116512A1 (en) Method of surveilling internet communication
US9729563B2 (en) Data transfer for network interaction fraudulence detection
CN107273267A (zh) 基于elastic组件的日志分析方法
CN111181799A (zh) 一种网络流量监控方法及设备
CN107273554A (zh) 电梯智能监控***与方法
CN112333020B (zh) 一种基于五元组的网络安全监测及数据报文解析***
CN116232963B (zh) 一种链路跟踪方法及***
CN106559498A (zh) 风控数据收集平台及其收集方法
Bialas et al. Anomaly detection in network traffic security assurance
CN110098957A (zh) 基于网络日志的大数据分析***
CN109600395A (zh) 一种终端网络接入控制***的装置及实现方法
CN116991675A (zh) 一种异常访问监控方法、装置、计算机设备及存储介质
Peng Research of network intrusion detection system based on snort and NTOP
Peng et al. Design and implementation of network instruction detection system based on snort and NTOP
CN104735442A (zh) 一种基于时长分析及全球眼平台的网络录像故障定位***及方法
CN113794719B (zh) 一种基于Elasticsearch技术网络异常流量分析方法、装置和电子设备
Kiran et al. Machine learning-based analysis of COVID-19 pandemic impact on US research networks
Vega et al. KISS methodologies for network management and anomaly detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170620

RJ01 Rejection of invention patent application after publication