CN112202593B - 数据获取方法、装置、网管***及计算机存储介质 - Google Patents
数据获取方法、装置、网管***及计算机存储介质 Download PDFInfo
- Publication number
- CN112202593B CN112202593B CN202010917405.7A CN202010917405A CN112202593B CN 112202593 B CN112202593 B CN 112202593B CN 202010917405 A CN202010917405 A CN 202010917405A CN 112202593 B CN112202593 B CN 112202593B
- Authority
- CN
- China
- Prior art keywords
- network
- network topology
- data
- data acquisition
- node
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000013515 script Methods 0.000 claims description 34
- 238000013480 data collection Methods 0.000 claims description 31
- 230000015654 memory Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 18
- 238000007726 management method Methods 0.000 description 86
- 238000004458 analytical method Methods 0.000 description 23
- 238000006243 chemical reaction Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 230000000875 corresponding effect Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 7
- 230000002776 aggregation Effects 0.000 description 6
- 238000004220 aggregation Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 230000005291 magnetic effect Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- KLDZYURQCUYZBL-UHFFFAOYSA-N 2-[3-[(2-hydroxyphenyl)methylideneamino]propyliminomethyl]phenol Chemical compound OC1=CC=CC=C1C=NCCCN=CC1=CC=CC=C1O KLDZYURQCUYZBL-UHFFFAOYSA-N 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000013500 data storage Methods 0.000 description 3
- 201000001098 delayed sleep phase syndrome Diseases 0.000 description 3
- 208000033921 delayed sleep phase type circadian rhythm sleep disease Diseases 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 101100109406 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) aga-1 gene Proteins 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000005294 ferromagnetic effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/14—Network analysis or design
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0677—Localisation of faults
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/12—Discovery or management of network topologies
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本申请实施例提供了一种数据获取方法、装置、网管***及计算机存储介质;该方法包括:确定需要进行数据采集的至少两个网络节点,每个节点表示一个网络设备;根据所述需要进行数据采集的至少两个节点,确定局部网络拓扑,所述局部网络拓扑用于表示所述至少两个节点形成的布局;根据所述局部网络拓扑,对所述局部网络拓扑的各节点进行数据采集,得到所述局部网络拓扑的各节点的数据。
Description
技术领域
本申请涉及金融科技(Fintech)的网络设备技术,涉及但不限于一种数据获取方法、装置、网管***及计算机存储介质。
背景技术
随着计算机技术的发展,越来越多的技术应用在金融领域,传统金融业正在逐步向金融科技转变,但由于金融行业的安全性、实时性要求,也对技术提出了更高的要求。
目前,在金融科技领域中,可以采用通用型网管***或专用型网管***对网络设备进行数据采集,但是通用型网管***和专用型网管***都是以单独的网络设备作为采集对象,采集到的数据较为简单,不够丰富。
发明内容
本申请实施例提供一种据采集方法、装置、网管***及计算机存储介质,以解决现有技术中以单独的网络设备作为采集对象导致的采集到的数据较为简单的问题。
本申请实施例的技术方案是这样实现的:
本申请实施例提供一种数据获取方法,所述方法包括:
确定需要进行数据采集的至少两个网络节点;
根据所述需要进行数据采集的至少两个网络节点,确定局部网络拓扑,所述局部网络拓扑用于表示所述至少两个网络节点形成的布局;
根据所述局部网络拓扑,对所述局部网络拓扑的各网络节点进行数据采集,得到所述局部网络拓扑的各网络节点的数据。
在本申请的一些实施例中,所述根据所述需要进行数据采集的至少两个网络节点,确定局部网络拓扑,包括:
在确定整体网络拓扑的情况下,根据所述需要进行数据采集的至少两个网络节点,从所述整体网络拓扑中分离出所述局部网络拓扑;所述整体网络拓扑表示网络设备***中各网络节点形成的布局,所述网络设备***中的各网络节点包括所述至少两个网络节点。
可以理解地,本申请实施例中,如果整体网络拓扑已经预先确定并保存在本地,则可以在整体网络拓扑的多叉树结构中快速地解耦、分离出局部网络拓扑,便于实现。
在本申请的一些实施例中,所述根据所述需要进行数据采集的至少两个网络节点,从所述整体网络拓扑中分离出所述局部网络拓扑,包括:
根据所述需要进行数据采集的至少两个网络节点和所述整体网络拓扑,确定所述局部网络拓扑的根节点;
从所述根节点开始,按照从父节点到子节点的层次遍历方式,遍历所述局部网络拓扑的网络节点;在遍历到局部网络拓扑的各叶子节点的情况下,确定所述局部网络拓扑。
可以理解地,如果整体网络拓扑已经预先确定,则可以根据整体网络拓扑确定局部网络拓扑的根节点,并从局部网络拓扑的根节点,按照层次遍历方式遍历得到局部网络拓扑,采用层次遍历方式,有利于准确得出目标具备网络拓扑。
在本申请的一些实施例中,所述根据所述局部网络拓扑,对所述局部网络拓扑的各网络节点进行数据采集,包括:
根据所述局部网络拓扑的网络节点的指定属性信息,对所述局部网络拓扑的各网络节点进行分组,得到至少一组网络节点;针对至少一组网络节点中的每组网络节点进行数据采集,得到每组网络节点的数据。
可以理解地,由于每组网络节点中各网络节点的指定属性信息相同,因而,每组网络节点中各网络节点的数据是较为类似的,进而有利于对每组网络节点的数据进行统一分析,容易得出每组网络节点的数据的共同点和差异点。
在本申请的一些实施例中,所述方法还包括:
对每组网络节点的数据按照统一格式进行转换,得到每组网络节点中各网络节点的格式化后数据;分析所述每组网络节点中各网络节点的格式化后数据与预设的基准格式化数据的区别,得到差异化数据,将所述每组网络节点中各网络节点的格式化后数据按照预设的基准格式化数据和差异化数据进行存储。可以看出,通过对每组网络节点的数据进行统一格式转换和差异化分析,针对每组网络节点中各网络节点的数据,可以按照基准格式化数据和差异化数据的方式进行统一存储,相比于将每组网络节点中各网络节点的数据进行分别存储,可以减少数据冗余,从而减少数据采集结果占用的本地数据存储空间。
在本申请的一些实施例中,所述根据所述局部网络拓扑,对所述局部网络拓扑的各网络节点进行数据采集,包括:
从面向对象的编程语言的脚本中获取所述局部网络拓扑的各网络节点的数据采集条件;
在所述局部网络拓扑的任意一个网络节点满足对应的数据采集条件的情况下,对所述局部网络拓扑的任意一个网络节点进行数据采集。
可以看出,面向对象的编程语言的脚本可以用于确定每个网络节点的数据采集条件,因而,本申请实施例可以按照每个网络节点的数据采集条件,对网络节点进行灵活地数据采集,与现有的通过shell脚本下发固定的采集命令的方案相比,可以实现较为复杂的数据采集功能,能够支持对不同的网络节点按照不同的数据采集条件进行数据采集。
在本申请的一些实施例中,所述确定需要进行数据采集的至少两个网络节点,包括:
获取特征信息,所述特征信息用于表征所述需要进行数据采集的至少两个网络节点的特征;
根据所述特征信息,确定所述需要进行数据采集的至少两个网络节点。
可以看出,本申请实施例中,可以根据特征信息确定需要进行数据采集的至少两个网络节点,较为容易实现。
本申请实施例提供一种数据获取装置,所述装置包括:
确定模块,用于确定需要进行数据采集的至少两个网络节点;
确定模块,还用于根据所述需要进行数据采集的至少两个网络节点,确定局部网络拓扑,所述局部网络拓扑用于表示所述至少两个网络节点形成的布局;
处理模块,用于根据所述局部网络拓扑,对所述局部网络拓扑的各网络节点进行数据采集,得到所述局部网络拓扑的各网络节点的数据。
在本申请的一些实施例中,所述确定模块,用于根据所述需要进行数据采集的至少两个网络节点,确定局部网络拓扑,包括:
在确定整体网络拓扑的情况下,根据所述需要进行数据采集的至少两个网络节点,从所述整体网络拓扑中分离出所述局部网络拓扑;所述整体网络拓扑表示网络设备***中各网络节点形成的布局,所述网络设备***中的各网络节点包括所述至少两个网络节点。
可以理解地,本申请实施例中,如果整体网络拓扑已经预先确定并保存在本地,则可以在整体网络拓扑的多叉树结构中快速地解耦、分离出局部网络拓扑,便于实现。
在本申请的一些实施例中,所述确定模块,用于根据所述需要进行数据采集的至少两个网络节点,从所述整体网络拓扑中分离出所述局部网络拓扑,包括:
根据所述需要进行数据采集的至少两个网络节点和所述整体网络拓扑,确定所述局部网络拓扑的根节点;
从所述根节点开始,按照从父节点到子节点的层次遍历方式,遍历所述局部网络拓扑的网络节点;在遍历到局部网络拓扑的各叶子节点的情况下,确定所述局部网络拓扑。
可以理解地,如果整体网络拓扑已经预先确定,则可以根据整体网络拓扑确定局部网络拓扑的根节点,并从局部网络拓扑的根节点,按照层次遍历方式遍历得到局部网络拓扑,采用层次遍历方式,有利于准确得出目标具备网络拓扑。
在本申请的一些实施例中,所述处理模块,用于根据所述局部网络拓扑,对所述局部网络拓扑的各网络节点进行数据采集,包括:
根据所述局部网络拓扑的网络节点的指定属性信息,对所述局部网络拓扑的各网络节点进行分组,得到至少一组网络节点;针对至少一组网络节点中的每组网络节点进行数据采集,得到每组网络节点的数据。
可以理解地,由于每组网络节点中各网络节点的指定属性信息相同,因而,每组网络节点中各网络节点的数据是较为类似的,进而有利于对每组网络节点的数据进行统一分析,容易得出每组网络节点的数据的共同点和差异点。
在本申请的一些实施例中,所述处理模块,还用于对每组网络节点的数据按照统一格式进行转换,得到每组网络节点中各网络节点的格式化后数据;分析所述每组网络节点中各网络节点的格式化后数据与预设的基准格式化数据的区别,得到差异化数据,将所述每组网络节点中各网络节点的格式化后数据按照预设的基准格式化数据和差异化数据进行存储。
可以看出,通过对每组网络节点的数据进行统一格式转换和差异化分析,针对每组网络节点中各网络节点的数据,可以按照基准格式化数据和差异化数据的方式进行统一存储,相比于将每组网络节点中各网络节点的数据进行分别存储,可以减少数据冗余,从而减少数据采集结果占用的本地数据存储空间。
在本申请的一些实施例中,所述处理模块,用于从面向对象的编程语言的脚本中获取所述局部网络拓扑的各网络节点的数据采集条件;在所述局部网络拓扑的任意一个网络节点满足对应的数据采集条件的情况下,对所述局部网络拓扑的任意一个网络节点进行数据采集。
可以看出,面向对象的编程语言的脚本可以用于确定每个网络节点的数据采集条件,因而,本申请实施例可以按照每个网络节点的数据采集条件,对网络节点进行灵活地数据采集,与现有的通过shell脚本下发固定的采集命令的方案相比,可以实现较为复杂的数据采集功能,能够支持对不同的网络节点按照不同的数据采集条件进行数据采集。
在本申请的一些实施例中,所述确定模块,用于确定需要进行数据采集的至少两个网络节点,包括:
获取特征信息,所述特征信息用于表征所述需要进行数据采集的至少两个网络节点的特征;
根据所述特征信息,确定所述需要进行数据采集的至少两个网络节点。
可以看出,本申请实施例中,可以根据特征信息确定需要进行数据采集的至少两个网络节点,较为容易实现。
本申请实施例提供一种网管***,所述网管***包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现上述任意一种数据获取方法。
本申请实施例提供一种计算机可读存储介质,存储有可执行指令,用于被处理器执行时,实现上述任意一种数据获取方法。
本申请实施例中,确定需要进行数据采集的至少两个网络节点;根据所述需要进行数据采集的至少两个网络节点,确定局部网络拓扑,所述局部网络拓扑用于表示所述至少两个网络节点形成的布局;根据所述局部网络拓扑,对所述局部网络拓扑的各网络节点进行数据采集,得到所述局部网络拓扑的各网络节点的数据。可以看出,本申请实施例中,不仅可以获取网络设备的数据,还可以确定局部网络拓扑,本申请实施例能够以局部网络拓扑作为统一的采集对象进行数据获取,获取到的数据更加丰富,并且更加符合对网络设备的管理和维护的真实需求,方便网络管理员在对局部网络拓扑进行模型分析,可以应用于快速定位网络设备故障、分析网络架构变更操作风险等具体场景。
附图说明
图1是相关技术中通用型网管***进行网络设备的数据采集的流程图;
图2是相关技术中专用型网管***进行网络设备的数据采集的流程图;
图3是本申请实施例的一个应用场景的示意图;
图4是本申请实施例提供的主从架构的示意图;
图5是本申请实施例提供的数据获取方法的一个可选的流程图;
图6是本申请实施例提供的一个局部网络拓扑的多叉树结构的示意图;
图7是本申请实施例提供的统一格式化处理和差异化分析的示意图;
图8是本申请实施例提供的数据获取装置的一个可选的组成结构示意图;
图9是本申请实施例提供的网管***的一个可选的结构示意图。
具体实施方式
在相关技术中,对于网络设备的数据采集,可以采用通用型网管***或专用型网管***实现,这里,通用型网管***表示可以针对各种网络设备进行数据采集的网管***,专用型网管***表示专门为某一种或某几种网络设备开发的网管***;下面分别说明通用型网管***和专用型网管***的数据采集方式。
1)通用型网管***的数据采集方式。
通用型网管***可以通过跳板机与网络设备相连,网络管理员可以自行开发编写shell脚本,并在网管***中配置网络设备采集参数,shell脚本表示用于进行网络设备数据采集的脚本,网络设备采集参数包括shell脚本适配的网络设备,在触发网络设备的数据采集任务后,便可以根据shell脚本和网络设备采集参数执行数据采集任务。
图1为相关技术中通用型网管***进行网络设备的数据采集的流程图,如图1所示,该流程可以包括:
步骤101:通用型网管***基于Telnet协议或安全外壳(Secure Shell,SSH)协议向网络设备发送shell脚本。
这里,Telnet是一种应用层协议,是因特网(Internet)远程登录服务的标准协议和主要实现方式;SSH协议是一种建立在应用层基础上的安全协议,是目前较可靠,专为远程登录会话和其他网络服务提供安全性的协议。
通用型网管***可以基于网络设备采集参数确定出接收shell脚本的目标网络设备,然后,通用型网管***可以向目标网络设备发送shell脚本。
步骤102:在网络设备上执行shell脚本,获取网络设备的数据。
在一种实现方式中,网络设备的数据可以是网络设备的属性信息和/或运行状态信息,网络设备的属性信息包括但不限于名称、类型等信息,网络设备的运行状态信息包括但不限于操作***版本、内存运行状态、中央处理器(Central Processing Unit,CPU)运行状态等信息。
步骤103:网络设备将网络设备的数据发送至通用型网管***。
在一种实现方式中,通用型网管***可以将网络设备的数据以文本形式完整地保存在本地,或者,可以在将网络设备的数据进行格式化后保存在本地。
步骤104:通用型网管***对网络设备的数据进行分析。
在一种实现方式中,通用型网管***需要全量读取网络设备的数据,并基于网络设备的数据进行网络设备的异常分析,或者,对网络设备的数据进行后续处理。
需要说明的是,上述记载的内容仅仅是从一个网络设备的角度进行了说明,如果要采集多个网络设备的数据,均可以按照步骤101至步骤104实现每个网络设备的数据采集。
在采集到多个网络设备的数据时,由于每个网络设备的数据是独立采集的,因而,不同网络设备的数据是相互独立的;如果要对多个网络设备的数据进行综合分析,可以按照网络设备的类型、设备信息以及采集时间信息将不同的网络设备在数据层面关联起来。
通用型网管***可以兼顾大多数设备厂商的网络设备数据采集,通用型网管***通常依赖于shell脚本来完成网络设备的数据采集操作;shell脚本以开发简单、部署和执行方便的特点,非常适合通用型的方案,但是同时也因其侧重通用性所以难以实现较为复杂的功能。尤其是在大型网络架构中,网络设备的种类、型号较多且同种类、型号的设备也有不同的设备状态和版本等区别,而shell脚本需要根据网络设备采集参数来确定适配的网络设备,即,需要通用型网管***对shell脚本进行调度,来实现对指定的网络设备的数据采集;仅仅基于shell脚本,难以根据网络设备的状态来确定是否对网络设备进行数据采集。并且,为了实现后续准确地对网络设备的状态进行分析,需要将采集到的完整数据保存在本地,导致冗余数据量较大,对数据进行调用分析也会增加计算资源的消耗。
2)专用型网管***的数据采集方式。
专用型网管***一般由网络设备的厂商自行开发,只能服务于特定型号的网络设备,专用型网管***可以使用简单网络管理协议(Simple Network Management ProtocolSNMP)与网络设备进行交互,SNMP是一种应用层协议,定义了一种标准网络管理框架,专门设计用于在网际互连协议(Internet Protocol,IP)网络管理网络节点的一种标准网络管理协议。
网络设备的厂商在开发网络设备的管理信息(Management Information Base,MIB)库时,可以使用对象标识符(Object Identifier,OID)来唯一标识一个MIB对象,而通常一个网络设备会有业界统一标准的公用OID和厂商自行使用的私有OID,对于一个网络设备而言,公用OID和私有OID均可以有多个。
图2为相关技术中专用型网管***进行网络设备的数据采集的流程图,如图2所示,该流程可以包括:
步骤201:专用型网管***获取网络设备的采集项。
这里,网络设备的采集项用于指定网络设备中需要采集的数据;网络设备的采集项可以一个采集项,也可以是多个采集项组成的采集项集合;在实际应用中,用户可以通过人机交互方式在专用型网管***选择需要进行数据采集的网络设备,并且,可以通过人机交互方式向专用型网管***输入网络设备的采集项。
步骤202:专用型网管***按照OID转换表将网络设备的采集项转换为OID字符串。
这里,OID字符串为上述公用OID和/或私有OID,OID转换表用于表示网络设备的采集项与OID字符串的映射关系,OID转换表可以由用户预先配置。
步骤203:专用型网管***向网络设备发送OID字符串,接收采集到的网络设备的数据。
这里,专用型网管***向网络设备发送OID字符串后,按照OID字符串逐项采集网络设备的数据,网络设备可以将网络设备的数据返回至专用型网管***。
步骤204:专用型网管***根据采集项的解析规则对网络设备的数据进行解析。
这里,采集项的解析规则可以是预先设置的。
专用型网管***使用方便,采集的数据标准格式统一,易于处理,并且无需用户自行编写脚本。但是其缺点为,采集项必须适配OID转换表,也就是说,采集项被OID转换表的内容所限制。如果需要修改和新增采集项,必须通过设备厂商来做定制,这导致用户难以根据具体需求来快速地做定制化采集操作;使用专用型网管***采集的数据,是以一台网络设备为单位,以OID转换表为标准去采集。
专用型网管***是以单独的网络设备作为采集对象,如果要采集多个网络设备的数据,则需要分别进行采集,并且,专用型网管***并不能采集到不同网络设备之间的连接关系,仅能将单个网络设备的采集数据按时间顺序存储至本地。而在实际的网络架构中,不同设备之间的连接关系是非常重要的。网络技术人员在分析网络问题的场景里,往往都要求从完整的网络架构里抽象出精简的局部拓扑,以局部网络拓扑为对象来进行分析。专用型网管***仅支持按时间顺序和设备为对象来对数据采集结果进行查询,而不能让使用者从其他维度去查询分析。
综上,通用型网管***和专用型网管***是以单独的网络设备作为采集对象,并采用不同的方式来获取网络设备的数据,这样,采集到的数据与网络设备只能是“一对一”关系,通用型网管***和专用型网管***并不能采集到不同设备间的物理连接关系和逻辑连接关系,不同网络设备的数据是孤立的。
针对上述技术问题,提出本申请实施例的技术方案。
为了使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请作进一步地详细描述,所描述的实施例不应视为对本申请的限制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本申请保护的范围。
本申请实施例提供一种数据获取方法、装置、网管***及计算机存储介质,本申请实施例的数据获取方法可以应用于网管***中,下面说明本申请实施例提供的网管***的示例性应用,本申请实施例提供的网管***可以实施为服务器,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
下面以一个网络设备为例说明本申请实施例的应用场景。
图3为本申请实施例的一个应用场景的示意图,如图3所示,网管***301与网络设备302连接,网管***301可以通过网络或其他方式连接网络设备302;网络可以是广域网或者局域网,又或者是二者的组合。
在本申请的一些实施例中,网管***301可以基于Telnet协议、SSH协议或SNMP与网络设备302进行交互;网管***301可以根据数据采集需求,采集网络设备302的数据。
在一些实施例中,本申请实施例的网管***可以基于主节点与从节点组成的主从架构实现,图4为本申请实施例提供的主从架构的示意图,如图4所示,主节点和从节点位于网管***中,从节点可以有多个,分别记为从节点1、从节点2和从节点3,每个从节点用于对一个网络设备进行数据采集,例如,从节点1对路由器进行数据采集,从节点2对防火墙进行数据采集,从节点3对交换机进行数据采集,路由器、防火墙和交换机位于网络设备的设备池中;主节点负责获取数据采集任务,并将数据采集任务调度分配到各个从节点,主节点还负责接收从节点采集的数据,并对采集的数据进行数据整理;从节点接收主节点分配的数据采集任务并使用SSH协议进行网络设备的数据采集,并将采集的数据发送到主节点;这样,网管***可以接收到网络设备的数据。
下面结合图3所示的应用场景和图4所示的主从架构示意图,对本申请实施例的数据获取方法进行示例性说明。
图5为本申请实施例提供的数据获取方法的一个可选的流程图,如图5所示,该流程可以包括:
步骤501:确定需要进行数据采集的至少两个网络节点。
本申请实施例中,每个网络节点表示一个网络设备,网络设备可以是路由器、防火墙、交换机、终端等设备;上述至少两个网络节点位于同一个网络设备***中,网络设备***表示由多个网络设备相互连接构成的***,即,网络设备***的各网络节点包括上述至少两个网络节点。
本申请的一些实施例中,需要进行数据采集的至少两个网络节点可以根据数据采集需求确定,数据采集需求可以由用户预先在网管***中设置。
步骤502:根据需要进行数据采集的至少两个网络节点,确定局部网络拓扑,局部网络拓扑用于表示所述至少两个网络节点形成的布局。
本申请实施例中,对于由多个网络设备组成的网络设备***,网络设备***的整体网络拓扑表示网络***各个设备的物理布局或逻辑连接关系,局部网络拓扑可以是整体网络拓扑的一部分;针对整体网络拓扑和局部网络拓扑,均可以确定对应的多叉树结构。
图6为本申请实施例提供的一个局部网络拓扑的多叉树结构的示意图,如图6所示,局部网络拓扑包括两个核心路由器、三个汇聚交换机和若干接入层设备;核心路由器1和核心路由器2表示两个核心路由器;汇聚交换机1、汇聚交换机2和汇聚交换机3表示三个汇聚交换机;接入交换机1-1-1、接入交换机1-1-2、接入交换机1-2-1、接入交换机1-2-2、接入交换机3-1和接入交换机3-2表示不同的接入交换机,接入交换机为接入层设备;主机1、主机2、主机3和主机4表示不同的主机,主机为接入层设备,主机可以是平板电脑、笔记本电脑、台式计算机等终端。
本申请实施例中,局部网络拓扑可以是网络层拓扑或数据链路层拓扑;由于网络设备的数据的准确性需求相比于数据采集速度的需求更加重要,因而,为了排除因网络设备故障、漏洞(BUG)等因素产生的拓扑错误,可以按照网络协议对局部网络拓扑进行检查。在一些实施例中,对于数据链路层拓扑,可以采用端口数据检查;对于网络层拓扑,可以采用网络协议邻居表数据检查,同时,也会对网络层拓扑的边界节点进行检查。
步骤503:根据局部网络拓扑,对局部网络拓扑的各网络节点进行数据采集,得到局部网络拓扑的各网络节点的数据。
在本申请的一些实施例中,可以从局部网络拓扑的根节点开始,通过遍历局部网络拓扑的网络节点,获取局部网络拓扑的各网络节点的数据。
本申请实施例中,局部网络拓扑的根节点表示局部网络拓扑中不存在父节点的节点;局部网络拓扑的根节点可以是一个根节点,也可以是多个根节点;局部网络拓扑的各网络节点的数据表示局部网络拓扑中各网络设备的数据。
在一些实施例中,可以从局部网络拓扑的根节点开始,查找根节点的子节点,在每查找到任意一个网络节点后,查找该任意一个网络节点的子节点,直到查找到的节点不存在子节点,或者,查找到节点的子节点位于局部网络拓扑外,此时,局部网络拓扑的网络节点遍历完成。
本申请实施例中,可以将局部网络拓扑的各网络节点的数据以及局部网络拓扑共同作为采集结果,这样,网管***可以对采集结果进行后续分析。在一些实施例中,在针对多个局部网络拓扑进行数据采集后,可以将多个局部网络拓扑的数据采集结果关联,以便于后续分析。
在一些实施例中,在针对局部网络拓扑进行数据采集后,可以数据采集结果按照目标维度进行关联,这里,目标维度可以实际需求预先设置,例如,目标维度可以是时间维度和/或空间维度。
在目标维度是多个不同的维度的情况下,通过将数据采集结果按照目标维度进行关联,可以支持从不同的维度对数据采集结果进行管理,进一步地,便于后续按照不同的维度进行数据采集结果的查询。
在一些实施例中,可以按照时间维度将数据采集结果进行关联,得到不同采集时间点的网络设备的连接关系和网络设备的数据,进而可以根据数据采集结果的分析得出随采集点时间变化的数据信息;在一些实施例中,也可以根据数据采集结果按照网络节点在目标网络拓扑中的位置或网络节点的差异化变量类型进行关联,这样,便于在数据采集结果中根据网络节点位置信息或网络节点的差异化变量类型进行查询,有助于用户从不同维度分析产生差异化变量的具体原因。
在实际应用中,步骤501至步骤503可以基于网管***的处理器实现,上述处理器可以是特定用途集成电路(Application Specific Integrated Circuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital SignalProcessing Device,DSPD)、可编程逻辑装置(Programmable Logic Device,PLD)、现场可编程门阵列(Field Programmable Gate Array,FPGA)、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地,实现上述处理器功能的电子器件还可以为其它,本申请实施例不作限制。
可以看出,本申请实施例中,不仅可以获取网络设备的数据,还可以确定局部网络拓扑,本申请实施例能够以局部网络拓扑作为统一的采集对象进行数据获取,获取到的数据更加丰富,并且更加符合对网络设备的管理和维护的真实需求,方便网络管理员在对局部网络拓扑进行模型分析,可以应用于快速定位网络设备故障、分析网络架构变更操作风险等具体场景。
在本申请的一些实施例中,确定需要进行数据采集的至少两个网络节点的实现方式可以是,获取特征信息,特征信息用于表征需要进行数据采集的至少两个网络节点的特征;根据特征信息,确定需要进行数据采集的至少两个网络节点。
这里,特征信息可以是以下至少一种信息:网络节点的IP网段范围、网络节点所在的机架机位、网络节点所在的网络区域、目标网络协议;目标网络协议表示局部网络拓扑中网络节点间的网络通信协议。
在一些实施例中,可以由用户向网管***中输入特征信息;如此,网管***可以获取特征信息,并根据特征信息和网络设备***中各网络节点的标识确定出需要进行数据采集的至少两个网络节点,即,确定出需要进行数据采集的目标网络设备列表。
可以看出,本申请实施例中,可以根据特征信息确定需要进行数据采集的至少两个网络节点,较为容易实现。
对于根据需要进行数据采集的至少两个网络节点,确定局部网络拓扑的实现方式,在一个示例中,可以在确定整体网络拓扑的情况下,根据需要进行数据采集的至少两个网络节点,从整体网络拓扑中分离出局部网络拓扑。
可以理解地,本申请实施例中,如果整体网络拓扑已经预先确定并保存在本地,则可以在整体网络拓扑的多叉树结构中快速地解耦、分离出局部网络拓扑,便于实现。
对于根据需要进行数据采集的至少两个网络节点,从整体网络拓扑中分离出所述局部网络拓扑的实现方式,示例性地,可以根据需要进行数据采集的至少两个网络节点和所述整体网络拓扑,确定所述局部网络拓扑的根节点;从根节点开始,按照从父节点到子节点的层次遍历方式,遍历所述局部网络拓扑的节点;在遍历到局部网络拓扑的各叶子节点的情况下,确定所述局部网络拓扑。
这里,叶子节点表示局部网络拓扑中的末端节点,在任意一个网络节点不存在子网络节点或者任意一个网络节点未采用预先确定的目标网络协议与子节点进行通信,可以认为上述任意一个网络节点属于叶子节点。
在一种实施方式中,首先可以从整体网络拓扑的多叉树结构中,从整体网络拓扑的根节点开始,按从父节点到子节点的层次遍历方式查找节点,直至查找到局部网络拓扑的各根节点;然后,从局部网络拓扑的根节点开始,根据上述目标网络协议,继续按照从父节点到子节点的层次遍历方式查找需要进行数据采集的至少两个网络节点;在查找到局部网络拓扑的各叶子节点的情况下,停止节点的查找过程,并将从局部网络拓扑的根节点开始查找到的节点,以及节点间的关系信息保存在本地;最后可以根据从局部网络拓扑的根节点开始查找到的网络节点,以及查找到的网络节点间的关系信息,得到局部网络拓扑,确定局部网络拓扑的多叉树结构。
可以理解地,如果整体网络拓扑已经预先确定,则可以根据整体网络拓扑确定局部网络拓扑的根节点,并从局部网络拓扑的根节点,按照层次遍历方式遍历得到局部网络拓扑,采用层次遍历方式,有利于准确得出局部网络拓扑。
对于根据需要进行数据采集的至少两个网络节点,确定局部网络拓扑的实现方式,在另一个示例中,可以通过LLDP确定所述至少两个网络节点之间的关系,根据所述至少两个网络节点之间的关系确定所述局部网络拓扑。
本申请实施例中,LLDP是一种数据链路层协议,用于实现以太网网络设备的邻近发现;在实际应用中,可以分析当前网络节点的LLDP数据以及其LLDP邻居节点的LLDP数据,确定邻居节点是否位于局部网络拓扑中,并确定当前网络节点与邻居节点之间的关系,例如,邻居节点可以是当前网络节点的父节点、子节点或兄弟节点。
在一种实施方式中,在没有预先确定整体网络拓扑的多叉树或整体网络拓扑的多叉树已过期的情况下,首先,可以使用因特网控制报文协议(Internet Control MessageProtocol,ICMP)判断网管***与整体网络拓扑中各网络设备的连通性,将存在连通性错误的网络设备通过告知信息告知用户;这里,ICMP是一种网络层协议,用于传输出错报告控制信息。
在将存在连通性错误的网络设备通过告知信息告知用户后,可以在设备信息数据库中读取各网络设备的标签,并基于SNMP协议获取网络设备的端口数据、IP路由数据、地址解析协议(Address Resolution Protocol,ARP)数据、LLDP数据、目标网络协议邻居表数据等信息为后续步骤提供数据支持;在一些实施例中,可以通过比较各网络设备的标签,得出局部网络拓扑的根节点,或者,可以基于用户的选取指令,选取局部网络拓扑的根节点。
在确定局部网络拓扑的根节点后,可以从局部网络拓扑的根节点,按照从父节点到子节点的层次遍历方式遍历节点,针对每个遍历到的网络节点,分析当前网络节点的LLDP数据以及其LLDP邻居节点的LLDP数据,确定邻居节点是否位于局部网络拓扑中,并确定当前网络节点与邻居节点之间的关系,进而,可以确定以目标设备列表为主体的局部网络拓扑的数据链路层拓扑。
在一些实施方式中,在确定局部网络拓扑的根节点后,可以从局部网络拓扑的根节点开始,根据上述目标网络协议,继续按照从父节点到子节点的层次遍历方式查找需要进行数据采集的至少两个网络节点;在查找到局部网络拓扑的各叶子节点的情况下,停止网络节点的查找过程,并将从局部网络拓扑的根节点开始查找到的网络节点,以及网络节点间的关系信息保存在本地;最后可以根据从局部网络拓扑的根节点开始查找到的网络节点,以及查找到的网络节点间的关系信息,得到局部网络拓扑,确定局部网络拓扑的多叉树结构。
对于根据局部网络拓扑,对局部网络拓扑的各网络节点进行数据采集的实现方式,示例性地,可以根据局部网络拓扑的网络节点的指定属性信息,对局部网络拓扑的各网络节点进行分组,得到至少一组网络节点;针对至少一组网络节点中的每组网络节点进行数据采集,得到每组网络节点的数据。
这里,指定属性信息包括以下至少之一:时间信息、网络节点在局部网络拓扑中的位置、网络节点类型、网络节点的操作***版本;这里,网络节点类型可以是网络节点型号或其它类型信息。
在一些实施例中,在通过对局部网络拓扑检查,确定局部网络拓扑是正确的网络拓扑的情况下,网管***可以按照上述指定属性信息对局部网络拓扑的各网络节点进行分组,并对局部网络拓扑的各网络节点添加组标识;网管***中的主节点可以根据用户编写的脚本以及针对各网络节点添加的组标识,确定数据采集任务,并对数据采集任务进行分配和调度,向从节点分配对应的数据采集子任务;在一种实现方式中,从节点在采集网络设备的数据时,可以添加数据采集的时间信息。
在一些实施例中,从节点在接收到数据采集子任务后,可以使用SSH协议或者Telnet协议登录对应的网络设备,并发送具体的采集指令到网络设备;在一些实施例中,如果从节点对应的网络设备对应的OID转换表支持数据采集子任务,从节点在接收到数据采集子任务后,可以基于OID转换表将数据采集子任务转换为OID字符串,并将OID字符串发送到网络设备;在一些实施例中,从节点在接收到数据采集子任务后,可以针对数据采集子任务的一部分任务,采用SSH协议或者Telnet协议登录对应的网络设备,并发送具体的采集指令到网络设备;将数据采集子任务的另一部分任务基于OID转换表转换为OID字符串,并将OID字符串发送到网络设备。
可以理解地,由于每组网络节点中各网络节点的指定属性信息相同,因而,每组网络节点中各网络节点的数据是较为类似的,进而有利于对每组网络节点的数据进行统一分析,容易得出每组网络节点的数据的共同点和差异点。
在本申请的一些实施例中,在得到每组网络节点的数据之后,还可以对每组网络节点的数据按照统一格式进行转换,得到每组网络节点中各网络节点的格式化后数据;分析所述每组网络节点中各网络节点的格式化后数据与预设的基准格式化数据的区别,得到差异化数据,将所述每组网络节点中各网络节点的格式化后数据按照预设的基准格式化数据和差异化数据进行存储。
在一些实施例中,基准格式化数据可以是预设的格式化数据,也可以是每组网络节点中任意一个网络节点的格式化后数据。
在一个示例中,参照图6,接入交换机1-1-1、接入交换机1-1-2、接入交换机1-2-1和接入交换机1-2-2均为汇聚交换机1对应的接入层设备,因而,接入交换机1-1-1、接入交换机1-1-2、接入交换机1-2-1和接入交换机1-2-2可以是一个组的四个网络节点;针对接入交换机1-1-1、接入交换机1-1-2、接入交换机1-2-1和接入交换机1-2-2分别进行数据采集,可以分别得到数据1、数据2、数据3和数据4;然后,可以按照预设的模板对数据1、数据2、数据3和数据4进行预处理,从而将不符合预设的模板的数据去除,将符合预设的模板的数据保留;在对数据1、数据2、数据3和数据4进行预处理后,可以得到接入交换机1-1-1、接入交换机1-1-2、接入交换机1-2-1和接入交换机1-2-2的预处理后数据。
在得到接入交换机1-1-1、接入交换机1-1-2、接入交换机1-2-1和接入交换机1-2-2的预处理后数据后,可以按照用户需求,对接入交换机1-1-1、接入交换机1-1-2、接入交换机1-2-1和接入交换机1-2-2的预处理后数据进行统一格式化处理,例如,可以将接入交换机1-1-1、接入交换机1-1-2、接入交换机1-2-1和接入交换机1-2-2的预处理后数据转换为JS对象简谱(JavaScript Object Notation,JSON)格式数据或多行文本格式数据。
在对接入交换机1-1-1、接入交换机1-1-2、接入交换机1-2-1和接入交换机1-2-2的预处理后数据进行统一格式化处理后,可以对接入交换机1-1-1、接入交换机1-1-2、接入交换机1-2-1和接入交换机1-2-2的格式化后数据进行差异化分析。
示例性地,参照图7,将接入交换机1-2-1的格式化后数据作为基准格式化后数据,基准格式化数据的第1行、第2行、第3行、第4行和第5行分别为AAA、BBB、CCC、DDD和EEE,由于对接入交换机1-1-1、接入交换机1-1-2、接入交换机1-2-1和接入交换机1-2-2的预处理后数据进行统一格式化处理,因而,便于对接入交换机1-1-1、接入交换机1-1-2、接入交换机1-2-1和接入交换机1-2-2的格式化后数据进行差异化分析;参照图7,接入交换机1-1-1的格式化后数据与基准格式化数据的区别在于:第1行为ABA、以及第2行为EFE;接入交换机1-1-2的格式化后数据与基准格式化数据的区别在于:第1行为AGA、以及第5行为EGE;接入交换机1-2-2的格式化后数据与基准格式化数据的区别在于:第2行为BCB、以及第3行为CDC。
本申请的一些实施例中,主节点可以在对每组网络节点的数据进行统一格式转换和差异化分析后,将经过统一格式转换和差异化分析的数据进行汇总整理,并按照采集时间顺序将结果保存到本地。
可以看出,通过对每组网络节点的数据进行统一格式转换和差异化分析,针对每组网络节点中各网络节点的数据,可以按照基准格式化数据和差异化数据的方式进行统一存储,相比于将每组网络节点中各网络节点的数据进行分别存储,虽然消耗了一定的计算资源如CPU运算资源,但可以减少数据冗余,从而减少数据采集结果占用的本地数据存储空间。
对于根据局部网络拓扑,对局部网络拓扑的各网络节点进行数据采集的实现方式,示例性地,可以从面向对象的编程语言的脚本中获取局部网络拓扑的各网络节点的数据采集条件;在局部网络拓扑的任意一个网络节点满足对应的数据采集条件的情况下,对局部网络拓扑的任意一个网络节点进行数据采集。
这里,面向对象的编程语言的脚本可以是Python语言脚本或其它面向对象的编程语言的脚本。
在实际应用中,用户可以根据数据采集需求在网管***中编写面向对象的编程语言的脚本,面向对象的编程语言的脚本用于确定每个网络节点的数据采集条件。
在一些实施例中,数据采集条件用于表示对网络节点进行数据采集时网络节点的状态需要满足的条件,在实际应用中,可以实时监测网络节点的状态,并根据监测到的网络节点的状态判断网络节点是否满足数据采集条件,在网络节点的状态满足数据采集条件的情况下,针对对应的网络节点数据采集;在网络节点的状态不满足数据采集条件的情况下,可以继续监测网络节点的状态,直至网络节点的状态满足数据采集条件。
在相关技术中,通用型网管***中使用的shell脚本并不能用于确定网络节点的数据采集条件;而在本申请实施例中,面向对象的编程语言的脚本可以用于确定每个网络节点的数据采集条件,因而,本申请实施例可以按照每个网络节点的数据采集条件,对网络节点进行灵活地数据采集,与现有的通过shell脚本下发固定的采集命令的方案相比,可以实现较为复杂的数据采集功能,能够支持对不同的网络节点按照不同的数据采集条件进行数据采集。
本申请实施例中,无需网管***在shell脚本的基础上额外判断网络节点是否满足数据采集条件,而是直接通过面向对象的编程语言的脚本判断网络节点是否满足数据采集条件,基于面向对象的编程语言的脚本,可以直接且灵活地实现网络节点的数据采集。当用户需要修改和新增数据采集需求时,可以通过自行编写面向对象的编程语言的脚本实现,与专用型网管***的数据采集方式相比,不需要委托网络设备的厂商来进行定制化数据采集操作,具有易于实现的特点。
在前述实施例提出的数据获取方法的基础上,本申请实施例还提出了一种数据获取装置;图8为本申请实施例的数据获取装置的一个可选的组成结构示意图,如图8所示,该数据获取装置800可以包括:
确定模块801,用于确定需要进行数据采集的至少两个网络节点;
确定模块801,还用于根据所述需要进行数据采集的至少两个网络节点,确定局部网络拓扑,所述局部网络拓扑用于表示所述至少两个网络节点形成的布局;
处理模块802,用于根据所述局部网络拓扑,对所述局部网络拓扑的各网络节点进行数据采集,得到所述局部网络拓扑的各网络节点的数据。
在本申请的一些实施例中,所述确定模块801,用于根据所述需要进行数据采集的至少两个网络节点,确定局部网络拓扑,包括:
在确定整体网络拓扑的情况下,根据所述需要进行数据采集的至少两个网络节点,从所述整体网络拓扑中分离出所述局部网络拓扑;所述整体网络拓扑表示网络设备***中各网络节点形成的布局,所述网络设备***中的各网络节点包括所述至少两个网络节点。
在本申请的一些实施例中,所述确定模块801,用于根据所述需要进行数据采集的至少两个网络节点,从所述整体网络拓扑中分离出所述局部网络拓扑,包括:
根据所述需要进行数据采集的至少两个网络节点和所述整体网络拓扑,确定所述局部网络拓扑的根节点;
从所述根节点开始,按照从父节点到子节点的层次遍历方式,遍历所述局部网络拓扑的网络节点;在遍历到局部网络拓扑的各叶子节点的情况下,确定所述局部网络拓扑。
在本申请的一些实施例中,所述处理模块802,用于根据所述局部网络拓扑,对所述局部网络拓扑的各网络节点进行数据采集,包括:
根据所述局部网络拓扑的网络节点的指定属性信息,对所述局部网络拓扑的各网络节点进行分组,得到至少一组网络节点;针对至少一组网络节点中的每组网络节点进行数据采集,得到每组网络节点的数据。
在本申请的一些实施例中,所述处理模块802,还用于对每组网络节点的数据按照统一格式进行转换,得到每组网络节点中各网络节点的格式化后数据;分析所述每组网络节点中各网络节点的格式化后数据与预设的基准格式化数据的区别,得到差异化数据,将所述每组网络节点中各网络节点的格式化后数据按照预设的基准格式化数据和差异化数据进行存储。
在本申请的一些实施例中,所述处理模块802,用于从面向对象的编程语言的脚本中获取所述局部网络拓扑的各网络节点的数据采集条件;在所述局部网络拓扑的任意一个网络节点满足对应的数据采集条件的情况下,对所述局部网络拓扑的任意一个网络节点进行数据采集。
在本申请的一些实施例中,所述确定模块801,用于确定需要进行数据采集的至少两个网络节点,包括:
获取特征信息,所述特征信息用于表征所述需要进行数据采集的至少两个网络节点的特征;
根据所述特征信息,确定所述需要进行数据采集的至少两个网络节点。
在实际应用中,确定模块801和处理模块802均可以利用处理器实现,上述处理器可以是ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地,实现上述处理器功能的电子器件还可以为其它,本申请实施例不作限制。
需要说明的是,以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的数据获取方法,并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是终端、服务器等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read Only Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申请实施例不限制于任何特定的硬件和软件结合。
对应地,本申请实施例再提供一种计算机程序产品,所述计算机程序产品包括计算机可执行指令,该计算机可执行指令用于实现本申请实施例提供的任意一种数据获取方法。
相应的,本申请实施例再提供一种计算机存储介质,所述计算机存储介质上存储有计算机可执行指令,该计算机可执行指令用于实现上述实施例提供的任意一种数据获取方法。
本申请实施例还提供一种网管***,图9为本申请实施例提供的网管***的一个可选的组成结构示意图,如图9所示,所述网管***900包括:
存储器901,用于存储可执行指令;
处理器902,用于执行所述存储器901中存储的可执行指令时,实现上述任意一种数据获取方法。
上述处理器902可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
上述计算机可读存储介质/存储器可以是只读存储器(Read Only Memory,ROM)、可编程只读存储器(Programmable Read-Only Memory,PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory,FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory,CD-ROM)等存储器;也可以是包括上述存储器之一或任意组合的各种终端,如移动电话、计算机、平板设备、个人数字助理等。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
应理解,说明书通篇中提到的“一些实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一些实施例中”未必一定指相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,如:多个单元或组件可以结合,或可以集成到另一个***,或一些特征可以忽略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来实现本申请实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中,也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能单元的形式实现。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得设备自动测试线执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (9)
1.一种数据获取方法,其特征在于,所述方法包括:
确定需要进行数据采集的至少两个网络节点;
根据所述需要进行数据采集的至少两个网络节点,确定局部网络拓扑,包括:在确定整体网络拓扑的情况下,根据所述需要进行数据采集的至少两个网络节点,从所述整体网络拓扑中分离出所述局部网络拓扑;所述整体网络拓扑表示网络设备***中各网络节点形成的布局,所述网络设备***中的各网络节点包括所述至少两个网络节点;其中,所述从所述整体网络拓扑中分离出所述局部网络拓扑,包括:确定所述局部网络拓扑的多叉树结构,所述多叉树结构用于表征所述局部网络拓扑中网络节点间的关系,所述局部网络拓扑用于表示所述至少两个网络节点形成的布局;
根据所述局部网络拓扑,对所述局部网络拓扑的各网络节点进行数据采集,得到所述局部网络拓扑的各网络节点的数据,包括:当确定所述局部网络拓扑正确时,根据所述局部网络拓扑的各网络节点分组确定数据采集任务;向多个从节点分配多个采集子任务,以使所述多个从节点执行所述数据采集任务,得到所述局部网络拓扑的各网络节点的数据。
2.根据权利要求1所述的方法,其特征在于,所述根据所述需要进行数据采集的至少两个网络节点,从所述整体网络拓扑中分离出所述局部网络拓扑,包括:
根据所述需要进行数据采集的至少两个网络节点和所述整体网络拓扑,确定所述局部网络拓扑的根节点;
从所述根节点开始,按照从父节点到子节点的层次遍历方式,遍历所述局部网络拓扑的网络节点;在遍历到局部网络拓扑的各叶子节点的情况下,确定所述局部网络拓扑。
3.根据权利要求1所述的方法,其特征在于,所述根据所述局部网络拓扑,对所述局部网络拓扑的各网络节点进行数据采集,包括:
根据所述局部网络拓扑的网络节点的指定属性信息,对所述局部网络拓扑的各网络节点进行分组,得到至少一组网络节点;针对至少一组网络节点中的每组网络节点进行数据采集,得到每组网络节点的数据。
4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
对每组网络节点的数据按照统一格式进行转换,得到每组网络节点中各网络节点的格式化后数据;分析所述每组网络节点中各网络节点的格式化后数据与预设的基准格式化数据的区别,得到差异化数据,将所述每组网络节点中各网络节点的格式化后数据按照预设的基准格式化数据和差异化数据进行存储。
5.根据权利要求1所述的方法,其特征在于,所述根据所述局部网络拓扑,对所述局部网络拓扑的各网络节点进行数据采集,包括:
从面向对象的编程语言的脚本中获取所述局部网络拓扑的各网络节点的数据采集条件;
在所述局部网络拓扑的任意一个网络节点满足对应的数据采集条件的情况下,对所述局部网络拓扑的任意一个网络节点进行数据采集。
6.根据权利要求1-5任一项所述的方法,其特征在于,所述确定需要进行数据采集的至少两个网络节点,包括:
获取特征信息,所述特征信息用于表征所述需要进行数据采集的至少两个网络节点的特征;
根据所述特征信息,确定所述需要进行数据采集的至少两个网络节点。
7.一种数据获取装置,其特征在于,所述装置包括:
确定模块,用于确定需要进行数据采集的至少两个网络节点;
确定模块,还用于根据所述需要进行数据采集的至少两个网络节点,确定局部网络拓扑,包括:在确定整体网络拓扑的情况下,根据所述需要进行数据采集的至少两个网络节点,从所述整体网络拓扑中分离出所述局部网络拓扑;所述整体网络拓扑表示网络设备***中各网络节点形成的布局,所述网络设备***中的各网络节点包括所述至少两个网络节点;其中,所述从所述整体网络拓扑中分离出所述局部网络拓扑,包括:确定所述局部网络拓扑的多叉树结构,所述多叉树结构用于表征所述局部网络拓扑中网络节点间的关系,所述局部网络拓扑用于表示所述至少两个网络节点形成的布局;
处理模块,用于根据所述局部网络拓扑,对所述局部网络拓扑的各网络节点进行数据采集,得到所述局部网络拓扑的各网络节点的数据,包括:当确定所述局部网络拓扑正确时,根据所述局部网络拓扑的各网络节点分组确定数据采集任务;向多个从节点分配多个采集子任务,以使所述多个从节点执行所述数据采集任务,得到所述局部网络拓扑的各网络节点的数据。
8.一种网管***,其特征在于,所述网管***包括:
存储器,用于存储可执行指令;
处理器,用于执行所述存储器中存储的可执行指令时,实现权利要求1至6任一项所述的数据获取方法。
9.一种计算机可读存储介质,其特征在于,存储有可执行指令,用于被处理器执行时,实现权利要求1至6任一项所述的数据获取方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010917405.7A CN112202593B (zh) | 2020-09-03 | 2020-09-03 | 数据获取方法、装置、网管***及计算机存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010917405.7A CN112202593B (zh) | 2020-09-03 | 2020-09-03 | 数据获取方法、装置、网管***及计算机存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112202593A CN112202593A (zh) | 2021-01-08 |
CN112202593B true CN112202593B (zh) | 2024-05-31 |
Family
ID=74006328
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010917405.7A Active CN112202593B (zh) | 2020-09-03 | 2020-09-03 | 数据获取方法、装置、网管***及计算机存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112202593B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113517997B (zh) * | 2021-03-31 | 2024-03-15 | 邦彦技术股份有限公司 | 基于分片的网络状态查询方法、装置及存储介质 |
CN114726909A (zh) * | 2022-03-15 | 2022-07-08 | 阿里云计算有限公司 | 云服务迁移信息处理方法、装置、设备、介质及产品 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130007206A (ko) * | 2011-06-30 | 2013-01-18 | 에스케이텔레콤 주식회사 | 네트워크 정보 수집 시스템 및 그 방법 |
CN103036692A (zh) * | 2011-09-29 | 2013-04-10 | ***通信集团江苏有限公司 | 针对it支撑网生成网络拓扑的方法及装置 |
CN104967529A (zh) * | 2015-05-13 | 2015-10-07 | 国网四川省电力公司信息通信公司 | 基于电力二次***智能监管技术的业务展示布局方法 |
CN108418754A (zh) * | 2017-02-10 | 2018-08-17 | ***通信集团贵州有限公司 | 建立网络拓扑的方法及装置 |
CN108923975A (zh) * | 2018-07-05 | 2018-11-30 | 中山大学 | 一种面向分布式网络的流量行为分析方法 |
CN108964964A (zh) * | 2017-11-01 | 2018-12-07 | 新华三技术有限公司 | 一种网络拓扑显示方法和装置 |
CN110071824A (zh) * | 2019-03-28 | 2019-07-30 | 杭州电子科技大学 | 一种配电网络拓扑自动构建和可视化方法 |
CN110460608A (zh) * | 2019-08-16 | 2019-11-15 | 武汉思普崚技术有限公司 | 一种包含关联分析的态势感知方法和*** |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8880669B2 (en) * | 2011-03-03 | 2014-11-04 | Cisco Technology, Inc. | Method and apparatus to detect unidentified inventory |
US9094309B2 (en) * | 2012-03-13 | 2015-07-28 | International Business Machines Corporation | Detecting transparent network communication interception appliances |
JP6771855B2 (ja) * | 2014-06-02 | 2020-10-21 | ヤマハ株式会社 | 中継装置およびプログラム |
EP3371947B1 (en) * | 2015-12-14 | 2020-09-02 | Siemens Aktiengesellschaft | System and method for passive assessment of industrial perimeter security |
-
2020
- 2020-09-03 CN CN202010917405.7A patent/CN112202593B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20130007206A (ko) * | 2011-06-30 | 2013-01-18 | 에스케이텔레콤 주식회사 | 네트워크 정보 수집 시스템 및 그 방법 |
CN103036692A (zh) * | 2011-09-29 | 2013-04-10 | ***通信集团江苏有限公司 | 针对it支撑网生成网络拓扑的方法及装置 |
CN104967529A (zh) * | 2015-05-13 | 2015-10-07 | 国网四川省电力公司信息通信公司 | 基于电力二次***智能监管技术的业务展示布局方法 |
CN108418754A (zh) * | 2017-02-10 | 2018-08-17 | ***通信集团贵州有限公司 | 建立网络拓扑的方法及装置 |
CN108964964A (zh) * | 2017-11-01 | 2018-12-07 | 新华三技术有限公司 | 一种网络拓扑显示方法和装置 |
WO2019085975A1 (zh) * | 2017-11-01 | 2019-05-09 | 新华三技术有限公司 | 一种网络拓扑显示方法及网络管理设备 |
CN108923975A (zh) * | 2018-07-05 | 2018-11-30 | 中山大学 | 一种面向分布式网络的流量行为分析方法 |
CN110071824A (zh) * | 2019-03-28 | 2019-07-30 | 杭州电子科技大学 | 一种配电网络拓扑自动构建和可视化方法 |
CN110460608A (zh) * | 2019-08-16 | 2019-11-15 | 武汉思普崚技术有限公司 | 一种包含关联分析的态势感知方法和*** |
Also Published As
Publication number | Publication date |
---|---|
CN112202593A (zh) | 2021-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11151083B2 (en) | Generating target application packages for groups of computing devices | |
US10402293B2 (en) | System for virtual machine risk monitoring | |
US10284418B2 (en) | Network switch management via embedded management controller using management information base (MIB) to JSON parser | |
US20200201887A1 (en) | Discovery of database and related services | |
CA2670231C (en) | Automated testing and control of networked devices | |
JP2022527390A (ja) | クラウドベースサービスのプログラムオーケストレーション | |
JP2019149160A (ja) | ウェブページを構築しモデル化するためのシステム | |
JP2019525300A (ja) | インテリジェント構成検出技術 | |
CN106664224B (zh) | 通信***的元数据增强型库存管理的方法和*** | |
US11985185B2 (en) | System and method for analyzing network objects in a cloud environment | |
CN112202593B (zh) | 数据获取方法、装置、网管***及计算机存储介质 | |
US11799888B2 (en) | Automatic identification of roles and connection anomalies | |
US10009216B2 (en) | Repeat execution of root cause analysis logic through run-time discovered topology pattern maps | |
US10664551B2 (en) | Intuitive user interface (UI) for device or vendor independent network switch management via embedded management controller | |
WO2018010176A1 (zh) | 获取故障信息的方法及设备 | |
CN108717362A (zh) | 一种基于可继承结构的网络设备配置模型及配置方法 | |
US11962623B2 (en) | Static analysis techniques for determining reachability properties of network and computing objects | |
EP3937425A1 (en) | Deriving network device and host connection | |
Mercian et al. | Mind the semantic gap: Policy intent inference from network metadata | |
CN113746950A (zh) | Ip地址冲突预检测方法、***、计算机设备及存储介质 | |
US11582317B1 (en) | Payload recording and comparison techniques for discovery | |
US20240231919A1 (en) | Efficient Cloud-Based Discovery of Computing Resources | |
CN115801588A (zh) | 网络连接的动态拓扑处理方法及*** | |
JP2014191799A (ja) | ログ管理装置、ログ管理システム、ログ管理方法、及び、ログ管理プログラム | |
CN117880065A (zh) | 交换机的主备关系识别方法、***、装置及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |