CN117650964A - 一种智能化网络运维管理*** - Google Patents

一种智能化网络运维管理*** Download PDF

Info

Publication number
CN117650964A
CN117650964A CN202311666326.3A CN202311666326A CN117650964A CN 117650964 A CN117650964 A CN 117650964A CN 202311666326 A CN202311666326 A CN 202311666326A CN 117650964 A CN117650964 A CN 117650964A
Authority
CN
China
Prior art keywords
module
network
equipment
sub
management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311666326.3A
Other languages
English (en)
Inventor
孙晓东
白晓彤
刘云龙
郑崇善
何文秀
邵忠雪
李潇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Qinghai Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Qinghai Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Qinghai Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Qinghai Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Qinghai Electric Power Co Ltd, Information and Telecommunication Branch of State Grid Qinghai Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN202311666326.3A priority Critical patent/CN117650964A/zh
Publication of CN117650964A publication Critical patent/CN117650964A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请提供了一种智能化网络运维管理***,该***包括:设备资源自动化搜寻模块,用于发现网络设备资源;设备网络资源管理模块,用于对所连接的网络设备进行统计和管理;设备运行告警模块,用于监控设备的运行状态;网络性能管理模块,用于生成网络性能报表;用户权限管理模块,用于确定用户权限等级以对登录管理***的用户进行分组管理;设备权限管理模块,用于管理网络设备的访问权限要求;设备运维模块,用于根据更新需求进行网络设备的配置参数自动变更;综合显示模块,用于各模块的运行状态进行显示。解决了现有技术中的运维***功能单一,多数运维流程仍依赖人工进行,缺乏规范性,导致***安全性较低的问题。

Description

一种智能化网络运维管理***
技术领域
本发明涉及设备管理技术领域,具体而言,涉及一种智能化网络运维管理***。
背景技术
随着信息化技术的不断发展和深入应用,公司的网络规模和复杂程度不断增加,地市运维人员能力参差不齐,对于网络的管理和运维越来越重要,也越来越具有挑战性。传统的网络综合监控***可满足物理网络设备的基本监控需要,但是在数据采集粒度、广度和时效性方面存在不足,无法实时反映网络的真实运行状态。并且,在故障诊断和问题根因分析上也缺乏有效手段,无法利用先进的监测技术进行深入分析和有效预警。因此亟需开发一套数字化、智能化平台工具,对网络资源和运行状态进行全面的智能化管理,形成一整套适合公司大后台,小前台的数字化运维流程体系,通过收集、处理和分析网络数据,提供实时的网络状态监控、故障诊断和修复、性能优化、安全管理、运维流程自动化等功能,帮助运维人员快速发现网络中的问题并按照公司标准进行运维,为公司提供更加快速、高效、安全、稳定的服务。
发明内容
本申请的主要目的在于提供一种智能化网络运维管理***,以至少解决现有技术中的运维***功能单一,多数运维流程仍依赖人工进行,缺乏规范性,导致***安全性较低的问题。
为了实现上述目的,根据本申请的一个方面,提供了一种智能化网络运维管理***,包括以下模块:设备资源自动化搜寻模块,用于根据预设协议发现网络设备资源,所述预设协议的类型包括SNMP、ICMP、NetBIOS、ARP、Traceroute和Telnet;设备网络资源管理模块,用于根据网络设备的软件信息和硬件信息对所连接的所述网络设备进行统计和管理;设备运行告警模块,用于根据所述网络设备的运行参数与配置参数监控所述网络设备的运行状态;网络性能管理模块,用于监测被控网元的数据传输状态和所述网络设备的设备占用状态并生成网络性能报表,所述网络性能报表中包括所述数据传输状态的参数以及对应的评分和所述设备占用状态的参数以及对应的评分;用户权限管理模块,用于根据用户的网络IP地址和历史数据确定用户权限等级,并对登录管理***的用户进行分组管理;设备权限管理模块,用于管理所述网络设备的访问权限要求;设备运维模块,用于根据更新需求进行所述网络设备的配置参数自动变更;综合显示模块,用于对所述设备网络资源管理模块、所述设备资源自动化搜寻模块、所述设备运行告警模块、所述网络性能管理模块、所述用户权限管理模块、所述设备权限管理模块和所述设备运维模块的运行状态进行显示。
可选地,设备资源自动化搜寻模块,包括:协议管理子模块,用于存储以及更新所述预设协议;设备识别子模块,用于根据所述预设协议对所连接的目标设备进行匹配以确定所述目标设备的设备类型,所述目标设备为网络拓扑图中不存在的所述网络设备;拓扑更新子模块,用于根据所述目标设备的设备类型运行拓扑算法对所述网络拓扑结构图进行更新以将所述目标设备添加至所述网络拓扑结构图,并将所述网络拓扑结构图发送至所述综合显示模块。
可选地,设备网络资源管理模块,包括:设备统计子模块,用于根据所述网络拓扑图识别所述网络设备,并获取各所述网络设备的所述硬件信息和所述软件信息,所述软件信息包括当前配置信息和历史配置信息;第一校验子模块,用于根据预设硬件信息校验所述硬件信息的正确性和完整性得到第一校验结果以及根据所述历史配置信息校验所述当前配置信息的正确性和完整性得到第二校验结果;台账生成子模块,用于根据各所述网络设备对应的所述第一校验结果和所述第二校验结果生成设备管理台账并将所述设备管理台账发送至所述综合显示模块。
可选地,设备运行告警模块,包括:网络故障识别子模块,用于监测所述网络拓扑结构图,在所述拓扑更新子模块未对所述网络拓扑结构图进行更新且所述网络拓扑结构图发生变化的情况下,进行告警;网络故障诊断子模块,用于根据所述网络拓扑结构图确定发生故障的所述网络设备,并根据所述设备管理台账识别所述网络设备的故障类型;故障分级子模块,用于根据所述故障类型确定故障的重要程度、历史发生频率、对应的网络设备和影响范围确定处理优先级,并将所述故障类型和所述处理优先级发送至所述综合显示模块。
可选地,网络性能管理模块,包括:参数监测子模块,用于监测各所述被控网元的所述数据传输状态和所述设备占用状态,所述设备占用状态包括所述网络设备的CPU负载、内存利用率、板卡温度和接口I/O流量,所述数据传输状态包括丢包率、错包率、网络延迟、端口利用率、端口传输速率和端口流量;性能判决子模块,用于根据各所述网络设备占用状态或所述数据传输状态与对应的预设阈值对比,确定是否存在网络隐患并生成性能隐患视图并将所述性能隐患视图发送至所述综合显示模块,所述预设阈值与所述数据传输状态或所述设备占用状态一一对应。
可选地,用户权限管理模块,包括:IP评分子模块,用于根据用户的所述网络IP地址进行评分得到IP安全评分;行为评分子模块,用于根据用户的所述历史数据确定用户对所述网络设备的变更行为,并根据所述变更行为确定行为安全评分;分组评分子模块,用于根据与目标用户网络IP地址相同的用户确定用户组,并根据用户组中各用户的权限评分确定所述目标用户的分组评分;权限管理子模块,用于根据所述IP安全评分、所述行为安全评分和所述分组评分确定所述权限评分,根据所述权限评分确定所述用户权限等级并将所述用户权限等级发送至所述综合显示模块。
可选地,设备权限管理模块,包括:危害评分子模块,用于根据所述网络设备的重要等级确定所述网络设备对应的危害评分;影响范围评分子模块,用于根据所述网络设备所连接的设备数量确定所述网络设备对应的影响范围评分;设备权限管理子模块,根据所述危害评分和所述影响范围评分确定设备访问权限等级,并将设备访问权限等级发送至所述综合显示模块。
可选地,设备运维模块,包括:模板管理子模块,用于存储预设变更模板,并根据所述更新需求确定目标变更模板;参数生成子模块,用于根据所述目标变更模板和所述更新需求生成对应的变更参数;变更监测子模块,用于监测所述变更参数配置过程中设备的变更结果和健康信息;备份子模块,用于对设备更新前后的配置参数进行备份,并发送至所述综合显示模块。
可选地,综合显示模块,包括:数据过滤子模块,用于对所述设备网络资源管理模块、所述设备资源自动化搜寻模块、所述设备运行告警模块、所述网络性能管理模块、所述用户权限管理模块、所述设备权限管理模块和所述设备运维模块发送的数据进行数据清洗以及数据补全;显示映射子模块,用于根据预设映射关系将所述设备网络资源管理模块、所述设备资源自动化搜寻模块、所述设备运行告警模块、所述网络性能管理模块、所述用户权限管理模块、所述设备权限管理模块和所述设备运维模块发送的数据存储至对应的目标分区,不同所述目标分区的数据显示于显示屏的不同分区。
可选地,智能化网络运维管理***,还包括:日志统计模块,用于记录用户的操作信息以及***的运行信息并生成开发日志;访问告警模块,用于在所述网络设备处于访问状态且访问者在所述用户权限管理模块中无记录的情况下进行告警。
应用本申请的技术方案,应用上述智能化网络运维管理***,设备资源自动化搜寻模块,用于根据预设协议发现网络设备资源,上述预设协议的类型包括SNMP、ICMP、NetBIOS、ARP、Traceroute和Telnet;设备网络资源管理模块,用于根据网络设备的软件信息和硬件信息对所连接的上述网络设备进行统计和管理;设备运行告警模块,用于根据上述网络设备的运行参数与配置参数监控上述网络设备的运行状态;网络性能管理模块,用于监测被控网元的数据传输状态和上述网络设备的设备占用状态并生成网络性能报表,上述网络性能报表中包括上述数据传输状态的参数以及对应的评分和上述设备占用状态的参数以及对应的评分;用户权限管理模块,用于根据用户的网络IP地址和历史数据确定用户权限等级,并对登录管理***的用户进行分组管理;设备权限管理模块,用于管理上述网络设备的访问权限要求;设备运维模块,用于根据更新需求进行上述网络设备的配置参数自动变更;综合显示模块,用于对上述设备网络资源管理模块、上述设备资源自动化搜寻模块、上述设备运行告警模块、上述网络性能管理模块、上述用户权限管理模块、上述设备权限管理模块和上述设备运维模块的运行状态进行显示。本申请通过集成设备资源自动化搜寻模块、设备网络资源管理模块、设备运行告警模块、网络性能管理模块、用户权限管理模块、设备权限管理模块、日志统计模块和综合显示模块,实现了自动化的收集、处理和分析网络数据,提供实时的网络状态监控、故障诊断和修复、性能优化、安全管理、运维流程自动化,解决了现有技术中的运维***功能单一,多数运维流程仍依赖人工进行,缺乏规范性,导致***安全性较低的问题。
附图说明
图1示出了根据本申请的实施例中提供的一种智能化网络运维管理***的移动终端的硬件结构框图;
图2示出了根据本申请的实施例提供的一种智能化网络运维管理***的结构框图;
图3示出了根据本申请的实施例提供的一种设备资源自动化搜寻模块的结构框图;
图4示出了根据本申请的实施例提供的一种设备网络资源管理模块的结构框图;
图5示出了根据本申请的实施例提供的一种设备运行告警模块的结构框图;
图6示出了根据本申请的实施例提供的一种网络性能管理模块的结构框图;
图7示出了根据本申请的实施例提供的一种用户权限管理模块的结构框图;
图8示出了根据本申请的实施例提供的一种设备权限管理模块的结构框图;
图9示出了根据本申请的实施例提供的一种设备运维模块的结构框图;
图10示出了根据本申请的实施例提供的一种综合显示模块的结构框图。
其中,上述附图包括以下附图标记:
102、处理器;104、存储器;106、传输设备;108、输入输出设备。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
正如背景技术中所介绍的,现有技术中网络设备的运维***,多为功能较为单一实现简单的***,多个***之间的联动依赖工作人员进行,为现有技术中的运维***功能单一,多数运维流程仍依赖人工进行,缺乏规范性,导致***安全性较低的问题,本申请的实施例提供了一种智能化网络运维管理***。
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
本申请实施例中所提供的***实施例可以在移动终端、计算机终端或者类似的运算装置中布置。以运行在移动终端上为例,图1是本发明实施例的一种智能化网络运维管理***的移动终端的硬件结构框图。如图1所示,移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104,其中,上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述移动终端的结构造成限定。例如,移动终端还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序,例如,应用软件的软件程序以及模块,如本发明实施例中的设备信息的显示方法对应的计算机程序,处理器102通过运行存储在存储器104内的计算机程序,从而执行各种功能应用以及数据处理,即实现上述的方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中,传输设备106包括一个网络适配器(Network Interface Controller,简称为NIC),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输设备106可以为射频(Radio Frequency,简称为RF)模块,其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种运行于移动终端、计算机终端或者类似的运算装置的智能化网络运维管理***,需要说明的是,在附图的智能化网络运维管理***的模块可以在诸如一组计算机可执行指令的计算机***中执行。
图2是根据本申请实施例的智能化网络运维管理***的结构图。如图2所示,该***包括以下模块:
设备资源自动化搜寻模块201,用于根据预设协议发现网络设备资源,上述预设协议的类型包括SNMP、ICMP、NetBIOS、ARP、Traceroute和Telnet;
具体地,如图2所示,在上述智能化网络运维管理***中包括上述设备资源自动化搜寻模块,该模块可以通过SNMP、ICMP、NetBIOS、ARP、Traceroute、Telnet等多种手段自动发现、识别网络设备,依据自动发现的各类设备自动生成网络结构拓扑图,对网络拓扑进行实时跟踪和更新。
设备网络资源管理模块202,用于根据网络设备的软件信息和硬件信息对所连接的上述网络设备进行统计和管理;
具体地,如图2所示,在上述智能化网络运维管理***中包括上述设备网络资源管理模块该模块可以识别和确认IT***配置项,记录和报告配置项状态和变更历史建立统一台账进行管理。
设备运行告警模块203,用于根据上述网络设备的运行参数与配置参数监控上述网络设备的运行状态;
具体地,如图2所示,在上述智能化网络运维管理***中包括上述设备运行告警模块,该模块可以根据预先设定的运行监测参数持续地监测网络***的各项运行参数,跟踪网络拓扑的变化,一旦网络发生故障或者拓扑发生变化就可以迅速的通过前台拓扑图反映出来,能够展现网络设备故障、重要网络链路故障、网络协议故障等。
网络性能管理模块204,用于监测被控网元的数据传输状态和上述网络设备的设备占用状态并生成网络性能报表,上述网络性能报表中包括上述数据传输状态的参数以及对应的评分和上述设备占用状态的参数以及对应的评分;
具体地,如图2所示,在上述智能化网络运维管理***中包括上述网络性能管理模块,该模块可以定时轮询和采集被控网元的性能数据,以图形的方式展现性能指标。
用户权限管理模块205,用于根据用户的网络IP地址和历史数据确定用户权限等级,并对登录管理***的用户进行分组管理;
具体地,如图2所示,在上述智能化网络运维管理***中包括上述用户权限管理模块,该模块用于对用户账户的安全性进行分析,并根据用户账户的历史数据和IP数据赋予对应用户不同的权限进行分组管理。
设备权限管理模块206,用于管理上述网络设备的访问权限要求;
具体地,如图2所示,在上述智能化网络运维管理***中包括上述设备权限管理模块,该模块可以根据网络设备在***中的重要程度以及该设备被攻击对整个***的影响范围确定设备的安全等级,根据安全等级对用户访问权限进行限制。
设备运维模块207,用于根据更新需求进行上述网络设备的配置参数自动变更;
具体地,如图2所示,在上述智能化网络运维管理***中包括上述设备运维模块,该模块可以根据更新需求对预设模块进行填充生成更新后的相关配置进行自动更新以避免工作人员认为进行配置更新,模板不同意,参数不规范的问题。
综合显示模块208,用于对上述设备网络资源管理模块、上述设备资源自动化搜寻模块、上述设备运行告警模块、上述网络性能管理模块、上述用户权限管理模块、上述设备权限管理模块和上述设备运维模块的运行状态进行显示。
具体地,如图2所示,在上述智能化网络运维管理***中包括上述综合显示模块,该模块可以对上述模块的信息进行实时显示,以便运维人员进行查看,随时对错误进行纠正。
通过本实施例,应用上述智能化网络运维管理***,设备资源自动化搜寻模块,用于根据预设协议发现网络设备资源,上述预设协议的类型包括SNMP、ICMP、NetBIOS、ARP、Traceroute和Telnet;设备网络资源管理模块,用于根据网络设备的软件信息和硬件信息对所连接的上述网络设备进行统计和管理;设备运行告警模块,用于根据上述网络设备的运行参数与配置参数监控上述网络设备的运行状态;网络性能管理模块,用于监测被控网元的数据传输状态和上述网络设备的设备占用状态并生成网络性能报表,上述网络性能报表中包括上述数据传输状态的参数以及对应的评分和上述设备占用状态的参数以及对应的评分;用户权限管理模块,用于根据用户的网络IP地址和历史数据确定用户权限等级,并对登录管理***的用户进行分组管理;设备权限管理模块,用于管理上述网络设备的访问权限要求;设备运维模块,用于根据更新需求进行上述网络设备的配置参数自动变更;综合显示模块,用于对上述设备网络资源管理模块、上述设备资源自动化搜寻模块、上述设备运行告警模块、上述网络性能管理模块、上述用户权限管理模块、上述设备权限管理模块和上述设备运维模块的运行状态进行显示。本申请通过集成设备资源自动化搜寻模块、设备网络资源管理模块、设备运行告警模块、网络性能管理模块、用户权限管理模块、设备权限管理模块、日志统计模块和综合显示模块,实现了自动化的收集、处理和分析网络数据,提供实时的网络状态监控、故障诊断和修复、性能优化、安全管理、运维流程自动化,解决了现有技术中的运维***功能单一,多数运维流程仍依赖人工进行,缺乏规范性,导致***安全性较低的问题。
为了实现上述设备资源自动化搜寻模块的上述功能,在一种可选的实施例中,上述设备资源自动化搜寻模块201还包括:
协议管理子模块2011,用于存储以及更新上述预设协议;
具体地,如图3所示,上述设备资源自动化搜寻模块包括上述协议管理子模块,该子模块用于配制不同类型的网络设备的通信协议、设备管理协议等多方面协议,并进行存储。
设备识别子模块2012,用于根据上述预设协议对所连接的上述网络设备进行匹配以确定上述网络设备的设备类型,上述网络设备为网络拓扑图中不存在的上述网络设备;
具体地,如图3所示,上述设备资源自动化搜寻模块包括上述设备识别子模块,该子模块用于在***中接入新的网络设备时,自动根据SNMP、ICMP、NetBIOS、ARP、Traceroute、Telnet等多种手段自动发现、识别网络设备,该模块支持拓扑基线技术,支持全球广泛使用的SNMP协议(简单网络管理协议),并全面支持SNMP V1、SNMP V2、SNMP V3三个不同的版本,充分考虑和规划了SNMP协议的安全性、稳定性和兼容性原则。
自动发现网络中的网络设备、服务器、客户PC机、网络安全设备、负载均衡设备、代理服务器、网络打印机、IP电话等资产信息,并可检测设备连通性
拓扑更新子模块2013,用于根据上述网络设备的设备类型运行拓扑算法对上述网络拓扑结构图进行更新以将上述网络设备添加至上述网络拓扑结构图,并将上述网络拓扑结构图发送至上述综合显示模块。
具体地,如图3所示,上述设备资源自动化搜寻模块包括上述拓扑更新子模块,该子模块用于依据自动发现的各类设备,通过智能拓扑算法,自动生成网络拓扑结构图,并提供拓扑的动态跟踪和更新功能,更加有效的反应网络拓扑现状,自动跟随客户网络情况而变化,自动生成网络拓扑结构图。
为了实现上述设备网络资源管理模块的上述功能,在一种可选的实施例中,上述设备网络资源管理模块202还包括:
设备统计子模块2021,用于根据上述网络拓扑图识别上述网络设备,并获取各上述网络设备的上述硬件信息和上述软件信息,上述软件信息包括当前配置信息和历史配置信息;
具体地,如图4所示,上述设备网络资源管理模块包括上述设备统计子模块,该子模块用于识别和确认IT***配置项,记录和报告配置项,即根据上述网络拓扑图识别上述网络设备,并获取各上述网络设备的上述硬件信息和上述软件信息。
第一校验子模块2022,用于根据预设硬件信息校验上述硬件信息的正确性和完整性得到第一校验结果以及根据上述历史配置信息校验上述当前配置信息的正确性和完整性得到第二校验结果;
具体地,如图4所示,上述设备网络资源管理模块包括上述第一校验子模块,在获取根各上述网络设备的上述硬件信息和上述软件信息后,包括根据当前的硬件配置信息和预设的硬件配置信息进行比对,确定硬件配置信息是否存在故障,进而根据软件信息的更新状态确定软件信息是否出现故障,分别得到上述第一校验结果和上述第二校验结果。
台账生成子模块2023,用于根据各上述网络设备对应的上述第一校验结果和上述第二校验结果生成设备管理台账并将上述设备管理台账发送至上述综合显示模块。
具体地,如图4所示,上述设备网络资源管理模块包括上述台账生成子模块,为了便于运维人员进行监管,根据第一校验结果和第二校验结果进行整理,转换为统一格式的台账并发送至综合现实模块进行显示。
为了实现上述设备运行告警模块的上述功能,在一种可选的实施例中,上述设备运行告警模块203还包括:
网络故障识别子模块2031,用于监测上述网络拓扑结构图,在上述拓扑更新子模块未对上述网络拓扑结构图进行更新且上述网络拓扑结构图发生变化的情况下,进行告警;
具体地,如图5所示,上述设备运行告警模块包括网络故障识别子模块,该子模块用于根据预先设定的运行监测参数持续地监测网络***的各项运行参数,跟踪网络拓扑的变化,一旦网络发生故障或者拓扑发生变化就可以迅速的通过前台拓扑图反映出来,能够展现网络设备故障、重要网络链路故障、网络协议故障等。
网络故障诊断子模块2032,用于根据上述网络拓扑结构图确定发生故障的上述网络设备,并根据上述设备管理台账识别上述网络设备的故障类型;
具体地,如图5所示,上述设备运行告警模块包括网络故障诊断子模块,该子模块用于将出现的故障可以在网络拓扑图上通过节点告警的形式表现给用户,并且故障和报警故障显示在统一的告警控制台中。
故障分级子模块2033,用于根据上述故障类型确定故障的重要程度、历史发生频率、对应的网络设备和影响范围确定处理优先级,并将上述故障类型和上述处理优先级发送至上述综合显示模块。
具体地,如图5所示,上述设备运行告警模块包括故障分级子模块,该子模块用于根据报警故障的重要级别、优先级、重复次数、资源名称、告警地址等等信息,确定报警故障的紧要性,即确定上述处理优先级。
为了实现上述网络性能管理模块的上述功能,在一种可选的实施例中,上述网络性能管理模块204还包括:
参数监测子模块2041,用于监测各上述被控网元的上述数据传输状态和上述设备占用状态,上述设备占用状态包括上述网络设备的CPU负载、内存利用率、板卡温度和接口I/O流量,上述数据传输状态包括丢包率、错包率、网络延迟、端口利用率、端口传输速率和端口流量;
具体地,如图6所示,上述网络性能管理模块包括参数监测子模块,该子模块用于通过ping、remote ping、telnet、tracert、mib浏览等常用网络测试,确定设备的CPU负载、内存利用率、板卡温度、各接口的I/O流量,和接口丢包率和错包率、接口到对端的丢包率和网络延迟、接口的利用率、端口速率和流量。分别得到上述数据传输状态和上述设备占用状态。
性能判决子模块2042,用于根据各上述网络设备占用状态或上述数据传输状态与对应的预设阈值对比,确定是否存在网络隐患并生成性能隐患视图并将上述性能隐患视图发送至上述综合显示模块,上述预设阈值与上述数据传输状态或上述设备占用状态一一对应。
具体地,如图6所示,上述网络性能管理模块包括性能判决子模块,该子模块用于根据上述测试得到的参数与预设阈值进行对比,在超出阈值得到情况下,进行告警。
为了实现上述用户权限管理模块的上述功能,在一种可选的实施例中,上述用户权限管理模块205还包括:
IP评分子模块2051,用于根据用户的上述网络IP地址进行评分得到IP安全评分;
具体地,如图7所示,上述用户权限管理模块包括IP评分子模块,该子模块用于根据访问用户的网络IP确定用户的IP评分,在具体实施中,根据用户得到IP处于内网、外网或陌生IP地址对用户本次访问的安全性进行评价得到上述IP安全评分。
行为评分子模块2052,用于根据用户的上述历史数据确定用户对上述网络设备的变更行为,并根据上述变更行为确定行为安全评分;
具体地,如图7所示,上述用户权限管理模块包括行为评分子模块,该子模块用于根据该用户账号的历史信息,确定该用户账号对网络设备的历史变更操作,进而根据历史变更操作的敏感性进行评分得到上述行为安全评分。
分组评分子模块2053,用于根据与目标用户网络IP地址相同的用户确定用户组,并根据用户组中各用户的权限评分确定上述目标用户的分组评分;
具体地,如图7所示,上述用户权限管理模块包括分组评分子模块,该子模块用于根据用户的地理IP地址,对用户进行分组,得到当前访问用户的对应用户组,进而根据用户组中各用户的平均权限评分确定上述访问用户的分组评分。
权限管理子模块2054,用于根据上述IP安全评分、上述行为安全评分和上述分组评分确定上述权限评分,根据上述权限评分确定上述用户权限等级并将上述用户权限等级发送至上述综合显示模块。
具体地,如图7所示,上述用户权限管理模块包括权限管理子模块,该子模块用于根据上述IP安全评分、上述行为安全评分和上述分组评分进行加权运算得到最终的权限评分,进而根据权限评分所处的区间确定该用户的用户权限等级。
为了实现上述设备权限管理模块的上述功能,在一种可选的实施例中,上述设备权限管理模块206还包括:
危害评分子模块2061,用于根据上述网络设备的重要等级确定上述网络设备对应的危害评分;
具体地,如图8所示,上述设备权限管理模块包括上述危害评分子模块,该子模块用于根据设备在上述***中的重要程度确定该设备的被攻击后对***造成的损害得到上述危害评分。
影响范围评分子模块2062,用于根据上述网络设备所连接的设备数量确定上述网络设备对应的影响范围评分;
具体地,如图8所示,上述设备权限管理模块包括上述影响范围评分子模块,该子模块用于根据设备连接的设备数量确定该设备被攻击之后可能传播的影响范围,进而确定上述影响范围评分。
设备权限管理子模块2063,根据上述危害评分和上述影响范围评分确定设备访问权限等级,并将设备访问权限等级发送至上述综合显示模块。
具体地,如图8所示,上述设备权限管理模块包括上述影响范围评分子模块,该子模块用于根据上述危害评分和上述影响范围评分进行加权计算得到最终的风险评分进而根据风险评分的所属的范围进行分级得到上述设备访问权限等级,在用户进行设备访问的情况下根据用户权限等级和上述设备访问权限等级进行对比确定是否允许访问。
为了实现上述设备运维模块的上述功能,在一种可选的实施例中,上述设备运维模块207还包括:
模板管理子模块2071,用于存储预设变更模板,并根据上述更新需求确定目标变更模板;
具体地,如图9所示,上述设备运维模块包括上述模板管理子模块,该子模块用于提供变更模板编写能力,并内置一些常用变更模板,比如VLAN创建、交换机端口开通,交换机端口回收等。通过模板层面来屏蔽各厂商设备配置模式的差异。模板的编写支持CLI和python两种模式,网络运维人员可以通过平台界面自定义模板,定制变更任务。此外还提供配置约束功能,对下发到设备的配置内容进行限制过滤,监测包含高危操作的配置内容。
参数生成子模块2072,用于根据上述目标变更模板和上述更新需求生成对应的变更参数;
具体地,如图9所示,上述设备运维模块包括上述参数生成子模块,该子模块用于根据上述模板管理子模块中存储的模板进行参数自动填充,生成最终的变更参数。
变更监测子模块2073,用于监测上述变更参数配置过程中设备的变更结果和健康信息;
具体地,如图9所示,上述设备运维模块包括上述变更监测子模块,该子模块用于实时返回设备变更执行结果和健康状态信息(CPU利用率/内存利用率),来监控变更过程。
备份子模块2074,用于对设备更新前后的配置参数进行备份,并发送至上述综合显示模块。
具体地,如图9所示,上述设备运维模块包括上述备份子模块,该子模块用于与配置管理***联动,对设备进行变更前后配置备份操作,并提供界面直观展示配置对比结果。同时提供ARP表变化对比和拓扑对比能力,让网络变更人员能从多方面校验变更结果。
为了实现上述综合显示模块的上述功能,在一种可选的实施例中,上述综合显示模块208还包括:
数据过滤子模块2081,用于对上述设备网络资源管理模块、上述设备资源自动化搜寻模块、上述设备运行告警模块、上述网络性能管理模块、上述用户权限管理模块、上述设备权限管理模块和上述设备运维模块发送的数据进行数据清洗以及数据补全;
具体地,如图10所示,上述综合现实模块包括上述数据过滤子模块,该子模块用于对上述各模块传输至上述数据过滤子模块的数据进行数据清洗以及数据补全,以保证显示的准确性。
显示映射子模块2082,用于根据预设映射关系将上述设备网络资源管理模块、上述设备资源自动化搜寻模块、上述设备运行告警模块、上述网络性能管理模块、上述用户权限管理模块、上述设备权限管理模块和上述设备运维模块发送的数据存储至对应的目标分区,不同上述目标分区的数据显示于显示屏的不同分区。
具体地,如图10所示,上述综合现实模块包括上述显示映射子模块,该子模块用于将数据清洗以及数据补全之后的数据存储至对应的分区,不同分区的数据在显示屏的不同区域进行显示。
为了保证上述智能化网络网络运维管理***的功能安全性和开发性,在一种可选的实施方式中,上述智能化网络运维管理***,还包括:
日志统计模块209,用于记录用户的操作信息以及***的运行信息并生成开发日志;
具体地,如图2所示,上述智能化网络运维管理***包括上述日志统计模块,该模块用于为***应提供用户日志和***日志的管理。用户日志记录用户进行各项操作时的信息,包括对各个功能模块和***配置的增加、删除、修改等信息。***日志记录***自动生成的日志信息,如***启动、停止等日志信息。每种日志包括紧急、调试、信息、警告、出错、致命类别。
访问告警模块210,用于在上述网络设备处于访问状态且访问者在上述用户权限管理模块中无记录的情况下进行告警。
具体地,如图2所示,上述智能化网络运维管理***包括上述访问告警模块,该模块用于在第三方在无权限进行访问情况下进行访问的行为进行报警。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
存储器可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
从以上的描述中,可以看出,本申请上述的实施例实现了如下技术效果:
本申请的智能化网络运维管理***,包括,设备资源自动化搜寻模块,用于根据预设协议发现网络设备资源,上述预设协议的类型包括SNMP、ICMP、NetBIOS、ARP、Traceroute和Telnet;设备网络资源管理模块,用于根据网络设备的软件信息和硬件信息对所连接的上述网络设备进行统计和管理;设备运行告警模块,用于根据上述网络设备的运行参数与配置参数监控上述网络设备的运行状态;网络性能管理模块,用于监测被控网元的数据传输状态和上述网络设备的设备占用状态并生成网络性能报表,上述网络性能报表中包括上述数据传输状态的参数以及对应的评分和上述设备占用状态的参数以及对应的评分;用户权限管理模块,用于根据用户的网络IP地址和历史数据确定用户权限等级,并对登录管理***的用户进行分组管理;设备权限管理模块,用于管理上述网络设备的访问权限要求;设备运维模块,用于根据更新需求进行上述网络设备的配置参数自动变更;综合显示模块,用于对上述设备网络资源管理模块、上述设备资源自动化搜寻模块、上述设备运行告警模块、上述网络性能管理模块、上述用户权限管理模块、上述设备权限管理模块和上述设备运维模块的运行状态进行显示。本申请通过集成设备资源自动化搜寻模块、设备网络资源管理模块、设备运行告警模块、网络性能管理模块、用户权限管理模块、设备权限管理模块、日志统计模块和综合显示模块,实现了自动化的收集、处理和分析网络数据,提供实时的网络状态监控、故障诊断和修复、性能优化、安全管理、运维流程自动化,解决了现有技术中的运维***功能单一,多数运维流程仍依赖人工进行,缺乏规范性,导致***安全性较低的问题。
以上所述仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (10)

1.一种智能化网络运维管理***,其特征在于,包括以下模块:
设备资源自动化搜寻模块,用于根据预设协议发现网络设备资源,所述预设协议的类型包括SNMP、ICMP、NetBIOS、ARP、Traceroute和Telnet;
设备网络资源管理模块,用于根据网络设备的软件信息和硬件信息对所连接的所述网络设备进行统计和管理;
设备运行告警模块,用于根据所述网络设备的运行参数与配置参数监控所述网络设备的运行状态;
网络性能管理模块,用于监测被控网元的数据传输状态和所述网络设备的设备占用状态并生成网络性能报表,所述网络性能报表中包括所述数据传输状态的参数以及对应的评分和所述设备占用状态的参数以及对应的评分;
用户权限管理模块,用于根据用户的网络IP地址和历史数据确定用户权限等级,并对登录管理***的用户进行分组管理;
设备权限管理模块,用于管理所述网络设备的访问权限要求;
设备运维模块,用于根据更新需求进行所述网络设备的配置参数自动变更;
综合显示模块,用于对所述设备网络资源管理模块、所述设备资源自动化搜寻模块、所述设备运行告警模块、所述网络性能管理模块、所述用户权限管理模块、所述设备权限管理模块和所述设备运维模块的运行状态进行显示。
2.根据权利要求1所述的***,其特征在于,设备资源自动化搜寻模块,包括:
协议管理子模块,用于存储以及更新所述预设协议;
设备识别子模块,用于根据所述预设协议对所连接的目标设备进行匹配以确定所述目标设备的设备类型,所述网络设备为网络拓扑图中不存在的所述网络设备;
拓扑更新子模块,用于根据所述目标设备的设备类型运行拓扑算法对所述网络拓扑结构图进行更新以将所述目标设备添加至所述网络拓扑结构图,并将所述网络拓扑结构图发送至所述综合显示模块。
3.根据权利要求2所述的***,其特征在于,设备网络资源管理模块,包括:
设备统计子模块,用于根据所述网络拓扑图识别所述网络设备,并获取各所述网络设备的所述硬件信息和所述软件信息,所述软件信息包括当前配置信息和历史配置信息;
第一校验子模块,用于根据预设硬件信息校验所述硬件信息的正确性和完整性得到第一校验结果以及根据所述历史配置信息校验所述当前配置信息的正确性和完整性得到第二校验结果;
台账生成子模块,用于根据各所述网络设备对应的所述第一校验结果和所述第二校验结果生成设备管理台账并将所述设备管理台账发送至所述综合显示模块。
4.根据权利要求3所述的***,其特征在于,设备运行告警模块,包括:
网络故障识别子模块,用于监测所述网络拓扑结构图,在所述拓扑更新子模块未对所述网络拓扑结构图进行更新且所述网络拓扑结构图发生变化的情况下,进行告警;
网络故障诊断子模块,用于根据所述网络拓扑结构图确定发生故障的所述网络设备,并根据所述设备管理台账识别所述网络设备的故障类型;
故障分级子模块,用于根据所述故障类型确定故障的重要程度、历史发生频率、对应的网络设备和影响范围确定处理优先级,并将所述故障类型和所述处理优先级发送至所述综合显示模块。
5.根据权利要求1所述的***,其特征在于,网络性能管理模块,包括:
参数监测子模块,用于监测各所述被控网元的所述数据传输状态和所述设备占用状态,所述设备占用状态包括所述网络设备的CPU负载、内存利用率、板卡温度和接口I/O流量,所述数据传输状态包括丢包率、错包率、网络延迟、端口利用率、端口传输速率和端口流量;
性能判决子模块,用于根据各所述网络设备占用状态或所述数据传输状态与对应的预设阈值对比,确定是否存在网络隐患并生成性能隐患视图并将所述性能隐患视图发送至所述综合显示模块,所述预设阈值与所述数据传输状态或所述设备占用状态一一对应。
6.根据权利要求1所述的***,其特征在于,用户权限管理模块,包括:
IP评分子模块,用于根据用户的所述网络IP地址进行评分得到IP安全评分;
行为评分子模块,用于根据用户的所述历史数据确定用户对所述网络设备的变更行为,并根据所述变更行为确定行为安全评分;
分组评分子模块,用于根据与目标用户网络IP地址相同的用户确定用户组,并根据用户组中各用户的权限评分确定所述目标用户的分组评分;
权限管理子模块,用于根据所述IP安全评分、所述行为安全评分和所述分组评分确定所述权限评分,根据所述权限评分确定所述用户权限等级并将所述用户权限等级发送至所述综合显示模块。
7.根据权利要求1所述的***,其特征在于,设备权限管理模块,包括:
危害评分子模块,用于根据所述网络设备的重要等级确定所述网络设备对应的危害评分;
影响范围评分子模块,用于根据所述网络设备所连接的设备数量确定所述网络设备对应的影响范围评分;
设备权限管理子模块,根据所述危害评分和所述影响范围评分确定设备访问权限等级,并将设备访问权限等级发送至所述综合显示模块。
8.根据权利要求1所述的***,其特征在于,设备运维模块,包括:
模板管理子模块,用于存储预设变更模板,并根据所述更新需求确定目标变更模板;
参数生成子模块,用于根据所述目标变更模板和所述更新需求生成对应的变更参数;
变更监测子模块,用于监测所述变更参数配置过程中设备的变更结果和健康信息;
备份子模块,用于对设备更新前后的配置参数进行备份,并发送至所述综合显示模块。
9.根据权利要求1所述的***,其特征在于,综合显示模块,包括:
数据过滤子模块,用于对所述设备网络资源管理模块、所述设备资源自动化搜寻模块、所述设备运行告警模块、所述网络性能管理模块、所述用户权限管理模块、所述设备权限管理模块和所述设备运维模块发送的数据进行数据清洗以及数据补全;
显示映射子模块,用于根据预设映射关系将所述设备网络资源管理模块、所述设备资源自动化搜寻模块、所述设备运行告警模块、所述网络性能管理模块、所述用户权限管理模块、所述设备权限管理模块和所述设备运维模块发送的数据存储至对应的目标分区,不同所述目标分区的数据显示于显示屏的不同分区。
10.根据权利要求1所述的***,其特征在于,智能化网络运维管理***,还包括:
日志统计模块,用于记录用户的操作信息以及***的运行信息并生成开发日志;
访问告警模块,用于在网络设备处于访问状态且访问者在所述用户权限管理模块中无记录的情况下进行告警。
CN202311666326.3A 2023-12-06 2023-12-06 一种智能化网络运维管理*** Pending CN117650964A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311666326.3A CN117650964A (zh) 2023-12-06 2023-12-06 一种智能化网络运维管理***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311666326.3A CN117650964A (zh) 2023-12-06 2023-12-06 一种智能化网络运维管理***

Publications (1)

Publication Number Publication Date
CN117650964A true CN117650964A (zh) 2024-03-05

Family

ID=90046122

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311666326.3A Pending CN117650964A (zh) 2023-12-06 2023-12-06 一种智能化网络运维管理***

Country Status (1)

Country Link
CN (1) CN117650964A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118139088A (zh) * 2024-04-30 2024-06-04 安徽翼控网络科技有限公司 一种基于5g网络的设备管理平台

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118139088A (zh) * 2024-04-30 2024-06-04 安徽翼控网络科技有限公司 一种基于5g网络的设备管理平台
CN118139088B (zh) * 2024-04-30 2024-07-16 安徽翼控网络科技有限公司 一种基于5g网络的设备管理平台

Similar Documents

Publication Publication Date Title
US10649838B2 (en) Automatic correlation of dynamic system events within computing devices
US10389596B2 (en) Discovering application topologies
CN106130786B (zh) 一种网络故障的检测方法及装置
CN111934922B (zh) 一种网络拓扑的构建方法、装置、设备、存储介质
CN105282772A (zh) 无线网数通设备监控***及设备监控方法
CN107241229B (zh) 一种基于接口测试工具的业务监控方法及装置
De Carvalho Root Cause Analysis in Large and Complex Networks
CN102611713B (zh) 基于熵运算的网络入侵检测方法和装置
CN117650964A (zh) 一种智能化网络运维管理***
CN112636985B (zh) 基于自动化发现算法的网络资产探测装置
CN103716173A (zh) 一种存储监控***及监控告警发布的方法
CN112291075A (zh) 网络故障定位方法、装置、计算机设备及存储介质
CN107635003A (zh) ***日志的管理方法、装置及***
CN108306747A (zh) 一种云安全检测方法、装置和电子设备
CN113965497B (zh) 服务器异常识别方法、装置、计算机设备及可读存储介质
CN111355740A (zh) 一种快速便捷检测防火墙配置的方法
CN101252477B (zh) 一种网络故障根源的确定方法及分析装置
CN111371570B (zh) 一种nfv网络的故障检测方法及装置
CN114244691A (zh) 视频业务的故障定位方法、装置及电子设备
US20230188440A1 (en) Automatic classification of correlated anomalies from a network through interpretable clustering
CN107547282B (zh) 一种信息与通信业务影响分析模型建立方法及***
CN108574957B (zh) 演进分组核心网设备智能巡检服务器、巡检***及方法
US20180270102A1 (en) Data center network fault detection and localization
CN113726808A (zh) 一种网站监测方法、装置、设备及存储介质
CN114374600A (zh) 一种基于大数据的网络运维方法、装置、设备及产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination