CN104135387A - 一种基于元模型拓扑的网管数据处理可视化监控方法 - Google Patents

Abstract

本发明提供一种基于元模型拓扑的网管数据处理可视化监控方法，内容包括：1）通过抽取网管***数据处理过程中涉及对象、任务的数据模型与关联，梳理网管***涉及的IT设备模型与连接，以对象、任务与设备的归属关系为切合点，生成两级嵌套的、端到端的数据处理拓扑；2）通过检测设备运行状况、网络连通性、任务处理进程，解析任务处理日志、分析数据有效性手段，实时输出检测结果并附着于数据处理拓扑的各类对象，实现网管实时数据处理过程的直观、有效的监控手段，协助网管维护人员，实现事前问题预防、事后影响性评估与原因溯源。

Description

一种基于元模型拓扑的网管数据处理可视化监控方法

技术领域

本发明涉及一种计算机网络技术领域, 具体地说是一种基于元模型拓扑的网管数据处理可视化监控方法。

背景技术

网管***标准数据处理包括采集、解析、入库、汇总、应用等环节。展开来说，主要流程包括：首先定时从设备、OMC抽取原始数据文件传输到网管服务器，通过解析生成标准入库文件，实现数据入库；如果设备厂家开放数据库，则直接通过数据映射规则，直接实现数据入库；此刻数据经过采集、解析、入库进入各厂家原始表，针对不同类型汇总入归一化数据表，进一步汇总入业务人员关注的业务汇总表，最终通过报表、专题等功能形式进行数据的呈现与应用。

由上述过程可知，数据处理贯穿整个网管，处理效率与质量直接决定整个网管***应用效果。对于网管***，由于数据源众多、接口方式各异，且数据的生产是经过多阶段实现，数据源本身、网络传输、数据处理进程各环节出现问题均会影响网管应用效果。有必要对***整体数据处理情况进行实时检测，并结合有关的排查规则对数据处理情况进行诊断，发现异常，通知维护人员。

现有技术中与本申请提案最为接近的技术方案为专利文献《一种监控数据采集汇总状态的方法和***》，申请号：200610114116.3。该方案描述了一种监控数据采集汇总状态的方法，包括：A、检测采集汇总过程中各个数据迁移点的采集汇总状态信息。B、根据各个数据迁移点的配置信息，将各个数据迁移点按照属性归类，生成包括各个数据迁移点的导航树；从导航树找出关注的数据迁移点，利用关注点的配置信息和采集汇总状态中的任务状态信息、数据齐全率信息，生成以关注数据迁移点为中心的拓扑图信息，并显示拓扑图。

四、现有技术的缺点及本申请提案要解决的技术问题

对于“三、现有技术的技术方案”中描述的现有技术主要存在以下缺点：

1.监控内容不全面，现有技术方案仅仅从数据是否齐全的角度进行监控，而数据处理的保障需要综合考虑数据是否齐全、数据是否一致、数据是否合理等因素。

2.问题分析定位能力弱，现有技术方案仅仅将数据处理环节的异常问题发现，再通过图形化的手段呈现，只能将问题定位到某个数据问题点，无法对产生问题的根源进行深入分析。

发明内容

本发明的目的是提供一种基于元模型拓扑的网管数据处理可视化监控方法。

本发明的目的是按以下方式实现的，包括如下内容：

1）通过抽取网管***数据处理过程中涉及对象、任务的数据模型与关联，梳理网管***涉及的IT设备模型与连接，以对象、任务与设备的归属关系为切合点，生成两级嵌套的、端到端的数据处理拓扑；

2）通过检测设备运行状况、网络连通性、任务处理进程，解析任务处理日志、分析数据有效性手段，实时输出检测结果并附着于数据处理拓扑的各类对象，实现网管实时数据处理过程的直观、有效的监控手段，协助网管维护人员，实现事前问题预防、事后影响性评估与原因溯源，实施步骤如下：

1、数据处理综合拓扑生成

首先，需要抽取网管数据处理过程中涉及数据处理对象、任务对象的模型与关联关系，其中数据对象包括厂家文件、厂家数据表、原始文件、入库文件、厂家原始表、网管归一化表、业务应用表、报表应用；任务对象包括文件采集任务、文件分析入库任务、数据库直连任务、数据库汇总任务，根据上述元模型的关联关系生成初级数据处理拓扑；

其次，梳理网管***涉及的IT设备连接拓扑；

最终，以对象、任务与IT设备的附属关系为切合点，生成面向整个网管数据处理端到端的、两级嵌套的综合拓扑图；

基于综合拓扑图，可查看数据处理对象、各环节处理任务的基本属性、异常规则，各服务器基本配置信息、负荷预警规则，服务器间网络传输信息及时延预警规则，对于上述涉及各方面的数据处理及IT设备资源的元模型信息由各网管自行完成梳理或抽取；

2、数据处理过程信息及附属信息综合抽取，包含以下环节：

（1）通过“处理过程分析工具”被动获取处理过程信息：

在任务调度***串行或并行数据处理过程，任务调度完成后，通过MQ向后续处理过程分析模块发送调度触发消息，收到消息后，调度分析工具读取数据处理过程日志，抽取运行信息，分析检查过程数据质量情况，并入数据质量信息库；

（2）通过“处理结果检测工具”主动获取处理对象信息：

主动检测数据文件数量、大小、信息条数的信息；检测数据库中相关表本次数据处理条数、字段为空情况、指标的有效性;检测指标算法的准确性，将主动检查的结果信息入数据质量信息库；

（3）接收网管IT设备与网络状态信息：

通过消息接口实时接收网管相关设备的运行状态，包括各服务的负荷情况、O/I压力、内存利用情况、核心进程状态；数据库状态，包括数据库进程、负荷情况、表空间；服务器间网络状态，包括网络时延、网络丢包率、抖动,将接收的信息入数据质量信息库；

（4）接收辅助信息：

通过消息接口实时接收可能会导致数据处理异常的各类辅助信息，包括网管厂家的网管版本升级计划、网络工程割接计划、设备厂家及软件版本升级计划,将接收的信息入数据质量信息库；

（5）根据规则生成数据处理问题：

通过以上步骤实现对网管数据处理相关信息统一管理，对比已梳理的针对处理任务、处理对象、设备网络各类型的异常规则，按照标准格式生成数据处理问题并推送到问题库中，可直接以告警的形式对外发布或将问题附着在拓扑图上，对于上述异常规则由各网管自行完成梳理；

3、将数据处理过程及附属信息附着在拓扑图上

实时输出检测结果并附着于第1环节生成的综合拓扑图各类对象上，实现网管实时数据处理过程的直观、有效的监控手段；

基于拓扑图可实时监控如下信息：

（1）数据处理对象是否异常,包括数据文件数量、大小、信息条数是否合理，数据表数据条数、字段为空情况，指标是否准确，正常处理对象以白色呈现，异常对象在拓扑上以红色标出；

（2）数据处理任务是否异常，包括任务进程是否启动、是否按时完成、是否吊死，针对采集、解析入库、汇总的各类任务，正常处理任务以黑线表示，异常任务在拓扑上以红线表示；

（3）网管IT设备、应用与网络状态是否异常，包括数据源设备、采集服务器、数据库服务器及其他应用服务器的CPU负荷、O/I压力、内存利用、核心进程状态，数据库进程、负荷情况、表空间，网络时延、网络丢包率、抖动，针对此类监控，按照规则门限将状态分为正常、异常、严重三级，不同状态的设备在拓扑图上分别以绿色、黄色、红色标识。

本发明与最接近的现有技术相比，具有以下优点：

1、可监控的数据处理信息全面。由于采用以MQ驱动的处理过程串接分析、处理结果主动检测两项技术，能够支持对数据处理各环节对象、处理任务的完整性、及时性、准确性进行全面监控；此外通过探针技术，实时获取影响数据处理的设备、网络状态，实现数据处理相关信息的所需即所见；

2、数据处理问题定位分析能力强。本方案采用基于模型关联的拓扑生成与嵌套技术实现的数据处理综合拓扑，承载了可引发数据隐患的所有信息。将问题定位到某个数据问题点后，可根据问题点归属的设备网络运行状况、辅助信息，寻找产生问题的根源。

附图说明

图1是现有技术的数据处理拓扑结构示意图；

图2是元模型关联关系生成初级数据处理拓扑结构示意图；

图3是梳理网管***涉及的IT设备连接拓扑结构示意图；

图4是面向整个网管数据处理端到端的、两级嵌套的综合拓扑结构示意图；

图5是总体环节描述拓扑图。

具体实施方式

参照说明书附图对本发明的作以下详细地说明。

本发明的一种基于元模型拓扑的网管数据处理可视化监控方法,主要内容包括：

一方面通过抽取网管***数据处理过程中涉及对象、任务的数据模型与关联，梳理网管***涉及的IT设备模型与连接，以对象、任务与设备的归属关系为切合点，生成两级嵌套的、端到端的数据处理拓扑。

另一方面，通过检测设备运行状况、网络连通性、任务处理进程，解析任务处理日志、分析数据有效性等手段，实时输出检测结果并附着于数据处理拓扑的各类对象，实现网管实时数据处理过程的直观、有效的监控手段。协助网管维护人员，实现事前问题预防、事后影响性评估与原因溯源。具体步骤如下：

1、数据处理综合拓扑生成

首先，需要抽取网管数据处理过程中涉及数据处理对象、任务对象的模型与关联关系。其中数据对象包括厂家文件、厂家数据表、原始文件、入库文件、厂家原始表、网管归一化表、业务应用表、报表应用；任务对象包括文件采集任务、文件分析入库任务、数据库直连任务、数据库汇总任务。根据上述元模型的关联关系生成初级数据处理拓扑，如下图2：

其次，梳理网管***涉及的IT设备连接拓扑，如图3所示：

最终，以对象、任务与IT设备的附属关系为切合点，生成面向整个网管数据处理端到端的、两级嵌套的综合拓扑图。如图4所示

基于综合拓扑图，可查看数据处理对象、各环节处理任务的基本属性、异常规则，各服务器基本配置信息、负荷预警规则，服务器间网络传输信息及时延预警规则。对于上述涉及各方面的数据处理及IT设备资源的元模型信息由各网管自行完成梳理或抽取，具体方法本方案不再详细阐述。

、数据处理过程信息及附属信息综合抽取，包含以下环节：

（1）通过“处理过程分析工具”被动获取处理过程信息：

在任务调度***串行或并行数据处理过程，任务调度完成后，通过MQ向后续处理过程分析模块发送调度触发消息。收到消息后，调度分析工具读取数据处理过程日志，抽取运行信息，分析检查过程数据质量情况，并入数据质量信息库；

（2）通过“处理结果检测工具”主动获取处理对象信息：

主动检测数据文件数量、大小、信息条数等信息；检测数据库中相关表本次数据处理条数、字段为空情况、指标的有效性;检测指标算法的准确性，将主动检查的结果信息入数据质量信息库；

（3）接收网管IT设备与网络状态信息：

通过消息接口实时接收网管相关设备的运行状态，包括各服务的负荷情况、O/I压力、内存利用情况、核心进程状态；数据库状态，包括数据库进程、负荷情况、表空间；服务器间网络状态，包括网络时延、网络丢包率、抖动等,将接收的信息入数据质量信息库；

（4）接收辅助信息：

通过消息接口实时接收可能会导致数据处理异常的各类辅助信息，包括网管厂家的网管版本升级计划、网络工程割接计划、设备厂家及软件版本升级计划,将接收的信息入数据质量信息库；

（5）根据规则生成数据处理问题：

通过以上4步实现对网管数据处理相关信息统一管理，对比已梳理的针对处理任务、处理对象、设备网络等类型的异常规则，按照标准格式生成数据处理问题并推送到问题库中，可直接以告警的形式对外发布或将问题附着在拓扑图上。对于上述异常规则由各网管自行完成梳理，具体内容不再详细阐述。

总体环节描述如图5所示。

3、将数据处理过程及附属信息附着在拓扑图上

实时输出检测结果并附着于第1环节生成的综合拓扑图各类对象上，实现网管实时数据处理过程的直观、有效的监控手段。

基于拓扑图可实时监控如下信息：

（1）数据处理对象是否异常,包括数据文件数量、大小、信息条数是否合理，数据表数据条数、字段为空情况，指标是否准确。正常处理对象以白色呈现，异常对象在拓扑上以红色标出；

（2）数据处理任务是否异常，包括任务进程是否启动、是否按时完成、是否吊死，针对采集、解析入库、汇总等各类任务。正常处理任务以黑线表示，异常任务在拓扑上以红线表示；

（3）网管IT设备、应用与网络状态是否异常，包括数据源设备、采集服务器、数据库服务器及其他应用服务器的CPU负荷、O/I压力、内存利用、核心进程状态，数据库进程、负荷情况、表空间，网络时延、网络丢包率、抖动等。针对此类监控，按照规则门限将状态分为正常、异常、严重三级，不同状态的设备在拓扑图上分别以绿色、黄色、红色标识。

除说明书所述的技术特征外，均为本专业技术人员的已知技术。

Claims (1)

1.一种基于元模型拓扑的网管数据处理可视化监控方法, 其特征在于包括如下内容：

1）通过抽取网管***数据处理过程中涉及对象、任务的数据模型与关联，梳理网管***涉及的IT设备模型与连接，以对象、任务与设备的归属关系为切合点，生成两级嵌套的、端到端的数据处理拓扑；

2）通过检测设备运行状况、网络连通性、任务处理进程，解析任务处理日志、分析数据有效性手段，实时输出检测结果并附着于数据处理拓扑的各类对象，实现网管实时数据处理过程的直观、有效的监控手段，协助网管维护人员，实现事前问题预防、事后影响性评估与原因溯源，实施步骤如下：

（1）数据处理综合拓扑生成；

（2）数据处理过程信息及附属信息抽取；

（3）将数据处理过程及附属信息附着在拓扑图上；

1、数据处理综合拓扑生成

首先，需要抽取网管数据处理过程中涉及数据处理对象、任务对象的模型与关联关系，其中数据对象包括厂家文件、厂家数据表、原始文件、入库文件、厂家原始表、网管归一化表、业务应用表、报表应用；任务对象包括文件采集任务、文件分析入库任务、数据库直连任务、数据库汇总任务，根据上述元模型的关联关系生成初级数据处理拓扑；

其次，梳理网管***涉及的IT设备连接拓扑；

最终，以对象、任务与IT设备的附属关系为切合点，生成面向整个网管数据处理端到端的、两级嵌套的综合拓扑图；

基于综合拓扑图，可查看数据处理对象、各环节处理任务的基本属性、异常规则，各服务器基本配置信息、负荷预警规则，服务器间网络传输信息及时延预警规则，对于上述涉及各方面的数据处理及IT设备资源的元模型信息由各网管自行完成梳理或抽取；

2、数据处理过程信息及附属信息综合抽取，包含以下环节：

（1）通过“处理过程分析工具”被动获取处理过程信息：

在任务调度***串行或并行数据处理过程，任务调度完成后，通过MQ向后续处理过程分析模块发送调度触发消息，收到消息后，调度分析工具读取数据处理过程日志，抽取运行信息，分析检查过程数据质量情况，并入数据质量信息库；

（2）通过“处理结果检测工具”主动获取处理对象信息：

主动检测数据文件数量、大小、信息条数的信息；检测数据库中相关表本次数据处理条数、字段为空情况、指标的有效性;检测指标算法的准确性，将主动检查的结果信息入数据质量信息库；

（3）接收网管IT设备与网络状态信息：

通过消息接口实时接收网管相关设备的运行状态，包括各服务的负荷情况、O/I压力、内存利用情况、核心进程状态；数据库状态，包括数据库进程、负荷情况、表空间；服务器间网络状态，包括网络时延、网络丢包率、抖动,将接收的信息入数据质量信息库；

（4）接收辅助信息：

通过消息接口实时接收可能会导致数据处理异常的各类辅助信息，包括网管厂家的网管版本升级计划、网络工程割接计划、设备厂家及软件版本升级计划,将接收的信息入数据质量信息库；

（5）根据规则生成数据处理问题：

通过以上步骤实现对网管数据处理相关信息统一管理，对比已梳理的针对处理任务、处理对象、设备网络各类型的异常规则，按照标准格式生成数据处理问题并推送到问题库中，可直接以告警的形式对外发布或将问题附着在拓扑图上，对于上述异常规则由各网管自行完成梳理；

3、将数据处理过程及附属信息附着在拓扑图上

实时输出检测结果并附着于第1环节生成的综合拓扑图各类对象上，实现网管实时数据处理过程的直观、有效的监控手段；

基于拓扑图可实时监控如下信息：

（1）数据处理对象是否异常,包括数据文件数量、大小、信息条数是否合理，数据表数据条数、字段为空情况，指标是否准确，正常处理对象以白色呈现，异常对象在拓扑上以红色标出；

（2）数据处理任务是否异常，包括任务进程是否启动、是否按时完成、是否吊死，针对采集、解析入库、汇总的各类任务，正常处理任务以黑线表示，异常任务在拓扑上以红线表示；

（3）网管IT设备、应用与网络状态是否异常，包括数据源设备、采集服务器、数据库服务器及其他应用服务器的CPU负荷、O/I压力、内存利用、核心进程状态，数据库进程、负荷情况、表空间，网络时延、网络丢包率、抖动，针对此类监控，按照规则门限将状态分为正常、异常、严重三级，不同状态的设备在拓扑图上分别以绿色、黄色、红色标识。