CN105224435A - 数据运维监控方法及装置 - Google Patents

Abstract

本发明公开了一种数据运维监控方法及装置，其中装置包括：基础元数据监控管理模块用于提供基础元数据的监控管理，对外提供基础元数据配置引擎和基础元数据管理引擎；监控管理包括数据库表与字段的监控管理、元数据对象与对象属性的监控管理、界面与界面元素的监控管理和查询视图的监控管理等；统计元数据监控管理模块用于提供对统计元数据的监控管理，对外提供统计元数据管理界面和统计元数据管理引擎；监控管理包括主题监控管理、主题模型监控管理、公有维度监控管理、私有维度监控管理、维度层级监控管理、度量监控管理和度量方式监控管理等。本发明实施例能够减少人工开发操作，实现对业务应用数据的自动化运维监控，提供运维支撑效率。

Description

数据运维监控方法及装置

技术领域

本发明实施例涉及网络通信技术领域，尤其涉及一种数据运维监控方法及装置。

背景技术

随着计算机和网络通信的发展，数据承载和数据应用迅速普及，针对数据服务、业务应用的运维也显得日益重要。数据中心的运维范围包含两个层面，针对CPU、硬盘、网络等通用数据的运维，以及针对各业务应用的私有数据的运维。

在针对私有业务应用数据的运维层面，传统的实现方式是针对每种业务应用数据均经过数据指标定义、数据监控和统计展示分析、数据采集、数据清洗和数据展示界面等开发步骤，随着业务应用的逐步扩展，每种业务数据均重复上述开发工作而投入的工作量逐步增大，最终导致人力成本逐步提升而难以支撑。

发明内容

本发明实施例提供一种数据运维监控方法及装置，减少人工开发操作，实现对业务应用数据的自动化运维监控，提供运维支撑效率。

第一方面，本发明实施例还提供一种数据运维监控装置，包括：

基础元数据监控管理模块，用于提供基础元数据的监控管理，对外提供基础元数据配置引擎和基础元数据管理引擎；所述监控管理包括数据库表与字段的监控管理、元数据对象与对象属性的监控管理、界面与界面元素的监控管理和查询视图的监控管理中的至少一种；

统计元数据监控管理模块，用于提供对统计元数据的监控管理，对外提供统计元数据管理界面和统计元数据管理引擎；所述监控管理包括主题监控管理、主题模型监控管理、公有维度监控管理、私有维度监控管理、维度层级监控管理、度量监控管理和度量方式监控管理中的至少一种。

第二方面，本发明实施例提供了一种数据运维监控方法，包括：

提供基础元数据的监控管理，对外提供基础元数据配置引擎和基础元数据管理引擎；所述监控管理包括数据库表与字段的监控管理、元数据对象与对象属性的监控管理、界面与界面元素的监控管理和查询视图的监控管理中的至少一种；

提供对统计元数据的监控管理，对外提供统计元数据管理界面和统计元数据管理引擎；所述监控管理包括主题监控管理、主题模型监控管理、公有维度监控管理、私有维度监控管理、维度层级监控管理、度量监控管理和度量方式监控管理中的至少一种。

本发明实施例通过基础元数据监控管理模块提供基础元数据的监控管理功能，并对外提供基础元数据配置引擎和基础元数据管理引擎；所述监控管理包括数据库表与字段的监控管理、元数据对象与对象属性的监控管理、界面与界面元素的监控管理和查询视图的监控管理中的至少一种；通过统计元数据监控管理模块提供对统计元数据的监控管理，并对外提供统计元数据管理界面和统计元数据管理引擎；所述监控管理包括主题监控管理、主题模型监控管理、公有维度监控管理、私有维度监控管理、维度层级监控管理、度量监控管理和度量方式监控管理中的至少一种。本发明实施例所述提供的装置能够减少人工开发操作，实现对业务应用数据的自动化运维监控，提供运维支撑效率。

附图说明

图1A为本发明实施例一提供的数据运维监控装置的结构示意图；

图1B为本发明实施例一提供的数据运维监控装置中的基础元数据监控管理模块所执行的操作流程示意图；

图1C为本发明实施例一提供的数据运维监控装置中的统计元数据监控管理模块所执行的操作流程示意图；

图1D为本发明实施例一提供的数据运维监控装置中的任务调度过程示意图；

图1E为本发明实施例一提供的数据运维监控装置中的角色控制流程示意图；

图2为本发明实施例二提供的数据运维监控方法的流程示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1A为本发明实施例一提供的数据运维监控装置的结构示意图，如图1A所示，具体包括：基础元数据监控管理模块11和统计元数据监控管理模块12；

所述基础元数据监控管理模块11用于提供基础元数据的监控管理，对外提供基础元数据配置引擎和基础元数据管理引擎；所述监控管理包括数据库表与字段的监控管理、元数据对象与对象属性的监控管理、界面与界面元素的监控管理和查询视图的监控管理中的至少一种；

所述统计元数据监控管理模块12用于提供对统计元数据的监控管理，对外提供统计元数据管理界面和统计元数据管理引擎；所述监控管理包括主题监控管理、主题模型监控管理、公有维度监控管理、私有维度监控管理、维度层级监控管理、度量监控管理和度量方式监控管理中的至少一种。

具体来说，如图1B所示，所述基础元数据监控管理模块11是对基础监控数据的管理，具体包括数据库表(例如，支持关系型数据库与非关系型的数据库)与字段的管理、元数据对象与对象属性的管理、界面与界面元素的管理、查询视图的管理。并以RESTFUL软件架构风格的形式对外提供元数据配置引擎、元数据管理引擎。

如图1C所示，所述统计元数据监控管理模块12是针对统计主题、维度与度量的管理，包括主题管理、主题模型管理、公有维度管理、私有维度管理、维度层级管理、度量管理、度量方式管理。一方面以RESTFUL接口形式对外提供统计元数据管理界面，另一方面提供统计元数据管理引擎，将统计元数据配置信息传给ETL引擎。

本实施例通过基础元数据监控管理模块提供基础元数据的监控管理功能，并对外提供基础元数据配置引擎和基础元数据管理引擎；通过统计元数据监控管理模块提供对统计元数据的监控管理，并对外提供统计元数据管理界面和统计元数据管理引擎。本实施例所述提供的装置能够减少人工开发操作，实现对业务应用数据的自动化运维监控，提供运维支撑效率。

示例性的，在上述实施例的基础上，所述装置还包括：主题表管理模块13；

所述主题表管理模块13用于提供主题表初始索引配置、主题表自动创建、自动升级、数据留存、版本管理与版本恢复功能和支持关系型数据库中的至少一种功能；针对主题表的访问历史记录进行分析和索引优化。

具体的，所述主题表管理模块13基于上述统计元数据管理引擎，进行主题表的管理，同时提供主题表自动创建、自动升级、数据留存、版本管理与版本恢复功能，并支持各种关系型数据库。还提供主题表初始索引配置功能，并提供针对主题表的访问历史记录与分析，自动或人工进行索引后期优化。提供主题表其他层面性能优化与分析功能。

示例性的，在上述实施例的基础上，所述装置还包括：数据处理模块14；

所述数据处理模块14用于采用商业智能平台SpagoBI的抽取转换加载ETL组件对数据进行抽取和清洗；采用商业智能平台SpagoBI的商业智能BI组件对数据采用统计图表进行展现。

具体的，所述数据处理模块14基于商业智能平台SpagoBI的抽取转换加载ETL组件实现实现基础元数据的获取、数据转换、数据清洗、数据归并、数据存储、数据流转监控等功能，达到数据清洗的自动化。并对源码进行修改，将ETL工具与元数据、主题表配置进行整合，提供给用户界面级配置工具，降低配置开发难度与人员水平。

示例性的，在上述实施例的基础上，所述装置还包括：任务管理模块15；

所述任务管理模块15用于提供任务管理配置、任务调度和任务监控功能；所述任务管理配置包括任务执行实体管理、任务执行实体归类管理、任务轮训时长管理、任务重试管理及任务执行日志管理中的至少一种，所述任务调度包括多线程任务处理和/或任务追赶，所述任务监控包括监控任务启动、任务停止、任务暂停、任务重试一次、任务执行日志、历史日志异常自动获取、自动统计和主动分析中的至少一种。

具体的，第一方面，所述任务管理模块15提供任务基础数据的管理配置，包括任务执行实体管理、任务执行实体归类管理、任务轮训时长管理、任务重试管理及任务执行日志管理。

第二方面，所述任务管理模块15基于待处理资源管理单元、线程池管理单元和应用服务管理单元进行多线程任务处理和任务追赶等操作。如图1D所示，为任务调度处理过程，所述待处理资源管理单元用于描述待处理资源，所述应用服务管理单元用于根据所述线程池中的线程数据为服务器分配线程，所述线程池管理单元用于为每个待处理资源描述分配运行的线程数，经过所述待处理资源管理单元、线程池管理单元和应用服务管理单元的处理，即可形成执行任务，即所述执行任务包括每个待处理资源描述对应的线程和运行服务器，通过任务管理引擎单元将所述执行任务传送至任务管理服务单元，同时所述任务管理服务单元根据待处理资源集合，得到每个待处理资源与对应的线程和运行服务器的对应关系，将其放置到缓存中的任务队列中，任务处理引擎间隔调用任务队列中的待处理资源，将所述待处理资源分配到对应的服务器上，启动对应的线程运行，最终得到数据处理结果。

第三方面，所述任务管理模块15提供任务监控功能，提供任务启动、停止、暂停、重试一次等操作，并监控任务执行日志，监控历史日志异常自动获取、自动统计和主动分析功能。

示例性的，在上述实施例的基础上，所述装置还包括：权限控制管理模块16；

所述权限控制管理模块16用于提供权限控制管理，所述权限控制管理包括用户、用户组、角色、员工、功能的配置及数据权限、角色分级中的至少一种。

具体的，所述权限控制管理模块16可提供如图1E所示的基于角色的访问控制(Role-BasedAccessControl，RBAC)模型的权限控制，包括用户、用户组、角色、员工、功能的配置及数据权限、角色分级等功能，并将权限模块与包括元数据、ETL等模块进行整合，实现功能、数据、模型的全方位访问控制及安全控制。

另外，在上述实施例的基础上，所述装置还可包括：监控规则管理模块；

所述监控规则管理模块针对监控基础数据进行监控对象、监控判断逻辑、监控告警方式的配置，并提供规则依赖、规则归并等高级功能；并默认提供大于、等于、存在等基础规则配置，默认提供正则、函数等高级规则配置，并对用户提供基于元数据、实现体的规则逻辑判断的扩展，提供全面的逻辑判断支持。

上述各实施例通过基础元数据监控管理模块提供基础元数据的监控管理功能，并对外提供基础元数据配置引擎和基础元数据管理引擎；通过统计元数据监控管理模块提供对统计元数据的监控管理，并对外提供统计元数据管理界面和统计元数据管理引擎。上述各实施例所述提供的装置能够减少人工开发操作，实现对业务应用数据的自动化运维监控，提供运维支撑效率。

实施例二

图2为本发明实施例二提供的数据运维监控方法的流程示意图，本实施例的执行主体，可为本发明实施例提供的数据运维监控装置，或者集成了所述数据运维监控装置的终端设备(例如，计算机和服务器等)，该数据运维监控装置可以采用硬件或软件实现。如图2所示，具体包括以下步骤：

步骤21、提供基础元数据的监控管理，对外提供基础元数据配置引擎和基础元数据管理引擎；所述监控管理包括数据库表与字段的监控管理、元数据对象与对象属性的监控管理、界面与界面元素的监控管理和查询视图的监控管理中的至少一种；

步骤22、提供对统计元数据的监控管理，对外提供统计元数据管理界面和统计元数据管理引擎；所述监控管理包括主题监控管理、主题模型监控管理、公有维度监控管理、私有维度监控管理、维度层级监控管理、度量监控管理和度量方式监控管理中的至少一种。

对于本实施例所述的数据运维监控方法的各步骤的详细描述具体可参见上述实施例一中所述的数据运维监控装置的相关描述，其技术原理和产生的技术效果类似，这里不再累述。

示例性的，在上述实施例的基础上，所述方法还包括：

提供主题表初始索引配置、主题表自动创建、自动升级、数据留存、版本管理与版本恢复功能和支持关系型数据库中的至少一种功能；

针对主题表的访问历史记录进行分析和索引优化。

示例性的，在上述实施例的基础上，所述方法还包括：

采用商业智能平台SpagoBI的抽取转换加载ETL组件对数据进行抽取和清洗；

采用商业智能平台SpagoBI的商业智能BI组件对数据采用统计图表进行展现。

示例性的，在上述实施例的基础上，所述方法还包括：

提供任务管理配置、任务调度和任务监控功能；所述任务管理配置包括任务执行实体管理、任务执行实体归类管理、任务轮训时长管理、任务重试管理及任务执行日志管理中的至少一种，所述任务调度包括多线程任务处理和/或任务追赶，所述任务监控包括监控任务启动、任务停止、任务暂停、任务重试一次、任务执行日志、历史日志异常自动获取、自动统计和主动分析中的至少一种。

示例性的，在上述实施例的基础上，所述方法还包括：

提供权限控制管理，所述权限控制管理包括用户、用户组、角色、员工、功能的配置及数据权限、角色分级中的至少一种。

解析所述网络数据包获取IP地址和对应端口；

根据所述IP地址和对应端口将所述网络数据包发送至业务管理层进行解析。

示例性的，在上述实施例的基础上，所述网络数据包包括传输控制协议(TransmissionControlProtocol，TCP)数据包、用户数据报协议(UserDatagramProtocol，UDP)数据包、控制报文协议(InternetControlMessageProtocol，ICMP)数据包和域名***协议(DomainNameSystem，DNS)数据包中的至少一种。

对于上述实施例所述的数据运维监控方法的各步骤的详细描述具体可参见上述实施例一中所述的数据运维监控装置的相关描述，其技术原理和产生的技术效果类似，这里不再累述。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种数据运维监控装置，其特征在于，包括：

基础元数据监控管理模块，用于提供基础元数据的监控管理，对外提供基础元数据配置引擎和基础元数据管理引擎；所述监控管理包括数据库表与字段的监控管理、元数据对象与对象属性的监控管理、界面与界面元素的监控管理和查询视图的监控管理中的至少一种；

统计元数据监控管理模块，用于提供对统计元数据的监控管理，对外提供统计元数据管理界面和统计元数据管理引擎；所述监控管理包括主题监控管理、主题模型监控管理、公有维度监控管理、私有维度监控管理、维度层级监控管理、度量监控管理和度量方式监控管理中的至少一种。

2.根据权利要求1所述的装置，其特征在于，还包括：

主题表管理模块，用于提供主题表初始索引配置、主题表自动创建、自动升级、数据留存、版本管理与版本恢复功能和支持关系型数据库中的至少一种功能；针对主题表的访问历史记录进行分析和索引优化。

3.根据权利要求1所述的装置，其特征在于，还包括：

数据处理模块，用于采用商业智能平台SpagoBI的抽取转换加载ETL组件对数据进行抽取和清洗；采用商业智能平台SpagoBI的商业智能BI组件对数据采用统计图表进行展现。

4.根据权利要求1所述的装置，其特征在于，还包括：

任务管理模块，用于提供任务管理配置、任务调度和任务监控功能；所述任务管理配置包括任务执行实体管理、任务执行实体归类管理、任务轮训时长管理、任务重试管理及任务执行日志管理中的至少一种，所述任务调度包括多线程任务处理和/或任务追赶，所述任务监控包括监控任务启动、任务停止、任务暂停、任务重试一次、任务执行日志、历史日志异常自动获取、自动统计和主动分析中的至少一种。

5.根据权利要求1～4任一项所述的装置，其特征在于，还包括：

权限控制管理模块，用于提供权限控制管理，所述权限控制管理包括用户、用户组、角色、员工、功能的配置及数据权限、角色分级中的至少一种。

6.一种数据运维监控方法，其特征在于，包括：

提供基础元数据的监控管理，对外提供基础元数据配置引擎和基础元数据管理引擎；所述监控管理包括数据库表与字段的监控管理、元数据对象与对象属性的监控管理、界面与界面元素的监控管理和查询视图的监控管理中的至少一种；

提供对统计元数据的监控管理，对外提供统计元数据管理界面和统计元数据管理引擎；所述监控管理包括主题监控管理、主题模型监控管理、公有维度监控管理、私有维度监控管理、维度层级监控管理、度量监控管理和度量方式监控管理中的至少一种。

7.根据权利要求6所述的方法，其特征在于，还包括：

提供主题表初始索引配置、主题表自动创建、自动升级、数据留存、版本管理与版本恢复功能和支持关系型数据库中的至少一种功能；

针对主题表的访问历史记录进行分析和索引优化。

8.根据权利要求6所述的方法，其特征在于，还包括：

采用商业智能平台SpagoBI的抽取转换加载ETL组件对数据进行抽取和清洗；

采用商业智能平台SpagoBI的商业智能BI组件对数据采用统计图表进行展现。

9.根据权利要求6所述的方法，其特征在于，还包括：

提供任务管理配置、任务调度和任务监控功能；所述任务管理配置包括任务执行实体管理、任务执行实体归类管理、任务轮训时长管理、任务重试管理及任务执行日志管理中的至少一种，所述任务调度包括多线程任务处理和/或任务追赶，所述任务监控包括监控任务启动、任务停止、任务暂停、任务重试一次、任务执行日志、历史日志异常自动获取、自动统计和主动分析中的至少一种。

10.根据权利要求6～9任一项所述的方法，其特征在于，还包括：

提供权限控制管理，所述权限控制管理包括用户、用户组、角色、员工、功能的配置及数据权限、角色分级中的至少一种。