CN105930370A - 数据的监控方法及装置 - Google Patents

Abstract

本发明提出了一种数据的监控方法及装置，该数据的监控方法包括：监控并获取数据的热度信息、分布信息以及流向信息；将热度信息、分布信息、流向信息进行图形展示。本发明通过以图形的方式将获取到的数据的热度信息、分布信息以及流向信息进行展示，从而能够更加直观的展示数据的自身规律，使数据分析变得更加高效、准确。

Description

数据的监控方法及装置

技术领域

本发明涉及数据监控领域，具体来说，涉及一种数据的监控方法及装置。

背景技术

当前随着数据的海量增长和大数据技术越来越成熟、越多的数据被整合起来并加以利用。越来越多的数据中心数据平台都逐渐开始建设与完善。而数据价值的展现则越来越趋于普及化及专业化。对于不同业务数据的分析展示当前都有比较成熟的技术，应用于不同的业务场景，成熟的分析展示方式已经大量涌现。

现有的数据分析多应用于数据的业务内容价值，对于数据本身很少有涉猎的内容，而对于数据中心这种业务场景关注的可能并不是数据内容的信息，更多的反而是各应用***抽取存储的数据的本身的规律。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种数据的监控方法及装置，能够。

本发明的技术方案是这样实现的：

根据本发明的一个方面，提供了一种数据的监控方法。

该监控方法包括：

监控并获取数据的热度信息、分布信息以及流向信息；

将热度信息、分布信息、流向信息进行图形展示。

在一个优选的实施例中，热度信息包括以下至少之一：

数据的表热度信息、应用***数据信息、平台数据热度信息。

在一个优选的实施例中，分布信息包括以下至少之一：

数据的表容量信息、应用***容量信息、平台数据容量信息。

在一个优选的实施例中，获取数据的热度信息、分布信息以及流向信息包括：

对数据的访问次数和/或访问量进行统计，根据统计结果获取热度信息；

对数据的容量信息和/或记录数进行统计，根据统计结果获取分布信息；

对数据的访问者信息进行统计，根据统计结果获取流向信息。

在一个优选的实施例中，图形展示的方式包括以下至少之一：

条形图、饼图、折线图、数据流向图。

根据本发明的另一方面，提供了一种数据的监控装置。

该监控装置包括：

获取模块，用于监控并获取数据的热度信息、分布信息以及流向信息；

展示模块，用于将热度信息、分布信息、流向信息进行图形展示。

在一个优选的实施例中，热度信息包括以下至少之一：

数据的表热度信息、应用***数据信息、平台数据热度信息。

在一个优选的实施例中，分布信息包括以下至少之一：

数据的表容量信息、应用***容量信息、平台数据容量信息。

在一个优选的实施例中，获取模块包括：

热度信息获取模块，用于对数据的访问次数和/或访问量进行统计，根据统计结果获取热度信息；

分布信息获取模块，用于对数据的容量信息和/或记录数进行统计，根据统计结果获取分布信息；

流向信息获取模块，用于对数据的访问者信息进行统计，根据统计结果获取流向信息。

在一个优选的实施例中，图形展示的方式包括以下至少之一：

条形图、饼图、折线图、数据流向图。

本发明通过以图形的方式将获取到的数据的热度信息、分布信息以及流向信息进行展示，从而能够更加直观的展示数据的自身规律，使数据分析变得更加高效、准确。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是根据本发明实施例的数据的监控方法的图形展示图；

图2是根据本发明实施例的数据的监控方法的图形展示图；

图3是根据本发明实施例的数据的监控方法的图形展示图；

图4是根据本发明实施例的数据的监控方法的图形展示图；

图5是根据本发明实施例的数据的监控方法的流程图；

图6是根据本发明实施例的数据的监控装置的框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

对数据中心的数据价值分析，主要非为三个方面的考虑，分别为数据的热度、数据分布状态及数据在各***中的流向,以下将对三个方面分析展示的价值进行及实现方式做具体阐述：

1.数据热度

数据价值：数据热度反映了数据在数据中心的被利用情况，一定程度的影响着数据价值高低。通过反映出数据的活跃度能够帮助数据中心分析人员快速定位僵尸数据及热点数据，结合其他的数据性能指标能够给予裁断，如增加活跃数据读取性能、迁移僵尸数据等。

实现方法：数据活跃度的监控实现，主要是以表做最小的监控单位，并定时对表的访问信息(访问次数、访问量)做统计，最终按照应用***数据，平台数据做归档，算出表热度、应用***数据热度及平台数据热度。使用统计图表的方式分别展现平台、***、特定数据表的数据被其它各应用***的访问热度及历史变化。

信息采集过程：对于结构化数据库Oracle Rac的表数据热度采集必须在尽量不影响性能的情况下尽量真实地记录表的访问次数。基于这种考虑，OracleRac活跃度统计放弃使用了对性能影响较大的Oracle Rac审计日志功能，选择了一种能够基本反映出表访问次数的方式，其主要的实现方式为定时将sql缓存区中的数据进行抽取并存入分析数据库，通过sql语句中关联表及影响记录数来统计各表的在这段时间的访问次数及访问记录数。

对于非结构化数据库IBMP的表活跃度统计采取了抽取检索模块的调用日志信息的方式。通过对客户端检索服务记录信息的分解获取查询的表的访问信息及检索结果集信息。

展示方式：数据热度展现方式主要是通过条形图和折线图，其中条形图展示当前热度状态，能够过滤的条件主要包括：访问应用***、被访问应用***、被访问表、被访问平台、统计指标(记录数、次数)。折线图要展示的为数据热度的历史变化,能够过滤的条件主要包括：访问应用***、被访问应用***、被访问表、被访问平台、统计指标(记录数、次数)及时间区间。

2.数据分布

数据价值：数据分布指标反映了各应用***在数据中心的存储状态及数据构成，通过该信息数据中心分析人员能够快速了解各应用***的数据存储规律及各层存储单元的容量信息。

实现方法：数据分布的监控实现主要通过定时采集各应用***映射平台用户的所属表的容量信息(记录数、容量)，并定期对采集记录按照应用***容量、表容量、平台容量做归档。展示方面通过散点图、饼图、条形图来展现***、表、平台的容量状态及历史变化。

信息采集过程：结构化数据库Oracle Rac，为遵守不影响性能原则并未使用直接查询的方式而是使用了定时刷新***试图的各表信息的方式获取各表的容量及记录数。

非结构化数据库IBMP的分布信息获取采用了获取数据文件容量及元数据估算的方式获取各表容量及记录数。

展示方式：数据分布主要使用了散点图、饼图和条形图作为数据的展示。其中数据分布散点图(如图1所示)通过点的颜色(在图1中以不同类型的填充线代表不同的颜色)表示应用***、一个点代表了一个表或一个文件夹、点的大小代表了数据的容量信息，需要过滤的条件包括：指标(容量、记录数)、平台。在一个优选的实施例中，展示方式可以为饼图，如图2所示。饼图展示了***的组成信息，图中的一种颜色(在图2中以不同类型的填充线代表不同的颜色)代表一个文件夹，从饼图中可直接获取到表或文件夹在存储中心占用的比例，在另一个实施例中，图中的一种颜色可代表一个表，过滤条件包括：指标(容量、记录数)、平台、应用***。在另一个优选的实施例中，展示方式还可以为条形图，如图3所示。条形图展示了各应用***的容量对比，在条形图中，一个条形代表一个表或文件夹，以及该表所应用的***，条形图展示了该表在存储中心的存储单元的容量，过滤条件包括：指标(容量、记录数)、平台、应用***。

3.数据流向：

数据价值：通过数据流向指标展示了数据中心中各应用***数据交互的情况，能够协助平台分析师了解各应用***之间的关系，大体描述出生产者和消费者的数据生命周期。

实现方法：数据流向的监控实现与数据热度展示类似，都使用表的访问信息数据，与其不同的是需要统计信息还需要分别记录不同访问者的信息，以便能够清楚数据访问者和拥有者，并通过流向统计图来展示出各数据流向关系。

信息采集：与热点数据获取方式类似，采集Oracle的缓存信息及IBMP的检索日志分析出各应用***用户访问表的记录。

展示方式：通过流向图对数据流向进行展示，不同的点为不同的应用***，点的闪烁的光芒大小为***的活跃度，***与***之间的连线为访问信息，箭头方向充数据提供者到数据使用者，连线的粗细代表数据量的大小、连线的闪烁速度代表交互次数。统计图形式如图4所示，在图4中，一个圆代表一个应用***，并且这些应用***均运行于存储中心上，其中，各个圆之间的连线代表应用***之间的数据使用关系。

根据本发明的实施例，提供了一种数据的监控方法。

如图5所示，根据本发明实施例的监控方法，包括：

步骤S501，监控并获取数据的热度信息、分布信息以及流向信息。在一个优选的实施例中，数据可以为结构化数据库中的数据。在另一个优选的实施例中，数据可以为非结构化数据库中的数据。

步骤S503，将热度信息、分布信息、流向信息进行图形展示。具体的，在一个优选的实施例中，图形展示的方法包括但不限于以下至少之一：条形图、折线图、饼图、数据流向图。

根据本发明的另一方面，提供了一种数据的监控装置。

如图6所示，根据本发明实施例的监控装置，包括：

获取模块61，用于监控并获取数据的热度信息、分布信息以及流向信息；

展示模块62，用于将热度信息、分布信息、流向信息进行图形展示。

在一个优选的实施例中，热度信息包括以下至少之一：

数据的表热度信息、应用***数据信息、平台数据热度信息。

在一个优选的实施例中，分布信息包括以下至少之一：

数据的表容量信息、应用***容量信息、平台数据容量信息。

在一个优选的实施例中，获取模块包括：

热度信息获取模块(未示出)，该模块用于对数据的访问次数和/或访问量进行统计，根据统计结果获取热度信息；

分布信息获取模块(未示出)，该模块用于对数据的容量信息和/或记录数进行统计，根据统计结果获取分布信息；

流向信息获取模块(未示出)，该模块用于对数据的访问者信息进行统计，根据统计结果获取流向信息。

在一个优选的实施例中，图形展示的方式包括以下至少之一：

条形图、饼图、折线图。

综上所述，借助于本发明的上述技术方案，通过对数据的热度信息、分布信息以及流向信息进行监控及显示，从而能够更直观的展示出数据的访问热度及历史变化、存储状态及数据构成、以及数据的交互情况，进而反映出数据的自身规律，使数据分析变得更加高效、准确。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据的监控方法，其特征在于，包括：

监控并获取数据的热度信息、分布信息以及流向信息；

将所述热度信息、所述分布信息、所述流向信息进行图形展示。

2.根据权利要求1所述的监控方法，其特征在于，所述热度信息包括以下至少之一：

所述数据的表热度信息、应用***数据信息、平台数据热度信息。

3.根据权利要求1所述的监控方法，其特征在于，所述分布信息包括以下至少之一：

所述数据的表容量信息、应用***容量信息、平台数据容量信息。

4.根据权利要求1所述的监控方法，其特征在于，获取数据的热度信息、分布信息以及流向信息包括：

对所述数据的访问次数和/或访问量进行统计，根据统计结果获取所述热度信息；

对所述数据的容量信息和/或记录数进行统计，根据统计结果获取所述分布信息；

对所述数据的访问者信息进行统计，根据统计结果获取所述流向信息。

5.根据权利要求1所述的监控方法，其特征在于，所述图形展示的方式包括以下至少之一：

条形图、饼图、折线图、数据流向图。

6.一种数据的监控装置，其特征在于，包括：

获取模块，用于监控并获取数据的热度信息、分布信息以及流向信息；

展示模块，用于将所述热度信息、所述分布信息、所述流向信息进行图形展示。

7.根据权利要求6所述的监控装置，其特征在于，所述热度信息包括以下至少之一：

所述数据的表热度信息、应用***数据信息、平台数据热度信息。

8.根据权利要求6所述的监控装置，其特征在于，所述分布信息包括以下至少之一：

所述数据的表容量信息、应用***容量信息、平台数据容量信息。

9.根据权利要求6所述的监控装置，其特征在于，获取模块包括：

热度信息获取模块，用于对所述数据的访问次数和/或访问量进行统计，根据统计结果获取所述热度信息；

分布信息获取模块，用于对所述数据的容量信息和/或记录数进行统计，根据统计结果获取所述分布信息；

流向信息获取模块，用于对所述数据的访问者信息进行统计，根据统计结果获取所述流向信息。

10.根据权利要求6所述的监控装置，其特征在于，所述图形展示的方式包括以下至少之一：

条形图、饼图、折线图、数据流向图。