CN110888909B

CN110888909B - 一种评估内容的数据统计处理方法及装置

Info

Publication number: CN110888909B
Application number: CN201811046041.9A
Authority: CN
Inventors: 陈怡�; 赵晗
Original assignee: Datang Mobile Communications Equipment Co Ltd
Current assignee: Datang Mobile Communications Equipment Co Ltd
Priority date: 2018-09-07
Filing date: 2018-09-07
Publication date: 2022-09-23
Anticipated expiration: 2038-09-07
Also published as: CN110888909A

Abstract

本发明实施例公开了一种评估内容的数据统计处理方法及装置，方法包括：根据待评估内容初始化评估内容信息表和统计信息描述表中的信息；依次对所述评估内容信息表和所述统计信息描述表中的每一条待评估内容的各项信息进行统计，并从预设数据表中获取每一条待评估内容的各项信息对应的数据；将每一条待评估内容的各项信息以及所述各项信息对应的数据存储至统计数值详情表中。本发明实施例通过初始化评估内容信息表和统计信息描述表中的信息，并根据预设数据表将评估内容信息表和统计信息描述表中的待评估内容存储至统计数值详情表中，使得后续能够根据不同需求直接从统计数值详情表中统计数据，满足用户需求。

Description

一种评估内容的数据统计处理方法及装置

技术领域

本发明实施例涉及数据处理技术领域，具体涉及一种评估内容的数据统计处理方法及装置。

背景技术

目前对于信息统计的工具主要包括两个：AWR(Automatic Workload Repository，工作负载信息库)和Autotrace(自动跟踪工具)。

AWR是Oracle的一个内置工具，用于收集、处理和维护性能统计信息，每小时采集一次，采集的数据在7天后自动清除。收集和处理的统计信息包括：以小时为时间间隔的表空间的统计信息、段的统计信息、时间模型统计信息和***中负载最高的前5条SQL(Structured Query Language，结构化查询语言)语句，分别按执行时间、CPU(CentralProcessing Unit，中央处理器)时间、执行次数等标准来统计。

Autotrace是SQL*Plus的一项功能，自动跟踪是SQL语句生成一个执行计划并且提供与该语句的处理有关的统计。主要统计信息包括db block gets(从buffer cache中读取的block的数量)、consistents gets(从buffer cache中读取的undo数据的block的数量)、physical reads(从磁盘读取的block的数量)、redo size(DML(Data ManipulationLanguage，数据操纵语言)生成的redo的大小)，在内存中执行的排序量以及在磁盘上执行的排序量。其中，db block gets表示当前请求的块数目，是指在操作中正好提取的块数目，而不是在一致性读的情况下而产生的块数；consistent gets表示数据请求总数在回滚段缓存中的数据一致性读所需要的数据块；physical reads表示物理读，是指从磁盘上读取数据块的数量。

但是，AWR工具是从数据库整体进行的在指定时间间隔的概要性的统计信息，只能看到在该时间段内负载最高的前5条SQL的统计信息，如果想要优化的SQL没有排在负载最高的前5条中，则无法看到。而Autotrace工具能为特定SQL生成与该语句有关的统计信息，但给出的统计信息仅包含极少的统计信息，通常无法满足用户的需求。

发明内容

由于现有方法存在上述问题，本发明实施例提出一种评估内容的数据统计处理方法及装置。

第一方面，本发明实施例提出一种评估内容的数据统计处理方法，包括：

根据待评估内容初始化评估内容信息表和统计信息描述表中的信息；

依次对所述评估内容信息表和所述统计信息描述表中的每一条待评估内容的各项信息进行统计，并从预设数据表中获取每一条待评估内容的各项信息对应的数据；

将每一条待评估内容的各项信息以及所述各项信息对应的数据存储至统计数值详情表中。

可选地，所述方法还包括：

待所述评估内容信息表和所述统计信息描述表中所有的待评估内容统计完成后，根据输入的统计关键字对所述统计数值详情表中的数据进行查询，得到查询结果；

根据所述查询结果生成展示结果集，并对所述展示结果集进行展示。

可选地，所述方法还包括：

根据用户的输入参数，获取所述统计数值详情表中与所述输入参数对应的目标评估内容，并对所述目标评估内容进行展示。

可选地，所述待评估内容包括：不同编码实现的内存消耗、排序次数、逻辑读块数、物理读块数、执行时间、不同的等待事件对应的等待时间或引起不同闩锁的锁定次数；

所述评估内容信息表中的信息包括：待评估语句、存储过程和查询函数；

所述统计信息描述表中的信息包括：耗时、逻辑读、物理读、逻辑写、物理写和闩锁。

第二方面，本发明实施例还提出一种评估内容的数据统计处理装置，包括：

初始化模块，用于根据待评估内容初始化评估内容信息表和统计信息描述表中的信息；

信息统计模块，用于依次对所述评估内容信息表和所述统计信息描述表中的每一条待评估内容的各项信息进行统计，并从预设数据表中获取每一条待评估内容的各项信息对应的数据；

信息存储模块，用于将每一条待评估内容的各项信息以及所述各项信息对应的数据存储至统计数值详情表中。

可选地，所述装置还包括：

数据查询模块，用于待所述评估内容信息表和所述统计信息描述表中所有的待评估内容统计完成后，根据输入的统计关键字对所述统计数值详情表中的数据进行查询，得到查询结果；

结果展示模块，用于根据所述查询结果生成展示结果集，并对所述展示结果集进行展示。

可选地，所述装置还包括：

评估内容展示模块，用于根据用户的输入参数，获取所述统计数值详情表中与所述输入参数对应的目标评估内容，并对所述目标评估内容进行展示。

第三方面，本发明实施例还提出一种电子设备，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述方法。

第四方面，本发明实施例还提出一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述方法。

由上述技术方案可知，本发明实施例通过初始化评估内容信息表和统计信息描述表中的信息，并根据预设数据表将评估内容信息表和统计信息描述表中的待评估内容存储至统计数值详情表中，使得后续能够根据不同需求直接从统计数值详情表中统计数据，满足用户需求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。

图1为本发明一实施例提供的一种评估内容的数据统计处理方法的流程示意图；

图2为本发明另一实施例提供的一种评估内容的数据统计处理方法的流程示意图；

图3为本发明一实施例提供的一种评估内容的数据统计处理装置的结构示意图；

图4为本发明一实施例提供的电子设备的逻辑框图。

具体实施方式

下面结合附图，对本发明的具体实施方式作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

图1示出了本实施例提供的一种评估内容的数据统计处理方法的流程示意图，包括：

S101、根据待评估内容初始化评估内容信息表和统计信息描述表中的信息。

其中，所述待评估内容为一条条的待评估项，每个待评估项可以为：不同编码实现的内存消耗、排序次数、逻辑读块数、物理读块数、执行时间、不同的等待事件对应的等待时间或引起不同闩锁的锁定次数等。

所述评估内容信息表中的信息包括：待评估语句、存储过程和查询函数。

所述统计信息描述表中的信息包括：耗时、逻辑读、物理读、逻辑写、物理写和闩锁(latch)。

其中，闩锁是用于保护SGA(System Global Area，***全局区)中共享数据结构的一种串行化锁定机制，它不仅仅用于buffer cache(缓冲区高速缓冲存储器)，还用于shared pool(共享池)以及log buffer(日志缓冲区)等。

S102、依次对所述评估内容信息表和所述统计信息描述表中的每一条待评估内容的各项信息进行统计，并从预设数据表中获取每一条待评估内容的各项信息对应的数据。

举例来说，评估内容信息表中包括M条记录，统计信息描述表中包括N条记录，则需要对依次对M条记录进行统计，每条记录中包括的N个信息也需要一一统计，并从预设数据表中获取M×N条信息对应的数据。

S103、将每一条待评估内容的各项信息以及所述各项信息对应的数据存储至统计数值详情表中。

具体地，将S102获取的各项信息及其数据存储至统计数值详情表中。

举例来说，分别建立如下3张表，依次为评估内容信息表、统计信息描述表和统计数值详情表：

表1评估内容信息表

表2统计信息描述表

表3统计数值详情表

对评估内容进行数据统计时，首先根据多种实现对评估内容和统计信息进行初始化，然后针对不同的实现执行收集统计信息，最后传入参数运行生成统计分析结果，便可以看到需要的统计信息以及不同实现间的差值比较，具体的流程图如图2所述。

具体来说，评估内容的数据统计包括以下步骤：

第一步：初始化

初始化评估内容信息表(TBL_EST_INFO)：填入待评估的SQL语句、存储过程、函数等相关信息；统计信息描述表(TBL_STAT_INFO)中填入具体的评估项内容：耗时、逻辑读、物理读、逻辑写、物理写、闩锁等，具体地，其主要由以下三部分内容组成：

oracle***中sys.v$statname中的统计信息名称(如：pinned cursors current、recursive calls等)；

oracle***中sys.v$latch中的统计信息名称(如：session queue latch、cppool latch等)；

用户自定义的统计信息名称(如：耗时等)。

第二步：收集统计信息

基于各种数据字典表(包含但不限于sys.v$statname、sys.v$mystat、sys.v$latch)，程序运行时自定义变量，记录下调用待评估内容前的各个统计信息的数值，***到TBL_STATS_DETAIL中，调用待评估内容后，再次记录各项统计信息的当前数值到TBL_STATS_DETAIL中。以通过sys.v$mystat、sys.v$statname获取部分统计信息值的流程为例：首先查询出待评估内容前的各个统计信息的数值，sql如下所示：

select c.stat_id stat_id,a.value stat_value,0tag

from sys.v$mystat a,sys.v$statname b,TBL_STAT_INFO c

where a.statistic#＝b.statistic#and a.name＝c.name。

然后将查出的记录结合变量入TBL_STATS_DETAIL中。

最后调用待评估内容(sql、存储过程、函数等)，使其运行。待评估内容运行完成后，再次查询出各个统计信息的数值，sql如下所示：

select c.stat_id stat_id,a.value stat_value,1tag from sys.v$mystat a,sys.v$statname b,TBL_STAT_INFO c where a.statistic#＝b.statistic#and a.name＝c.name。

则针对待评估内容的部分统计信息收集完毕，使用结束的统计信息数值减去开始时的统计信息数值就是本次执行待评估内容所耗费的统计项数值。

本实施例通过初始化评估内容信息表和统计信息描述表中的信息，并根据预设数据表将评估内容信息表和统计信息描述表中的待评估内容存储至统计数值详情表中，使得后续能够根据不同需求直接从统计数值详情表中统计数据，满足用户需求。

进一步地，在上述方法实施例的基础上，所述方法还包括：

S104、待所述评估内容信息表和所述统计信息描述表中所有的待评估内容统计完成后，根据输入的统计关键字对所述统计数值详情表中的数据进行查询，得到查询结果；

S105、根据所述查询结果生成展示结果集，并对所述展示结果集进行展示。

具体地，在上述实施例的第一步和第二步之后，还可以包括：

第三步：生成统计分析结果：根据传入参数，即待评估内容列表、统计信息列表，通过查询计算关联过滤TBL_EST_INFO、TBL_STAT_INFO、TBL_STATS_DETAIL中的数据后，生成展示结果集。

通过对oralce内部视图的使用，实现一种oracle的性能检测与分析对比方案，也实现了针对同一功能的不同实现的性能对比场景，同时编码实现了针对SQL或存储过程的统计信息以及闩锁信息的收集和对比工作，量化了各种实现的性能结果，便于开发人员使用，降低了上线后因为性能和效率原因修改应用的风险。

进一步地，在上述方法实施例的基础上，所述方法还包括：

S106、根据用户的输入参数，获取所述统计数值详情表中与所述输入参数对应的目标评估内容，并对所述目标评估内容进行展示。

具体地，相同的功能会有若干种不同的实现方式，SQL语句的写法多种多样，同时存储过程作为SQL的有效补充，使得同一种功能，可以写出多种不同的编码实现，而不同的实现势必会带来巨大的性能差异。通过展示对比分析后的目标评估内容，能够方便快速地对不同的SQL或者存储过程实现做出性能检测，分析对比出不同的实现需要耗费的数据库资源，并列出差异点及其对应的具体数值，能够给出不同的编码实现的具体内存消耗、排序次数、逻辑读块数、物理读块数、执行时间、不同的等待事件对应的等待时间，以及引起的不同的闩锁的锁定次数统计信息，同时能够根据用户的输入参数，获取两两实现间的各种统计信息的差异值，有效直观的反馈给开发者不同实现间的优劣，满足了开发人员不受时间和***限制，随时分析SQL和存储过程性能的需求场景，不仅支持一般性统计信息的收集，同时支持闩锁信息的收集，还提供了多种实现间的对比差值的输出，为实现的选择上提供了数量级别的指导，更加直观。

图3示出了本实施例提供的一种评估内容的数据统计处理装置的结构示意图，所述装置包括：初始化模块301、信息统计模块302和信息存储模块303，其中：

所述初始化模块301用于根据待评估内容初始化评估内容信息表和统计信息描述表中的信息；

所述信息统计模块302用于依次对所述评估内容信息表和所述统计信息描述表中的每一条待评估内容的各项信息进行统计，并从预设数据表中获取每一条待评估内容的各项信息对应的数据；

所述信息存储模块303用于将每一条待评估内容的各项信息以及所述各项信息对应的数据存储至统计数值详情表中。

具体地，所述初始化模块301根据待评估内容初始化评估内容信息表和统计信息描述表中的信息；所述信息统计模块302依次对所述评估内容信息表和所述统计信息描述表中的每一条待评估内容的各项信息进行统计，并从预设数据表中获取每一条待评估内容的各项信息对应的数据；所述信息存储模块303将每一条待评估内容的各项信息以及所述各项信息对应的数据存储至统计数值详情表中。

进一步地，在上述装置实施例的基础上，所述装置还包括：

进一步地，在上述装置实施例的基础上，所述待评估内容包括：不同编码实现的内存消耗、排序次数、逻辑读块数、物理读块数、执行时间、不同的等待事件对应的等待时间或引起不同闩锁的锁定次数；

本实施例所述的评估内容的数据统计处理装置可以用于执行上述方法实施例，其原理和技术效果类似，此处不再赘述。

参照图4，所述电子设备，包括：处理器(processor)401、存储器(memory)402和总线403；

其中，

所述处理器401和存储器402通过所述总线403完成相互间的通信；

所述处理器401用于调用所述存储器402中的程序指令，以执行上述各方法实施例所提供的方法。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法。

本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述各方法实施例所提供的方法。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims

1.一种评估内容的数据统计处理方法，其特征在于，包括：

将每一条待评估内容的各项信息以及所述各项信息对应的数据存储至统计数值详情表中；

根据所述查询结果生成展示结果集，并对所述展示结果集进行展示；

所述待评估内容的类型包括SQL、存储过程和函数；所述待评估内容的类型为所述待评估内容表示相同功能的不同实现方式；

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述待评估内容包括：不同编码实现的内存消耗、排序次数、逻辑读块数、物理读块数、执行时间、不同的等待事件对应的等待时间或引起不同闩锁的锁定次数；

4.一种评估内容的数据统计处理装置，其特征在于，包括：

信息存储模块，用于将每一条待评估内容的各项信息以及所述各项信息对应的数据存储至统计数值详情表中；

结果展示模块，用于根据所述查询结果生成展示结果集，并对所述展示结果集进行展示；

5.根据权利要求4所述的装置，其特征在于，所述装置还包括：

6.根据权利要求4所述的装置，其特征在于，所述待评估内容包括：不同编码实现的内存消耗、排序次数、逻辑读块数、物理读块数、执行时间、不同的等待事件对应的等待时间或引起不同闩锁的锁定次数；

7.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至3任一所述的方法。

8.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行如权利要求1至3任一所述的方法。