CN102902621B - 应用性能评价和报告 - Google Patents

Abstract

本发明涉及一种用于性能评价和报告的***和方法。在一种方法中，在第一分析时域分析第一应用以生成第一参数数据集，该参数数据集与第一应用的段的性能相关。基于第一参数数据集，生成时域报告。进一步地，部分地基于时域报告接收到关于一个或多个应用的段的评论。进而，基于第一参数数据集和评论，生成综合报告。

Description

应用性能评价和报告

技术领域

本发明涉及软件分析（software profiling），尤其（但不仅限于）涉及用于软件应用的性能评价和报告的***及方法。

背景技术

软件应用的性能评价通常被用于测定在各种不同的工作负担条件下软件应用的各种组成部分是如何运作的。性能评价可以在软件应用生命周期内的多个阶段进行，包括开发阶段、测试阶段、分析阶段和监控阶段。同时它也被应用于验证和校验软件应用的其他属性，如可升级性、可靠性和资源利用性。通常，软件应用性能的评价基于多种性能参数，例如，内存统计、处理器统计、网络统计、线程统计、反应时间等。这些性能评价通常由一个应用团队和相关利害关系者执行。

用户通过执行性能评价，分析评价结果，从而可以给应用团队提供建议。这些建议可以涉及该应用的各个方面、硬件设置、运行时状态等。基于这些评价结果及建议，应用团队可以根据需要采取进一步措施。

有时，执行某个建议以改善一个性能参数可能损害该应用的另一个性能参数。因此，用户可能再次评价多个性能参数并发送建议，以改进性能。这个关于软件应用的建议-性能评价循环通常一直持续至软件应用的性能参数落入一个预先设置的可接受范围内。

发明内容

本部分在于介绍关于性能评价和报告的***和方法的理念。该理念在下述内容中有进一步的描述。该部分既不用于确定本发明的必要技术特征，也不用于确定或限制本发明的范围。

在一个实施例中，首先生成一个关于在某应用中分析的某些段（segment）的参数数据集，然后基于该参数数据集产生时域报告（session report）。部分地基于该报告，可接收到有关这些段中的一个或多个的评论，进而基于该参数数据集和评论生成综合报告。

附图说明

本发明的详述将结合以下附图进行。这些附图中，附图标记最左边的数字表示该附图标记首次出现时所在的图号。通篇中同一数字用于指代同一类特征和部件。

图1根据本发明的实施例对一个性能评价和报告***的执行作说明。

图2根据本发明的实施例对一个性能评价和报告的方法作说明。

图3根据本发明另一个实施例对一个应用中的相对性能评价和报告方法作说明。

发明详述

以下将阐述性能评价及报告的***和方法。该***和方法可以应用于多种计算机***中。可执行所述方法的计算机***包括（但不局限于）:大型计算机、工作站、私人计算机、台式计算机、小型计算机、服务器、多处理器***、便携式计算机等。

出于多种原因（包括质量保证），以及验证该应用可满足商业上、功能上和技术上的要求并如所预期地那样工作，需要实施软件应用的性能评价。下文中，软件应用将也被称为应用。性能评价可以在应用生命周期的任一阶段进行，包括应用的开发阶段、测试阶段、分析阶段和监控阶段。通常，性能的评价是基于多种性能参数来测评的，例如，处理器利用率、内存利用率、网络利用率、输入-输出利用率、数据库查询统计、反应时间相关统计、时域相关统计、处理能力统计、进程线程统计、及队列统计。可以理解，这是关于性能评价的提示性列表，并不意味着穷举。

执行性能评价的用户可以进而分析评价结果并提供建议，例如，当性能参数位于原先预设的范围之上或之下时，将这些信息反馈给应用团队。这些建议可以是，例如，关于应用、硬件或运行时状态。为此，性能参数通常以屏幕快照的形式记录下来，并通过一个独立的文本或工作表文件形式提供建议。基于性能评价结果及用户建议，可以采取合适的措施，从而符合预设的可接受范围。

有时，为了改进一个性能参数所采取的措施可能会损害应用中另一个性能参数。例如，为了改进应用的反应时间，应用的内存利用率可能上升。因此，应用可能在另一个时域被再次分析，不同的性能参数测评可能被记录下来，如有需要可提供建议以供进一步修改。可以理解，一个分析时域指的是应用的性能被评价所花费的时段。 这种评价应用性能及提供建议的循环通常一直重复，直至应用的多个性能参数落入预设的可接受范围内。

如上所述，传统上，性能评价后所作出的建议通常不是***性地记录或存储下来，这加大了后续阶段中对性能诊断的难度。而且，为了比较两个分析时域的应用性能，需要对屏幕截图进行人工对比。分析时域之间可能在多方面都存在差异，如应用版本、硬件设置、运行时状态(runtime condition)、时域时机（session timing）和时域期间（duration ofsession）等。时域时机指的是在执行应用的过程中，分析时域执行时所在的时间。例如，分析时域的执行可以发生在应用刚开始运行时，或者在应用运行了所设定的一段时间之后。时域期间指的是执行分析时域持续的的时间段。如上所述，由于存在多种因素使得性能评价在不同的分析时域中存在差异，人工分析性能评价变得具有很高的难度。

例如，假设将两个分析时域的结果进行对比，该两个分析时域对应于一个软件应用的不同版本的性能评价。如果软件的第十一版的内存利用率出现性能问题时，则很难分析出该性能问题是在之前的哪一个版本开始首先出现，以及相对应的有何应对措施，等等。在上述例子中，在第三版中对处理器利用率的优化，可能是导致内存利用率上升的根源，并且在后续版本的多种优化至内存利用率进一步上升；内存利用率可能在第十一版中超过了预先设定的可接受范围。

由于传统的性能评价***和方法无法直接地同时对两个或多个分析时域的性能评价结果进行对比，因此很难检测到应用中引起性能问题的原因。并且，在缺乏建议性文件和应对措施文件时，很难确定该性能问题的原因。

在另一个例子中，应用的性能可能随着时域时机（即，分析时域开始以及评价发生时的时间）而变化。例如，若应用采用了缓存技术用于快速恢复数据，当缓存被填充时，应用的性能会随着时间而变化，并在应用运行了一段时间之后达到一个稳定状态。在这种情况下，对时域时机变化的两个分析时域的性能评价结果进行比较时，同样需要繁冗的人工对比。

在另一个例子中，应用的性能可能随着性能评价的运行时状态而变化。例如，其性能可能随着操作环境、输入数据的大小、执行的重复次数等而变化。在这种情形下，对具有不同运行时状态的多个时域的性能评价进行人工对比，同样是繁冗的。

在本方案中，提出了用于应用性能评价和报告的***和方法。在所提出的性能评价和报告***的一个实施例中，该***使用户（例如是各种利害关系者）能记录对软件应用的单个段的评论及建议，并且把评论与其所对应的段相联系起来。该***通过配置，可以生成综合性的评价结果和分析报告，包括以多种文件形式存在的用户评论。这些评价结果和报告可以被应用的其他利害关系者所利用。而且，基于这些记录下来的建议，可以采取多种措施对应用的性能进行变换和改进。

在一个实施例中，该***也可以协助对不同分析时域的性能参数进行对比。例如，该***可以区分出在第一时域中分析的第一个应用和在第二时域中分析的第二个应用的相同的段，对该相同的段的性能参数进行对比，并生成一个对比报告。可以理解，第一个应用和第二个应用可以是应用的相同的或不同的版本。类似地，第一和第二分析时域可以具有同样的或不同的设置（例如硬件配置或运行时状态）。对比报告可以含有多种参数（如相同的段的段执行值、总的累计反应时间、平均反应时间）。该***可以协助对比两个或多个时域的评价结果，并且帮助诊断软件应用中的性能问题。

以下实施例是在示例性的***结构环境下描述的，但本发明的用于性能评价和报告的***和方法可以以多种不同的计算机***、在多种环境和配置下实施。

具体实施方式

图1显示了本发明的一个实施例的用于评价应用的性能的性能评价和报告***102。下文中，性能评价和报告***102也被称为PMR***102。PMR***102可以是多种传统计算机装置中的一种，包括服务器、台式私人计算机、笔记本电脑、便携式计算机、工作站、主机、移动式计算机装置或膝上型计算机。

在所述的实施例中，PMR***102包括一个或多个处理器104， 输入/输出（I/O）接口106，网络接口108，以及与处理器104相连的存储器110。 处理器104可以是一个或多个微处理器、微计算机、微控制器、数字信号处理器、中央处理单元、状态机（state machines）、逻辑电路，和/或任何通过操作指令操控信号的装置。在其它功能中，处理器104经配置，可读取和执行存储于存储器110中的计算机可读指令和数据。

I/O接口106可以包括多种软件和硬件接口，例如，***设备（如显示单元、键盘、鼠标、外部存储器、打印机等）的接口。网络接口108可以使得PMR***102可以与其他计算装置和***设备通信，比如web服务器、网络上的外部数据库。网络接口108可以协助多种协议和网络下的多路通信，例如有线网络（局域网（LAN）、电缆网（cable）等），和/或无线网络（如无线局域网（WLAM）、蜂窝网络（cellular）、卫星网络（satellite）等。）

在一个实施例中，PMR***102可以连接至公共网络或公司网络，该网络包含多个办公室私人电脑、膝上型电脑、各种服务器（如刀片服务器（blade servers））、数据库和其他计算装置。在另一个实施例中，PMR***102可以连接至私人网络或家庭网络，该网络仅有有限数量的私人电脑或膝上型电脑。在另一个实施例中，PMR***102可以是一个独立***。

存储器110可以包括现有技术中已知的任何计算机可读介质，例如，易失性存储器（如静态随机存储器（SRAM）、动态随机存储器（DRAM）），和/或非易失性存储器（如只读存储器（ROM）、可擦写可编程ROM、闪存、硬盘、光盘、磁带）。存储器110含有程序模块112和程序数据114。

程序模块112包括例行程序、程序、对象、部件、数据结构等，它们执行着特定的任务或执行特定的抽象数据类型。程序模块112还包括分析模块116、报告模块118、对比模块120和其他模块122。其他模块122可以包括用于补充RMP***102的应用和功能的程序或代码指令（例如操作***中的程序）。

处其他用途外，程序数据114用作一个存储库，用于存储由一个或多个程序模块112处理、接收、生成的数据。程序数据114包括性能数据124、报告数据126、对比数据128、以及其他数据130。其他数据130可以包括由程序模块112中的一个或多个模块（例如其他模块122）的执行而生成的数据。此外，程序数据114可以包括应用132-1…… 132-n，这将在下文解释。

操作时，为了进行性能评价，分析模块116可以访问一个或多个应用132-1、132-2…… 132-n（它们统称为应用132）。分析模块116可以通过I/O接口106从例如光盘（CD）驱动器接收应用132，或者可以通过网络或程序数据114来访问应用132。为了更好地阐明方案，图中应用132被显示为存储于程序数据114中。但应当理解的是，应用也可以作为程序模块112的一部分，或者位于外部存储装置或其他计算装置上。

在一个实施例中，分析模块116访问一个应用（例如，用于性能评价和报告的应用132-1）。应用132-1通常包括多个段，例如编码的方法、过程、功能，以及其他部分。分析模块116进而在一个分析时域（例如第一分析时域）中分析应用132-1。可以理解的是，一个分析时域指的是评价应用性能所持续的时间段。

为了分析应用132-1，分析模块116在多种条件下运行应用132-1，并测评在第一分析时域中执行的段的性能参数，从而获得一个参数数据集。性能参数可以包括一个或多个度量（metrics），例如CPU统计、内存统计、网络统计、I/O统计、数据库查询统计、反应时间统计、段相关统计、处理能力统计、线程统计、***进程相关统计、队列相关统计。可以理解的是，这是关于性能评价的提示性列表，并不意味着是穷举的或限制性的。分析模块116可以存储在性能数据124中的应用132-1的不同段所对应的测评参数数据集。

报告模块118进而生成一个时域报告，该报告提供关于不同段的参数数据集的总结。例如，时域报告可以含有片执行值、累计反应时间、各段的平均反应时间等。时域报告可以存储于报告数据126中。

进一步地，报告模块118通过用户接口（例如显示设备）将时域报告提供给用户。在另一个例子中，报告模块118也可以以一份输出文件或其他形式的文件（例如可移植文档格式（PDF）、电子数据表、表格形式、图表或其他任何由用户所设定的形式）提供这份时域报告。在另一个例子中，在时域报告中，报告模块118可以采用突出显示或其他技术来显示那些其中有一个或多个性能参数超出预设范围的段。预设的范围可以被提前储存起来，例如储存于性能数据124中，或者也可以由用户输入，例如在分析之前输入。可以理解的是，预设的范围基于所分析的应用和应用的技术说明而可随时域变化。

一旦将时域报告提供给用户，报告模块118可以提示用户提供关于改变或改进应用132-1的一个或多个段的性能的评论或建议。这些评论可以是关于以下的一个或多个方面：硬件设置、运行时状态、第一应用的一部分、时域时机、时域期间。

用户通过I/O接口106输入的评论被与相应的段相关联，并与在性能数据124中的参数数据集一起保存。在一个实施例中，多用户可以提供关于同一个时域报告的评论，并且该多个评论可以与参数数据集一起保存。在这种情况下，多个用户所提供的评论可以用例如用户名、颜色编码等进行标记。进一步地，从用户接收到的评论可以通过例如用户名、网络ID等被可视化地区分。报告模块118进而生成一个含有参数数据集及所记录的评论的综合报告。该综合报告也保存于报告数据126中，并且可进一步被利用，例如被致力于该应用132-1的应用团队所利用。

基于时域报告和用户评论，可以对多种要采取的措施进行决策，例如，关于应用132-1的编码、硬件设置、运行时状态、时域时机、时域期间等的措施。该应用随后被再次进行分析，例如作为应用132-2进行分析。可以理解的是，应用132-2可以是与应用132-1相同的或不同的版本。分析模块116在第二时域再次分析应用132-2，并生成一个如前所述的第二参数数据集。基于所决策的措施，第二分析时域可以在以下的一个或多个方面不同于第一分析时域：硬件设置、运行时状态、时域时机和时域期间。进一步地，如前所述，报告模块118可以生成时域报告，并且，如有需要，生成一份含有用户对应用132-2的评论的综合报告。这种分析和采取措施的过程一直重复，直至应用的性能与设定的要求相符。

在一个实施例中，用户可以选择对两个应用132-1和132-2分析过程中的两个分析时域中所生成的参数数据集进行直接地对比。在这种情况下，对比模块120识别出应用132-1和132-2中相同的段，并且将相同的段的参数数据集进行对比。基于参数数据集的对比，报告模块118进而生成关于相同的段的对比报告。

进一步地，报告模块118可以选择性地突出表示出参数数据集中不尽如人意的部分，或者与另一个段相比已经发生变化的部分。例如，与对应于应用132-2的第二时域相比，对应于应用132-1的第一时域可能具有更高的内存利用率，但可能具有较短的反应时间。因此，在对比报告中，报告模块118可以将第一时域中的内存利用率统计和第二时域中的反应时间统计突出显示出来，以供用户参阅。

在另一个实施例中，用户可以选择对多个时域的分析结果进行对比，这些分析结果可对应于不同版本的应用的分析，或不同的硬件设置，或不同的运行时状态，或不同的时域时机，或不同的时域期间，或它们的组合。在一个例子中，对比模块120识别出在多个时域中分析的应用之间的相同的段，并且对这些相同的段的参数数据集进行对比。在另一个例子中，对比模块120识别出相同的段，并且提示用户指出哪些相同的段需要进行比较。对比模块120进而对这些被指出的相同的段的参数数据集进行对比。

一旦对比模块比较了这些参数数据集，报告模块118可以以前述类似的方式生成一个对比报告。该对比报告也可以含有对比性的图表，并且选择性地将参数数据集中那些在多个时域中已经改进、恶化或改变的部分突出显示出来。在一个实施例中，对比报告也可以含有一个内存图表，由此用户可以将参数数据集发生的变化与应用内存利用率联系起来。并且，当一个或多个时域之前已被分析模块116分析过并且用户的评论已被记录下来时，对比报告可以包括将这些关于该一个或多个较早时域中的相同的段的评论。因此，用户可直接对多个时域的分析结果进行比较，对早前的评论进行学习，并对在时域中所采取的多种措施的效果进行分析。

图2基于本发明的一个实施例，阐释了用于性能评价和报告的方法200。图3基于本发明的另一个实施例，阐释了用于对比性能评价和报告的方法。

方法200和300可以以计算机可执行的指令的形式进行描述。通常来说， 计算机可执行指令可以含有例行程序、程序、对象、部件、数据结构、进程、模块、功能等，它们执行特定的功能或者执行特定的抽象数据类型。该方法也可以应用于分布式计算环境，其中功能是由通过通讯网络相连的远程处理设备来执行的。在分布式计算环境中，计算机可执行指令可以位于本地和远程计算机存储介质（包括存储器存储装置（memory storage device））中。

所述方法的描述顺序不应当理解为对发明方案的限制，所述的这些方法步骤可以以任意的数目及任意的顺序组合起来实现本发明方法或与本发明等同替换的方法。除此之外，在不脱离本发明精神及范围内，可删除某些单独步骤。并且，这些方法可以被用于任何合适的硬件、软件、固件或它们的组合中。

参阅方法220，在步骤202中，应用的性能在分析时域中被分析并生成参数数据集。例如，分析模块116可以通过执行应用132-1的多个段并测评在多种条件下的性能参数以获取参数数据集，从而分析应用132-1的性能。性能参数可以包括以下度量，例如CPU统计、内存统计、网络统计、I/O统计、数据库查询统计、反应时间统计、时域相关统计、处理能力统计、线程统计、***进程相关统计、队列相关统计。

在步骤204中，参数数据集被总结出来，生成一个时域报告。在一个实施例中，报告模块118生成一个时域报告，该报告提及了应用132-1的多个段，以及相对应的性能参数。例如计数数目、总反应时间、平均反应时间、最大反应时间、以及其他统计数据。报告模块118也可以将其中一个或多个性能参数超出预设可接受范围的那些段突出显示出来。

在步骤206中，接收用户的评论，用以改进性能评价，例如通过修改应用中的一个或多个段，或者通过改***件设置、运行时状态、时域时机或时域期间等来改进性能评价。例如，报告模块118可以提醒用户提供评论，并且可以通过例如键盘一类的输入装置来接收这些评论。

在步骤208中，用户的评论与对应的段联系起来。在一个实施例中，报告模块118将用户评论与所对应的段联系起来，并将相关的评论保存于性能数据124中。

在步骤210中，生成一份含有关于多个段的参数数据集及用户评论的综合报告。这个综合报告可以被多个利益相关者（例如软件开发商、数据库管理员、项目管理者等）所采用。该综合报告可以由报告模块118生成。

进一步地，可对多个时域（即，两个或更多个时域）的性能度量进行直接对比，例如，如方法300中的一个实施例所示。

在步骤302中，接收来自应用的两个或多个分析时域的参数数据集。在一个实施例中，分析模块116可以产生“n”个时域，并生成关于这“n”个时域的参数数据集。“n”个时域可以对应于以下一种或多种情况的组合：应用的不同版本、或不同硬件设置、或不同运行时状态、或不同时域时机或不同时域期间。

在步骤304中，多个时域中所分析的应用之间相同的段被区分出来，并且这些相同段的参数数据集被对比。在一个实施例中，对比模块120区分出相同的段。

在步骤306中，通过利用对应于一个或多个相同的段的参数数据集生成一份对比报告。例如，报告模块118可以提醒用户选择一个或多个相同的段和/或参数用于对比。报告模块118可以进而生成关于这些所选的段的对比报告，该对比报告可以含有对比性的图表，并选择性地将多个时域中发生变化的参数突出显示出来。该对比报告也可以含有一个内存图表，由此用户可以将参数数据集的变化与应用的内存利用率联系起来。进一步地，当用户关于一个或多个时域的评论被记录下来时，对比报告可以含有与这些所选的段相关的评论。

因此，应用在一段时间周期内的性能变化可被有效地追踪和分析，从而有助于产生和提供满足商业上、技术上、功能上的多种需求的有效的软件应用。

尽管本发明中以特定的结构特征和/或方法来描述性能评价和报告的实施例，但应当理解的是，本发明并不受限于这些特定的结构特征和方法。这些特定的结构特征和方法仅仅是作为本发明性能评价***和方法的一个具体实施例。

Claims (11)

1.用于应用性能评价和报告的计算机执行的方法，所述方法包括：

在第一分析时域中生成关于应用的段的性能的第一参数数据集；

基于所述第一参数数据集产生时域报告；

部分地基于所述时域报告，接收关于所述应用的一个或多个段的评论；

基于所述第一参数数据集和所述评论提供综合报告；

接收第二参数数据集，该第二参数数据集对应于在第二分析时域中分析的第二应用；

识别第一应用与第二应用之间相同的段；

为被识别的相同的段，对对应于第一应用的该第一参数数据集和对应于第二应用的该第二参数数据集进行对比；以及

基于所对比的第一参数数据集和第二参数数据集，生成关于至少一个相同的段的对比报告，其中所述对比报告含有相同的段的段执行值、总的累计反应时间、平均反应时间。

2.如权利要求1所述的计算机执行的方法，其中性能参数包括以下的至少一个方面：处理器利用率、内存利用率、网络利用率、输入/输出利用率、数据库查询统计、反应时间相关统计、时域相关统计、处理能力统计、进程线程统计以及队列相关统计。

3.如权利要求1所述的计算机执行的方法，所述方法还包括：

确定所述第一参数数据集中的性能参数是否超出预设的范围；以及

当确定超出预设的范围时提醒一个或多个用户提供评论。

4.如权利要求1至3任一项所述的计算机执行的方法，其中所述评论是关于以下的至少一个方面：硬件设置、运行时状态、第一应用的一部分、时域时机以及时域期间。

5.如权利要求4所述的计算机执行的方法，其中从一个或多个用户所接收到的所述评论基于用户名和网络ID的至少一项而被可视化地区分。

6.如权利要求1所述的计算机执行的方法，其中所述第二应用是以下中的至少一种：第一应用和第一应用的修改版本。

7.如权利要求6所述的计算机执行的方法，其中所述对比报告含有至少一个部分地基于所述时域报告的评论。

8.如权利要求1所述的计算机执行的方法，其中生成对比报告的过程包括：在所述对比报告中，以可视化的方式显示对应于一个或多个相同段的参数数据集的性能参数的变化。

9.用于性能评价和报告的***（102），所述***包括：

处理器（104）；以及

存储器（110），其与处理器（104）相连，所述存储器（110）包括：

分析模块（116），用于分析第一应用的性能，并生成关于第一应用中执行的段的第一参数数据集；

报告模块（118），用于接收评论，以改变一个或多个段的性能；并基于第一参数数据集和评论中的至少一个而生成报告；和

对比模块（120），用以识别两个或更多个应用间的相同的段。

10.如权利要求9所述的***，其中所述报告模块（118）还被配置成：

确定第一参数数据集中的至少一个数据点是否偏离于预设的范围，以及

当确定超出预设的范围时在时域报告中显示偏差。

11.如权利要求10所述的***（102），其中报告模块（118）还被配置成：

确定一个或多个相同的段的性能是否在两个或多个应用间发生变化；

当确定发生变化时在对比报告中显示出性能的变化。