CN102880543A - 用于集成测试平台的测试数据供应链管理器 - Google Patents

Abstract

本发明涉及用于集成测试平台的测试数据供应链管理器。提供了一种在集成测试平台中为测试脚本供应测试数据的方法，其中所述测试平台包括被配置成将测试脚本转发给选定的测试个体的优先化和指派管理器。如果对应的输入数据集合可用，则将每个测试脚本映射到输入数据集合。监控向所述优先化和指派管理器提出的对测试脚本的请求，并且如果待响应于所述请求供应的所述测试脚本具有对应的映射的输入数据集合，则从数据库获取所述对应的输入数据集合，以及在执行所述测试脚本之前，向所述测试脚本提供所述输入数据集合。

Description

用于集成测试平台的测试数据供应链管理器

相关申请的交叉引用

本申请要求于2011年4月18日递交的、序列号为61/476,489的美国临时专利申请的权益，在此通过引用将该申请全文并入于此。

技术领域

本公开涉及软件测试，并且更具体地，本公开涉及用于开发、调试和执行测试以确保软件***的完整性和功能性的集成平台。

背景技术

计算机软件的开发涉及严格的测试过程，以确保软件如预期运行。在测试过程期间，测试者编写各种测试脚本，以执行确保计算机软件按设计运行所需的不同类型的测试。测试者还设置和运行测试脚本，同时追踪结果，并且向适当的人员报告测试结果。该过程效率不高且耗时，并且需要大量测试者参与。

此外，随着商业继续依赖于计算机软件和复杂的软件包，已经开发了越来越多高度复杂的计算机软件来满足商业需求。由于增加的复杂度和规模，此类软件程序要求大规模的测试过程，该测试过程涉及比先前所需更多的测试者和测试脚本。此类增加与将它们的测试集中起来并且转移到外包测试模型的组织有关。传统的测试“嵌入”在针对每个项目的***开发生命周期(SDLC)中，而现在组织中存在集中的“离散”测试功能，其跨多个项目和发布(release)进行测试。

已经开发了测试工具来辅助测试者执行测试过程的各个步骤。然而，现有测试工具不能够提供为克服由大规模测试过程造成的挑战所需的功能和效率。

对各种产品和/或软件产品进行测试的复杂度和范围已经增加。在过去，相对小团体(数目可能为10个到30个)的设计者和开发者开发用于测试和验证软件模块或者代码段的功能的各种测试。此类个体的小团体曾经是易于管理的。然而，随着对项目做出贡献的个体的数目变大，冗余和复杂度增加，这导致增加的成本和错误数目的增加。因此，存在对处理上述问题的需要。

发明内容

下一代测试***(NGT)提供用于软件测试的集中的开发、调试和实现的管理服务平台，其中几百或可能几千个个体可以协作以开发和实现形成测试套件的模块或者测试脚本的大型阵列。下一代测试***不仅限于测试软件模块，而是还可以用于测试硬件，前提是向测试***提供反映硬件的状态的测试结果信号和指示符。

例如，下一代测试***可以由组织或者软件开发机构使用，以测试和验证大型软件包或者应用、或者应用的集合(诸如会计***、进销存***(invoicing system)、操作***版本发布或者任何其他***)的功能和操作。下一代测试***可以在测试“工厂”中使用，在该工厂中，好几百个个体对相同或者相似产品执行最终测试或者质量控制测试，例如，在发布之前的PC操作***测试。

下一代测试***可以用于开发和调试测试，并且还可以用来实现最终测试程序，以在运送之前验证正在测试的实际产品的发布或者最终质量控制。下一代测试***可用于a)规划和开发用于发布的产品的测试；b)规划和估计开发测试过程所需的努力或人力；c)管理准备过程；d)管理测试脚本向测试人员的分布；以及e)对测试过程进行自动化。

在集成的测试平台中提供了一种为测试脚本供应测试数据的方法，其中测试平台被配置成组织、管理和促进由测试个体准备的对测试脚本的调试。该方法包括测试数据供应链，该测试数据供应链被配置成如果对应的输入数据集合可用，则将该输入数据集合映射到每个测试脚本。监控对优先化和指派管理器提出的针对测试脚本的请求，并且如果将响应于请求而供应的测试脚本具有对应的映射的输入数据集合，则从数据库获取对应的输入数据集合，以及在执行该测试脚本之前向测试脚本提供输入数据集合。

在查看了附图和详细描述之后，***、方法、特征的其他实施方式及其对应的优点将对本领域技术人员而言变得容易理解。旨在使所有此类附加的***、方法、特征以及优点被包括在本说明书内、在本发明的范围内并且使它们由以下权利要求所保护。

附图说明

参照以下附图和描述，可以更好地理解该***。在附图中的部件未必按比例绘制，而是对图示本发明的原理加以强调。此外，在附图中，类似的参考标记贯穿不同的视图指代对应的部件。

图1是示出了下一代测试***的主要部件的具体实施方式的高层框图；

图2是使用下一代测试***的整体测试过程的示图；

图3是模块化脚本设计器的具体实施方式的用户界面的逻辑示图；

图4是模块化脚本设计器的实施方式的屏幕截图；

图5是模块化脚本设计器的实施方式的屏幕截图；

图6是示出了下一代测试***可以在其中操作的机器环境的高层框图；

图7是计算机***的高层框图；

图8是NGT***的实施方式的逻辑示图；

图9是NGT***的实施方式的逻辑示图；以及

图10是NGT***的另一实施方式的高层硬件框图。

具体实施方式

图1是示出了下一代测试***100的8个部件的高层框图，其包括：测试规划工具110、模块化脚本设计器120、优先化和指派管理器(PAM)130、测试执行工具栏140、自动化控制器150、测试数据供应链控制器160、报告门户170和缺陷管理工具180。

下一代测试***100可以是与现有或者底层基本测试工具集成的工具套件。因此，下一代测试***100不是必须替代现有的管理工具和开发工具，而是提升增加扩展此类现有工具的能力。下一代测试***100充当在现有的管理工具和开发工具顶部的层。

图2是使用下一代测试***100的整体测试过程的示图。测试过程可以包括：测试规划阶段202、测试准备阶段204和测试执行阶段206。从测试规划阶段202到测试准备阶段204，以及从测试准备阶段204到测试执行阶段206的转换可以涉及工作指派208。测试规划阶段202可以包括划定(scoping)210、估计212以及寻找资源214。测试准备阶段204可以包括：设计新脚本222、优化回归包224、准备测试数据226和开发自动化测试228。测试执行阶段206可以包括：分配测试数据232、执行手动测试234、执行自动化测试236和缺陷管理238。下一代测试***100还可以包括贯穿测试过程的所有阶段的报告能力240。下一代测试***100可以跨所有测试阶段提供增加的效率和功能性。

回到图1，测试规划工具110估计和规划在特定软件发布开始时所涉及的准备、工作和人力需求。测试规划工具110提供对测试各个测试脚本所需的多个技能集合以及与可用的测试人员相关联的不同技能组的指示。测试规划工具110还提供辅助的估计。测试规划工具可以使用三阶段过程来以增加的精确度水平提供估计。使用来自先前发布的信息来改善估计。可以使用针对客户端特定的计算的可插拔架构。测试规划工具110还提供需求到测试的解构。

测试规划工具110辅助用户将需求分解成所需数目的测试。协作工作能力允许分而治之(divide and conquer)途径。测试规划工具110还通过技能提供资源预测。测试规划工具110可以允许对支持测试活动所需的技能的早期预测并且呈现可用性对比需求的图形化显示。测试规划工具110还通过促进交叉技能(cross-skilling)来帮助测试组织成形。测试规划工具110还提供回归包建议。使用元数据驱动途径，***建议适当的回归包。基于风险的测试分数可以用来相应地确定包的大小。测试规划工具110主要对需要测试哪些项目、执行测试需要哪些技能集合以及所提供的资源中是否存在所需的技能进行量化。

模块化脚本设计器120用于以模块化方式设计新的测试或者测试脚本，并且通过使已经由其他设计者、工程师、或者测试个体编写的测试脚本的益处最大化来增加测试努力和组织的效率。这通过重新使用在功能上已经被验证的、其他人已经创建的测试脚本来避免冗余。模块化脚本设计器120还提供对模块而不是对完整脚本的重新使用，这是由于脚本是由若干个测试模块组成，并且其中每个模块表示测试的逻辑部分，例如，到应用的登录。

模块化脚本设计器120对新创建的测试脚本的创建及存在与同下一代测试***100相关联的所有测试人员进行协调，并且验证测试脚本适于其测试目的。这减少了测试个体之一创建冗余的测试脚本的机会，并且还向测试个体提供所考虑的测试脚本适于他或她在目标***中的目的的指示。

由测试个体或者测试创建者使用模块化脚本设计器120创建的每个测试脚本包括关联数据，这些数据对应于测试脚本的认可历史(approval history)以及相对于在所考虑的测试脚本之前或者之后执行的其他测试脚本而言测试脚本的功能位置和等级。测试脚本的关联数据还包括对测试脚本的功能的描述，以及标识针对其使用测试脚本的产品的描述。

一旦已经使用模块化脚本设计器120设计了测试脚本，便将其保存并且最终上传到标准测试工具，标准测试工具可以是由下一代测试***100使用的分离且独立的可商购测试设备或者***。如上所述，下一代测试***100并不替代低层或者基本测试工具。例如，基本测试工具可以是Hewlett Packard HP Quality Center^TM测试工具、IBM Rational Quality Manager或者其他可商购的基本测试工具，这些基本测试工具可以在下一代测试***100的控制和指导下运行。下一代测试***100与所有各种基本测试工具集成在一起，并且允许去往和来自各种基本测试工具的通信。

图3是MSD 120的具体实施方式的用户界面的逻辑示图。MSD120可以允许测试者基于现有的模块库快速设计新脚本。当需要新模块时，测试者可以在MSD 120内创建该模块。使用MSD 120，测试者可以录入关于测试的信息和执行测试所需的技能(304)。测试者可以从数据目录选择测试数据的类型(306)。测试者还能够录入关于当前模块的元数据并且设置模块的输入参数(308)。MSD 120还可以示出当前测试脚本的概述。概述可以示出针对当前测试脚本所选择的模块(310)。在需要时可以使用MSD 120来创建新模块(312)，并且测试者能够搜索具体模块(314)。MSD 120还可以自动示出前5个紧接其后的模块，测试者很可能接下来使用这些模块(316)。可以显示任何其他数目的可能的紧接其后的模块。基于现有测试的知识确定最可能的紧接其后的模块。MSD 120可以允许测试者将模块拖放到脚本中(318)。MSD 120还可以显示测试步骤信息以供测试者参考(320)。

图4示出了MSD 120的实施方式的屏幕截图400。用户界面可以包括多个屏幕或者标签，这些屏幕或者标签包括如在图4中更详细示出的细节标签402、前提标签404、脚本标签406、输出/输出标签408、完成标签410。多个屏幕或者标签可以通过向用户显示选项和信息并且提示用户输入信息来创建或者设计脚本而引导用户完成脚本设计过程。例如，用户可以通过点击文件按钮而访问功能的下拉列表并且在其中进行选择而在细节标签402上开始，功能的下拉列表包括打开脚本、新脚本、查看脚本、克隆脚本或者保存草稿。测试者还可以在细节标签402上输入关于脚本的关键信息。关键信息可以包括脚本头部414、脚本名称416、脚本描述418、测试属性的名称和值420、完成脚本执行所需的技能422、以及针对脚本的需求参考。用户可以从在细节标签402上显示的技能列表选择所需技能422。所需技能422稍后可以用来将脚本指派给相关的测试者和认可者或者合格的测试者和认可者。细节标签402还可以包括保存草稿按钮424，用户可以点击该按钮以保存所录入的脚本信息。在前提标签404上，MSD 120可以显示和允许用户修改用于执行脚本的前提，其可以包括数据类型、数据注释以及其他前提。其他实施方式可以包括更少、附加的或者备选的屏幕或者标签，以向用户显示脚本选项和信息，以及以接收关于脚本的用户输入。

如图5中所示，脚本标签406可以向用户显示在测试脚本中的所有模块，并且允许用户通过创建新模块、编辑现有模块或者克隆现有模块而向脚本添加模块。用户还可以输入关于模块的数据，包括例如模块名称502、模块状态504、模块版本506以及模块描述508。用户界面还可以在窗格(pane)中向用户显示多个选项，包括待包括在脚本中的建议的模块510，以及用于搜索模块的选项512。

用户可以通过点击和拖动所选模块到当前脚本字段514中来从建议的模块510中选择模块。用户可以输入关于模块的附加信息，包括模块链接到的部件(从配置管理数据库(CMDB)和任何其他元数据中拉出)。用户界面可以向用户显示关于脚本的其他信息，包括例如模块步骤516、针对每个模块步骤的测试步骤518、针对每个模块步骤的预期结果520、当前脚本步骤514、属性名称522、属性值524以及参数526。用户可以点击“添加到脚本”按钮528来将模块添加到脚本。

优先化和指派管理器130是下一代测试***100的重要元件。优先化和指派管理器130追踪作为数据库中的列表的一部分的测试套件中的所有测试或者测试脚本，并且基于优先化因子和指派因子的给定集合向每个个体测试脚本指派优先级。

优先化因子可以是脚本属性，包括例如故障的影响、故障的似然性、提前期(lead time)、商业优先级、估计的努力、以及测试结束日期。优先化和指派管理器130可以使用优先化因子来指派数字评级给脚本，以用于栈排序，例如以评估脚本的执行的优先级。

指派因子可以是被评估以相对于可用于测试的脚本集合对用户进行加权的用户属性，并且可以是指派给个体用户的脚本的数字值。指派因子可以包括例如，所需技能、测试者的技能、脚本状态、脚本工作流、测试者工作流、脚本作者、用户与脚本或者其前任的先前经历、以及关于脚本被指派给的测试者的信息。优先化和指派管理器130可以使用指派因子来向个体用户的脚本指派数字值。特定测试脚本的优先级决定其在测试队列中的位置。优先化和指派管理器130可以使用优先化因子和指派因子一起来在请求时匹配脚本并且将其指派给用户。

优先化和指派管理器130利用实时指派逻辑提供测试脚本的集中的自动化的优先化。所有测试脚本均基于因子的集中集合来优先化，其可以被配置成集中地影响整个测试操作(例如，以改善相对于KPI(关键过程指示符)的性能)。优先化和指派管理器130还提供基于技能的指派，并且提供拉出而不是压入途径。测试者可以点击在他们的台式机屏幕上的“获取紧接其后的”图标以被指派给待执行的紧接其后的脚本。紧接其后的脚本被基于加权指派因子实时地选择。

用来指派优先级给脚本的每个因子可以被加权。在一个示例中，可以向开发者呈现具有对应于每个测试脚本的多个滑块或者按钮的屏幕。向右移动滑块可以增加与对应的测试脚本相关联的优先级水平，而向左移动滑块可以减小与对应的测试脚本相关联的优先级水平。因此，测试者可以基于测试者的判断和专业技能向测试脚本指派优先级水平。各个测试脚本的优先化可以影响所有各个测试脚本之间的关系和交互。优先化和指派管理器130可以在从测试脚本创建者接收到输入之后以批处理模式执行优先化功能。

与测试脚本的所指派的优先级相关联的某些因子可以具有反馈或者决策树能力，从而使得例如如果执行了测试且返回故障指示，则优先化和指派管理器130可以标识可能由该故障影响的其他测试脚本。

优先化和指派管理器130还向下一代测试***100中的每个测试脚本指派技能集合，以优化对人力人员的使用。例如，基于特定测试个体的技能集合将各个测试脚本指派给测试人员。

例如，测试者可以点击屏幕上的“获得紧接其后”按钮或者图标，以请求将新的测试脚本发送给该测试者。优先化和指派管理器130可以访问包含每个测试者的技能集合的数据库，并且基于测试者的技能集合和测试脚本所需的技能集合来将下一最高优先级测试脚本指派给该测试者，从而优化***和测试人员整体的生产率。一旦测试者接收到测试脚本，他或者她将运行测试脚本。

优先化和指派管理器130还可以提供针对新因子的可插拔框架。新决策因子可以通过定义新的因子类来添加。该因子可以通过用户界面呈现，并且可以在决策逻辑中加权。这可以用来支持高级的“应用统计学”决策模型。

测试执行工具栏140是在测试者的计算机屏幕上可见的工具栏，并且其提供对测试者可用的每个主要工具，以及测试者可能或者必须调用的每个主要测试的指示。其向测试者便利地显示，以增加效率。测试执行工具栏140可以提供线上(in-line)测试执行。测试执行工具栏140允许测试者加载测试、执行测试以及记录来自工具栏的状态。

可以直接在工具栏内打开测试脚本，这节省测试者的台式机上的空间，并且避免在屏幕间的某些击键(诸如ALT-Tab)。缺陷发生和屏幕捕获可以是该过程的一部分。测试执行工具栏140还可以提供嵌入的认可列表。所有模块/脚本认可可以在工具栏中示出，并且认可者可以快速打开相关的脚本/模块以用于认可。测试执行工具栏140还允许快速访问所有NGT工具。可以提供快速启动栏，以支持测试者快速访问所有的NGT工具。工具栏还可以处理NGT的登录管理。用户简档部分可用以改变用户信息。测试执行工具栏140还可以停驻在自动隐藏功能中。测试执行工具栏140可以停驻在屏幕的左侧，并且其可以被选择成可见或者自动隐藏。可扩展框架允许向工具栏添加附加的面板。测试执行工具栏140可以与优先化和指派管理器130集成，以允许测试者请求应当运行的紧接其后的测试。

自动化控制器150是可以在虚拟机上运行的应用，诸如在服务器群或者“云”环境中的计算机器中。自动化控制器150可以与优先化和指派管理器130通信，以请求测试队列中的紧接其后的测试脚本，并且促进使用以上描述的诸如HP Quick Test Pro之类的基本测试工具来打开测试脚本。

自动化控制器150可以使用基本测试工具来执行测试脚本，并且将结果记录回到基本测试工具中。继而，请求紧接其后的测试脚本，并且重复该过程。自动化控制器150还提供模块化设计和部分自动化。自动化脚本可以被开发为模块，并且每个自动化模块可以具有向其映射的一个或多个手动模块。部分自动化支持对脚本的自动化部分的快速执行。基本上，在可行时使用自动化控制150以对测试脚本的执行进行自动化。

自动化控制器150的附加特征尝试使与自动地运行的每个测试脚本相关联的“投资回报”(或者“ROI”)最大化。自动化控制器150选择共同提供最大ROI的测试脚本来自动化。是否使用自动化控制器150来对特定测试脚本进行自动化的选择可以基于与测试脚本相关联的ROI。例如，特定测试脚本可以是处理由用户进行的初始登录的测试脚本。由于处理由用户进行的初始登录的测试脚本可以由上百个不同的测试脚本使用而没有变化，所以该测试脚本提供较高的ROI，由此该测试脚本可以是用于自动化的良好候选。ROI基本上是通过测试脚本的自动化实现的对增加的效率的测量。

图6是示出了下一代测试***100可以在其中操作的机器环境以及各种硬件和软件部件之间的互连的高层框图。每个测试个体可以具有专用PC或者其他计算机，称为统一台式机630。统一台式机630包含下一代测试***100的各种模块，诸如测试规划工具110、模块化脚本设计器120、执行工具栏140、以及缺陷管理工具180，其作为“.Net”客户端运行。

优先化和指派管理器130、测试数据供应链160及其相关联的控制器可以与被配置成调度和处理各种任务的执行的工作流***一起驻留在服务器632或者中央服务器上。然而，还可以使用多个服务器。工作流***可以由Microsoft Windows Workflow Foundation提供，其还可以在服务器的一个或者多个服务器上执行。

集成层634提供统一台式机630、数据库636、优先化和指派管理器130以及测试数据供应链160之间的通信和功能。数据库636存储所有的测试脚本和其他所需数据。集成层634可以是驻留在服务器632上和在客户端机器(诸如统一台式机630)上的“dll”文件，并且可以用作共同API接口。集成层634借助于可插拔架构从下游基本测试工具638(诸如HP Quality Center工具644或者IBM RationalQuality Manager 646)解耦合。

优先化和指派管理器130和测试数据供应链160及其相关联的控制器在工作流***下执行，其驻留在服务器632上。自动化控制器150优选地驻留在分离且独立的服务器或者服务器集合650上。运行自动化控制器150的服务器可以与运行统一台式机630的计算机类似，这是因为自动化控制器150在执行测试脚本时主要仿真统一台式机。

自动化控制器150从优先化和指派管理器130接收优先化的测试脚本，并且访问多个虚拟机640以执行其测试。虚拟机640可以是“基于云”的机器。每个虚拟机640包括功能测试自动化工具，诸如HP Quick Test Pro(称为QTP)，其从优先化和指派管理器130接收测试脚本，并且继而执行该实际的测试脚本。来自测试的结果通过集成层634报告回来。

测试数据供应链160监控每个测试脚本所需的测试数据的量和类型，并且还监控可用的这种数据的当前可用量。如果可用数据的库存即将用尽，则测试数据供应链160请求附加的测试数据。测试数据供应链160创建测试脚本与该测试脚本所需的数据的类型和量之间的映射，以便正确且高效地执行。测试数据供应链160促进需求管理的自动化以及向测试脚本供应所需测试数据。

数据库636包括数据目录，其存储对应于各种测试脚本而建模和存储的各种类型的数据的列表和/或定义。这可以增加生产率和效率，因为测试个体或者设计者可以查阅数据目录，并且如果可行，则选择对应于新创建的测试脚本的数据输入和/或预期输出的“定型的(canned)”集合，而不是具体地设计和存档针对每一个测试脚本的数据输入。数据库636还可以包括仓库，其存储可用的数据类型的实例，或者数据的库存。

当使用模块化脚本设计器120来创建测试脚本时，脚本创建者指定测试脚本所需的数据的类型，并且可以还指定由于运行该测试脚本而生成的输出数据的预期类型。例如，如图5中所示，创建者可以指定脚本模块包括测试步骤1(528)，其要求输入电话号码，以及步骤2(530)，在该步骤中点击搜索按钮的预期结果520是显示顾客细节。继而，测试所需的测试数据的类型包括电话号码和顾客细节。这本质上对测试脚本的输入和输出参数进行量化。由于向待由优先化和指派管理器130处理并且此后执行的测试脚本队列添加了不同的测试脚本，所以测试数据供应链160以有效的方式组织针对测试脚本的对应数据，以优化对应的测试脚本所需的输入数据的管理。

如果在测试脚本的开发和创建期间，测试个体确定特定的测试脚本可以利用存储在数据目录中的特定的数据模型，则测试数据供应链160自动将来自数据目录的所需数据输入直接映射到测试脚本，以避免手动干预。备选地，测试个体可以输入部分数据请求，并且测试数据供应链160可以基于部分数据请求确定存储在数据目录中的特定数据模型是否包括测试脚本的所需数据。部分数据请求可以是来自测试个体的输入，诸如是对针对测试脚本可能所需的一个或者多个具体实体或者属性的选择。响应于部分数据请求，测试数据供应链160可以通过针对包括由测试个体录入的一个或者多个具体实体或者属性的数据类型搜索数据目录而找到并且自动将数据类型映射到测试脚本。因此，当执行测试脚本时，测试数据供应链160在适当时间自动提供所需数据。此外，可以指定支持基本数据挖掘能力的规则。

例如，如果50个具体测试脚本要求输入数据类型“A”并且27个具体测试脚本要求输入数据类型“B”，则测试数据供应链160可以组织针对每个脚本的所需数据类型，并且以“恰好够用(just-in-time)”方式向测试脚本提供相应的输入数据类型“A”或者“B”数据，以避免冗余、增加效率并且减少复杂度。

附加地，贯穿测试过程的生命周期，这种测试数据可以基于特定测试脚本的结果改变。因此，测试数据供应链160追踪所需改变，并且更新对应的测试脚本所需的数据集合，从而使得当测试脚本被执行时，随着测试脚本的执行，最新的测试数据可用。

如上所述，测试数据供应链160在适当的时间向测试脚本提供适当的数据。某些测试脚本可以要求数据的顺序供应，这可以随着测试脚本的执行而改变。因此，测试数据供应链160监控对这种数据的需求相比于所有类型的数据的容量。随着数据由测试脚本消耗，测试数据供应链160监控并且更新来自数据目录的可用数据的水平。

测试数据供应链160还可以通过指派更大量存储的数据类型来管理可用数据类型的库存水平。当测试数据供应链160接收部分数据请求时，测试数据供应链160可以确定数据目录中的哪个数据类型包括所需实体或者属性。继而，测试数据供应链160可以确定哪个包括所需实体或者属性的数据类型具有最高水平的可用库存，并且将该数据类型指派或者映射给测试脚本。

例如，数据类型“A”可以包括顾客账户信息，诸如顾客标识符、账单地址、电话号码、生日以及针对多个顾客的信用评级。数据类型“B”还可以包括顾客账户信息，但是仅包括顾客名称、账单地址和电话号码。如果测试脚本仅要求电话号码，则数据类型“A”和“B”这两者均为适当的数据类型。测试数据供应链160可以基于每个数据类型的需求和库存水平确定指派这两种数据类型中的哪种。

测试数据供应链160与优先化和指派管理器130通信，以避免执行不具有可用的所需输入数据类型的测试脚本，或者这种输入数据的库存水平较低的测试脚本。如果测试脚本要求附加的测试数据而这种测试数据当前不可用，则测试数据供应链160请求优先化和指派管理器130发布任务请求给测试个体，从而使得具有所需技能水平的测试个体可以为请求这种测试数据的测试脚本准备附加的测试数据。备选地，在测试数据准备完全自动化的情形中，这种请求将对自动化控制器150而不是对优先化和指派管理器130提出。

测试数据供应链160还可以提供以下功能：预测每个数据类型的需求、标识何时针对数据类型的库存水平下降到针对该数据类型的预测需求之下、基于先前发布确定数据的所需偶然性(contingency)、触发自动化的数据提供、以及接受来自自动化的提供过程的新数据项、基于测试步骤和参数在数据项被返回到仓库时确定数据项的状态。

测试数据供应链160的用户可以包括测试者或者测试个体，以及测试数据团队成员。以下表格示出了测试数据供应链160可以向用户提供的功能。测试数据供应链160的其他实现方式可以包括更少的、附加的或者其他功能和用户。

测试数据供应链功能表

报告门户170处理下一代测试***100的报告功能。报告门户170可以基于Microsoft Business Intelligence***，该***是可商购的软件包。报告门户170还包括离线数据仓库(“DW”)以避免测试工具退化。可以维护离线DW，以避免直接对外部测试工具的查询。将基于维度的数据模型用于简化的报告。此外，在多维在线分析处理(“MOLAP”)数据库中将数据预聚合，以提供快速分析。报告门户170还提供基于立方(cube-based)的度量和KPI。使用SS分析服务，可以已经预定义了测量和目标，其可以包括在报告中。可从Microsoft Corporation获得的电子制表插件PowerPivot允许在诸如Microsoft Excel^TM之类的电子制表程序中快速分析数据以用于特别(ad-hoc)报告。此外，报告门户170提供与诸如MicrosoftSharePoint^TM之类的解决方案的集成。当需要来自与HPQualityCenter^TM不同的***的数据(例如，金融/生产数据)时，该解决方案可以从诸如Microsoft SharePoint^TM之类的解决方案接收数据。SSIS部件允许该解决方案在需要时容易地扩展到直接数据源。报告门户170提供到下一代测试***100的各个模块的接口，并且处理所有报告生成、报告格式操纵、以及其他报告功能。

缺陷管理工具180允许每个测试个体在测试过程中快速标识和追踪缺陷。基于正在执行的当前测试，将预填充缺陷的各个字段。缺陷管理工具180可以简化产生、追踪和更新缺陷的过程。缺陷管理工具180可以提供缺陷观察列表。可以提供利用实时的红色、琥珀色或绿色(RAG)状态指示符的基于工具栏的缺陷列表。红色状态指示高风险或者严重的项目问题，琥珀色状态指示中等风险，而绿色状态指示低风险。缺陷管理工具180可以允许快速访问缺陷的全部信息，以查看最新状态。

缺陷管理工具180还可以利用测试历史提供线上缺陷产生。在通过工具栏执行测试时，可以捕获测试步骤和屏幕截图。当发生缺陷时，将该信息预填充到缺陷中。屏幕截图和其他附件可以直接更新。缺陷管理工具180还减少了“alt-tab”操作。通过在工具栏中包括核心缺陷管理，缺陷管理工具180能够减少“alt-tab”到外部测试***(诸如HP Quality Center^TM)的需要。缺陷管理工具180还支持脚本的自动化解阻塞，以进一步避免花费在外部测试***上的时间。缺陷管理工具180还提供基于团队的视图。管理者具有“团队视图”，以支持他们查看当前影响他们的团队的缺陷的相关尺寸和状态。

下一代测试***100可以被体现为与计算机硬件部件协作的***和/或体现为计算机实现的方法。下一代测试***100可以包括多个软件模块或者子***。模块或者子***可以在硬件、软件、固件，或者硬件、软件和固件的任何组合中实现，并且可以驻留在单个物理或者逻辑空间中，还可以不驻留在其中。例如，在本文献中涉及的、可以在附图中示出或者可以不在附图中示出的模块或者子***可以彼此远程地定位，并且可以通过通信网络耦合。

图7是计算机或者机器700的一个实施方式的高层硬件框图，计算机或者机器诸如服务器632和650、执行统一台式机630的PC、以及虚拟机640。下一代测试***100可以被体现为与计算机硬件部件协作的***和/或体现为计算机实现的方法。下一代测试***100可以包括多个软件模块或者***。模块或者子***可以在硬件、软件、固件，或者硬件、软件和固件的任何组合中实现，并且可以驻留在单个物理或者逻辑空间中，还可以不驻留在其中。例如，在本文献中涉及的、可以在附图中示出或者可以不在附图中示出的模块或者子***可以彼此远程地定位，并且可以通过通信网络耦合。

计算机或者机器700可以是个人计算机或者服务器，并且可以包括各种硬件部件，诸如RAM 714、ROM 716、硬盘存储设备718、高速缓存存储器720、数据库存储设备722等(还称为“存储器子***726”)。计算机700可以包括任何适当的处理设备728，诸如本领域中已知的计算机、微处理器、RISC处理器(精简指令集计算机)、CISC处理器(复杂指令集计算机)、大型计算机、工作站、单片机、分布式处理器、服务器、控制器、微控制器、离散逻辑计算机等。例如，处理设备728可以是Intel

微处理器、x86可兼容微处理器、或者等效设备，并且可以被并入到服务器、个人计算机、或者任何适当的计算平台中。

存储器子***726可以包括任何适当的存储部件，诸如RAM、EPROM(电可编程ROM)、快闪存储器、动态存储器、静态存储器、FIFO(先进先出)存储器、LIFO(后进先出)存储器、环存储器、半导体存储器、磁泡存储器、缓冲器存储器、盘存储器、光学存储器、高速缓存存储器等。可以使用任何适当形式的存储器，无论其是磁介质上的固定存储设备、半导体设备中的存储设备，还是可通过通信链路访问的远程存储设备。用户或者***接口730可以耦合到计算机700，并且可以包括各种输入设备736，诸如可由***管理器和/或键盘选择的开关。用户接口还可以包括适当的输出设备740，诸如本领域中已知的LCD显示器、CRT、各种LED指示灯、打印机和/或语音输出设备。

为了促进计算机700与外部源之间的通信，通信接口742可以可操作地耦合到计算机***。通信接口742可以是例如，局域网、诸如以太网、内联网、因特网或者其他适当的网络744。通信接口742还可以连接到公共交换电话网络(PSTN)746或者POTS(普通老式电话***)，其可以促进经由因特网744的通信。可以使用任何适当的可商购用的通信设备或者网络。

图8示出了NGT***100的实施方式的示意图。如图8中所示，NGT***100可以包括呈现层810、商业部件层820、集成层634以及数据层840。呈现层810包括用户界面(UI)部件812，其对数据进行渲染和格式化以用于向包括项目管理者、测试者、以及测试主管的用户802显示，并且获取和验证用户802录入的数据。呈现层810还包括UI处理部件814，其使用分离的用户处理部件来驱动该过程，以避免UI元件本身中的过程流和状态管理逻辑的硬编码。商业部件层820实现商业逻辑和工作流。商业部件层820包括商业部件822，其实现应用的商业逻辑。商业部件层820还包括商业实体824和商业工作流826。商业实体是商业部件层820中的数据传输对象。这些是可以跨各个层(包括呈现层810)使用以到处传递数据的共同对象。

集成层634提供到上游层(商业部件层820以及呈现层810)的后端不可知访问，并且经由共同接口支持到一个或者多个后端***(诸如QC、Rational and Team Foundation Server)的可***能力。集成层634实现以下设计模式：抽象基类(其是Microsoft的.Net架构可用的类)从ProvideBase继承；每个具体实现器转而从上述抽象类继承；基于.config文件中的类型定义加载Appropriated Provider(其为Microsoft的.Net框架可用的类)。集成层634还包括集成门面832。集成门面832向商业部件层820暴露简化的接口，并且从来自一个或者多个后端库或者高速缓存(例如，Windows Server R2)的数据传输对象的组合读取数据，并且将它们合并成共同的超级数据传输对象，以返回到商业部件层820。集成层634还包括NGT部件834，该NGT部件834在集成门面832与数据层840之间对接，并且在需要时可以提供集成层634的映射功能。集成层634还包括高速缓存部件836和测试工具部件838。测试工具部件838是为来自测试工具804的对数据读取/输入的请求服务的供应商。

数据层840包括数据访问部件842，其将访问底层NGT数据存储区所需的逻辑集中，从而暴露允许更简单且透明的对数据库的访问的方法。其还包括数据助手/实用工具844，其用于将诸如管理数据库连接之类的通用数据访问功能集中。数据层840还包括服务代理836，其提供Windows Communication Foundation服务代理，以用于与应用服务器服务通话。数据层840可以是Enterprise Library DataAccess Application Block，或者定制设计的数据层。备选地，对象相关的映射工具，诸如(可从EntitySpaces，LLP获得的)EntitySpaces、(可从TechTalk，GmbH获得的)Genome、(可从Microsoft Corporation获得的)LINQ-to-SQL、(还可从Microsoft Corporation获得的)EntityFramework或者(可从Solutions Design获得的)LLBLGen Pro可以用来生成数据层840部件。

NGT 100中的交叉剪接(cross cutting)功能805可以包括例如，安全、例外处理、锁定以及通信。NGT 100还可以包括本地高速缓存806。来自NGT 100的输出可以包括例如，电子邮件功能807或者其他信息通信功能。电子邮件可以包括给测试者的关于脚本拒绝或者认可的通知、给认可者的关于准备好查看的脚本的通知、以及关于安全考虑、***例外和审计的通知。NGT 100还可以将信息传送给测试工具330和NGT数据库636。

图9示出了NGT***100的实施方式的逻辑示图。在该实施方式中，呈现层1410可以包括多个UI部件1412和UI处理1414，包括管理接口911、执行工具栏912、脚本模块设计器913、统一台式机102、缺陷追踪界面914、KPI视图915以及认可审查界面916。商业部件层1420可以包括多个部件，包括用户简档部件921、搜索服务部件922、工作流服务部件923、商业规则部件924、时间保持部件925、授权部件926、认证部件927。集成层634可以包括集成门面1432，其可以包括聚合931、集成API 932以及分解933。集成层634还可以包括供应商934、高速缓存935以及数据变换936。数据层1440可以提供对数据供应商941、数据助手/实用工具942以及数据服务API 943的访问。

图10是NGT***的另一实施方式的高层硬件框图。NGT***100及其关键部件110、120、130、140、150、160、170、以及180可以体现为与计算机硬件部件(诸如处理设备728)协作的***，和/或体现为计算机实现的方法。NGT***100可以包括多个软件部件或者子***。这些部件或者子***(诸如测试规划工具110、模块化脚本设计器120、优先化和指派管理器130、测试执行工具栏140、自动化控制器150、测试数据供应链160、报告门户170、和/或缺陷管理工具180)可以在硬件、软件、固件，或者硬件、软件与固件的任何组合中实现，并且可以驻留在物理或者逻辑空间中，还可以不驻留在其中。例如，在本文献中涉及的、可以在附图中示出或者可以不在附图中示出的模块或者子***可以彼此远程地定位，并且可以通过通信网络耦合。

上述逻辑、电路和处理可以被编码或者存储在机器可读或者计算机可读介质(诸如紧凑盘只读存储器(CDROM)、磁盘或者光盘、快闪存储器、随机存取存储器(RAM)或者只读存储器(ROM)、可擦除可编程只读存储器(EPROM)或者其他机器可读介质)以作为例如用于由处理器、控制器或者其他处理设备执行的指令。

介质可以被实现为包含、存储、传送、传播或者输运可执行指令以供指令可执行***、装置或者设备使用或者与其有关的任何设备。备选地或者附加地，逻辑可以被实现为使用硬件的模拟或者数字逻辑，诸如一个或者多个集成电路，或者执行指令的一个或者多个处理器；或者被实现在应用编程接口(API)或者动态链接库(DLL)的软件中，在共享存储器中可用的功能，或者被定义为本地或者远程过程调用；或者作为硬件和软件的组合。

在其他实现方式中，逻辑可以被表示在信号或者传播信号介质中。例如，实现任何给定程序的逻辑的指令可以采取电、磁、光、电磁、红外、或者其他类型的信号的形式。上述***可以在诸如光纤接口、天线、或者其他模拟或者数字信号接口的通信接口处接收这种信号，从信号中恢复指令，将它们存储在计算机可读存储器中，和/或利用处理器执行这些指令。

***可以包括附加的或者不同的逻辑，并且可以按照多种方式来实现。处理器可以被实现为控制器、微处理器、微控制器、专用集成电路(ASIC)、离散逻辑、或者其他类型的电路或逻辑的组合。类似地，存储器可以是DRAM、SRAM、闪存或者其他类型的存储器。参数(例如，条件和阈值)和其他数据结构可以被分离地存储和管理，可以被并入到单个存储器或者数据库中，或者可以按照许多不同方式逻辑和物理地组织。程序和指令可以是单个程序的一部分、分离的程序，或者可以跨若干存储器和处理器分布。

尽管已经描述了本发明的各个实施方式，但是对本领域普通技术人员将明显的是，在本发明的范围内可能有许多更多实施方式和实现方式。因此，除了鉴于所附权利要求和它们的等同方式之外，本发明并不受限制。

Claims (20)

1.一种在集成测试平台中为测试脚本供应测试数据的方法，所述测试平台具有被配置成将测试脚本转发给选定的测试个体的优先化和指派管理器，所述方法包括：

如果对应的输入数据集合可用，则将输入数据集合映射到每个测试脚本；

监控向所述优先化和指派管理器提出的对测试脚本的请求；

如果待响应于所述请求供应的所述测试脚本具有映射的输入数据集合，则从数据库获取所述对应的输入数据集合；以及

在执行所述测试脚本之前，向所述测试脚本提供所获取的输入数据集合。

2.根据权利要求1所述的方法，其中如果待响应于所述请求供应的所述测试脚本不具有对应的输入数据集合，则请求所述优先化和指派管理器发布用于生成所述输入数据集合的任务。

3.根据权利要求2所述的方法，其中用于生成所述输入数据集合的所述任务被转发给测试个体，所述测试个体具有与对应于所述输入数据集合针对其生成的测试脚本的技能集合匹配的技能集合。

4.根据权利要求1所述的方法，其中所述数据库包括分别与多个测试脚本对应的多个输入数据集合。

5.根据权利要求1所述的方法，其中所述优先化和指派管理器为针对其输入数据集合不可用的测试脚本设置低优先级。

6.一种用于在集成测试平台中为测试脚本供应测试数据的***，所述测试平台具有被配置成将测试脚本转发给选定的测试个体的优先化和指派管理器，所述***包括：

计算机处理器，其与存储器、网络接口以及测试数据供应链部件耦合，其中所述测试数据供应链部件可操作以执行以下操作：

从所述存储器获取多个测试脚本和输入数据集合；

如果对应的输入数据集合从所述存储器可用，则将所述输入数据集合映射到每个测试脚本；

在所述计算机处理器上，监控向所述优先化和指派管理器提出的对测试脚本的请求；

如果待响应于所述请求供应的所述测试脚本具有映射的输入数据集合，则从存储在所述存储器上的数据库获取所述对应的输入数据集合；以及

在所述网络接口处，在由所述计算机处理器执行所述测试脚本之前，向所述测试脚本提供所获取的输入数据集合。

7.根据权利要求6所述的***，其中如果待响应于所述请求供应的所述测试脚本不具有对应的输入数据集合，则请求所述优先化和指派管理器发布用于生成所述输入数据集合的任务。

8.根据权利要求7所述的***，其中用于生成所述输入数据集合的所述任务被转发给测试个体，所述测试个体具有与对应于所述输入数据集合针对其生成的测试脚本的技能集合匹配的技能集合。

9.根据权利要求6所述的***，其中所述数据库包括分别与多个测试脚本对应的多个输入数据集合。

10.根据权利要求6所述的***，其中所述优先化和指派管理器为针对其输入数据集合不可用的测试脚本设置低优先级。

11.一种在集成测试平台中为测试脚本供应测试数据的方法，所述测试平台具有被配置成将测试脚本转发给选定的测试个体的优先化和指派管理器，所述方法包括：

确定输入数据集合的供应，其中所述输入数据集合包括输入数据类型和输入数据量；

监控向所述优先化和指派管理器提出的对测试脚本的请求；

如果响应于针对测试脚本的所述请求而供应所供应的测试脚本，则对于所述所供应的测试脚本，确定所需的测试数据集合，其中所述所需的测试数据集合包括测试数据类型和测试数据量；

如果所述输入数据类型与所述测试数据类型匹配，并且如果所述输入数据量与所述测试数据量匹配，则从数据库获取所述输入数据集合，并且将所述输入数据集合映射到所请求的测试脚本；以及

在执行所述测试脚本之前，向所述测试脚本提供所获取的输入数据集合。

12.根据权利要求11所述的方法，其中如果所述输入数据类型与所述测试数据类型不匹配，或者如果所述输入数据量与所述测试数据量不匹配，则请求所述优先化和指派管理器发布用于生成新的输入数据集合的任务，其中所述新的输入数据集合包括与所述测试数据类型匹配的新的输入数据类型。

13.根据权利要求12所述的方法，其中用于生成所述新的输入数据集合的所述任务被转发给测试个体，所述测试个体具有与对应于所述新的输入数据集合针对其生成的所述所供应的测试脚本的技能集合匹配的技能集合。

14.根据权利要求11所述的方法，其中所述数据库包括分别与多个测试脚本对应的多个输入数据集合。

15.根据权利要求11所述的方法，其中所述优先化和指派管理器为针对其输入数据集合不可用的测试脚本的执行设置低优先级。

16.一种用于在集成测试平台中为测试脚本供应测试数据的方法，所述测试平台具有被配置成将测试脚本转发给选定的测试个体的优先化和指派管理器，所述方法包括：

确定输入数据集合的供应，其中所述输入数据集合包括输入数据类型和输入数据量；

监控向所述优先化和指派管理器提出的对测试脚本的请求；

如果响应于针对所述测试脚本的所述请求而供应所供应的测试脚本，则对于所述所供应的测试脚本，确定所需的测试数据集合，其中所述所需的测试数据集合包括测试数据类型和测试数据量；

如果所述输入数据类型与所述测试数据类型匹配，并且如果所述输入数据量与所述测试数据量匹配，则从数据库获取所述输入数据集合，并且将所述输入数据集合映射到所请求的测试脚本；以及

在执行所述测试脚本之前，向所述测试脚本提供所获取的输入数据集合。

17.根据权利要求16所述的***，其中如果所述输入数据类型与所述测试数据类型不匹配，或者如果所述输入数据量与所述测试数据量不匹配，则请求所述优先化和指派管理器发布用于生成新的输入数据集合的任务，其中所述新的输入数据集合包括与所述测试数据类型匹配的新的输入数据类型。

18.根据权利要求17所述的***，其中用于生成所述新的输入数据集合的所述任务被转发给测试个体，所述测试个体具有与对应于所述新的输入数据集合针对其生成的所述所供应的测试脚本的技能集合匹配的技能集合。

19.根据权利要求16所述的***，其中所述数据库包括分别与多个测试脚本对应的多个输入数据集合。

20.根据权利要求16所述的***，其中所述优先化和指派管理器为针对其输入数据集合不可用的测试脚本的执行设置低优先级。

Images