CN108182140A - 确定和监测计算机资源服务的性能能力 - Google Patents

确定和监测计算机资源服务的性能能力 Download PDF

Info

Publication number
CN108182140A
CN108182140A CN201810113547.0A CN201810113547A CN108182140A CN 108182140 A CN108182140 A CN 108182140A CN 201810113547 A CN201810113547 A CN 201810113547A CN 108182140 A CN108182140 A CN 108182140A
Authority
CN
China
Prior art keywords
computer
computer system
performance
performance metric
resource service
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810113547.0A
Other languages
English (en)
Other versions
CN108182140B (zh
Inventor
S·J·以利沙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Publication of CN108182140A publication Critical patent/CN108182140A/zh
Application granted granted Critical
Publication of CN108182140B publication Critical patent/CN108182140B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0803—Configuration setting
    • H04L41/0806—Configuration setting for initial configuration or provisioning, e.g. plug-and-play
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3428—Benchmarking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3452—Performance evaluation by statistical analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3495—Performance evaluation by tracing or monitoring for systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08—Configuration management of networks or network elements
    • H04L41/0895—Configuration of virtualised networks or elements, e.g. virtualised network function or OpenFlow elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/40—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using virtualisation of network functions or resources, e.g. SDN or NFV entities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0805—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability
    • H04L43/0817—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters by checking availability by checking functioning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/20—Arrangements for monitoring or testing data switching networks the monitoring system or the monitored elements being virtualised, abstracted or software-defined entities, e.g. SDN or NFV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements
    • H04L43/55—Testing of service level quality, e.g. simulating service usage
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3433—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
    • G06F9/45533—Hypervisors; Virtual machine monitors
    • G06F9/45558—Hypervisor-specific management and integration aspects
    • G06F2009/45591—Monitoring or debugging support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/815—Virtual
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Debugging And Monitoring (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)

Abstract

为了实时确定和监测计算机资源服务的性能，资源监测工具可以在计算机资源服务的计算机***上启动测试虚拟机。所述资源监测工具随后可以监测指示了所述测试虚拟机随时间推移的所述性能的各种度量，诸如处理器性能、存储器性能、输入/输出(I/O)性能和网络性能。所述资源监测工具可以存储所述所监测的度量，向用户提供精选的度量，并且使用所述度量来管理所述计算机资源服务。为了准确地测量所述性能，所述资源监测工具可以选择用于测试的计算机***，所述计算机***表示所述计算机资源服务和所述计算机资源服务的所述计算机资源。

Description

确定和监测计算机资源服务的性能能力
本申请是申请号为201480034026.6、PCT国际申请日为2014年5月20日、发明名称为“确定和监测计算机资源服务的性能能力”的发明专利申请的分案申请。
相关申请的交叉引用
本发明涉及Simon Jeremy Elisha的2013年5月21日提交的标题为“REPORTINGPERFORMANCE CAPABILITIES OF A COMPUTER RESOURCE SERVICE”的美国专利申请No.13/899,449，所述申请的全部公开内容以引用的方式并入本文。
背景技术
目前，网络可访问的计算服务有时也被称为云计算服务或远程计算服务，在客户进行计算选择时为他们提供灵活性。当客户例示计算机资源服务内的新的虚拟机实例或使实例移动到计算机资源服务时，客户可以评估在计算机资源服务中实施的实例的资源特征。除了其它可能性外，这还可包括处理器类型和性能、存储器大小和性能、输入/输出能力、临时性存储装置大小和网络能力。
每个实例类型都可以具有向客户提供选择程度的不同性能配置文件。然而，就给定时间和位置(例如，特定数据中心)的性能而言，由于各种不一致性，可能很难在不同实例类型之间进行选择。例如，可以将实例托管在不同的底层物理硬件上，这可能会改变这些实例的实际性能(例如，较旧硬件可能会以与较新硬件不同的方式执行)。而且，实例，其可以在计算机资源服务中在“忙碌”位置(例如，有噪声的相邻物)中实现，可以提供与在未预约区域中相比减少的性能。因此，理解计算机资源服务中的实例的性能配置文件可能会具有挑战性。
发明内容
本公开的一个方面涉及一种存储指令的非暂时性计算机可读存储介质，所述指令用于导致一个或多个处理器执行用于评估计算机资源服务的性能的方法，所述方法包括：经由网络向监视所述计算机资源服务的性能的***发送对计算机资源服务的计算机***的多个配置中的计算机***的特定配置的性能度量的请求，其中监视性能的***使用计算机***的不同计算机***上的测试虚拟机来收集所述多个配置的性能度量，其中所述请求指定包含标识计算机***的所述特定配置的一个或多个参数的过滤器；经由所述网络接收来自监视性能的所述***的响应，所述响应包括由所述请求中的一个或多个过滤器指定的一组性能度量，其中该组性能度量包括用于计算机***的配置中的不同配置的性能度量；至少部分地基于所接收的所述一组性能度量，从计算机资源服务的计算机***的配置中选择配置；以及根据所选择的配置发送启动计算机资源服务中的新的虚拟机的请求。
本公开的另一个方面涉及一种用于评估计算机资源服务的性能的计算机实现的方法，该方法包括：由计算机资源服务提供计算机***的多个不同配置；经由网络接口接收对计算机***的所述多个不同配置中的特定配置的性能度量的请求，其中所述请求指定标识所述配置中的特定配置的一个或多个参数；至少部分地基于所述请求中指定的所述一个或多个参数，确定计算机***中的特定计算机***的一组性能度量，其中所述一组性能度量是所述计算机资源服务中的计算机***的位置分布和计算机***的计算机资源的差异中至少一者的表示，并且其中所述一组性能度量被配置为被评估计算机资源服务的性能的***用来选择在其上请求启动至少一个新的虚拟机的至少一个计算机***；以及经由所述网络接口，发送包括确定的一组性能度量的响应。
本公开的又一个方面涉及一种用于评估计算机资源服务的性能的计算机实现的方法，该方法包括：经由网络接口向监视计算机资源服务的性能的***发送对计算机资源服务的计算机***的多个配置中的计算机***的特定配置的性能度量的请求，其中监视性能的所述***使用计算机***的不同计算机***上的测试虚拟机来收集多个配置的性能度量，以及其中所述请求指定标识计算机***的特定配置的一个或多个参数；从监视性能的所述***接收由所述请求中的所述一个或多个参数指定的一组性能度量，其中所述一组性能度量是所述计算机资源服务中的计算机***的位置分布和计算机***的计算机资源的差异中至少一者的表示，并且其中所述一组性能度量被配置为被评估所述计算机资源服务的性能的***使用以选择在其上请求启动至少一个新的虚拟机的至少一个计算机***；以及至少部分地基于所述一组性能度量，选择与所述计算机资源服务相关联的动作。
本公开的再一个方面涉及一种用于评估计算机资源服务的性能的***，所述***包括：包括指令的至少一个存储器装置；显示装置；以及耦接到所述至少一个存储器装置和所述显示装置的至少一个处理器，所述至少一个处理器被配置为执行所述指令以施行包括以下步骤的方法：经由网络接口向监视计算机资源服务的性能的***发送对计算机资源服务的计算机***的多个配置中的计算机***的特定配置的性能度量的请求，其中监视性能的***使用计算机***中的不同计算机***上的测试虚拟机收集所述多个配置的性能度量，以及其中所述请求指定标识计算机***的特定配置的一个或多个参数；从监视性能的***接收响应，所述响应包括由所述请求中的所述一个或多个参数指定的一组性能度量，其中所述一组性能度量被配置为被所述***用来从计算机资源服务的计算机***中选择在其上请求启动至少一个新的虚拟机的至少一个计算机***；以及经由所述显示装置输出所述一组性能度量的至少一部分。
附图说明
实现方式的各种特征可以得到更充分的认识，因为当结合附图考虑时参照下文对这些实现方式的详细描述这些特征将更好理解，附图中：
图1图示了根据各种实现方式的资源监测工具可以监测计算机资源服务的环境的示例；
图2图示了根据各种实现方式的用于监测计算机资源服务的性能的过程的示例；
图3A和3B图示了根据各种实现方式的资源监测工具可以监测计算机资源服务的环境的另一个示例；
图4图示了根据各种实现方式的用于监测计算机资源服务的性能的过程的另一个示例；
图5图示了根据各种实现方式的用于存储计算机资源服务的性能度量的数据结构的示例；以及
图6图示了根据各种实现方式的计算机装置的硬件配置的示例。
具体实施方式
本公开的实现方式针对用于确定和监测计算机资源服务的性能的***和方法。为了实时确定和监测计算机资源服务的性能，资源监测工具可以在计算机资源服务的计算机***上启动测试虚拟机。资源监测工具随后可以监测指示了测试虚拟机随时间推移的性能的各种度量，诸如处理器性能、存储器性能、输入/输出(I/O)性能和网络性能。资源监测工具可以存储所监测的性能度量，向用户提供精选的性能度量，并且使用这些性能度量来管理计算机资源服务。
根据实现方式，为了准确地测量性能，资源监测工具可以选择用于测试的计算机***，这些计算机***表示计算机资源服务和计算机资源服务的计算机资源。例如，如果计算机***分散在各个位置，那么资源监测工具可以选择各个位置处的计算机***以使得能够监测和比较每个位置处的性能。同样地，例如，如果计算机***包含不同的计算资源(不同类型和寿命的处理器、存储器、存储装置等)，那么资源监测工具可以选择表示不同计算资源的计算机***。因此，资源监测工具可以确定和比较位于不同位置并且以不同方式配置的计算机***的性能。
在实现方式中，可由计算机资源服务使用性能度量来管理计算机资源服务的资源。例如，在向实例分配计算资源时，计算机资源服务可以实时利用性能度量以选择最佳适合用户需要的计算资源、平衡计算资源的当前利用并且选择当前可用的或未充分利用的资源。同样地，计算机资源服务可以利用性能度量以确定应当何时向服务添加计算机***或应当何时升级现有的计算机***。因此，由资源监测工具所提供的性能度量可以允许计算机资源服务高效地和有效地管理所提供的计算机资源。同样地，可以向用户提供性能度量以允许用户在选择计算机资源服务中的计算资源和实例配置时做出准确的决定。
图1图示了根据各种实现方式的可以确定和监测计算机资源服务102的性能的资源监测工具100的示例。虽然图1图示了资源监测工具100中所包含的各种组件，但图1图示了监测工具的一个示例并且可以添加附加组件并且可以移除现有组件。同样地，虽然图1图示了计算机资源服务102中所包含的各种组件，但图1图示了计算机资源服务的一个示例并且可以添加附加组件并且可以移除现有组件。
在实现方式中，资源监测工具100可以被配置成确定和监测计算机资源服务102的性能。计算机资源服务102可以被配置成将计算资源作为服务通过一个或多个网络传送到用户。例如，用户可能能够在按使用支付的基础上(诸如按小时计算)供应计算资源。如图1所示，计算机资源服务102可以包括多个计算机***诸如一组计算机***104、一组计算机***106和一组计算机***108。为了提供计算机资源作为服务，计算机资源服务102可以被配置成在计算机***104、计算机***106和计算机***108中的任一者上实施一个或多个机器实例(MI)。
MI可以对应于计算机***104、计算机***106或计算机***108中的一者或多者。同样地，MI可以对应于由计算机***104、计算机***106和计算机***108中的一者或多者所托管的虚拟机(VM)。VM可为虚拟化计算机***，或可为层叠在计算机***104、计算机***106和计算机***108中的任一者的顶部上计算机***的软件实现方式。可以通过管理程序或虚拟机监测器来控制VM对底层计算机***的访问。VM可针对多个和/或不同的操作***环境提供以在单计算机***上同时运行。
在计算机资源服务102中，每个MI均可由不同的用户控制，这些用户可能仅对他们自己的MI具有管理访问权限并且不能访问其他用户的实例。虽然多个MI可在包含并行处理器的计算机***上同时实施，但是多个实例可能看上去在处理器比实例少的多线程计算机***上同时实施。在某些情况下，不同的MI(其在计算机***上实施)是由两个或更多个不同用户控制，而在其它情况下，所有MI都由单个用户控制。
计算机资源服务102还可包括一个或多个管理***111。一个或多个管理***111可被配置成控制计算机资源服务102的操作和配置。一个或多个管理***111可被配置成在计算机***104、计算机***106和计算机***108上启动MI的实施；配置计算机资源服务102中的MI；终止计算机***104、计算机***106和计算机***108上的MI实施；以及使现有的MI在计算机***104、计算机***106与计算机***108之间移动。一个或多个管理***111还可被配置成为向从计算机资源服务102请求计算机服务的用户提供接口。一个或多个管理***111可以实现为物理计算机***，诸如计算机***104、计算机***106和计算机***108中的一者或多者。同样地，一个或多个管理***111可以实现为在计算机资源服务102中实施的一个或多个MI。
在实现方式中，资源监测工具100可以被配置成通过测试计算机***104、计算机***106和计算机***108的操作来确定和监测由计算机资源服务102所提供的计算机资源的性能。在操作中，计算机***104、计算机***106和计算机***108的性能可以受到以下各项的影响：在计算机***上实施的MI的数量、在计算机***上实施的MI的使用、支持计算机***的物理硬件和软件和其它类似因素。为了测试计算机***104、计算机***106和计算机***108的操作，可将资源监测工具100配置成利用一个或多个测试VM 110。资源监测工具100可被配置成在计算机***104、计算机***106和计算机***108上启动测试VM 110并且测试测试VM 110的性能。
为了准确地表示计算机资源服务102，资源监测工具100可以被配置成基于计算机资源服务102的配置来选择测试VM 110的数量和布置。在计算机资源服务102中，可将计算机***104、计算机***106和计算机***108放置在不同位置。计算机***104、计算机***106和计算机***108的位置可以包括计算机资源服务102内的任何分离粒度。例如，这些位置可以包括数据中心中的特定计算机***、服务器机架中的不同服务器、不同的数据中心、不同的地理位置或区域等。因此，为了测试不同的位置，资源监测工具100可以被配置成选择多个计算机***以从计算机***104、计算机***106和计算机***108各自的位置测试。
同样地，位于不同位置的计算机***可以提供不同的计算机资源。例如，计算机***104、计算机***106和计算机***108可以包括硬件资源和/或软件资源的不同配置。而且，计算机***104、计算机***106和计算机***108还可以包括不同寿命的硬件资源和/或软件资源。例如，计算机***104、计算机***106和计算机***108中的一者或多者可以包括较旧的计算机***，它们通常使用较旧的硬件资源和软件资源并且提供减少的计算资源。因此，资源监测工具100可以被配置成根据每个位置选择计算机***数量，其表示不同配置和寿命。
在选择计算机***的数量时，资源监测工具100可以根据不同的位置、不同的配置、不同的寿命等中的每一者选择充分数量的计算机***以准确地表示计算机***。也就是说，资源监测工具100可以被配置成根据不同的位置、不同的配置、不同的寿命等中的每一者选择统计上显著的计算机***数量。例如，对于特定位置、配置或寿命来说，资源监测工具100可以选择在统计上表示具有特定位置、配置或寿命的所有计算机***的计算机***数量。计算机***的这种数量可为具有特定位置、配置或寿命的计算机***的总量的百分数(例如，10％，5％，1％等)。在根据特定位置、配置或寿命选择计算机***时，资源监测工具100可以根据特定位置、配置或寿命随机选择计算机***。
在实现方式中，在测试计算机资源时，资源监测工具100可以被配置成利用测试VM110的不同配置。具体来说，资源监测工具100可以选择利用了由计算机资源服务102所提供的不同量的计算机资源的测试VM 110。资源监测工具100可以被配置成选择由计算机资源服务102所提供的预配置的测试VM 110。同样地，资源监测工具100可以被配置成确定表示不同水平的计算机资源的测试VM 110的各种配置。
在实现方式中，资源监测工具100可以被配置为能够存储在计算机***上并且由计算机***实施的软件程序，而无论是计算机资源服务102的一部分还是位于计算机资源服务102的外部。同样地，资源监测工具100可以被配置为软件模块，该软件模块为其它应用程序的一部分。.在任何示例中，资源监测工具100可采用各种编程语言诸如JAVA、C++、Python代码、Visual Basic、HTML、XML等来编写，以适应各种操作***、计算机***架构等。如图1所示，资源监测工具100可以包括监测模块112、性能数据存储区114和接口116。虽然示为单个应用程序的一部分，但资源监测工具100的任一个组件均可实现为单独的软件程序或模块。
在实现方式中，监测模块112可以被配置成测试测试VM 110的性能并且监测测试VM 110的性能度量。当测试VM 110在计算机资源服务102中实施时，监测模块112可以被配置成测试测试VM 110的性能。具体来说，监测模块112可以被配置成执行测量测试VM 110的性能的一个或多个基准测试。这些基准测试可以包括任何类型的常规测试，这些常规测试测量处理器性能(例如，基于软件实施、指令实施等的分数)、存储器性能(例如，等待时间、读取速度、写入速度等)、输入/输出(I/O)性能(例如，每秒I/O、I/O带宽等)、网络性能(例如，网络带宽、每秒网络包等)等。
根据这些基准测试，监测模块112可以被配置成收集性能度量。这些性能度量包括基准测试的结果。一旦被收集，资源监测工具100即可被配置成将性能度量存储在性能数据存储区114中。性能数据存储区114可实现为可以存储性能度量的一个或多个数据结构。性能数据存储区114还可存储计算机资源服务102的细节；计算机***104、计算机***106和计算机***108的细节；测试VM 110的细节；性能测试的细节等。
性能数据存储区114可被配置成以允许相关信息链接并且相关联的方式存储性能度量和其它数据。例如，对于一组特定的性能度量来说，性能数据存储区114可使产生该组特定性能度量的特定测试VM 110的细节、特定测试VM 110在上面实施的特定计算机***的细节、特定计算机***的位置、在特定测试VM 110上执行的性能测试的细节等相关。
在实现方式中，资源监测工具100可以被配置成利用监测代理以帮助测试和监测测试VM 110。该监测代理可实现为被配置成在测试VM 110上实施并且执行性能测试中的一者或多者的软件程序。为了收集性能度量，监测代理可以被配置成向资源监测工具100传输性能。监测代理可以实时地、以周期性间隔、在需要时以及以它们组合的方式来传输性能度量。同样地，例如，通过监测模块112，资源监测工具100可以被配置成与监测代理通信并且从监测代理检索性能度量。资源监测工具100可以实时地、以周期性间隔、在需要时以及以它们组合的方式来检索性能度量。
除了收集性能度量外，资源监测工具100还可以被配置成对性能度量执行统计分析。资源监测工具100可以执行该统计分析以分析和比较计算机***的性能、测试VM的不同配置的性能和它们的组合。该统计分析可为任何类型的过程，这些过程产生有助于分析和比较计算机***的性能、测试VM的不同配置的性能和它们的组合的统计值，诸如中值、平均值、标准偏差、基于关系的统计排名、统计建模等。一旦确定，资源监测工具100即可将这些统计值存储在性能数据存储区114中。
例如，资源监测工具100可以比较在计算机***上操作的测试VM的具体配置随时间推移的性能度量。例如，资源监测工具100可以确定随时间推移所收集的性能度量的中值、平均值和标准偏差以评估随时间推移的性能。此外，例如，资源监测工具100还可以确定性能度量相对于其它时间的性能度量落入某个百分比范围内的特定时间。
同样地，例如，资源监测工具100可以确定托管测试VM的特定配置的不同计算***的性能度量的统计值，而无论是在同一位置中，在不同位置中，还是两种情况都有。在该示例中，资源监测工具100可以比较这些统计值以确定计算***相对于彼此的性能。此外，资源监测工具100还可以确定测试虚拟机的不同配置的性能度量的统计值，而无论是在相同计算机***上执行，在不同计算机***上执行，还是两种情况都有。资源监测工具100可以比较这些统计值以确定虚拟机的不同配置相对于彼此的性能。
资源监测工具100还可以包括接口116以允许用户装置120通过一个或多个网络118与资源监测工具100通信并且访问性能度量。用户装置120可以包括计算机装置诸如台式机、笔记本电脑、服务器等或移动装置诸如智能电话、平板电脑、蜂窝电话、个人数字助理等。用户装置120可以包括常规计算机装置中发现的硬件资源(例如，处理器、存储器、存储装置、网络接口、I/O装置等)和软件资源(例如，操作***、应用程序、移动app等)。
在实现方式中，接口116可为允许用户与资源监测工具100本地地和远程地通信的任何类型的接口。例如，接口116可以包括允许用户通过资源监测工具100在上面实施的计算机***与资源监测工具交互的图形用户接口(“GUI”)或命令行接口。而且，例如，接口116还可以包括允许用户装置120使用基于web的应用诸如web浏览器与资源监测工具100远程通信的基于web的接口。同样地，例如，接口116可以包括允许用户装置120上的应用与资源监测工具100通信的应用编程接口(“API”)。在一些实现方式中，该接口可为Web服务API。
在实现方式中，用户装置120的用户可能需要评估计算机资源服务102的性能。例如，用户可能需要确定将在计算机资源服务中启动的MI的最佳位置、计算机***和配置。为了实现这一点，用户装置120可以向资源监测工具100发送请求以提供一组性能度量。作为响应，资源监测工具100可以被配置成搜索性能数据存储区114并检索与用户装置120的请求匹配的一组性能度量。资源监测工具100可以被配置成向用户装置120发送这组性能度量。
为向用户装置120提供有意义的信息，资源监测工具100可以被配置成在确定这组性能度量以为用户装置120检索时利用过滤器。具体来说，资源监测工具100可以利用过滤器以确定特定性能度量以为用户装置检索。这些过滤器可以包括一个或多个参数，所述参数指定了用户装置120需要性能度量中的哪些。
例如，这些过滤器可以包括与计算机资源服务102中的计算机***相关的一个或多个参数。这些参数可以包括计算机***位于其中的特定位置或区域的识别、计算机***的特定配置的识别等。此外，例如，这些过滤器还可以包括与测试VM 110或在测试VM 110上执行的测试相关的一个或多个参数。这些参数可以包括测试VM 110的特定类型或配置的识别、其中测试VM 110所启动的位置或区域的识别、基准测试的识别、测试执行的日期或时间范围等。而且，例如，过滤器还可以包括围绕性能度量自身的一个或多个参数。这些参数可以包括特定类型的性能度量(例如，处理器性能、存储器性能、I/O性能、网络性能等)、性能度量的特定值、性能度量的特定统计数据(例如，平均值、中值、一定百分比等)等。
可以在Simon Jeremy Elisha的2013年5月21日提交的标题为“REPORTINGPERFORMANCE CAPABILITIES OF A COMPUTER RESOURCE SERVICE”的美国专利申请No.13/899,449中找到接口116和与接口116相关的过程的完整描述，所述申请的全部公开内容以引用的方式并入本文。
图2图示了根据各种实现方式的用于确定和监测计算机资源服务的性能的过程200。在过程200中，所示阶段为示例并且可以去除所示阶段中的任一者、可以添加附加阶段并且可以改变所示阶段的顺序。此外，虽然过程200被描述为是由资源监测工具100执行，但是过程200的一个或多个阶段可由任何硬件或软件组件执行。
在204中，资源监测工具100可以任选地确定计算机资源服务102中的计算机***。资源监测工具100可以确定计算机***104、计算机***106和计算机***108的识别信息，诸如计算机***的位置、计算机***的名称、计算机***的网络地址、计算机***的访问信息等。此外，资源监测工具100还可以确定计算机***104、计算机***106和计算机***108的细节诸如计算机***的硬件和软件组件。为了确定该信息，资源监测工具100可以扫描计算机***104、计算机***106和计算机***108。同样地，资源监测工具100可与计算机资源服务102的一个或多个管理***111通信以获取信息。此外，还可将这些计算机***的位置和配置在资源监测工具100中预先编程。
在206中，资源监测工具100可以确定表示计算机***的位置分布和计算机***的计算资源的一组计算机***。也就是说，资源监测工具100可以选择表示计算机***的不同位置和计算机***的不同计算机资源配置的计算机***。所选择的计算机***的数量可以是统计上显著的，以使得可以确定性能的准确测量。
例如，如果计算机***104位于第一位置并且计算机***106位于第二位置，那么资源监测工具100可以选择表示每个位置并且产生可靠性能度量的多个计算机***104和多个计算机***106(例如，计算机***104的5％和计算机***106的5％)。同样地，在该示例中，计算机***104可以具有两种计算机资源配置：例如，第一组计算机***104具有相同的处理器、存储器和网络带宽并且第二组计算机***104具有不同于第一组的相同的处理器、存储器和网络带宽。当从计算机***104中选择计算机***时，资源监测工具100可以从第一组和第二组中选择统计上显著的数量。
在208中，资源监测工具100可以在这组计算机***上启动测试VM。资源监测工具100可以选择用于每个测试VM的相同配置，以使得可比较计算机***之间的性能并使其相关联。例如，资源监测工具100可以选择被配置成提供特定计算机资源(例如，处理功率、存储器、I/O资源、网络带宽等)的测试VM 100。资源监测工具100可以配置测试VM 110。同样地，资源监测工具100可以选择预配置的虚拟机以在计算机***上启动。
在210中，资源监测工具100可以监测这组计算机***上测试VM的性能度量。资源监测工具100可以通过网络连接件远程监测该性能度量。同样地，资源监测工具100可以在测试虚拟机中的一者或多者上安装性能监测代理并且从监测代理接收或检索性能度量。资源监测工具100可以监测随时间推移的性能度量以确定各个时间的性能度量。
资源监测工具100和/或监测代理可以在测试VM 110上运行各种基准测试。这些基准测试可以包括任何类型的常规测试，这些常规测试测量处理器性能(例如，基于软件实施、指令实施等的分数)、存储器性能(例如，等待时间、读取速度、写入速度等)、输入/输出(I/O)性能(例如，每秒I/O、I/O带宽等)、网络性能(例如，网络带宽、每秒网络包等)等。
在212中，资源监测工具100可以存储针对测试VM所监测的性能度量。资源监测工具100可以将这些性能度量存储在一个或多个数据结构诸如性能数据存储区114中。资源监测工具100可以存储这些性能度量以及其它信息。其它信息可以包括例如在204中所收集的信息。
在214中，对于测试VM的不同配置，资源监测工具100可以重复该过程。为获取计算机资源服务102的计算机资源的完整图像，资源监测工具100可以执行测试和监测测试VM110的不同配置的性能度量，诸如特定计算机资源(例如，处理功率、存储器、I/O资源、网络带宽等)的不同供应。
在216中，资源监测工具100可以基于这些性能度量来执行资源管理和监测。资源监测工具100可以利用性能度量以辅助要求确定计算机资源服务102的计算机资源的性能的任何过程。可由资源监测工具100执行资源管理和监测。同样地，资源监测工具100可以向另一个***诸如一个或多个资源管理***111提供性能度量以辅助资源管理。
例如，可以利用性能度量以确定在其上启动新的MI的特定机器。例如，如果特定计算机***示出针对测试VM的良好的性能度量，那么该特定计算机***可以被选择(或被给予较高的优先权)用于托管新的MI。同样地，如果特定计算机***示出针对测试VM的贫乏的性能度量，那么该特定计算机***可以被暂停(或被给予较低的优先权)用于托管新的MI。
替代地，例如，可以利用性能度量以平衡当前托管在计算机资源服务102中的MI。例如，如果特定计算机***示出针对测试VM的贫乏的性能度量，那么可以使由特定计算机***所托管的一个或多个MI移动到示出较好性能度量的不同计算机***。
而且，例如，这些性能度量可以用于对由计算机资源服务102所供应的计算机资源定价。例如，如果特定计算机***示出针对测试VM的贫乏的性能度量并且与特定***的较旧硬件相关，那么可以设置由特定计算机***所供应的计算机资源的较低价格。同样地，例如，如果如果特定计算机***示出针对测试VM的良好的性能度量并且与特定***的较新硬件相关，那么可以设置由特定计算机***所供应的计算机资源的较高价格。
另外，例如，这些性能度量可以用于确定是否升级计算机***中的一者或多者。例如，如果特定计算机***示出针对测试VM的贫乏的性能度量并且与特定***的较旧硬件相关，那么可以决定更新特定计算机***的硬件。
在218中，资源监测工具100可以向请求用户提供性能度量。资源监测工具100可以接收来自用户诸如用户装置120对一组性能度量的请求。例如，资源监测工具100可以通过接口116接收请求。该请求可以包括一个或多个过滤器，所述过滤器指定由用户所请求的特定的一组性能度量。作为响应，资源监测工具100可以基于过滤器来搜索性能数据存储区114并且检索这组性能度量。资源监测工具100可以通过接口116向用户提供这组性能度量。
一旦被接收，用户即可利用这组性能度量执行各动作。例如，用户装置120可以执行与计算机资源服务相关的动作。用户装置120可以利用性能度量以辅助要求确定计算机资源服务102的计算机资源的性能的任何过程。
例如，可以利用性能度量以确定特定计算机***或在其上启动新的MI的计算机***的位置。例如，如果特定计算机***或计算机***的特定位置示出针对测试VM的良好的性能度量，那么用户装置120可以在特定计算机***上或在特定位置中启动(或请求启动)新的MI。同样地，例如，如果用户装置接收针对测试VM的不同配置的一组性能度量，那么用户装置120可以利用这组性能度量选择将在计算机资源服务中启动的MI的配置。替代地，例如，可以利用性能度量以平衡当前托管在计算机资源服务102中的MI。例如，如果特定计算机***示出针对测试VM的贫乏的性能度量，那么可以使由特定计算机***所托管的一个或多个MI移动到示出较好性能度量的不同计算机***。
在218之后，该过程可以结束、重复或回到任一点。
图3A和3B图示了根据各种实现方式的可以确定和监测计算机资源服务302的性能的资源监测工具100的另一个示例。虽然图3A和3B图示了资源监测工具100中所包含的各种组件，但图3A和3B图示了监测工具的一个示例并且可以添加附加组件并且可以移除现有组件。同样地，虽然图3A和3B图示了计算机资源服务302中所包含的各种组件，但图3A和3B图示了计算机资源服务的一个示例并且可以添加附加组件并且可以移除现有组件。
在实现方式中，计算机资源服务302可以向在区域上和地理上位于不同位置的用户提供计算资源作为服务。在向区域上和地理上不同的位置提供服务时，可使计算机资源服务302的计算机***分散在各种地理位置和区域位置中。如图3A所示，可将计算机资源服务302分为若干地理位置或区域，例如地理位置1 304和地理位置2 306。也就是说，可使支持计算机资源服务302的各种计算机***位于不同的地理位置以支持在不同地理位置所供应的计算机资源。
例如，计算机资源服务302可以包括多个数据中心，例如数据中心A308、数据中心B310、数据中心C 312、数据中心D 314和数据中心E 316。如图3A所示，可使数据中心A 308和数据中心B 310位于地理位置1 304中。可使数据中心C 312、数据中心D 314和数据中心E316位于地理位置2 306中。还可以使特定地理位置内的数据中心分散在特定地理位置的子区域中。
如图3B所示，数据中心A可以包括多个计算机***，诸如计算机***318、计算机***320和计算机***322。同样地，数据中心B 310、数据中心C 312、数据中心D 314和数据中心E 316可以包括多个计算机***。为了确定和监测数据性能，资源监测工具100可以被配置成分别在计算机***318、计算机***320和计算机***322上启动测试VM 324、326和328。如下所述，资源监测工具100可以被配置成选择计算机***以准确地表示计算机资源服务302的数据中心A 308的计算机资源。
当确定将MI托管在计算机资源服务302中的何处时，计算机资源服务302可能需要确定所有地理位置和区域位置上计算机***的性能。同样地，在利用计算机资源服务302时，用户可能需要确定将提供最佳适合用户需要的计算资源的计算机***。例如，用户可能需要确定在其地理位置内的计算机***以及在其它地理位置中的计算机***的性能。因此，资源监测工具100可以监测和确定表示计算机***的位置和计算机***的配置的性能度量。
图4图示了根据各种实现方式的用于监测计算机资源服务诸如计算机资源服务302的性能的过程400。在过程400中，所示阶段为示例并且可以去除所示阶段中的任一者、可以添加附加阶段并且可以改变所示阶段的顺序。此外，虽然过程400被描述为是由资源监测工具100执行，但是过程400的一个或多个阶段可由任何硬件或软件组件执行。
在404中，资源监测工具100可以任选地确定计算机资源服务中数据中心的地理位置。资源监测工具100可以扫描计算机资源服务并且确定计算机资源服务中数据中心的地理位置。同样地，资源监测工具100可以与计算机资源服务的一个或多个管理***111通信并且确定计算机资源服务中数据中心的地理位置。还可将这些数据中心的地理位置在资源监测工具100中预先编程。
例如，参照图3A，资源监测工具100可以确定，计算机资源服务302包括具有数据中心A 308和数据中心B 310的地理位置1 304以及具有数据中C 312、数据中心D 314和数据中心E 316的地理位置2 306。
在406中，资源监测工具100可以在地理位置中选择数据中心进行测试。例如，资源监测工具100可以选择数据中心A 308、数据中心B 310、数据中心C 312、数据中心D 314和数据中心E 316中的任一者。资源监测工具100可以随机选择特定数据中心或基于预定顺序选择特定数据中心。
在408中，资源监测工具100可以确定数据中心中的计算机***。资源监测工具100可以确定当前正测试的数据中心的计算机***的识别信息和细节。所述识别信息可以包括计算机***的名称、计算机***的网络地址、计算机***的访问信息等。计算机***的细节可以包括计算机***的硬件组件和软件组件。
例如，对于数据中心A 308来说，资源监测工具100可以确定计算机***318、计算机***320和计算机***322的识别信息，诸如计算机***的名称、计算机***的网络地址、计算机***的访问信息等。此外，资源监测工具100还可以确定计算机***318、计算机***320和计算机***322的细节，诸如这些计算机***的硬件组件和软件组件。为了确定该信息，资源监测工具100可以扫描计算机***318、计算机***320和计算机***322。同样地，资源监测工具100可以与计算机资源服务302的一个或多个管理***111通信以获取信息。
在410中，资源监测工具100可以确定数据中心中表示计算机***的不同配置的一组计算机***。对于计算机***的每种不同配置来说，资源监测工具100可以为每种配置选择统计上显著的计算机***数量，即，大到足以提供统计上有意义的性能度量的计算机***样本。
例如，计算机***318和计算机***320可以包括具有不同配置(例如，不同寿命或类型的硬件资源)的计算机***。资源监测工具100可以选择多个计算机***318和多个计算机***320，它们表示每个位置并且产生可靠的性能度量，例如，计算机***318的5％和计算机***320的5％。
在412中，资源监测工具100可以在这组计算机***中启动测试VM。资源监测工具100可以选择用于每个测试VM的相同配置，以使得可比较计算机***之间的性能并使其相关联。例如，对于数据中心A 308来说，资源监测工具100可以选择用于测试VM 324、326和328的配置，其被配置成供应特定计算机资源(例如，处理功率、存储器、I/O资源、网络带宽等)。资源监测工具100可以配置测试VM 324、326和328。同样地，资源监测工具100可以选择用于测试VM 324、326和328的预配置测试VM，以在计算机***上启动。
在414中，资源监测工具100可以监测测试虚拟机的性能。资源监测工具100可以通过网络连接件远程监测该性能度量。同样地，资源监测工具100可以在测试虚拟机中的一者或多者上安装性能监测代理并且从监测代理接收或检索性能度量。资源监测工具100可以监测随时间推移的性能度量以确定各个时间的性能度量。
资源监测工具100和/或监测代理可以在测试VM 324、326和328上运行各种基准测试。这些基准测试可以包括任何类型的常规测试，这些常规测试测量处理器性能(例如，基于软件实施、指令实施等的分数)、存储器性能(例如，等待时间、读取速度、写入速度等)、输入/输出(I/O)性能(例如，每秒I/O、I/O带宽等)、网络性能(例如，网络带宽、每秒网络包等)等。
在416中，资源监测工具100可以存储在测试虚拟机中所监测的性能度量。资源监测工具100可以将这些性能度量存储在一个或多个数据结构诸如性能数据存储区114中。资源监测工具100可以存储这些性能度量以及其它信息。其它信息可以包括例如在204中所收集的信息。
例如，图5图示了可以存储从测试VM所监测的性能度量的数据结构的示例。虽然图5图示了数据结构的示例，但所示结构为一个示例，并且可以利用任何类型的数据结构以存储性能度量。同样地，虽然图5图示了可被存储的性能度量的示例，但所示性能度量为一个示例，并且可由资源监测工具100监测和存储任何类型的性能度量或其它信息。
如图所示，资源监测工具100可以将这些性能度量存储在表500中。表500可以包括多行和多列。每行可以存储特定测试VM的性能度量和其它数据。每列可以存储测试VM的特定类型的信息。表500可以包括列502，该列存储每个测试VM的标识符。该标识符可为唯一地识别测试VM的任一值。例如，标识符可为数值诸如“00001”。
表500还可以包括列504，该列存储描述了分配给测试VM的计算资源的配置信息。该配置信息可以包括描述了分配给测试VM的计算资源诸如分配给测试VM的存储器、分配给测试VM的处理功率、分配给测试VM的存储装置、分配给测试VM的网络资源、测试VM的数据处理架构等的任何信息。例如，如图所示，列504可以包含以下信息：“所分配的存储器(字节数)；处理功率(计算单元)；存储装置(字节数)；架构(位数)”。例如，对于测试VM“00001”来说，列504可以包括“1.7GB”的分配存储器、“5CU”的处理功率、“320GB”的存储装置和“32位”的架构。
表500还可以包括存储托管测试VM的计算机***的位置信息的列506和508。列506可以包含测试VM的区域或地理信息，诸如区域或地理标识和描述。例如，对于测试VM“00001”来说，列506可以包含“地理位置1”的位置(如图3A中所引用)。列508可以包含特定位置的附加位置信息，诸如包含托管测试VM的计算机***的子区域或数据中心。例如，对于测试VM“00001”来说，列508可以包括“数据中心A”，指示计算机***托管测试VM“00001”。
表500还可以包括列510，该列存储托管测试VM的计算机***的标识符。该标识符可为唯一地识别计算***的任一值。例如，标识符可为计算机***的介质访问控制(MAC)地址。例如，对于测试VM“00001”来说，列510可以包含值“00:A0:C9:14:C8:29”，所述MAC地址是十六进制的。
表500还可以包括列512，该列存储由测试VM所执行的测试的时间和日期信息。所述时间和日期信息可以包括在执行测试时、在收集性能度量时等等情况下所识别的任何信息。例如，如图所示，列512可以包含作为“年月日”的日期和作为“小时:分:秒”的时间。例如，对于测试VM“00001”来说，列512可以包含“2013年5月1日”的日期和“12:15:06的时间。
表500还可以包括存储由测试VM所收集的性能度量的列514、516、518和520。列514可以存储与处理器性能相关的性能度量。处理器性能可为通过特定基准测试所产生的任一值。例如，对于测试VM“00001”来说，列514可以包含值“1025”，所述值对应于特定基准测试的分数。列516可以存储与存储器性能测试相关的性能度量。例如，如图所示，列516可以包含以下性能度量：“页面更新速度(秒)；等待时间(秒)”。例如，对于测试VM“00001”来说，列516可以包含“5”秒的页面更新速度和“3”秒的等待时间。
列518可以存储与I/O性能测试相关的性能度量。例如，如图所示，列518可以包含以下性能度量：“每秒输入/输出；等待时间(秒)”。例如，对于测试VM“00001”来说，列518可以包含“100,000”的IOPS和“10”秒的等待时间。列520可以存储与网络性能测试相关的性能度量。例如，如图所示，列520可以包含以下性能度量：“网络带宽(每秒兆比特数)；丢失的包数量；等待时间(秒)”。例如，对于测试VM“00001”来说，列520可以包含“9.8”Mbit/s的网络带宽、“10”的丢失的包数量和“3”秒的等待时间。
表500还可包括可以存储任何附加信息的列522。例如，列可以包含信息诸如测试持续时间、所执行的基准测试的识别、实施资源监测工具100的***的识别等。
在418中，资源监测工具100可以确定是否测试附加的虚拟机配置。为了获取计算机资源服务302的计算机资源的完整图像，资源监测工具100可以执行测试和监测测试VM324、326和328的不同配置的性能度量，诸如特定计算机资源(例如，处理功率、存储器、I/O资源、网络带宽等)的不同供应。
在420中，资源监测工具100可以确定在地理位置中是否存在附加的数据中心。例如，资源监测工具100可以确定也需要测试数据中心B 310。针对数据中心B 310，资源监测工具100可以重复进行以上的过程。这样，资源监测工具100可以确定和监测地理位置1 304中的所有数据中心的性能度量。
在422中，资源监测工具100可以确定是否存在附加的地理位置。例如，资源监测工具100可以确定，需要测试地理位置2 306。针对地理位置306的数据中心C 312、数据中心D314和数据中心E 316，资源监测工具100可以重复进行以上的过程。这样，资源监测工具100可以确定和监测地理位置1 304和地理位置2 306两者中的所有数据中心的性能度量。
资源监测工具100可以继续监测随时间推移的性能度量。因此，资源监测工具100可以确定随时间推移的性能度量并且确定这些性能度量随时间推移如何变化。
在422之后，该过程可以结束、重复或回到任一点。
在上述实现方式中，由资源监测工具100所收集的性能度量可以用于与计算机资源服务相关的各种过程。在实现方式中，如上所述，这些性能度量可以用于确定计算机资源服务302中的哪些计算机***应当支持MI、计算机资源服务302的计算机资源的定价、关于计算机资源服务302的计算机***的更新的决定等。
在上述实现方式中，资源监测工具100可以继续监测随时间推移的性能度量。因此，资源监测工具100可以确定随时间推移的性能度量并且确定这些性能度量随时间推移如何变化。此外，在一段时期后，资源监测工具100可以结束测试VM以使得计算机资源服务的用户能够利用计算资源。
图6图示了用于计算装置600的硬件配置的示例，该计算装置实现可以用于执行上述过程中的一者或多者的资源监测工具100。虽然图6图示了计算装置600中所包含的各种组件，但图6图示了计算装置的一个示例并且可以添加附加的组件并且可以移除现有组件。
如图6所示，计算装置600可以包括具有不同的核心配置和时钟频率的一个或多个处理器602。计算装置600还可以包括一个或多个存储器装置604，该一个或多个存储器装置在计算装置600的操作期间充当主存储器。例如，在操作期间，可以将资源监测工具100的复制品存储在一个或多个存储器装置604中。计算装置600还可以包括一个或多个***接口606诸如键盘、鼠标、触摸板、计算机屏幕、触摸屏等，该一个或多个***接口用于使得人能够与计算装置600交互并且操作计算装置600。
计算装置600还可以包括用于通过一个或多个网络通信的一个或多个网络接口608，诸如以太网适配器、无线收发机或串行网络组件，该一个或多个网络用于使用协议来通过有线或无线介质通信。计算装置600还可以包括具有不同物理尺寸和存储容量的一个或多个存储装置610诸如快闪驱动器、硬盘驱动器、随机存取存储器等，该一个或多个存储装置用于存储由一个或多个处理器602实施的数据诸如图像、文件和程序指令。
此外，计算装置600还可以包括一个或多个软件程序612诸如资源监测工具100。一个或多个软件程序612可以包括导致一个或多个处理器602执行本文所述过程的指令。可以将一个或多个软件程序612的复制品存储在一个或多个存储器装置604中和/或存储在一个或多个存储装置610中。同样地，可以将由一个或多个软件程序612所利用的数据例如性能数据存储区114存储在一个或多个存储器装置604中和/或存储在一个或多个存储装置610中。
在实现方式中，计算装置600可以通过网络616与一个或多个远程用户装置614和计算机资源服务618通信。一个或多个远程用户装置614可为任何类型常规计算装置。例如，一个或多个远程用户装置614可为台式机、笔记本电脑、服务器等或移动装置诸如智能电话、平板电脑、蜂窝电话、个人数字助理等。网络616可为任何类型的网络诸如局域网、广域网、虚拟专用网络、互联网、内联网、外联网、公用交换电话网、红外网络、无线网络以及它们的任何组合。网络616可以使用多种可商购获得的协议诸如TCP/IP、OSI、FTP、UPnP、NFS、CIFS和AppleTalk中的任一种来支持通信。网络616可为例如局域网、广域网、虚拟专用网络、互联网、内联网、外联网、公用交换电话网、红外网络、无线网络以及它们的任何组合。
在实现方式中，计算装置600可以通过网络616与一个或多个用户装置614和计算机资源服务618交换数据。例如，计算装置600可以从一个或多个用户装置614接收对性能度量中的一者或多者的请求。
计算装置600和资源监测工具100可以实现为至少一个服务或Web服务的一部分，诸如可为面向服务架构的一部分。如上所述，资源监测工具100可以实现接口例如Web服务API。计算装置600可以在至少一个服务或Web服务的操作期间通过Web服务API与一个或多个用户装置614交换数据。服务诸如Web服务可以使用任何适当类型的消息传送方式诸如通过使用呈可扩展标记语言(XML)格式的消息来通信并且使用适当的协议诸如SOAP(源自“简单对象访问协议”)来交换。由此类服务提供或实施的过程可以采用任何适当的语言诸如Web服务描述语言(WSDL)来编写。使用语言诸如WSDL实现了诸如在各种SOAP框架中自动生成客户端侧代码的功能。
在实现方式中，可以将计算装置600用作Web服务器架构的一部分。在Web服务器架构中，计算装置600可以运行多种服务器或中间层应用中的任一种，包括HTTP服务器、FTP服务器、CGI服务器、数据服务器、Java服务器和业务应用服务器。计算装置600还能够响应于来自一个或多个远程用户装置614的请求而实施程序或脚本，如通过实施可以实现为以任何编程语言(如Java.RTM.、C、C#或C++)或任何脚本语言(如Perl、Python或TCL)及其组合编写成的一个或多个脚本或程序的一个或多个Web应用。计算装置600还可以包括数据库服务器，包括但不限于可从Oracle.RTM.、Microsoft.RTM.、Sybase.RTM.和IBM.RTM.商购获得的数据库服务器。
计算装置600可以包括多种数据存储区以及如上所述的其它存储器和存储介质。这些可以驻留在不同的位置，诸如位于计算机中的一者或多者的局部位置的存储介质上(和/或驻留于其中)或远离网络上的任何或全部计算机。在一些实现方式中，信息可驻留在本领域技术人员熟悉的存储区域网络(“SAN”)中。类似地，可以将用于执行归属于计算机、服务器或其它网络装置的功能的任何必要文件适当地存储在本地和/或远程存储。
在实现方式中，并不需要使如上所述计算装置600的组件封闭在单个封闭物内或甚至彼此紧邻定位。本领域技术人员将认识到上述元件部分仅仅是示例，因为计算装置600可以包括用于执行所公开实现方式的任何类型的硬件元件部分，包括任何必要的随附固件或软件。计算装置600还可以由电子电路组件或处理器诸如专用集成电路(ASIC)或现场可编程门阵列(FPGA)部分地或整体地实现。
本公开的实施方案可以根据以下条款进行描述：
1.一种存储指令的非暂时性计算机可读存储介质，所述指令用于导致一个或多个处理器执行用于确定计算机资源服务的性能的方法，所述方法包括：
确定在上面测试所述计算机资源服务的所述性能的一组计算机***，所述组的计算机***包括第一计算机***中的至少一者和第二计算机***中的至少一者，其中所述第一计算机***位于第一位置并且所述第二计算机***位于第二位置；
在所述组的计算机***中的每个计算机***上启动至少一个虚拟机，其中每个计算机***上的所述至少一个虚拟机根据第一配置进行配置；
确定在所述组的计算机***中的每个计算机***上实施的所述至少一个虚拟机的性能度量；以及
对于所述至少一个虚拟机来说，存储包括所述性能度量、所述至少一个虚拟机的所述第一配置和实施所述至少一个虚拟机的每个计算机***的位置信息的记录。
2.如条款1所述的非暂时性计算机可读存储介质，其中确定所述组的计算机***包括：
确定所述第一计算机***包括具有第一硬件配置的至少一个计算机***和具有第二硬件配置的至少一个计算机***；以及
为了被包括在所述组的计算机***中，选择具有所述第一硬件配置的所述至少一个计算机***和具有所述第二硬件配置的所述至少一个计算机***。
3.如条款1所述的非暂时性计算机可读存储介质，所述方法还包括：
在所述组的计算机***中的每个计算机***上启动至少一个附加虚拟机，其中所述至少一个附加虚拟机具有不同于所述第一配置的配置；
监测在所述组的计算机***中的每个计算机***上实施的所述至少一个附加虚拟机的附加性能度量；以及
存储所述附加性能度量。
4.如条款1所述的非暂时性计算机可读存储介质，所述方法还包括：
将监测代理安装在所述组的计算机***中的每个计算机***上的所述至少一个虚拟机上，其中所述监测代理收集所述性能度量的一部分。
5.一种用于确定计算机资源服务的性能的计算机实现的方法，所述方法包括：
确定在上面测试所述计算机资源服务的所述性能的一组计算机***，其中所述组的所述计算机***中的每个计算机***均表示所述计算机***的位置分布和所述计算机***的所述计算机资源的差异中的至少一者；
在所述组的所述计算机***中的每个计算机***上启动至少一个虚拟机；
由处理器监测在所述组的计算机***中的每个计算机***上实施的所述至少一个虚拟机的性能度量；以及
将所述性能度量存储在计算机可读存储介质中。
6.如条款5所述的计算机实现的方法，所述方法还包括：
将监测代理安装在所述组的所述计算机***中的每个计算机***上的所述至少一个虚拟机上，其中所述监测代理收集所述性能度量的一部分。
7.如条款6所述的计算机实现的方法，其中监测所述性能度量包括：
从所述监测代理接收性能度量的所述部分。
8.如条款5所述的计算机实现的方法，其中所述性能度量包括处理器性能、存储器性能、输入/输出性能和网络通信性能中的至少一者。
9.如条款5所述的计算机实现的方法，所述方法还包括：
至少部分基于所述性能度量来确定具有可用计算机资源的所述计算机***中的一个；以及
使现有的虚拟机移动到所述计算机***中的所述一个。
10.如条款5所述的计算机实现的方法，所述方法还包括：
至少部分基于所述性能度量来确定需要升级的所述计算机***中的一个；以及
提供所述所需要的升级的通知。
11.如条款5所述的计算机实现的方法，所述方法还包括：
通过web服务协议来接收提供一组所述性能度量的请求；
至少部分基于所述请求来从存储于所述计算机可读存储介质中的所述性能度量检索所述组的所述性能度量；以及
向所述请求的发起者提供所述组的性能度量。
12.如条款5所述的计算机实现的方法，所述方法还包括：
接收在所述计算机资源服务中启动虚拟机的请求；以及
至少部分基于所述性能度量来从所述计算机***中确定将在上面启动所述虚拟机的至少一个计算机***。
13.如条款5所述的计算机实现的方法，其中所述计算机***的第一部分位于第一地理位置并且所述计算机***的第二部分位于第二地理位置，以及
其中所述组的所述计算机***包括来自所述第一部分的至少一个计算机***和来自所述第二部分的至少一个计算机***。
14.如条款5所述的计算机实现的方法，所述方法还包括：
在所述组的所述计算机***中的每个计算机***上启动至少一个附加虚拟机，其中所述至少一个附加虚拟机具有不同于所述至少一个虚拟机的配置；
由所述处理器监测在所述组的计算机***中的每个计算机***上实施的所述至少一个附加虚拟机的附加性能度量；以及
将所述附加性能度量存储在所述计算机可读存储介质中。
15.一种用于确定计算机资源服务的性能的***，所述***包括：
至少一个存储器装置，所述至少一个存储器装置包括指令；
网络接口，所述网络接口被配置成与所述计算机资源服务通信，所述计算机资源服务包括计算机***；以及
至少一个处理器，所述至少一个处理器耦合到至少一个存储器装置和网络接口并且被配置成实施所述指令以执行包括以下步骤的方法：
确定在上面测试所述计算机资源服务的所述性能的一组所述计算机***，其中所述组的所述计算机***中的每个计算机***均表示所述计算机***的位置分布和所述计算机***的计算机资源的差异中的至少一者；
在所述组的所述计算机***中的每个计算机***上启动至少一个虚拟机；
通过所述网络接口监测在所述组的计算机***中的每个计算机***上实施的所述至少一个虚拟机的性能度量；以及
将所述性能度量存储在计算机可读存储介质中。
16.如条款15所述的***，其中所述至少一个处理器还被配置成实施所述指令以执行还包括以下步骤的所述方法：
将监测代理安装在所述组的所述计算机***中的每个计算机***上的所述至少一个虚拟机上，
通过所述网络接口从所述监测代理接收所述性能度量的一部分。
17.如条款16所述的***，其中所述监测代理包括用以在所述至少一个虚拟机上实施并且收集所述性能度量的指令，所述性能度量包括处理器性能、存储器性能、输入/输出性能和网络通信性能中的至少一者。
18.如条款15所述的***，其中所述至少一个处理器还被配置成实施所述指令以执行还包括以下步骤的所述方法：
至少部分基于所述性能度量来确定具有可用计算机资源的所述计算机***中的一个；以及
使现有的虚拟机移动到所述计算机***中的所述一个。
19.如条款15所述的***，其中所述至少一个处理器还被配置成实施所述指令以执行还包括以下步骤的所述方法：
至少部分基于所述性能度量来确定需要升级的所述计算机***中的一个；以及
提供所述所需要的升级的通知。
20.如条款15所述的***，其中所述至少一个处理器还被配置成实施所述指令以执行还包括以下步骤的所述方法：
通过所述网络接口接收提供一组所述性能度量的请求；
至少部分基于所述请求来从存储于所述计算机可读存储介质中的所述性能度量检索所述组的所述性能度量；以及
通过所述网络接口向所述请求的发起者提供所述组的性能度量。
21.如条款15所述的***，其中所述至少一个处理器还被配置成实施所述指令以执行还包括以下步骤的所述方法：
接收在所述计算机资源服务中启动虚拟机的请求；以及
至少部分基于所述性能度量来从所述计算机***中确定将在上面启动所述虚拟机的至少一个计算机***。
22.如条款15所述的***，其中所述计算机***的第一部分位于第一地理位置并且所述计算机***的第二部分位于第二地理位置，以及
其中所述组的所述计算机***包括来自所述第一部分的至少一个计算机***和来自所述第二部分的至少一个计算机***。
23.如条款15所述的***，其中所述至少一个处理器还被配置成实施所述指令以执行还包括以下步骤的所述方法：
在所述组的所述计算机***中的每个计算机***上启动至少一个附加虚拟机，其中所述至少一个附加虚拟机具有不同于所述至少一个虚拟机的配置；
监测在所述组的计算机***中的每个计算机***上实施的所述至少一个附加虚拟机的附加性能度量；以及
存储所述附加性能度量的记录。
本公开的实施方案还可以根据以下条款进行描述：
1.一种存储指令的非暂时性计算机可读存储介质，所述指令用于导致一个或多个处理器执行用于访问计算机资源服务的性能的方法，所述方法包括：
接收将被包括在对与所述计算机资源服务相关的性能度量的请求中的一个或多个过滤器，其中所述一个或多个过滤器包括一个或多个参数，所述一个或多个参数用于确定响应于所述请求将提供所述性能度量中的哪些；
通过网络向***发送所述请求，所述***监测在所述计算机资源服务的计算机***上实施的测试虚拟机的所述性能度量；
通过所述网络接收响应，所述响应包括由所述一个或多个过滤器所确定的一组所述性能度量，其中所述组的性能度量包括与所述测试虚拟机的配置相关的性能度量；
至少部分基于所述组的性能度量来从所述测试虚拟机的所述配置确定配置；以及
在所述计算机资源服务中根据所述配置启动虚拟机。
2.如条款1所述的非暂时性计算机可读存储介质，其中所述一个或多个参数包括所述计算机资源服务的所述计算机***的位置、所述计算机资源服务的所述计算机***的配置、所述测试虚拟机的所述配置、由所述测试虚拟机所执行的基准测试、性能度量的类型、日期、时间、与所述性能度量相关的统计值中的至少一者。
3.如条款1所述的非暂时性计算机可读存储介质，从所述测试虚拟机的所述配置确定所述配置包括：
确定所述虚拟机的所需性能；
将所述所需性能与所述组的性能度量进行比较；以及
至少部分基于所述比较来确定所述测试虚拟机的所述配置。
4.如条款1所述的非暂时性计算机可读存储介质，所述方法还包括：
至少部分基于所述组的性能度量来从所述计算机***中确定将在上面启动所述虚拟机的至少一个计算机***。
5.如条款1所述的非暂时性计算机可读存储介质，所述方法还包括：
至少部分基于所述组的性能度量来确定所述计算机***的启动所述虚拟机所在的至少一个位置。
6.一种用于访问计算机资源服务的性能的计算机实现的方法，所述方法包括：
通过网络接口接收对所述计算机资源服务的性能的请求，其中所述请求包括一个或多个参数，所述一个或多个参数用于确定响应于所述请求将要提供的性能度量；
至少部分基于所述一个或多个参数来确定一组所述性能度量，其中所述组的所述性能度量表示所述计算机资源服务中的计算机***的位置分布和所述计算机***的所述计算机资源的差异中的至少一者；以及
通过所述网络接口发送响应，所述响应包括所述组的所述性能度量。
7.如条款6所述的计算机实现的方法，所述方法还包括：
从在所述计算机资源服务的所述计算机***上实施的测试虚拟机确定所述性能度量。
8.如条款6所述的计算机实现的方法，所述方法还包括：
响应于发送所述响应，接收在与所述组的性能度量相关的至少一个计算机***上启动至少一个虚拟机的请求。
9.如条款6所述的计算机实现的方法，其中所述网络接口为web服务接口。
10.如条款6所述的计算机实现的方法，其中所述一个或多个参数包括所述计算机资源服务的所述计算机***的位置、所述计算机资源服务的所述计算机***的配置、所述测试虚拟机的所述配置、由所述测试虚拟机所执行的基准测试、性能度量的类型、日期、时间、与所述性能度量相关的统计值中的至少一者
11.一种用于访问计算机资源服务的性能的计算机实现的方法，所述方法包括：
通过网络接口提供对所述计算机资源服务的性能的请求，其中所述请求包括一个或多个参数，所述一个或多个参数用于确定响应于所述请求将要提供的性能度量；
接收一组所述性能度量，其中所述组的所述性能度量表示所述计算机资源服务中的计算机***的位置分布和所述计算机***的所述计算机资源的差异中的至少一者；以及
至少部分基于所述组的性能度量来执行与所述计算机资源服务相关的动作。
12.如条款11所述的计算机实现的方法，其中执行所述动作包括：
在所述计算机资源服务的所述计算机***中确定第一计算机***和第二计算机***，其中所述第一计算机***位于第一位置并且所述第二计算机***位于第二位置；
至少部分基于所述组的性能度量来确定所述第一计算机***以所需性能操作；以及
在所述第一计算机***的至少一者上启动至少一个虚拟机。
13.如条款11所述的计算机实现的方法，其中执行所述动作包括：
在所述计算机资源服务的所述计算机***中确定第一计算机***和第二计算机***，其中所述第一计算机***包括第一配置并且所述第二计算机***包括第二配置；
至少部分基于所述组的性能度量来确定所述第一计算机***以所需性能操作；以及
在所述第一计算机***的至少一者上启动至少一个虚拟机。
14.如条款11所述的计算机实现的方法，其中执行所述动作包括：
确定所述测试虚拟机的第一配置和所述测试虚拟机的第二配置；
至少部分基于所述组的性能度量来确定所述第一配置以所需性能操作；以及
根据所述第一配置来在所述计算机***上启动至少一个虚拟机。
15.如条款11所述的计算机实现的方法，其中执行所述动作包括：
至少部分基于所述组的所述性能度量来确定具有可用计算机资源的所述计算机***中的一个；以及
使现有的虚拟机移动到所述计算机***中的所述一个。
16.一种访问计算机资源服务的性能的***，所述***包括：
至少一个存储器装置，所述至少一个存储器装置包括指令；
显示装置；以及
至少一个处理器，所述至少一个处理器耦合到至少一个存储器装置和所述显示装置并且被配置成实施所述指令以执行包括以下步骤的方法：
发送对所述计算机资源服务的性能的请求，其中所述请求包括一个或多个参数，所述一个或多个参数用于确定响应于所述请求将提供性能度量中的哪些；
接收响应，所述响应包括由所述一个或多个参数所确定的一组所述性能度量；以及
通过所述显示装置输出所述组的性能度量的一部分。
17.如条款16所述的***，所述***还包括：
耦合至所述至少一个处理器的输入装置，其中所述输入装置接收所述一个或多个参数。
18.如条款16所述的***，所述***还包括：
网络装置，所述网络装置被配置成与监测所述性能度量的***通信，其中所述请求通过web服务协议发送至所述***。
19.如条款16所述的***，所述***还包括：
网络装置，所述网络装置被配置成与所述计算机资源服务的计算机***通信，其中所述至少一个处理器被配置成监测所述性能度量。
20.如条款16所述的***，所述***还包括：
网络装置，所述网络装置被配置成与所述计算机资源服务的计算机***通信，其中所述至少一个处理器被配置成与监测代理通信并且通过所述网络装置从所述监测代理收集所述性能度量的一部分。
21.如条款16所述的***，其中所述至少一个处理器被配置成实施所述指令以执行还包括以下步骤的所述方法：
确定所述测试虚拟机的第一配置和所述测试虚拟机的第二配置；
至少部分基于所述组的性能度量来确定所述第一配置以所需性能操作；以及
根据所述第一配置来在所述计算机***上启动至少一个虚拟机。
上述某些实现方式可作为计算机应用或程序执行。计算机程序可以多种活动和不活动的形式存在。例如，计算机程序可以作为可由以源码、目标码、可执行码或其它格式的程序指令组成的一个或多个软件程序、软件模块或两者；固件程序；或硬件描述语言(HDL)文件而存在。上述任一项都能以压缩或非压缩形式在包括计算机可读存储装置和介质以及信号的计算机可读存储介质上实施。计算机可读存储装置和介质的示例包括传统的计算机***RAM(随机存取存储器)、ROM(只读存储器)、EPROM(可擦可编程ROM)、EEPROM(电可擦可编程ROM)和磁盘或光盘或磁带。计算机可读信号的示例，不管是否使用载波来调制，都是托管或运行本教义的计算机***可配置以访问的信号，包括通过互联网或其它网络下载的信号。前述具体例子包括在CD-ROM上或通过互联网下载的计算机程序的可执行软件程序的分配。在某种意义上，互联网本身作为抽象实体是计算机可读介质。通常，计算机网络也是如此。
尽管已参照本发明的实现方式描述了这些教义，但本领域技术人员能够在不脱离真实精神和范围的情况下，对所述实现方式做各种修改。本文所用的术语和描述仅以说明的方式来陈述而非意味着限制。具体来说，虽然通过例子描述了方法，但该方法的步骤可按与所示不同的顺序或同时执行。此外，在某种程度上术语“包括(including)”、“包括(includes)”、“具有(having)”、“具有(has)”、“带有(with)”或其变体在详细描述和权利要求书中使用，这些术语旨在以类似于术语“包括(comprising)”的方式是包括性的。如本文所使用，关于项目例如像A和B的列表的术语“......中的一者或多者”和“......中的至少一者”意指A单独、B单独或A和B。另外，除非另有说明，否则术语“组”应被解释为“一个或多个”。而且，术语“耦合(couple)”或者“耦合(couples)”意图意指间接或者直接的连接。因此，如果第一装置耦合至第二装置，则该连接可能是直接连接或通过其它装置、组件和连接件的间接连接。
为了简单和说明的目的，以上主要通过参考本发明的各种实现方式的示例来描述本教义的原理。然而，本领域技术人员应容易认识到，相同的原理同样适用于许多不同类型的信息和***并可在这些信息和***中实现，以及任何这样的变化都不偏离本教义的真实精神和范围。此外，在先前详细描述中，对图示了各种实现方式的特定示例的附图进行参考。可对各种实现方式的示例进行电子、机械、逻辑和结构的变化而不偏离本教义的精神和范围。因此，以上详细描述不被认为是限制性的，并且本教义的范围通过随附权利要求书及其等效物来限定。

Claims (15)

1.一种存储指令的非暂时性计算机可读存储介质，所述指令用于导致一个或多个处理器执行用于评估计算机资源服务的性能的方法，所述方法包括：
经由网络向监视所述计算机资源服务的性能的***发送对计算机资源服务的计算机***的多个配置中的计算机***的特定配置的性能度量的请求，其中监视性能的***使用计算机***的不同计算机***上的测试虚拟机来收集所述多个配置的性能度量，
其中所述请求指定包含标识计算机***的所述特定配置的一个或多个参数的过滤器；
经由所述网络接收来自监视性能的所述***的响应，所述响应包括由所述请求中的一个或多个过滤器指定的一组性能度量，其中该组性能度量包括用于计算机***的配置中的不同配置的性能度量；
至少部分地基于所接收的所述一组性能度量，从计算机资源服务的计算机***的配置中选择配置；以及
根据所选择的配置发送启动计算机资源服务中的新的虚拟机的请求。
2.如权利要求1所述的非暂时性计算机可读存储介质，其中所述一个或多个参数包括以下至少一个：
计算机资源服务的计算机***的位置、计算机资源服务的计算机***的配置、测试虚拟机的配置、由测试虚拟机执行的基准测试、性能度量的类型、日期、时间、或者与所述性能度量相关联的统计值。
3.如权利要求1所述的非暂时性计算机可读存储介质，其中从测试虚拟机的配置中选择配置包括：
确定虚拟机的期望的性能；
将期望的性能与所述一组性能度量进行比较；以及
至少部分地基于所述比较，确定测试虚拟机的配置。
4.如权利要求1所述的非暂时性计算机可读存储介质，所述方法还包括：
至少部分地基于所述一组性能度量，从计算机***中确定在其上启动虚拟机的至少一个计算机***。
5.如权利要求1所述的非暂时性计算机可读存储介质，所述方法还包括：
至少部分地基于所述一组性能度量，确定计算机***的启动虚拟机的至少一个位置。
6.一种用于评估计算机资源服务的性能的计算机实现的方法，该方法包括：
由计算机资源服务提供计算机***的多个不同配置；
经由网络接口接收对计算机***的所述多个不同配置中的特定配置的性能度量的请求，其中所述请求指定标识所述配置中的特定配置的一个或多个参数；
至少部分地基于所述请求中指定的所述一个或多个参数，确定计算机***中的特定计算机***的一组性能度量，其中所述一组性能度量是所述计算机资源服务中的计算机***的位置分布和计算机***的计算机资源的差异中至少一者的表示，并且其中所述一组性能度量被配置为被评估计算机资源服务的性能的***用来选择在其上请求启动至少一个新的虚拟机的至少一个计算机***；以及
经由所述网络接口，发送包括确定的一组性能度量的响应。
7.如权利要求6所述的计算机实现的方法，该方法还包括：
根据在计算机资源服务的计算机***上执行的测试虚拟机确定性能度量。
8.如权利要求6所述的计算机实现的方法，该方法还包括：
响应于发送所述响应，接收在与所述一组性能参数相关联的至少一个计算机***上启动至少一个虚拟机的请求。
9.如权利要求6所述的计算机实现的方法，其中所述一个或多个参数包括以下至少一个：
计算机资源服务的计算机***的位置、计算机资源服务的计算机***的配置、测试虚拟机的配置、由测试虚拟机执行的基准测试、性能度量的类型、日期、时间、或者与所述性能度量相关联的统计值。
10.一种用于评估计算机资源服务的性能的计算机实现的方法，该方法包括：
经由网络接口向监视计算机资源服务的性能的***发送对计算机资源服务的计算机***的多个配置中的计算机***的特定配置的性能度量的请求，其中监视性能的所述***使用计算机***的不同计算机***上的测试虚拟机来收集多个配置的性能度量，以及其中所述请求指定标识计算机***的特定配置的一个或多个参数；
从监视性能的所述***接收由所述请求中的所述一个或多个参数指定的一组性能度量，其中所述一组性能度量是所述计算机资源服务中的计算机***的位置分布和计算机***的计算机资源的差异中至少一者的表示，并且其中所述一组性能度量被配置为被评估所述计算机资源服务的性能的***使用以选择在其上请求启动至少一个新的虚拟机的至少一个计算机***；以及
至少部分地基于所述一组性能度量，选择与所述计算机资源服务相关联的动作。
11.如权利要求10所述的计算机实现的方法，其中执行动作包括：
确定计算机资源服务的计算机***中的第一计算机***和第二计算机***，其中第一计算机***位于第一位置，第二计算机***位于第二位置；
至少部分地基于所述一组性能度量，确定第一计算机***正在以期望的性能运行；以及
在第一计算机***中的至少一个计算机***上启动至少一个虚拟机。
12.如权利要求10所述的计算机实现的方法，其中执行动作包括：
确定计算机资源服务的计算机***中的第一计算机***和第二计算机***，其中第一计算机***包括第一配置，第二计算机***包括第二配置；
至少部分地基于所述一组性能度量，确定第一计算机***正在以期望的性能运行；以及
在第一计算机***中的至少一个计算机***上启动至少一个虚拟机。
13.如权利要求10所述的计算机实现的方法，其中执行动作包括：
确定测试虚拟机的第一配置和测试虚拟机的第二配置；
至少部分地基于所述一组性能度量，确定第一配置正以期望的性能运行；以及
根据第一配置启动所述计算机***上的至少一个虚拟机。
14.如权利要求10所述的计算机实现的方法，其中执行动作包括：
至少部分地基于所述一组性能度量，确定所述计算机***中具有可用计算机资源的计算机***；以及
将现有的虚拟机移动到所述计算机***中的具有可用计算机资源的计算机***。
15.一种用于评估计算机资源服务的性能的***，所述***包括：
包括指令的至少一个存储器装置；
显示装置；以及
耦接到所述至少一个存储器装置和所述显示装置的至少一个处理器，所述至少一个处理器被配置为执行所述指令以施行包括以下步骤的方法：
经由网络接口向监视计算机资源服务的性能的***发送对计算机资源服务的计算机***的多个配置中的计算机***的特定配置的性能度量的请求，其中监视性能的***使用计算机***中的不同计算机***上的测试虚拟机收集所述多个配置的性能度量，以及其中所述请求指定标识计算机***的特定配置的一个或多个参数；
从监视性能的***接收响应，所述响应包括由所述请求中的所述一个或多个参数指定的一组性能度量，其中所述一组性能度量被配置为被所述***用来从计算机资源服务的计算机***中选择在其上请求启动至少一个新的虚拟机的至少一个计算机***；以及
经由所述显示装置输出所述一组性能度量的至少一部分。
CN201810113547.0A 2013-05-21 2014-05-20 确定和监测计算机资源服务的性能能力 Active CN108182140B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US13/899,407 US9384115B2 (en) 2013-05-21 2013-05-21 Determining and monitoring performance capabilities of a computer resource service
US13/899,407 2013-05-21
US13/899,449 2013-05-21
US13/899,449 US9584364B2 (en) 2013-05-21 2013-05-21 Reporting performance capabilities of a computer resource service
CN201480034026.6A CN105308576B (zh) 2013-05-21 2014-05-20 确定和监测计算机资源服务的性能能力

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201480034026.6A Division CN105308576B (zh) 2013-05-21 2014-05-20 确定和监测计算机资源服务的性能能力

Publications (2)

Publication Number Publication Date
CN108182140A true CN108182140A (zh) 2018-06-19
CN108182140B CN108182140B (zh) 2021-07-02

Family

ID=56560626

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810113547.0A Active CN108182140B (zh) 2013-05-21 2014-05-20 确定和监测计算机资源服务的性能能力
CN201480034026.6A Active CN105308576B (zh) 2013-05-21 2014-05-20 确定和监测计算机资源服务的性能能力

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201480034026.6A Active CN105308576B (zh) 2013-05-21 2014-05-20 确定和监测计算机资源服务的性能能力

Country Status (5)

Country Link
US (2) US9384115B2 (zh)
EP (1) EP3000040B1 (zh)
JP (2) JP6224824B2 (zh)
CN (2) CN108182140B (zh)
WO (1) WO2014189899A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI785452B (zh) * 2020-08-28 2022-12-01 南韓商韓領有限公司 用於控制測試的系統、系統平台以及電腦化方法

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10554505B2 (en) 2012-09-28 2020-02-04 Intel Corporation Managing data center resources to achieve a quality of service
US9817864B1 (en) * 2013-06-13 2017-11-14 Amazon Technologies, Inc. Flexible pivot querying of monitoring data with zero setup
US9542294B2 (en) * 2013-07-09 2017-01-10 International Business Machines Corporation Method to apply perturbation for resource bottleneck detection and capacity planning
US10606726B2 (en) 2013-08-16 2020-03-31 Keysight Technologies Singapore (Sales) Pte. Ltd. Methods, systems and computer readable media for performing benchmark reference testing of data center and network equipment
US9811435B2 (en) 2013-09-03 2017-11-07 Cisco Technology, Inc. System for virtual machine risk monitoring
US9509759B2 (en) * 2013-09-09 2016-11-29 International Business Machines Corporation Service agreement performance validation in a cloud hosted environment
GB2518151A (en) 2013-09-11 2015-03-18 Ibm Network anomaly detection
US9246840B2 (en) 2013-12-13 2016-01-26 International Business Machines Corporation Dynamically move heterogeneous cloud resources based on workload analysis
US9495238B2 (en) 2013-12-13 2016-11-15 International Business Machines Corporation Fractional reserve high availability using cloud command interception
US10069753B2 (en) * 2014-03-17 2018-09-04 Cloud Physics, Inc. Relationship-based resource-contention analysis system and method
US20150324724A1 (en) * 2014-05-06 2015-11-12 International Business Machines Corporation Benchmarking performance of a service organization
US10515000B2 (en) * 2014-08-26 2019-12-24 Cloudy Days, Inc. Systems and methods for performance testing cloud applications from multiple different geographic locations
US10305758B1 (en) * 2014-10-09 2019-05-28 Splunk Inc. Service monitoring interface reflecting by-service mode
US10075352B2 (en) * 2014-12-09 2018-09-11 Ca, Inc. Monitoring user terminal applications using performance statistics for combinations of different reported characteristic dimensions and values
US9928151B1 (en) * 2014-12-12 2018-03-27 Amazon Technologies, Inc. Remote device interface for testing computing devices
US9876703B1 (en) * 2014-12-17 2018-01-23 Amazon Technologies, Inc. Computing resource testing
US9824001B2 (en) * 2015-02-09 2017-11-21 Wipro Limited System and method for steady state performance testing of a multiple output software system
US11061705B2 (en) 2015-03-16 2021-07-13 Bmc Software, Inc. Maintaining virtual machine templates
US20160283566A1 (en) * 2015-03-27 2016-09-29 Ca, Inc. Analyzing sorted mobile application operational state sequences based on sequence metrics
US9772920B2 (en) * 2015-04-29 2017-09-26 Apollo Education Group, Inc. Dynamic service fault detection and recovery using peer services
US10200261B2 (en) 2015-04-30 2019-02-05 Microsoft Technology Licensing, Llc Multiple-computing-node system job node selection
US20160344657A1 (en) * 2015-05-20 2016-11-24 International Business Machines Corporation PROVIDING PERFORMANCE ALTERNATIVES BASED ON COMPARATIVE PRICE AND PERFORMANCE DATA OF A RUNNING SaaS INSTANCE
WO2016200921A1 (en) * 2015-06-09 2016-12-15 Machine Zone, Inc. Distributed scalable workload testing
US10514994B2 (en) 2015-06-09 2019-12-24 Satori Worldwide, Llc Distributed scalable workload testing
US10362099B2 (en) * 2015-06-23 2019-07-23 Amazon Technologies, Inc. Multiple instance types serving a single workload or application
US10374933B2 (en) * 2015-07-31 2019-08-06 Verizon Patent And Licensing Inc. Systems and methods for monitoring operational statuses of network services
US11086752B2 (en) * 2015-08-27 2021-08-10 Keysight Technologies Singapore (Sales) Pte. Ltd. Methods, systems, and computer readable media for vendor-neutral testing and scoring of systems under test
US10387181B2 (en) * 2016-01-12 2019-08-20 International Business Machines Corporation Pre-deployment of particular virtual machines based on performance and due to service popularity and resource cost scores in a cloud environment
CN109075991A (zh) * 2016-02-26 2018-12-21 诺基亚通信公司 云验证和测试自动化
US10303488B2 (en) * 2016-03-30 2019-05-28 Sony Interactive Entertainment Inc. Real-time adjustment of application-specific operating parameters for backwards compatibility
US10616064B2 (en) * 2016-03-31 2020-04-07 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Soft reservation techniques and systems for virtualized environments
US20170322827A1 (en) * 2016-05-06 2017-11-09 Nutanix, Inc. Testing and benchmarking for enterprise data centers
CN105847088A (zh) * 2016-05-18 2016-08-10 浪潮电子信息产业股份有限公司 一种基于云服务的虚拟机性能测试***
US10831641B2 (en) * 2016-09-08 2020-11-10 At&T Intellectual Property I, L.P. Method and apparatus for determining a performance impact by a software upgrade of a mobile user endpoint device
CN107846301B (zh) * 2016-09-21 2022-03-04 中兴通讯股份有限公司 一种端到端业务测试***和方法
JP6801468B2 (ja) * 2017-01-19 2020-12-16 富士通株式会社 管理装置、制御方法、および管理プログラム
US20180219765A1 (en) 2017-01-31 2018-08-02 Waltz Networks Method and Apparatus for Network Traffic Control Optimization
US11706127B2 (en) 2017-01-31 2023-07-18 Vmware, Inc. High performance software-defined core network
US10778528B2 (en) 2017-02-11 2020-09-15 Nicira, Inc. Method and system of connecting to a multipath hub in a cluster
US10587459B2 (en) 2017-02-13 2020-03-10 Citrix Systems, Inc. Computer system providing cloud-based health monitoring features and related methods
CN106951309A (zh) * 2017-04-25 2017-07-14 郑州云海信息技术有限公司 一种虚拟化平台虚拟机计算性能测试的方法及***
US20190065333A1 (en) * 2017-08-23 2019-02-28 Unisys Corporation Computing systems and methods with functionalities of performance monitoring of the underlying infrastructure in large emulated system
US10999100B2 (en) * 2017-10-02 2021-05-04 Vmware, Inc. Identifying multiple nodes in a virtual network defined over a set of public clouds to connect to an external SAAS provider
EP3692437B1 (en) 2017-10-05 2022-09-28 Hewlett-Packard Development Company, L.P. Selecting computer configurations based on application usage-based clustering
US10974546B2 (en) * 2018-04-20 2021-04-13 Robotire, Inc. Automated removal and replacement of vehicle wheels and tires
JP7087634B2 (ja) 2018-04-26 2022-06-21 富士通株式会社 リソース管理装置及びリソース管理プログラム
US10740094B2 (en) * 2018-07-03 2020-08-11 Servicenow, Inc. Performance monitoring of system version releases
US10585775B2 (en) * 2018-07-24 2020-03-10 Vmware, Inc. Machine learning system for workload failover in a converged infrastructure
IT201900003667A1 (it) * 2019-03-13 2020-09-13 Akamas S R L Method and apparatus for tuning adjustable parameters in computing environment
US11265235B2 (en) * 2019-03-29 2022-03-01 Intel Corporation Technologies for capturing processing resource metrics as a function of time
US11593073B2 (en) 2021-01-19 2023-02-28 Centurylink Intellectual Property Llc Object-oriented infrastructure-as-code platform (OOIACP)
WO2022147126A1 (en) * 2020-12-31 2022-07-07 Centurylink Intellectual Property Llc Systems and methods for edge site selection and metrics capture
US11973776B2 (en) * 2021-04-23 2024-04-30 Bank Of America Corporation Intelligent monitoring and logging platform
US20220386513A1 (en) * 2021-05-28 2022-12-01 Nvidia Corporation Intelligent testing system using datacenter cooling systems
US12015536B2 (en) 2021-06-18 2024-06-18 VMware LLC Method and apparatus for deploying tenant deployable elements across public clouds based on harvested performance metrics of types of resource elements in the public clouds
US11943146B2 (en) 2021-10-01 2024-03-26 VMware LLC Traffic prioritization in SD-WAN
WO2023060508A1 (en) * 2021-10-14 2023-04-20 Intel Corporation A concept for controlling parameters of a hypervisor
US11909815B2 (en) 2022-06-06 2024-02-20 VMware LLC Routing based on geolocation costs
CN114880182B (zh) * 2022-06-10 2024-01-02 中国电信股份有限公司 监控平台测试方法、装置、电子设备和可读存储介质
KR102617749B1 (ko) 2023-02-15 2023-12-27 주식회사 엔티에스솔루션 다수의 검사설비 pc 및 제조설비 pc 의 통합 관제 모니터링 시스템 및 방법
CN117785485A (zh) * 2024-02-26 2024-03-29 浪潮计算机科技有限公司 云计算虚拟机任务分配方法、装置、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010039993A2 (en) * 2008-10-01 2010-04-08 Doyenz Incorporated Automation for virtualized it environments
CN101986274A (zh) * 2010-11-11 2011-03-16 东软集团股份有限公司 一种私有云环境下资源调配***及资源调配方法
CN102187315A (zh) * 2009-04-28 2011-09-14 思科技术公司 在虚拟环境中获取用于服务器负载均衡的反馈信息的方法和装置
US20120089726A1 (en) * 2010-10-06 2012-04-12 Infosys Technologies Ltd. Automated service level management of applications in cloud computing environment
US20120137003A1 (en) * 2010-11-23 2012-05-31 James Michael Ferris Systems and methods for migrating subscribed services from a set of clouds to a second set of clouds
CN102567203A (zh) * 2011-12-28 2012-07-11 创新科软件技术（深圳）有限公司 一种测试分布式文件***性能的方法及***
CN102915331A (zh) * 2011-09-12 2013-02-06 微软公司 用于云选择的协调引擎
WO2013062545A1 (en) * 2011-10-27 2013-05-02 Hewlett-Packard Development Company, L.P. Generating a visual representation

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5668944A (en) 1994-09-06 1997-09-16 International Business Machines Corporation Method and system for providing performance diagnosis of a computer system
JP4528116B2 (ja) 2002-06-25 2010-08-18 インターナショナル・ビジネス・マシーンズ・コーポレーション 分散環境中でアプリケーションの性能を監視するための方法およびシステム
JP4119239B2 (ja) 2002-12-20 2008-07-16 株式会社日立製作所 計算機資源割当方法、それを実行するための資源管理サーバおよび計算機システム
JP4313336B2 (ja) * 2005-06-03 2009-08-12 株式会社日立製作所 監視システムおよび監視方法
US7694189B2 (en) * 2007-02-28 2010-04-06 Red Hat, Inc. Method and system for remote monitoring subscription service
JP4980792B2 (ja) * 2007-05-22 2012-07-18 株式会社日立製作所 仮想計算機の性能監視方法及びその方法を用いた装置
US8365184B2 (en) * 2007-08-31 2013-01-29 Apple Inc. Multi-core resource utilization planning
US8209687B2 (en) 2007-08-31 2012-06-26 Cirba Inc. Method and system for evaluating virtualized environments
US9294296B2 (en) * 2007-10-31 2016-03-22 Hewlett Packard Enterprise Development Lp Automated test execution in a shared virtualized resource pool
JP4906686B2 (ja) * 2007-11-19 2012-03-28 三菱電機株式会社 仮想マシンサーバサイジング装置及び仮想マシンサーバサイジング方法及び仮想マシンサーバサイジングプログラム
US8175863B1 (en) * 2008-02-13 2012-05-08 Quest Software, Inc. Systems and methods for analyzing performance of virtual environments
US8161479B2 (en) 2008-06-13 2012-04-17 Microsoft Corporation Synchronizing virtual machine and application life cycles
US8046468B2 (en) * 2009-01-26 2011-10-25 Vmware, Inc. Process demand prediction for distributed power and resource management
US8856783B2 (en) 2010-10-12 2014-10-07 Citrix Systems, Inc. Allocating virtual machines according to user-specific virtual machine metrics
WO2011043011A1 (ja) * 2009-10-09 2011-04-14 日本電気株式会社 仮想サーバシステム、その自律制御サーバ、そのデータ処理方法およびコンピュータプログラム
US8705513B2 (en) 2009-12-15 2014-04-22 At&T Intellectual Property I, L.P. Methods and apparatus to communicatively couple virtual private networks to virtual machines within distributive computing networks
JP5870927B2 (ja) * 2010-10-07 2016-03-01 日本電気株式会社 サーバシステム、管理装置、サーバ管理方法、およびプログラム
US9736252B2 (en) * 2010-11-23 2017-08-15 Red Hat, Inc. Migrating subscribed services in a cloud deployment
US8738972B1 (en) * 2011-02-04 2014-05-27 Dell Software Inc. Systems and methods for real-time monitoring of virtualized environments
US9021473B2 (en) * 2011-03-14 2015-04-28 International Business Machines Corporation Hardware characterization in virtual environments
JP5501276B2 (ja) * 2011-03-18 2014-05-21 株式会社エヌ・ティ・ティ・データ 仮想マシン配置装置、仮想マシン配置方法、仮想マシン配置プログラム
US8806484B2 (en) * 2011-04-18 2014-08-12 Vmware, Inc. Host selection for virtual machine placement
TWI476586B (zh) 2011-07-13 2015-03-11 Inst Information Industry 以雲端技術為基礎之測試系統、方法以及其電腦可讀取記錄媒體
US8732302B2 (en) 2011-07-15 2014-05-20 Inetco Systems Limited Method and system for monitoring performance of an application system
US8793535B2 (en) 2011-07-21 2014-07-29 Microsoft Corporation Optimizing system usage when running quality tests in a virtual machine environment
WO2013027332A1 (ja) * 2011-08-25 2013-02-28 日本電気株式会社 情報処理装置、情報処理方法、及びプログラム
US9323628B2 (en) * 2012-10-09 2016-04-26 Dh2I Company Instance level server application monitoring, load balancing, and resource allocation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010039993A2 (en) * 2008-10-01 2010-04-08 Doyenz Incorporated Automation for virtualized it environments
CN102187315A (zh) * 2009-04-28 2011-09-14 思科技术公司 在虚拟环境中获取用于服务器负载均衡的反馈信息的方法和装置
US20120089726A1 (en) * 2010-10-06 2012-04-12 Infosys Technologies Ltd. Automated service level management of applications in cloud computing environment
CN101986274A (zh) * 2010-11-11 2011-03-16 东软集团股份有限公司 一种私有云环境下资源调配***及资源调配方法
US20120137003A1 (en) * 2010-11-23 2012-05-31 James Michael Ferris Systems and methods for migrating subscribed services from a set of clouds to a second set of clouds
CN102915331A (zh) * 2011-09-12 2013-02-06 微软公司 用于云选择的协调引擎
WO2013062545A1 (en) * 2011-10-27 2013-05-02 Hewlett-Packard Development Company, L.P. Generating a visual representation
CN102567203A (zh) * 2011-12-28 2012-07-11 创新科软件技术（深圳）有限公司 一种测试分布式文件***性能的方法及***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI785452B (zh) * 2020-08-28 2022-12-01 南韓商韓領有限公司 用於控制測試的系統、系統平台以及電腦化方法
US11797423B2 (en) 2020-08-28 2023-10-24 Coupang Corp. Experiment platform engine

Also Published As

Publication number Publication date
CN108182140B (zh) 2021-07-02
WO2014189899A1 (en) 2014-11-27
US9384115B2 (en) 2016-07-05
CN105308576B (zh) 2018-03-13
EP3000040B1 (en) 2018-07-18
CN105308576A (zh) 2016-02-03
EP3000040A4 (en) 2017-01-18
US9584364B2 (en) 2017-02-28
JP6224824B2 (ja) 2017-11-01
EP3000040A1 (en) 2016-03-30
JP2016522947A (ja) 2016-08-04
JP6530462B2 (ja) 2019-06-12
US20140351394A1 (en) 2014-11-27
US20140351412A1 (en) 2014-11-27
JP2018022520A (ja) 2018-02-08

Similar Documents

Publication Publication Date Title
CN105308576B (zh) 确定和监测计算机资源服务的性能能力
US10515000B2 (en) Systems and methods for performance testing cloud applications from multiple different geographic locations
US9491248B2 (en) Real-time analytics of web performance using actual user measurements
US9497136B1 (en) Method and system for providing usage metrics to manage utilzation of cloud computing resources
CN110417613A (zh) 基于Jmeter的分布式性能测试方法、装置、设备及存储介质
US11637790B2 (en) Intent-based orchestration using network parsimony trees
CN108874640A (zh) 一种集群性能的评估方法和装置
CN106130749B (zh) 用于基础设施的网络部署的方法、***以及计算机可读介质
CN105808634A (zh) 分布式映射化简网络
US7831695B1 (en) System and method for it system migration management
CN107341044A (zh) 一种分布式数据中心统一监控架构及方法
US20140215271A1 (en) Allocating test capacity from cloud systems
CN105812423B (zh) 一种云***配置方法、服务器及装置
CN107924345A (zh) 用于度量的聚合测量结果的数据存储区
CN103713852B (zh) 一种信息处理方法、服务平台及电子设备
EP3306471B1 (en) Automatic server cluster discovery
CN109710447A (zh) 用于数据访问的方法、装置、介质和计算设备
CN108347465A (zh) 一种选择网络数据中心的方法及装置
CN106790339A (zh) 元数据服务器、网络装置及自动资源管理方法
CN109992614A (zh) 数据获取方法、装置和服务器
CN116192965A (zh) 全景模型验证***
CN109450686B (zh) 一种基于普适网络的网络资源管理***及方法
JP2011150480A (ja) リソース提供システム、リソース提供方法および仮想化装置
WO2017148679A1 (en) A healthcare information technology system and method
Klemetti et al. Extracting Service Process Models with Customers and Teams of Resources

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant