CN111949493A - 一种基于推理应用的边缘ai服务器功耗测试方法及装置 - Google Patents

一种基于推理应用的边缘ai服务器功耗测试方法及装置 Download PDF

Info

Publication number
CN111949493A
CN111949493A CN202010972701.7A CN202010972701A CN111949493A CN 111949493 A CN111949493 A CN 111949493A CN 202010972701 A CN202010972701 A CN 202010972701A CN 111949493 A CN111949493 A CN 111949493A
Authority
CN
China
Prior art keywords
server
power consumption
inference
reasoning
edge
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010972701.7A
Other languages
English (en)
Inventor
李磊
王月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Inspur Intelligent Technology Co Ltd
Original Assignee
Suzhou Inspur Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Inspur Intelligent Technology Co Ltd filed Critical Suzhou Inspur Intelligent Technology Co Ltd
Priority to CN202010972701.7A priority Critical patent/CN111949493A/zh
Publication of CN111949493A publication Critical patent/CN111949493A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/3058—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations
    • G06F11/3062—Monitoring arrangements for monitoring environmental properties or parameters of the computing system or of the computing system component, e.g. monitoring of power, currents, temperature, humidity, position, vibrations where the monitored property is the power consumption
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2205—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing using arrangements specific to the hardware being tested
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/2273—Test methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/046—Forward inferencing; Production systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Power Sources (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本发明公开了一种基于推理应用的边缘AI服务器功耗测试方法及装置，包括：第一步，客户端服务器程序来模拟用户终端多用户任务请求，客户端服务器程序将多用户任务请求发送给边缘AI服务器中的推理服务器，客户端服务器程序通过多用户任务请求，对推理服务器进行多级负载加压；第二步，推理服务器依据多用户任务请求进行推理计算，调度多个进程同时运行；第三步，功耗测量装置负责收集推理服务器推理计算过程中的功耗值。通过上述方式，本发明能够通过设置多种任务情景，能够模拟边缘AI服务器在实际应用中的负载状态，评测服务器的功耗值，评测结果可以为产品设计和应用设计提供科学的参考。

Description

一种基于推理应用的边缘AI服务器功耗测试方法及装置
技术领域
本发明涉及服务器功耗测试领域，特别是涉及一种基于推理应用的边缘AI服务器功耗测试方法及装置。
背景技术
现有的服务器功耗测试技术方案是SpecPower，由SPEC组织开发的一种性能/功耗比基准测试，用于评估运行基于Java的应用程序的服务器的功耗情况。SPECpower_ssj2008利用标准Java的JDK计算整体服务器性能，并根据其11个不同工作负载区域段的功耗得出服务器的工作负载/能耗比的测试方式，它应用specjbb作为工作负载，先实时满负荷的运行3次，求得平均值得到***的最高性能值，然后***以此为参照，按100％,90％,80％…10％,0％运行工作负载，其***的利用率也依次下降,性能运行结果会以ssj_ops方式记录。同时连接***电源的功率仪会实时记录***的功率状况，最后***会把性能和功率做一个累加并相除得到性能功耗比。
但是SpecPower主要是面向基于CPU的负载而设计，适用于传统的以CPU为计算核心的服务器产品。但是边缘AI服务器的最大特点就是具备专用的计算加速卡部件，主要的计算量集中在加速卡上，边缘AI服务器常常处于功耗有限、环境温度相对较高的环境下进行任务处理的，因此，正确评测边缘服务器的性能功耗比是十分重要的，但是现有技术方案不适用。边缘计算和AI都是近年来新兴的技术方向，而边缘AI计算更是两者交叉融合的产物。目前没有成熟的功耗测试方案能够切合边缘AI服务器的应用特点，现有方案测试结果可参考性较低。
发明内容
本发明主要解决的技术问题是提供一种基于推理应用的边缘AI服务器功耗测试方法及装置，能够模拟边缘AI服务器在实际应用中的负载状态，评测服务器的功耗值。
为解决上述技术问题，本发明采用的一个技术方案是：一种基于推理应用的边缘AI服务器功耗测试方法，包括以下步骤：S100，客户端服务器程序模拟用户终端多用户任务请求，客户端服务器程序将多用户任务请求发送给边缘AI服务器中的推理服务器，客户端服务器程序通过多用户任务请求对推理服务器进行多级负载加压；S200，推理服务器依据多用户任务请求进行推理计算，调度多个进程同时运行；S300，功耗测量装置收集推理服务器推理计算过程中的功耗值。
进一步，所述步骤S100中客户端服务器程序模拟用户终端多用户任务请求时，客户端服务器中有数据集，数据集包含推理数据和多用户任务请求的任务数量和类型；所述客户端服务器程序为计算机设备中软件，计算机设备中软件中技术采用Python Multi-process技术。
进一步，所述客户端服务器为计算机设备；所述推理数据包括：COCO数据集、SQuAD数据集、wmt数据集。
进一步，所述COCO数据集储存图像数据进行目标检测；所述SQuAD数据集储存声音数据进行阅读理解；所述wmt数据集储存文本数据进行机器翻译。
进一步，所述步骤S100中客户端程序对推理服务器进行多级负载加压时，客户端程序会逐步增加任务数量，至推理服务器负载达到最大，客户端程序根据逐步增加的任务数量，保存为若干个json文件，客户端程序按照若干个json文件，生成若干个负载场景的任务请求，客户端程序按照若干个负载场景的任务请求分别使推理服务器进行推理计算，实现对推理服务器的多级负载加压。
进一步，所述推理服务器为基于容器实现形式；所述推理服务器包括收发器、数据采集器、任务调度器、容器镜像库、进程池。
进一步，所述收发器负责启动和关闭所述数据采集器；所述收发器进行接收客户端程序传来的多用户任务请求，传递给所述任务调度器；所述任务调度器主要负责对正在运行的多用户任务请求进行统计和管理。
进一步，所述容器镜像库中存放框架镜像和模型程序，框架镜像和模型程序用于应用场景的推理计算。
进一步，所述进程池主要负责对多用户任务请求进行推理计算，并将结果反馈给所述收发器。
一种基于推理应用的边缘AI服务器功耗测试装置，包括：边缘AI服务器、推理服务器、客户端服务器和功耗测量装置，边缘AI服务器中设有推理服务器，推理服务器和客户端服务器之间通过网络进行通信，推理服务器通过供电线连接着功耗测量装置，推理服务器供电接口接在功耗测量装置提供的插座上。所述推理服务器包括收发器、数据采集器、任务调度器、容器镜像库、进程池，推理服务器进行推理计算任务；所述客户端服务器是一台普通的计算机设备，计算机设备中所运行的软件用于模拟用户终端多用户任务请求；所述功耗测量装置为功率计，能够实时采集推理服务器的功率；通过客户端服务器，边缘AI服务器中的推理服务器，以及功耗测量装置共同组成的装置，完成对边缘AI服务器的功耗测试。
本发明的有益效果是：本发明通过模拟真实的边缘AI计算请求，能够对边缘AI服务器的典型应用功耗进行评测。无论是对产品研发还是应用开发都具有非常有价值的数据参考。
附图说明
图1是本发明一种基于推理应用的边缘AI服务器功耗测试方法一较佳实施例的流程图；
图2是本发明一种基于推理应用的边缘AI服务器功耗测试方法中推理服务器工作流程图；
图3是本发明一种基于推理应用的边缘AI服务器功耗测试方法中推理服务器模块图；
图4是本发明一种基于推理应用的边缘AI服务器功耗测试装置架构图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
请参阅图1和图3，本发明实施例包括：
一种基于推理应用的边缘AI服务器功耗测试方法，包括：第一步，客户端服务器程序来模拟用户终端多用户任务请求，客户端服务器程序将多用户任务请求发送给边缘AI服务器中的推理服务器，客户端服务器程序通过多用户任务请求，对推理服务器进行多级负载加压；第二步，推理服务器依据多用户任务请求进行推理计算，调度多个进程同时运行；第三步，功耗测量装置负责收集推理服务器推理计算过程中的功耗值。
为了有效评测边缘AI服务器在常见应用场景下的功耗，需要通过推理服务器和客户端运行程序模拟各种计算任务，同时由功耗采集设备记录不同负载下的功耗值。
众所周知，对于AI推理任务而言，不同的场景需要使用不同的模型。而且存在多种运行模型的框架，例如Tensorflow、TensorRT、Pytorch、MXNET等。为了实现对各种模型和框架的支持，推理服务器采用基于容器的实现形式。
见图2，为推理服务器工作流程，详细说明如下：
S01步骤中，收发器接收客户端发送的图像或语音或文本推理任务，同时启用数据采集程序；收发器通过HTTP/REST或GRPC协议接收客户端推理任务，当检测到推理任务则启动数据采集程序，开始对整机的功耗和计算加速卡利用率进行实时监控和记录。
S02步骤中，收发器将推理任务传递给任务调度器。任务调度器中维护了进程池的运行状态，包括进程实例数量，类型，以及实例是否被任务占用。
S03步骤中，任务调度器根据当前进程池中运行进程实例的统计结果，判断当前进程实例是否满足推理要求。
S04步骤中，如果满足推理要求，***直接响应客户端推理任务；如果不满足推理要求，任务调度器则请求***调用容器镜像库中的资源，启动新的进程实例。
S05步骤中，当推理任务结束后，***将推理结果发送收发器，同时通知任务调度器将不必要进程实例关闭，维持基本进程实例。
S06步骤中，收发器将推理结果反馈至客户端，同时关闭数据采集程序；
硬件层面
客户端服务器为一台普通的计算机设备，计算机设备中的软件模拟边缘AI计算场景中的用户请求，发送给边缘AI服务器中的推理服务器。
见图3，边缘AI服务器中的推理服务器是一种适用于边缘计算场景的计算机设备，由收发器、数据采集器、任务调度器、容器镜像库、进程池5个逻辑单元共同组成，其中收发器单元进行接收客户端服务器程序传来的数据，例如图像，文本，语音文件，并分类传递给任务调度器；此外，收发器一旦接收到原始推理任务，则启用数据采集器；任务调度器主要负责对正在运行的容器实例进行统计和管理。首先，它维护了一个基本的进程池来响应不同推理任务，当任务请求较密集或现有进程实例不满足要求时，***会调用容器镜像库中的资源启动新的进程实例。当请求任务负载较轻时，任务调度器请求关闭多余的实例来减少***开支，降低功耗；容器镜像库中存放不同的框架镜像和模型程序，用于进行不同应用场景的运算；进程池中包含了多个活跃的容器实例，实时接收并载入推理任务，并将结果反馈给收发器，收发器将结果反馈给客户端后，关闭数据采集器。
推理服务器通过供电线连接着功耗测量装置，功耗装置实时采集推理服务器的功率，完成对边缘AI服务器功耗测试。
软件层面
客户端服务器扮演的角色是模拟边缘AI计算场景中的用户请求。在真实的应用场景中，单台边缘AI服务器的推理任务可能来自于多个用户终端。这些终端会采集到各种形式的数据，所面向的应用场景也多种多样。显然，在实验室中搭建这种真实的硬件架构是不现实的，因此在本发明中，采用客户端服务器程序来模拟终端多用户请求。在实际应用场景中，要进行推理的数据都是来自于传感器采集的实时图片，文本，语音等。而本发明中所采用的客户端预先准备了多种数据集，通过程序进行读取并发送给推理服务器。
具体来讲，客户端软件中预先准备了多种数据集包含COCO数据集储存图像数据用于进行目标检测；SQuAD数据集储存声音数据用于阅读理解；wmt数据集储存文本数据用于机器翻译。
客户端程序采用Python语言编写的程序，但是Python中的多线程无法利用多核优势，如果想要充分地使用多核CPU的资源，在Python中大部分情况需要使用多进程。Python提供了multiprocessing。multiprocessing模块用来开启子进程，并在子进程中执行我们定制的任务比如函数，该模块与多线程模块threading的编程接口类似。所以客户端程序采用Python Multi-process技术，同时启动多个请求进程，基于HTTP/REST或GRPC协议，将推理任务中任务数量和任务类型发送给推理服务器。典型的负载场景包括100％，50％，0％；为了使推理服务器达到以上几种典型负载，需要进行校准过程。
其中，COCO数据集为微软发布的COCO数据库是一个大型图像数据集，客户端程序可以直接使用专门的python api方便我们直接来读取图片数据用于进行目标检测。
校准过程，在这个过程中客户端程序会逐步增加请求的数量，直到推理服务器中的计算加速器负载达到最大，将此时的任务请求数量定义为100％，以此数量为基线，减半后定义为50％，并保存为JSON文件。校准结束后，程序按照生成的JSON文件，生成不同100％，50％，0％几种负载场景的任务请求，并分别持续10min。
推理服务器当中，运行着推理应用，推理应用的特点是作为一种常驻服务程序来响应客户端发来的计算需求，能够依据任务数量和类型，调度多个进程在计算加速卡上同时运行。具体来讲，可以同时响应多个语音，文本，图像等场景的推理计算任务。
见图4，一种基于推理应用的边缘AI服务器功耗测试装置，包括：边缘AI服务器、推理服务器、客户端服务器和功耗测量装置，边缘AI服务器中设有推理服务器，推理服务器和客户端服务器之间通过网络进行通信，推理服务器通过供电线连接着功耗测量装置，推理服务器供电接口接在功耗测量装置提供的插座上。所述推理服务器包括收发器、数据采集器、任务调度器、容器镜像库、进程池，进行推理计算任务；所述客户端服务器是一台普通的计算机设备，计算机设备中所运行的软件用于模拟客户端请求；所述功耗测量装置为功率计，能够实时采集推理服务器的功率，这是功率计提供的基本功能；通过客户端服务器，边缘AI服务器中的推理服务器，以及功耗测量装置共同组成的装置，完成针对边缘AI服务器的功耗测试。
以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于推理应用的边缘AI服务器功耗测试方法，其特征在于，包括以下步骤：S100，客户端服务器程序模拟用户终端多用户任务请求，客户端服务器程序将多用户任务请求发送给边缘AI服务器中的推理服务器，客户端服务器程序通过多用户任务请求对推理服务器进行多级负载加压；S200，推理服务器依据多用户任务请求进行推理计算，调度多个进程同时运行；S300，功耗测量装置收集推理服务器推理计算过程中的功耗值。
2.根据权利要求1所述的一种基于推理应用的边缘AI服务器功耗测试方法，其特征在于：所述步骤S100中客户端服务器程序模拟用户终端多用户任务请求时，客户端服务器中有数据集，数据集包含推理数据和多用户任务请求的任务数量和类型；所述客户端服务器程序为计算机设备中软件，计算机设备中软件中技术采用Python Multi-process技术。
3.根据权利要求2所述的一种基于推理应用的边缘AI服务器功耗测试方法，其特征在于：所述客户端服务器为计算机设备；所述推理数据包括：COCO数据集、SQuAD数据集、wmt数据集。
4.根据权利要求3所述的一种基于推理应用的边缘AI服务器功耗测试方法，其特征在于：所述COCO数据集储存图像数据进行目标检测；所述SQuAD数据集储存声音数据进行阅读理解；所述wmt数据集储存文本数据进行机器翻译。
5.根据权利要求1所述的一种基于推理应用的边缘AI服务器功耗测试方法，其特征在于：所述步骤S100中客户端程序对推理服务器进行多级负载加压时，客户端程序会逐步增加任务数量，至推理服务器负载达到最大，客户端程序根据逐步增加的任务数量，保存为若干个json文件，客户端程序按照若干个json文件，生成若干个负载场景的任务请求，客户端程序按照若干个负载场景的任务请求分别使推理服务器进行推理计算，实现对推理服务器的多级负载加压。
6.根据权利要求1所述的一种基于推理应用的边缘AI服务器功耗测试方法，其特征在于：所述推理服务器为基于容器实现形式；所述推理服务器包括收发器、数据采集器、任务调度器、容器镜像库、进程池。
7.根据权利要求6所述的一种基于推理应用的边缘AI服务器功耗测试方法，其特征在于：所述收发器负责启动和关闭所述数据采集器；所述收发器进行接收客户端程序传来的多用户任务请求，传递给所述任务调度器；所述任务调度器主要负责对正在运行的多用户任务请求进行统计和管理。
8.根据权利要求6所述的一种基于推理应用的边缘AI服务器功耗测试方法，其特征在于：所述容器镜像库中存放框架镜像和模型程序，框架镜像和模型程序用于应用场景的推理计算。
9.根据权利要求6所述的一种基于推理应用的边缘AI服务器功耗测试方法，其特征在于：所述进程池主要负责对多用户任务请求进行推理计算，并将结果反馈给所述收发器。
10.一种基于推理应用的边缘AI服务器功耗测试装置，其特征在于，包括：边缘AI服务器、推理服务器、客户端服务器和功耗测量装置，边缘AI服务器中设有推理服务器，推理服务器和客户端服务器之间通过网络进行通信，推理服务器通过供电线连接着功耗测量装置，推理服务器供电接口接在功耗测量装置提供的插座上。所述推理服务器包括收发器、数据采集器、任务调度器、容器镜像库、进程池，推理服务器进行推理计算任务；所述客户端服务器是一台普通的计算机设备，计算机设备中所运行的软件用于模拟用户终端多用户任务请求；所述功耗测量装置为功率计，能够实时采集推理服务器的功率；通过客户端服务器，边缘AI服务器中的推理服务器，以及功耗测量装置共同组成的装置，完成对边缘AI服务器的功耗测试。
CN202010972701.7A 2020-09-16 2020-09-16 一种基于推理应用的边缘ai服务器功耗测试方法及装置 Withdrawn CN111949493A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010972701.7A CN111949493A (zh) 2020-09-16 2020-09-16 一种基于推理应用的边缘ai服务器功耗测试方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010972701.7A CN111949493A (zh) 2020-09-16 2020-09-16 一种基于推理应用的边缘ai服务器功耗测试方法及装置

Publications (1)

Publication Number Publication Date
CN111949493A true CN111949493A (zh) 2020-11-17

Family

ID=73357471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010972701.7A Withdrawn CN111949493A (zh) 2020-09-16 2020-09-16 一种基于推理应用的边缘ai服务器功耗测试方法及装置

Country Status (1)

Country Link
CN (1) CN111949493A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115640201A (zh) * 2022-10-27 2023-01-24 中国电子技术标准化研究院 一种用于人工智能服务器的***性能测试方法
CN116723191A (zh) * 2023-08-07 2023-09-08 深圳鲲云信息科技有限公司 利用加速装置执行数据流加速计算的方法和***

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115640201A (zh) * 2022-10-27 2023-01-24 中国电子技术标准化研究院 一种用于人工智能服务器的***性能测试方法
CN115640201B (zh) * 2022-10-27 2023-12-08 中国电子技术标准化研究院 一种用于人工智能服务器的***性能测试方法
CN116723191A (zh) * 2023-08-07 2023-09-08 深圳鲲云信息科技有限公司 利用加速装置执行数据流加速计算的方法和***
CN116723191B (zh) * 2023-08-07 2023-11-10 深圳鲲云信息科技有限公司 利用加速装置执行数据流加速计算的方法和***

Similar Documents

Publication Publication Date Title
US6772107B1 (en) System and method for simulating activity on a computer network
CN105760286B (zh) 应用数据库动态性能检测方法及检测装置
US7035766B1 (en) System and method for diagnosing computer system operational behavior
WO2020147336A1 (zh) 一种微服务全链路监控***及方法
CN109165168A (zh) 一种压力测试方法、装置、设备及介质
CN111563014A (zh) 接口服务性能测试方法、装置、设备和存储介质
CN110517148B (zh) 量化交易策略执行的控制方法、***及装置
CN110321273A (zh) 一种业务统计方法及装置
CN111949493A (zh) 一种基于推理应用的边缘ai服务器功耗测试方法及装置
Lee et al. On the user–scheduler dialogue: studies of user-provided runtime estimates and utility functions
CN111221729B (zh) 一种平台服务与测试服务分离的自动化测试方法及***
CN113986746A (zh) 性能测试方法及其装置、计算机可读存储介质
CN104683181B (zh) 一种性能监控方法、设备和***
CN110147315A (zh) 并发性能测试方法、装置、计算机设备及存储介质
CN108549592A (zh) 一种数据库连接池的监控方法及监控设备、应用服务器
CN112650676A (zh) 软件测试方法、装置、设备及存储介质
CN113448988B (zh) 算法模型的训练方法、装置、电子设备及存储介质
CN116662132A (zh) 评估方法、虚拟部署方法、计算机设备和存储介质
CN113849356B (zh) 一种设备测试方法、装置、电子设备和存储介质
CN116257226A (zh) 数据校验方法、装置、电子设备及存储介质
CN115293750A (zh) 一种基于ai中台的智能审核***、方法和装置
CN114298313A (zh) 一种人工智能计算机视觉推理方法
CN113138917A (zh) 一种性能测试平台
CN113742408A (zh) 基于Protobuf协议动态解析的数据交互方法
CN113742226B (zh) 一种软件性能测试方法、装置、介质及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201117