CN112882939B - 自动化测试方法、装置、电子设备及存储介质 - Google Patents

自动化测试方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112882939B
CN112882939B CN202110216597.3A CN202110216597A CN112882939B CN 112882939 B CN112882939 B CN 112882939B CN 202110216597 A CN202110216597 A CN 202110216597A CN 112882939 B CN112882939 B CN 112882939B
Authority
CN
China
Prior art keywords
test
task
clients
control system
central control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110216597.3A
Other languages
English (en)
Other versions
CN112882939A (zh
Inventor
马晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110216597.3A priority Critical patent/CN112882939B/zh
Publication of CN112882939A publication Critical patent/CN112882939A/zh
Priority to EP21873690.8A priority patent/EP4080371A4/en
Priority to US17/754,561 priority patent/US20240061759A1/en
Priority to JP2022520154A priority patent/JP2023519774A/ja
Priority to PCT/CN2021/104781 priority patent/WO2022179034A1/zh
Priority to KR1020227010214A priority patent/KR20220046697A/ko
Application granted granted Critical
Publication of CN112882939B publication Critical patent/CN112882939B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3696—Methods or tools to render software testable

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本公开提供了一种自动化测试方法、设备及装置、电子设备及存储介质，涉及自动化测试、语音测试、语音效果验收等领域。具体实现方案为：接收可视化前端发起的测试任务；将所述测试任务下发给已部署的多个客户端；对所述多个客户端进行所述测试任务执行的调度，将得到的任务执行结果反馈给所述可视化前端。采用本公开，实现了一整套的自动化测试流程。

Description

自动化测试方法、装置、电子设备及存储介质
技术领域
本公开涉及计算机技术处理领域。本公开尤其涉及自动化测试、语音测试、语音效果验收等领域。
背景技术
针对测试任务而言，以测试语音为例，可以采用人工方式进行测试场景的布局工作等，以模拟真实用户的使用场景，也存在一些自动化的测试方案，但是都是部分自动化，仍然需要人工方式进行测试的辅助处理，比如声源协同操作、测试数据收集等需要借助手动来完成。为了实现快速及准确的测试，需要一整套的自动化测试方案。然而，相关技术中，并未存在这样的解决方案。
发明内容
本公开提供了一种自动化测试方法、装置、电子设备及存储介质。
根据本公开的一方面，提供了一种自动化测试方法，包括：
接收可视化前端发起的测试任务；
将所述测试任务下发给已部署的多个客户端；
对所述多个客户端进行所述测试任务执行的调度，将得到的任务执行结果反馈给所述可视化前端。
根据本公开的另一方面，提供了一种自动化测试方法，包括：
接收中控***下发的测试任务，所述测试任务由可视化前端发起；
接受所述中控***的调度并执行所述测试任务，得到任务执行结果；
将所述任务执行结果上报给所述中控***后，转发给所述可视化前端。
根据本公开的另一方面，提供了一种自动化测试方法，包括：
可视化前端发起测试任务；
中控***接收所述测试任务，将所述测试任务下发给已部署的多个客户端；
所述多个客户端分别接受所述中控***的调度并执行所述测试任务，将得到的任务执行结果上报给所述中控***；
所述中控***将所述任务执行结果反馈给所述可视化前端。
根据本公开的一方面，提供了一种自动化测试设备，包括：
任务接收模块，用于接收可视化前端发起的测试任务；
任务下发模块，用于将所述测试任务下发给已部署的多个客户端；
任务调度模块，用于对所述多个客户端进行所述测试任务执行的调度，将得到的任务执行结果反馈给所述可视化前端。
根据本公开的另一方面，提供了一种自动化测试设备，包括：
接收模块，用于接收中控***下发的测试任务，所述测试任务由可视化前端发起；
执行模块，用于接受所述中控***的调度并执行所述测试任务，得到任务执行结果；
上报模块，用于将所述任务执行结果上报给所述中控***后，转发给所述可视化前端。
根据本公开的另一方面，提供了一种自动化测试装置，包括可视化前端、中控***及多个客户端；其中，
所述可视化前端发起测试任务；
所述中控***接收所述测试任务，将所述测试任务下发给已部署的多个客户端；
所述多个客户端分别接受所述中控***的调度并执行所述测试任务，将得到的任务执行结果上报给所述中控***；
所述中控***将所述任务执行结果反馈给所述可视化前端。
根据本公开的另一方面，提供了一种电子设备，包括：
至少一个处理器；以及
与该至少一个处理器通信连接的存储器；其中，
该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开任意一实施例所提供的方法。
根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使该计算机执行本公开任意一项实施例所提供的方法。
根据本公开的另一方面，提供了一种计算机程序产品，包括计算机指令，该计算机指令被处理器执行时实现本公开任意一项实施例所提供的方法。
采用本公开，可以接收可视化前端发起的测试任务，将所述测试任务下发给已部署的多个客户端。可以对所述多个客户端进行所述测试任务执行的调度，将得到的任务执行结果反馈给所述可视化前端，从而，基于可视化前端的易操作界面、中控***的任务调度及分发，及已部署客户端执行该测试任务，实现了一整套的自动化测试流程。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开实施例的自动化测试方法的流程示意图；
图2是根据本公开实施例的自动化测试方法的流程示意图；
图3是根据本公开实施例的自动化测试方法的流程示意图；
图4是应用于本公开实施例的一应用示例的测试架构的示意图；
图5是应用于本公开实施例的一应用示例的任务启动页面；
图6是应用于本公开实施例的一应用示例的任务管理页面；
图7是应用于本公开实施例的一应用示例的客户端***部署流程图；
图8是应用于本公开实施例的一应用示例的***执行流程图；
图9是根据本公开实施例的自动化测试设备的组成结构示意图；
图10是根据本公开实施例的自动化测试设备的组成结构示意图；
图11是根据本公开实施例的自动化测试装置的组成结构示意图；
图12是用来实现本公开实施例的自动化测试方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。本文中术语“第一”、“第二”表示指代多个类似的技术用语并对其进行区分，并不是限定顺序的意思，或者限定只有两个的意思，例如，第一特征和第二特征，是指代有两类/两个特征，第一特征可以为一个或多个，第二特征也可以为一个或多个。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
根据本公开的实施例，提供了一种自动化测试方法，图1是根据本公开实施例的自动化测试方法的流程示意图，该方法可以应用于自动化测试设备，例如，该设备可以部署于终端或服务器或其它处理设备执行的情况下，可以执行测试任务下发、测试任务调度等。其中，终端可以为用户设备(UE，User Equipment)、移动设备、蜂窝电话、无绳电话、个人数字处理(PDA，Personal Digital Assistant)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该方法还可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。如图1所示，运行于中控***的情况下，包括：
S101、接收可视化前端发起的测试任务。
S102、将所述测试任务下发给已部署的多个客户端。
S103、对所述多个客户端进行所述测试任务执行的调度，将得到的任务执行结果反馈给所述可视化前端。
基于S101-S103的一示例中，中控***可以接收该可视化前端(Web前端)通过超文本传输协议(HTTP)发起的测试任务。该测试任务包括：测试参数及待测数据；其中，所述测试参数包括：测试产品类型、测试版本、测试场景、测试设备状态中的至少一种测试参数。中控***将该测试任务下发给已部署的多个客户端后，获取与该多个客户端分别连接的待测设备的运行状态信息(比如是否具备测试条件，即每个客户端连接的对应待测设备是否为存在空闲的待测设备，该待测设备是空闲的，则说明当前为可用状态)，中控***根据该待测设备的该运行状态信息对该多个客户端进行针对该测试任务的调度，该多个客户端执行该测试任务后，将得到的任务执行结果反馈给中控***后再转发给该可视化前端。
采用本公开，可以接收可视化前端发起的测试任务，将所述测试任务下发给已部署的多个客户端。可以对所述多个客户端进行所述测试任务执行的调度，将得到的任务执行结果反馈给所述可视化前端，从而，基于可视化前端的易操作界面、中控***的任务调度及分发，及已部署客户端执行该测试任务，实现了一整套的自动化测试流程。
一实施方式中，该可视化前端通过HTTP发起的测试任务，可以包括：该可视化前端通过HTTP的POST请求方式与中控***进行通信，并通知中控***该测试任务的触发/停止、测试参数下发、待测版本数据上传以及测试数据的下载等。其中，HTTP的请求方法包括GET(如从指定的资源请求数据)及POST(向指定的资源提交要被处理的数据)两种，采用本实施方式，通过该可视化前端易操作的可视化界面，可以为测试人员实现自动化的测试任务部署，并简化测试人员的操作复杂度，提高了操作效率。
一实施方式中，还包括：接收所述多个客户端分别发起的注册请求；响应所述注册请求，分别下发状态查询指令给所述多个客户端；根据所述多个客户端分别上报的测试任务状态，对所述多个客户端进行部署；其中，所述测试任务状态包括：与所述多个客户端分别连接的待测设备的测试任务状态。采用本实施方式，中控***可以接收注册请求后，下发状态查询指令给多个客户端，以根据该待测设备的测试任务状态(比如是否具备测试条件，即每个客户端连接的对应待测设备是否为存在空闲的待测设备，该待测设备是空闲的，则说明当前为可用状态)对多个客户端进行部署，实现了自动化的客户端部署操作，提高了处理效率。
一实施方式中，所述对所述多个客户端进行所述测试任务执行的调度，将得到的任务执行结果反馈给所述可视化前端，包括：获取与所述多个客户端分别连接的待测设备的运行状态信息，根据所述待测设备的运行状态信息进行所述调度，比如，该待测设备的测试任务状态为可用状态的情况下，将该测试任务调度给连接有对应待测设备且存在空闲的客户端去执行。接收所述多个客户端分别通过传输控制协议(TCP)上报的所述任务执行结果，将所述任务执行结果反馈给所述可视化前端。采用本实施方式，可以根据运行状态信息进行测试任务的合理调度，实现了自动化的任务调度操作，提高了处理效率，且中控***可以直接将该任务执行结果反馈给所述可视化前端。
一实施方式中，将所述任务执行结果存储在本地或者提供给云端；将在所述本地或所述云端的存储地址写入数据库中，以提供给所述可视化前端，以使得所述可视化前端基于所述存储地址下载所述任务执行结果。采用本实施方式，在中控***与可视化前端之间可以采用“存储地址”写入数据库的方式，以方便使用该可视化前端的测试人员能根据测试需求去定期下载该任务执行结果。
根据本公开的实施例，提供了一种自动化测试方法，图2是根据本公开实施例的自动化测试方法的流程示意图，该方法可以应用于自动化测试设备，如图2所示，运行与任一客户端的情况下，包括：
S201、多个客户端分别接收中控***下发的测试任务，所述测试任务由可视化前端发起。
S202、多个客户端分别接受所述中控***的调度并执行所述测试任务，得到任务执行结果。
S203、多个客户端分别将所述任务执行结果反馈给所述中控***后，转发给所述可视化前端。
S201-S203的一示例中，首先可以部署多个客户端，以任一客户端为例进行阐述，客户端可以向中控***发起注册请求，客户端接收中控***下发的状态查询指令，客户端向中控***上报带客户端本地连接的待测设备的测试任务状态后部署完成；之后，可以通过客户端执行测试过程，比如在可视化前端触发测试任务后，交由中控***，则客户端可以通过中控***的调度来接收该测试任务，客户端检测与客户端本地连接的待测设备是否为可用状态，在所述待测设备为可用状态下，客户端调用执行脚本，由所述执行脚本按照预设格式(比如客户端要求的格式)对该测试任务进行任务执行、及任务执行结果的输出；最终，客户端将所述任务执行结果通过所述中控***发送给可视化前端进行展示。
采用本公开，已部署的多个客户端可以分别接收可视化前端发起的测试任务，并在中控***的调度下所述多个客户端分别执行所述测试任务，将得到的任务执行结果上报给中控***后再反馈给可视化前端，从而，基于可视化前端的易操作界面、中控***的任务调度及分发，及已部署客户端执行该测试任务，实现了一整套的自动化测试流程。
一实施方式中，还包括：所述多个客户端分别向所述中控***发起注册请求；所述多个客户端分别接收所述中控***下发的状态查询指令；响应所述状态查询指令，所述多个客户端分别向所述中控***上报测试任务状态；其中，所述测试任务状态包括：与多个客户端分别连接的待测设备的测试任务状态，以基于所述测试任务状态部署所述多个客户端。采用本实施方式，中控***可以接收注册请求后，下发状态查询指令给多个客户端，以根据该待测设备的测试任务状态(比如是否具备测试条件，即每个客户端连接的对应待测设备是否为存在空闲的待测设备，该待测设备是空闲的，则说明当前为可用状态)对多个客户端进行部署，实现了自动化的客户端部署操作，提高了处理效率。
一实施方式中，所述接受所述中控***的调度并执行所述测试任务，得到任务执行结果，包括：上报与所述多个客户端分别连接的待测设备的运行状态信息给所述中控***，以根据所述待测设备的运行状态信息接受所述调度；所述多个客户端分别检测与所述多个客户端分别连接的待测设备的运行状态信息是否为可用状态；在所述待测设备为可用状态的情况下，所述多个客户端分别调用各自的执行脚本；运行所述执行脚本，并按照多个客户端各自要求的预设格式(如客户端要求的格式)对所述测试任务进行任务执行，得到所述任务执行结果。采用本实施方式，该客户端收到中控***下发的指令(具体指令的执行可以通过执行脚本来实现)，在任务执行过程中由该执行脚本按照客户端要求的格式执行任务、及将任务执行结果输出，从而实现了自动化的测试，且只要按照***数据交互协议进行执行脚本的开发，就可以无缝将新的待测设备或新的测试能力接入到***中。
一实施方式中，所述将所述任务执行结果反馈给所述中控***后，转发给所述可视化前端，包括：所述多个客户端分别通过TCP上报所述任务执行结果给所述中控***，以将所述任务执行结果通过所述中控***反馈给所述可视化前端。采用本实施方式，客户端将所述任务执行结果采用TCP与中控***进行通信，从而通过所述中控***可以将任务执行结果转发送给可视化前端进行展示，整个测试流程实现了自动化的处理。
根据本公开的实施例，提供了一种自动化测试方法，图3是根据本公开实施例的自动化测试方法的流程示意图，该方法可以应用于自动化测试装置，如图3所示，运行于包含可视化前端、中控***及多个客户端的自动化测试装置的情况下，包括：
S301、可视化前端发起测试任务。
S302、中控***接收所述测试任务，将所述测试任务下发给已部署的多个客户端。
S303、所述多个客户端分别接受所述中控***的调度并执行所述测试任务，将得到的任务执行结果上报给所述中控***。
S304、所述中控***将所述任务执行结果反馈给所述可视化前端。
采用本公开，可视化前端发起测试任务后，中控***可以下发该测试任务、及在多个已部署的多个客户端之间进行任务调度，已部署的多个客户端可以分别接收可视化前端发起的测试任务，并在中控***的调度下所述多个客户端分别执行所述测试任务，将得到的任务执行结果上报给中控***后再反馈给可视化前端，从而，基于可视化前端的易操作界面、中控***的任务调度及分发，及已部署客户端执行该测试任务，实现了一整套的自动化测试流程。
一实施方式中，所述可视化前端发起测试任务，包括：该可视化前端可以通过HTTP发起测试任务。具体的，该可视化前端可以通过HTTP的POST请求方式与中控***进行通信，并通知中控***该测试任务的触发/停止、测试参数下发、待测版本数据上传以及测试数据的下载等。其中，HTTP的请求方法包括GET(如从指定的资源请求数据)及POST(向指定的资源提交要被处理的数据)两种，采用本实施方式，通过该可视化前端易操作的可视化界面，可以为测试人员实现自动化的测试任务部署，并简化测试人员的操作复杂度，提高了操作效率。
一实施方式中，还包括：中控***接收所述多个客户端分别发起的注册请求；响应所述注册请求，分别下发状态查询指令给所述多个客户端；根据所述多个客户端分别上报的测试任务状态，对所述多个客户端进行部署；其中，所述测试任务状态包括：与所述多个客户端分别连接的待测设备的测试任务状态。采用本实施方式，中控***可以接收注册请求后，下发状态查询指令给多个客户端，以根据该待测设备的测试任务状态(比如是否具备测试条件，即每个客户端连接的对应待测设备是否为存在空闲的待测设备，该待测设备是空闲的，则说明当前为可用状态)对多个客户端进行部署，实现了自动化的客户端部署操作，提高了处理效率。
一实施方式中，所述多个客户端分别接受所述中控***的调度并执行所述测试任务，将得到的任务执行结果上报给所述中控***，包括：所述多个客户端分别上报与所述多个客户端分别连接的待测设备的运行状态信息给所述中控***，以根据所述待测设备的运行状态信息接受所述调度；所述多个客户端分别检测与所述多个客户端分别连接的待测设备的运行状态信息是否为可用状态；在所述待测设备为可用状态的情况下，所述多个客户端分别调用各自的执行脚本；运行所述执行脚本，并按照多个客户端各自要求的预设格式(如客户端要求的格式)对所述测试任务进行任务执行，得到所述任务执行结果，将得到的任务执行结果上报给所述中控***。采用本实施方式，该客户端收到中控***下发的指令(具体指令的执行可以通过执行脚本来实现)，在任务执行过程中由该执行脚本按照客户端要求的格式执行任务、及将任务执行结果输出，从而实现了自动化的测试，且只要按照***数据交互协议进行执行脚本的开发，就可以无缝将新的待测设备或新的测试能力接入到***中。
一实施方式中，还包括：将所述任务执行结果存储在本地或者提供给云端；将在所述本地或所述云端的存储地址写入数据库中，以提供给所述可视化前端，以使得所述可视化前端基于所述存储地址下载所述任务执行结果。采用本实施方式，在中控***与可视化前端之间可以采用“存储地址”写入数据库的方式，以方便使用该可视化前端的测试人员能根据测试需求去定期下载该任务执行结果。
应用示例：
测试任务以语音为例，在语音***的声学效果验收中，常采用端到端的方式进行测试，该端到端的整体链路中会涉及众多的模块，而且基于不同硬件拾音方案、产品功能以及用户的使用场景，可以衍生出的典型测试场景高达40种。在一次全量的测试中，可以包含10个重点测试项的传统人工测试，典型人力在4*28人/天。重点耗时分布在场控、Query朗读以及数据统计分析。随着语音业务的快速拓展，产品类型的爆发式增长，传统人工测试效率低、测试培训周期长、成本高的问题日益凸显，成为诸如交付类项目吞吐的瓶颈。
采用传统人工声学的方法进行测试，包括：1)人工方式进行测试场景的布局工作，模拟真实用户使用场景，包括环境布置、声源、待测设备位置摆放等；2)测试文本的朗读需要协调不同性别比例的男女人员进行人工发声；3)测试流程的相关控制，包括待测设备、声源协同操作、测试数据收集与统计分析只能实现部分自动化，仍然需要借助手动完成，并最终输出测试报告。
虽然上述方案通过解决人工测试文本的朗读、场景布置以及数据采集分析，可以节约部分人工耗时，以达到节省测试周期的目的，可是，这只是部分自动化的测试，需要一整套的自动化测试流程，且低门槛、易用性更高。
本公开构建了一套完整的自动化声学效果测试解决方案，提供了测试任务的管理，测试设备的调度以及在多类型多设备的并行测试方面给出了高效的解决方案，同时还包括测试信息、测试数据的持久化存储功能。
应用本公开实施例一处理流程包括如下内容：
图4是应用于本公开实施例的一应用示例的测试架构的示意图，可以实现一整套的自动化测试流程，针对语音测试而言，可以适用于包括支持语音输入、语音互动的各类智能终端或智能项目中，比如，可以用于涉及各类智能设备的声学效果测试，比如针对蓝牙音箱、车辆网产品、支持语音录入的输入法等各种声学效果测试。其中，如图4所示待测设备之间的连接方式，有屏产品中的智能终端系列可以采用USB Hub的方式进行连接，并使用adb命令查询待测设备的状态；无屏产品中的蓝牙音箱系列可以采用WiFi的连接方式进行连接。
如图4所示，该测试架构由四部分组成，包括可视化前端(如web前端)、中控***(简称中控***)、客户端(客户端的数目不限定，可以为至少两个)以及设备底层辅助模块构成，下面分别介绍各部分的主要功能：
一、Web前端
Web前端分为启动任务页面、及任务管理页面这两个页面。Web前端可以部署于Linux服务器。图5是应用于本公开实施例的一应用示例的任务启动页面，如图5所示，启动该任务页面，可以为测试人员提供了测试任务参数配置、待测产物上传、任务触发以及当前可用测试设备信息的展示功能。图6是应用于本公开实施例的一应用示例的任务管理页面，如图6所示，通过任务管理页面为测试人员提供了任务状态查询功能，包括任务参数、任务执行状态、任务结果获取、触发结束时间以及任务所属人员等功能。
Web前端通过数据库的方式与中控***做数据交换，完成***状态的获取，其中包括可用的测试产品类型、测试版本、测试场景、测试设备状态。通过HTTP的POST请求方式通知中控***任务的触发/停止、测试参数下发、待测版本数据上传以及测试数据的下载。
二、中控***
a)负责测试任务的管理以及接入客户端的调度，并将具体测试任务下发至具备测试条件(连接有对应待测产品且存在空闲待测设备)的客户端执行，并对各客户端状态进行管理，定期获取各客户端的待测产物、测试场景以及任务执行状态信息，处理汇总后存储于数据库供Web前端展示。对已完成的任务以邮件的形式将测试结果发送至对应测试人员。
b)数据持久化存储：对已完成任务的测试数据进行保存，实现可以为本地或云端，并将提取地址存放于数据库供测试人员从前端下载。
c)权限控制：对于不同类型的平台使用人员权限进行管理，区分不同使用者的可用设备以及可用测试集、测试场景以及测试数据下载权限等。
d)监控报警：对于客户端异常状态具有检测和报警功能。
中控***部署于Linux服务器。与客户端交互采用TCP方式进行，对客户端的存活性采用心跳机制进行检测，可实时接入和下线客户端。
三、由多个客户端所构成的客户端***
客户端***部署于连接着数台待测设备的具体的PC上，连接方式可以为有线或无线的形式，操作***(OS)可以支持Mac、Ubuntu以及Windows等多个***版本。
客户端***分为客户端程序以及执行脚本两部分。通过客户端程序接收并执行中控***下发的指令，包括可用测试任务触发/停止、测试场景查询、所连接的待测设备状态查询、任务执行状态反馈、测试版本部署、测试数据压缩上传功能。任务触发时将从中控***接收到的任务参数转换为执行脚本规定的输入数据格式传递到执行脚本，并调用执行脚本完成测试过程的具体执行。执行过程主要分为待测版本推送，测试场景语料推送，测试功能的开启(如唤醒、识别)以及测试数据获取阶段。任务执行状态由执行脚本按照客户端程序要求的格式输出。不同类型的待测设备的控制差异性及测试流程的差异性可以在该执行脚本中进行屏蔽，也就是说，对客户端程序不可见。因此，只要按照***数据交互协议进行执行脚本的开发，就可以无缝将新的待测设备或新的测试能力接入到***中。此外，通过执行脚本，还可以对与客户端已连接的待测设备进行检测及调度管理。客户端程序可采用多PC的分布式部署，客户端程序通过向中控***发送注册请求以通知新客户端的接入。该方式对于使用WiFi方式连接的待测设备而言，可极大缓解区域覆盖路由器的负荷，以减少因待测设备网络连接不稳定导致的效果测试的不精确问题。
图7是应用于本公开实施例的一应用示例的客户端***部署流程图，如图7所示，包括：客户端向中控***注册；客户端查询连接待测设备状态；响应设备状态查询命令；客户端扫描本地测试集测试版本任务状态；响应中控***发送的对应状态查询命令；中控***将客户端上报信息处理后写入数据库；Web前端读取数据库信息并展示，从而完成对客户端的部署。
图8是应用于本公开实施例的一应用示例的***执行流程图，如图8所示，包括：测试人员通过Web前端上传测试任务对应的测试版本；选择为测试场景所配置的测试参数；触发测试任务；中控***选择已部署且处于可用状态的客户端，并下发测试任务；客户端检查待测设备是否可用，若可用，则调用执行脚本，否则，等待待测设备连接或释放；通过执行脚本进行测试环境部署并执行测试任务；客户端向中控***上报任务状态；判断该测试任务是否执行完毕，如果测试执行完毕，则客户端上报任务执行结果(即测试数据)，否则，客户端继续向中控***上报任务状态；中控***存储任务执行结果(即测试数据)，并发送任务结果通知邮件给Web前端。
四、软硬件底层辅助
基于上述自动化测试流程，对已有软、硬件进行改动，以达到语音数据导入被测设备的目的，不做赘述。
采用本应用示例，使用一套基于音频数据导入原理的语音声学效果测试***，全流程无人值守，自动化完成，不仅适用于语音测试，还适应于各类任务的测试，针对语音而言，对于语音交互功能的测试、语音声学效果的测试、声学效果的验收，效果显著，可以降低整体语音效果测试的测试门槛，***可扩展性高，且整个测试流程的控制以及数据分析全部自动完成，测试人员只需提交任务，在平台查看测试结果即可，测试过程中无需人工介入；提供了简单易用的前端入口，极大降低了声学效果的测试门槛，缩短了测试人员培训周期；高效的设备调度与并行控制，可大规模进行多地部署，成比例的缩短测试任务周期；良好的***扩展性，可快速完成新产品以及新功能的测试接入；测试数据持久化，可便捷的查询历史效果数据以及其他任务数据。
根据本公开的实施例，提供了一种自动化测试设备，图9是根据本公开实施例的自动化测试设备的组成结构示意图，如图9所示，自动化测试装置900包括：任务接收模块901，用于接收可视化前端发起的测试任务；任务下发模块902，用于将所述测试任务下发给已部署的多个客户端；任务调度模块903，用于对所述多个客户端进行所述测试任务执行的调度，将得到的任务执行结果反馈给所述可视化前端。
一实施方式中，所述任务接收模块，用于：接收所述可视化前端通过超文本传输协议发起的测试任务；所述测试任务包括：测试参数及待测数据；其中，所述测试参数包括：测试产品类型、测试版本、测试场景、测试设备状态中的至少一种测试参数。
一实施方式中，还包括客户端部署模块，用于：接收所述多个客户端分别发起的注册请求；响应所述注册请求，分别下发状态查询指令给所述多个客户端；根据所述多个客户端分别上报的测试任务状态，对所述多个客户端进行部署；其中，所述测试任务状态包括：与所述多个客户端分别连接的待测设备的测试任务状态。
一实施方式中，所述任务调度模块，用于：获取与所述多个客户端分别连接的待测设备的运行状态信息，根据所述待测设备的运行状态信息进行所述调度；接收所述多个客户端分别通过传输控制协议上报的所述任务执行结果，将所述任务执行结果反馈给所述可视化前端。
一实施方式中，还包括存储模块，用于：将所述任务执行结果存储在本地或者提供给云端；将在所述本地或所述云端的存储地址写入数据库中，以提供给所述可视化前端，以使得所述可视化前端基于所述存储地址下载所述任务执行结果。
根据本公开的实施例，提供了一种自动化测试设备，图10是根据本公开实施例的自动化测试设备的组成结构示意图，如图10所示，该自动化测试设备1000，包括：接收模块1001，用于接收中控***下发的测试任务，所述测试任务由可视化前端发起；执行模块1002，用于接受所述中控***的调度并执行所述测试任务，得到任务执行结果；上报模块1003，用于将所述任务执行结果上报给所述中控***后，转发给所述可视化前端。
一实施方式中，还包括部署模块，用于：向所述中控***发起注册请求；
接收所述中控***下发的状态查询指令；响应所述状态查询指令，向所述中控***上报测试任务状态；其中，所述测试任务状态包括：与多个客户端分别连接的待测设备的测试任务状态，以基于所述测试任务状态部署所述多个客户端。
一实施方式中，所述执行模块，用于：上报与所述多个客户端分别连接的待测设备的运行状态信息给所述中控***，以根据所述待测设备的运行状态信息接受所述调度；检测与所述多个客户端分别连接的待测设备的运行状态信息是否为可用状态；在所述待测设备为可用状态的情况下，调用执行脚本；运行所述执行脚本，并按照预设格式对所述测试任务进行任务执行，得到所述任务执行结果。
一实施方式中，所述上报模块，用于：通过传输控制协议上报所述任务执行结果给所述中控***，以将所述任务执行结果通过所述中控***反馈给所述可视化前端。
根据本公开的实施例，提供了一种自动化测试设备，图11是根据本公开实施例的自动化测试设备的组成结构示意图，如图11所示，该自动化测试设备1100，包括：可视化前端1101、中控***1102及多个客户端1103；其中，可视化前端1101，用于发起测试任务；中控***1102，用于接收所述测试任务，将所述测试任务下发给已部署的多个客户端1103；多个客户端1103，用于分别接受中控***1102的调度并执行所述测试任务，将得到的任务执行结果上报给中控***1102；中控***1102，还用于将所述任务执行结果反馈给可视化前端1101。
一实施方式中，所述可视化前端，还用于通过HTTP发起测试任务。具体的，该可视化前端可以通过HTTP的POST请求方式与中控***进行通信，并通知中控***该测试任务的触发/停止、测试参数下发、待测版本数据上传以及测试数据的下载等。
一实施方式中，所述中控***，还用于接收所述多个客户端分别发起的注册请求；响应所述注册请求，分别下发状态查询指令给所述多个客户端；根据所述多个客户端分别上报的测试任务状态，对所述多个客户端进行部署；其中，所述测试任务状态包括：与所述多个客户端分别连接的待测设备的测试任务状态。
一实施方式中，所述多个客户端，还用于分别上报与所述多个客户端分别连接的待测设备的运行状态信息给所述中控***，以根据所述待测设备的运行状态信息接受所述调度；所述多个客户端分别检测与所述多个客户端分别连接的待测设备的运行状态信息是否为可用状态；在所述待测设备为可用状态的情况下，所述多个客户端分别调用各自的执行脚本；运行所述执行脚本，并按照多个客户端各自要求的预设格式(如客户端要求的格式)对所述测试任务进行任务执行，得到所述任务执行结果，将得到的任务执行结果上报给所述中控***。
一实施方式中，所述中控***，还用于将所述任务执行结果存储在本地或者提供给云端；将在所述本地或所述云端的存储地址写入数据库中，以提供给所述可视化前端，以使得所述可视化前端基于所述存储地址下载所述任务执行结果。
本公开实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图12是用来实现本公开实施例的自动化测试方法的电子设备的框图。该电子设备可以为前述部署设备或代理设备。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或要求的本公开的实现。
如图12所示，电子设备1200包括计算单元1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序来执行各种适当的动作和处理。在RAM 1203中，还可存储电子设备1200操作所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入输出(I/O)接口1205也连接至总线1204。
电子设备1200中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许电子设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如自动化测试方法。例如，在一些实施例中，自动化测试方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1202和/或通信单元1209而被载入和/或安装到电子设备1200上。当计算机程序加载到RAM 1203并由计算单元1201执行时，可以执行上文描述的自动化测试方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行自动化测试方法。
本文中以上描述的***和技术的各种实施方式可以在数字电子电路***、集成电路***、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上***的***(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程***上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储***、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储***、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行***、装置或设备使用或与指令执行***、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体***、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的***和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入、或者触觉输入来接收来自用户的输入。
可以将此处描述的***和技术实施在包括后台部件的计算***(例如，作为数据服务器)、或者包括中间件部件的计算***(例如，应用服务器)、或者包括前端部件的计算***(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的***和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算***中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将***的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机***可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (18)

1.一种自动化测试方法，包括：
接收可视化前端发起的测试任务；所述测试任务包括所述测试任务的触发/停止、测试参数下发、待测试版本数据上传以及测试数据的下载的信息；
将所述测试任务下发给已部署的多个客户端；
对所述多个客户端进行所述测试任务执行的调度，将得到的任务执行结果反馈给所述可视化前端；其中，所述多个客户端分别执行所述测试任务，并将得到的任务执行结果进行反馈；其中，部署所述多个客户端，包括：
接收所述多个客户端分别发起的注册请求；
响应所述注册请求，分别下发状态查询指令给所述多个客户端；
根据所述多个客户端分别上报的测试任务状态，对所述多个客户端进行部署；
其中，所述测试任务状态包括：与所述多个客户端分别连接的待测设备的测试任务状态。
2.根据权利要求1所述的方法，其中，所述接收可视化前端发起的测试任务，包括：
接收所述可视化前端通过超文本传输协议发起的测试任务；
所述测试任务包括：测试参数及待测数据；其中，所述测试参数包括：测试产品类型、测试版本、测试场景、测试设备状态中的至少一种测试参数。
3.根据权利要求1-2中任一项所述的方法，其中，所述对所述多个客户端进行所述测试任务执行的调度，将得到的任务执行结果反馈给所述可视化前端，包括：
获取与所述多个客户端分别连接的待测设备的运行状态信息，根据所述待测设备的运行状态信息进行所述调度；
接收所述多个客户端分别通过传输控制协议上报的所述任务执行结果，将所述任务执行结果反馈给所述可视化前端。
4.根据权利要求3所述的方法，还包括：
将所述任务执行结果存储在本地或者提供给云端；
将在所述本地或所述云端的存储地址写入数据库中，以提供给所述可视化前端，以使得所述可视化前端基于所述存储地址下载所述任务执行结果。
5.一种自动化测试方法，应用于已部署的多个客户端，包括：
接收中控***下发的测试任务，所述测试任务由可视化前端发起；所述测试任务包括所述测试任务的触发/停止、测试参数下发、待测试版本数据上传以及测试数据的下载的信息；
接受所述中控***的调度并执行所述测试任务，得到任务执行结果；其中，所述多个客户端分别执行所述测试任务，并将得到的任务执行结果反馈给所述中控***；
将所述任务执行结果上报给所述中控***后，转发给所述可视化前端；
其中，部署所述多个客户端，包括：
向所述中控***发起注册请求；
接收所述中控***下发的状态查询指令；
响应所述状态查询指令，向所述中控***上报测试任务状态；
其中，所述测试任务状态包括：与多个客户端分别连接的待测设备的测试任务状态，以基于所述测试任务状态部署所述多个客户端。
6.根据权利要求5所述的方法，其中，所述接受所述中控***的调度并执行所述测试任务，得到任务执行结果，包括：
上报与所述多个客户端分别连接的待测设备的运行状态信息给所述中控***，以根据所述待测设备的运行状态信息接受所述调度；
检测与所述多个客户端分别连接的待测设备的运行状态信息是否为可用状态；
在所述待测设备为可用状态的情况下，调用执行脚本；
运行所述执行脚本，并按照预设格式对所述测试任务进行任务执行，得到所述任务执行结果。
7.根据权利要求5所述的方法，其中，所述将所述任务执行结果上报给所述中控***后，转发给所述可视化前端，包括：
通过传输控制协议上报所述任务执行结果给所述中控***，以将所述任务执行结果通过所述中控***反馈给所述可视化前端。
8.一种自动化测试方法，所述方法包括：
可视化前端发起测试任务；所述测试任务包括所述测试任务的触发/停止、测试参数下发、待测试版本数据上传以及测试数据的下载的信息；
中控***接收所述测试任务，将所述测试任务下发给已部署的多个客户端；
所述多个客户端分别接受所述中控***的调度并执行所述测试任务，将得到的任务执行结果上报给所述中控***；
所述中控***将所述任务执行结果反馈给所述可视化前端；
其中，部署所述多个客户端，包括：
所述中控***接收所述多个客户端分别发起的注册请求；
所述中控***响应所述注册请求，分别下发状态查询指令给所述多个客户端；
所述中控***根据所述多个客户端分别上报的测试任务状态，对所述多个客户端进行部署；
其中，所述测试任务状态包括：与所述多个客户端分别连接的待测设备的测试任务状态。
9.一种自动化测试设备，包括：
任务接收模块，用于接收可视化前端发起的测试任务；所述测试任务包括所述测试任务的触发/停止、测试参数下发、待测试版本数据上传以及测试数据的下载的信息；
任务下发模块，用于将所述测试任务下发给已部署的多个客户端；
任务调度模块，用于对所述多个客户端进行所述测试任务执行的调度，将得到的任务执行结果反馈给所述可视化前端；其中，所述多个客户端分别执行所述测试任务，并将得到的任务执行结果进行反馈；
其中，部署所述多个客户端，包括：
接收所述多个客户端分别发起的注册请求；
响应所述注册请求，分别下发状态查询指令给所述多个客户端；
根据所述多个客户端分别上报的测试任务状态，对所述多个客户端进行部署；
其中，所述测试任务状态包括：与所述多个客户端分别连接的待测设备的测试任务状态。
10.根据权利要求9所述的设备，其中，所述任务接收模块，用于：
接收所述可视化前端通过超文本传输协议发起的测试任务；
所述测试任务包括：测试参数及待测数据；其中，所述测试参数包括：测试产品类型、测试版本、测试场景、测试设备状态中的至少一种测试参数。
11.根据权利要求9-10中任一项所述的设备，其中，所述任务调度模块，用于：
获取与所述多个客户端分别连接的待测设备的运行状态信息，根据所述待测设备的运行状态信息进行所述调度；
接收所述多个客户端分别通过传输控制协议上报的所述任务执行结果，将所述任务执行结果反馈给所述可视化前端。
12.根据权利要求11所述的设备，还包括存储模块，用于：
将所述任务执行结果存储在本地或者提供给云端；
将在所述本地或所述云端的存储地址写入数据库中，以提供给所述可视化前端，以使得所述可视化前端基于所述存储地址下载所述任务执行结果。
13.一种自动化测试设备，应用于已部署的多个客户端，包括：
接收模块，用于接收中控***下发的测试任务，所述测试任务由可视化前端发起；所述测试任务包括所述测试任务的触发/停止、测试参数下发、待测试版本数据上传以及测试数据的下载的信息；
执行模块，用于接受所述中控***的调度并执行所述测试任务，得到任务执行结果；
上报模块，用于将所述任务执行结果上报给所述中控***后，转发给所述可视化前端；其中，所述多个客户端分别执行所述测试任务，并将得到的任务执行结果反馈给中控***；
其中，还包括部署模块，用于：
向所述中控***发起注册请求；
接收所述中控***下发的状态查询指令；
响应所述状态查询指令，向所述中控***上报测试任务状态；
其中，所述测试任务状态包括：与多个客户端分别连接的待测设备的测试任务状态，以基于所述测试任务状态部署所述多个客户端。
14.根据权利要求13所述的设备，其中，所述执行模块，用于：
上报与所述多个客户端分别连接的待测设备的运行状态信息给所述中控***，以根据所述待测设备的运行状态信息接受所述调度；
检测与所述多个客户端分别连接的待测设备的运行状态信息是否为可用状态；
在所述待测设备为可用状态的情况下，调用执行脚本；
运行所述执行脚本，并按照预设格式对所述测试任务进行任务执行，得到所述任务执行结果。
15.根据权利要求13所述的设备，其中，所述上报模块，用于：
通过传输控制协议上报所述任务执行结果给所述中控***，以将所述任务执行结果通过所述中控***反馈给所述可视化前端。
16.一种自动化测试装置，所述装置包括可视化前端、中控***及多个客户端；其中，
所述可视化前端，用于发起测试任务；所述测试任务包括所述测试任务的触发/停止、测试参数下发、待测试版本数据上传以及测试数据的下载的信息；
所述中控***，用于接收所述测试任务，将所述测试任务下发给已部署的多个客户端；
所述多个客户端，用于分别接受所述中控***的调度并执行所述测试任务，将得到的任务执行结果上报给所述中控***；
所述中控***，还用于将所述任务执行结果反馈给所述可视化前端；
其中，部署所述多个客户端，包括：
所述中控***接收所述多个客户端分别发起的注册请求；
所述中控***响应所述注册请求，分别下发状态查询指令给所述多个客户端；
所述中控***根据所述多个客户端分别上报的测试任务状态，对所述多个客户端进行部署；
其中，所述测试任务状态包括：与所述多个客户端分别连接的待测设备的测试任务状态。
17.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。
18.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行权利要求1-8中任一项所述的方法。
CN202110216597.3A 2021-02-26 2021-02-26 自动化测试方法、装置、电子设备及存储介质 Active CN112882939B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202110216597.3A CN112882939B (zh) 2021-02-26 2021-02-26 自动化测试方法、装置、电子设备及存储介质
EP21873690.8A EP4080371A4 (en) 2021-02-26 2021-07-06 METHOD AND DEVICE FOR AUTOMATIC TESTING, ELECTRONIC DEVICE AND STORAGE MEDIA
US17/754,561 US20240061759A1 (en) 2021-02-26 2021-07-06 Automatic test method and apparatus, electronic device, and storage medium
JP2022520154A JP2023519774A (ja) 2021-02-26 2021-07-06 自動化テスト方法、装置、電子デバイス、記憶媒体、及びプログラム
PCT/CN2021/104781 WO2022179034A1 (zh) 2021-02-26 2021-07-06 自动化测试方法、装置、电子设备及存储介质
KR1020227010214A KR20220046697A (ko) 2021-02-26 2021-07-06 자동화 테스트 방법, 장치, 전자기기, 저장매체 및 컴퓨터 프로그램

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110216597.3A CN112882939B (zh) 2021-02-26 2021-02-26 自动化测试方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN112882939A CN112882939A (zh) 2021-06-01
CN112882939B true CN112882939B (zh) 2022-09-02

Family

ID=76054630

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110216597.3A Active CN112882939B (zh) 2021-02-26 2021-02-26 自动化测试方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN112882939B (zh)
WO (1) WO2022179034A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112882939B (zh) * 2021-02-26 2022-09-02 北京百度网讯科技有限公司 自动化测试方法、装置、电子设备及存储介质
CN113470618A (zh) * 2021-06-08 2021-10-01 阿波罗智联(北京)科技有限公司 唤醒测试的方法、装置、电子设备和可读存储介质
CN114040189A (zh) * 2021-09-30 2022-02-11 北京欧珀通信有限公司 多媒体测试方法、装置、存储介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104461900A (zh) * 2014-12-19 2015-03-25 北京奇虎科技有限公司 用户界面的测试方法、中控服务器、测试终端及***
CN104731706A (zh) * 2013-12-19 2015-06-24 国际商业机器公司 用于使用分布式计算的测试管理的方法和装置
CN105117289A (zh) * 2015-09-30 2015-12-02 北京奇虎科技有限公司 基于云测试平台的任务分配方法、装置及***
DE102015101388A1 (de) * 2015-01-30 2016-08-04 Deutsche Telekom Ag Prüfsystem zur Prüfung eines Computers eines Computersystems in einem Prüfnetzwerk
CN106933729A (zh) * 2015-12-29 2017-07-07 苏宁云商集团股份有限公司 一种基于云平台的测试方法和***
CN107643981A (zh) * 2017-08-29 2018-01-30 顺丰科技有限公司 一种多元业务流程的自动化测试平台及运行方法
CN107704398A (zh) * 2017-11-01 2018-02-16 网易（杭州）网络有限公司 自动化测试方法及装置、存储介质、电子设备

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090282136A1 (en) * 2008-05-08 2009-11-12 Oracle International Corporation Automatic Generation of Web Service client for Web Services Interoperability Testing
CN104834595B (zh) * 2015-02-15 2017-09-12 网易（杭州）网络有限公司 一种可视化自动测试方法及***
CN106598836A (zh) * 2015-10-20 2017-04-26 阿里巴巴集团控股有限公司 一种客户端软件的测试方法及***
US10402301B2 (en) * 2018-01-08 2019-09-03 Microsoft Technology Licensing, Llc Cloud validation as a service
US20190361801A1 (en) * 2018-05-23 2019-11-28 10546658 Canada Inc. Method and system for cloud-based automated software testing
CN110749814A (zh) * 2018-07-24 2020-02-04 上海富瀚微电子股份有限公司 一种芯片ic样本自动化测试***及方法
CN109213682A (zh) * 2018-09-06 2019-01-15 郑州云海信息技术有限公司 一种测试客户端的方法、客户端、服务端及可读存储介质
CN110083544A (zh) * 2019-05-07 2019-08-02 江苏满运软件科技有限公司 分布式自动化测试***、方法、电子设备和存储介质
CN110675857A (zh) * 2019-09-23 2020-01-10 湖北亿咖通科技有限公司 一种语音识别自动化测试***及方法
CN112882939B (zh) * 2021-02-26 2022-09-02 北京百度网讯科技有限公司 自动化测试方法、装置、电子设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104731706A (zh) * 2013-12-19 2015-06-24 国际商业机器公司 用于使用分布式计算的测试管理的方法和装置
CN104461900A (zh) * 2014-12-19 2015-03-25 北京奇虎科技有限公司 用户界面的测试方法、中控服务器、测试终端及***
DE102015101388A1 (de) * 2015-01-30 2016-08-04 Deutsche Telekom Ag Prüfsystem zur Prüfung eines Computers eines Computersystems in einem Prüfnetzwerk
CN105117289A (zh) * 2015-09-30 2015-12-02 北京奇虎科技有限公司 基于云测试平台的任务分配方法、装置及***
CN106933729A (zh) * 2015-12-29 2017-07-07 苏宁云商集团股份有限公司 一种基于云平台的测试方法和***
CN107643981A (zh) * 2017-08-29 2018-01-30 顺丰科技有限公司 一种多元业务流程的自动化测试平台及运行方法
CN107704398A (zh) * 2017-11-01 2018-02-16 网易（杭州）网络有限公司 自动化测试方法及装置、存储介质、电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FPGA-Based Adaptive Task Scheduler for Real Time Embedded Systems;Pravin S. Choudhary等;《2018 International Conference on Research in Intelligent and Computing in Engineering (RICE)》;20181025;第1-4页 *
分布式测试平台任务管理子***的设计与实现;胡元甲等;《计算机工程与设计》;20110316;第958-962页 *
分布式***自动化测试平台设计与实现;胡瑶;《cnki优秀硕士学位论文全文库 信息科技辑》;20160315;第I138-1576页 *

Also Published As

Publication number Publication date
WO2022179034A1 (zh) 2022-09-01
CN112882939A (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN112882939B (zh) 自动化测试方法、装置、电子设备及存储介质
CN111026572A (zh) 分布式***的故障处理方法、装置及电子设备
CN111143075B (zh) 海洋卫星数据定标检验方法、装置、电子设备及存储介质
CN110851324B (zh) 基于日志的巡检处理方法、装置以及电子设备、存储介质
CN113220420A (zh) 服务监控方法、装置、设备、存储介质及计算机程序产品
CN113795039B (zh) 运营商网络切换方法、装置、设备和计算机可读存储介质
US20240061759A1 (en) Automatic test method and apparatus, electronic device, and storage medium
CN114064208A (zh) 检测应用服务状态的方法、装置、电子设备及存储介质
US8539453B2 (en) Autonomic I/O tracing and performance tuning
CN114328132A (zh) 外部数据源的状态监控方法、装置、设备和介质
CN113377665A (zh) 基于容器技术的测试方法、装置、电子设备及存储介质
CN114025037B (zh) 一种云手机的检修方法、装置、电子设备和存储介质
CN111459629A (zh) 基于Azkaban的项目运行方法、装置及终端设备
CN114415691A (zh) 一种机器人调度方法、调度平台及***
CN114389969B (zh) 客户端的测试方法、装置、电子设备和存储介质
CN116010065A (zh) 分布式任务调度方法、装置以及设备
CN114116487B (zh) 压力测试方法、装置、电子设备及存储介质
CN112925623B (zh) 任务处理方法、装置、电子设备和介质
CN115357493A (zh) 测试方法、装置、电子设备和存储介质
CN114862223A (zh) 一种机器人调度方法、装置、设备及存储介质
CN113656239A (zh) 针对中间件的监控方法、装置及计算机程序产品
CN112631843A (zh) 设备测试方法及装置、电子设备、可读介质、产品
CN111026571B (zh) 处理器降频处理方法、装置及电子设备
CN115269055A (zh) Nginx请求数据采集方法、装置、设备及存储介质
CN115438005A (zh) 一种日志查询方法、装置、电子设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant