CN104427547A - 业务和网络关联测试方法、装置及*** - Google Patents

业务和网络关联测试方法、装置及*** Download PDF

Info

Publication number
CN104427547A
CN104427547A CN201310384932.6A CN201310384932A CN104427547A CN 104427547 A CN104427547 A CN 104427547A CN 201310384932 A CN201310384932 A CN 201310384932A CN 104427547 A CN104427547 A CN 104427547A
Authority
CN
China
Prior art keywords
test
index
terminal
testing
testing server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201310384932.6A
Other languages
English (en)
Other versions
CN104427547B (zh
Inventor
金凌
种璟
李超
刘刚
张朗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Communications Group Co Ltd
Original Assignee
China Mobile Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Communications Group Co Ltd filed Critical China Mobile Communications Group Co Ltd
Priority to CN201310384932.6A priority Critical patent/CN104427547B/zh
Publication of CN104427547A publication Critical patent/CN104427547A/zh
Application granted granted Critical
Publication of CN104427547B publication Critical patent/CN104427547B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/02Arrangements for optimising operational condition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W24/00Supervisory, monitoring or testing arrangements
    • H04W24/08Testing, supervising or monitoring using real traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种业务和网络关联测试方法、装置及***,用以解决现有的业务测试和网络测试的方案中部分复杂的涉及协议的测试指标无法直接在终端上进行测试的问题。在本发明中,终端将测试任务的测试指标以及终端的属性参数和性能参数输入到预设的决策树模型中,运行决策树模型确定得到测试指标的测试位置,测试位置包括终端和/或测试服务器;终端根据所确定的测试指标的测试位置对测试指标进行测试,或者指示测试服务器对测试指标进行测试,得到测试结果,并对测试结果进行分析得到分析结果。从而能够依赖测试服务器的处理能力实现对无法在终端进行测试的测试指标的测试。

Description

业务和网络关联测试方法、装置及***
技术领域
本发明涉及移动通信***中的业务测试技术,尤其是涉及一种业务和网络关联测试方法、装置及***。
背景技术
在通信网络高速发展的今天,数据业务层出不穷,如何在保证网络建设的同时,迅速提升数据业务的质量和网络性能,以及满足用户日益增长对数据业务多样性和高可靠性需求,成为运营商需要解决的问题。
为了提高业务质量和网络质量,需要在商用终端上对数据业务质量和网络质量性能等方面进行多个维度各种指标的测试。
当前运营商在测试领域主要的解决方案有如下三种方案:
方案一、网络监控和测试领域中传统的“测试终端+路测软件”模式。该模式主要使用特殊定制的测试终端针对网络传输、信号质量等方面进行测试,后台对测试终端收集到的数据进行分析,但是一般很少直接针对数据业务质量本身进行监控。
方案二、人工拨测模式,就是测试人员重复地使用普通商用终端进行业务使用测试,然后人工记录各种测试数据。
方案三、智能终端自动测试模式,将诸如测试程序或者测试代理程序等的自动化拨测工具安装到智能终端中,自动拨测工具在智能终端上模拟用户行为发起业务,然后按照预设的测试流程执行测试,并结合截屏图像匹配和识别等方法完成业务质量测试。
在上述方案中,对网络质量或者业务质量的测试通常是在终端侧进行。
但是,对于上述方案一,方案一中的测试终端一般为特殊定制的终端,通常不基于市场上常见的智能操作***,也不属于普通商用终端。在这样的终端上主要执行常见的网络质量测试;在方案一中,如果要测试具体的某一种基础数据业务,则需要根据协议开发专用的测试终端。而对于一些自带客户端的业务来说,这样的业务通常没有为特殊的测试终端专门定制客户端程序,因此无法准确地进行这些业务的拨测。
对于上述方案二,基于普通的商用终端也只能进行常见的网络质量测试。
对于上述方案三,在智能终端上通常仅对测试数据业务中用户可感知的指标进行测试,例如下载速度等,对业务和网络的底层协议部分的测试功能相对较为匮乏。并且,对于部分网络指标的测试,例如通过抓取数据包进行协议层分析,需要网络侧执行相应的操作来配合完成操作,在智能终端上的现有测试功能无法完成这类测试。
综上可见,现有业务测试和网络测试的方案中至少存在如下问题:
第一、上述方案均只能对网络质量与业务质量的其中之一进行测试,不能对这二者都进行测试;
第二、受限于终端的处理能力,部分复杂的涉及协议的测试指标无法直接在终端上进行测试。
发明内容
本发明实施例提供一种业务和网络关联测试方法、装置及***,用以解决现有的业务测试和网络测试的方案中存在的只能对网络质量与业务质量的其中之一进行测试,不能对这二者都进行测试的问题,以及部分复杂的涉及协议的测试指标无法直接在终端上进行测试的问题的至少之一。
本发明实施例技术方案如下:
一种业务和网络的关联测试方法,包括:终端将测试任务的测试指标以及终端的属性参数和性能参数输入到预设的决策树模型中,运行决策树模型确定得到测试指标的测试位置,测试位置包括终端和/或测试服务器;其中,所述预设的决策树模型是根据预设的分类规则对历史测试数据进行训练学习得到的,所述决策树模型的非叶子节点为分类规则、叶子节点为测试指标的测试位置;终端根据所确定的测试指标的测试位置对测试指标进行测试,或者指示测试服务器对测试指标进行测试,得到测试结果,并对测试结果进行分析得到分析结果。
其中,终端根据所确定的测试指标的测试位置对测试指标进行测试,或者指示测试服务器对测试指标进行测试,得到测试结果,具体包括:在所确定的测试指标的测试位置为终端的情况下,终端对测试指标进行测试得到测试结果;在所确定的测试指标的测试位置为测试服务器的情况下,终端向测试服务器发送测试消息指示测试服务器对该测试指标进行测试,接收测试服务器返回的对该测试指标进行测试得到的测试结果;在所确定的测试指标中一部分子指标的测试位置为终端、另一部分子指标的测试位置为测试服务器的情况下,终端对需要在终端进行测试的子指标进行测试,得到终端测试结果,向测试服务器发送测试消息指示测试服务器对测试指标中需要在测试服务器进行测试的子指标进行测试,并接收测试服务器返回的对该测试指标的子指标进行测试得到的服务器测试结果;将终端测试结果和服务器测试结果合并为测试结果。
优选地,所述方法还包括:终端接收并保存来自测试服务器的所述预设的决策树模型;其中,所述预设的决策树模型是测试服务器根据预设的分类规则对历史测试数据进行训练学习得到的。
具体地,所述测试任务包括业务质量测试任务或网络质量测试任务。
具体地,所述分类规则至少包括以下之一或组合:有关终端属性和性能的分类规则、有关业务质量的分类规则、有关网络质量的分类规则。
优选地,所述方法还包括:终端将测试数据发送给测试服务器,测试数据包括测试任务的测试指标、终端的属性参数和性能参数、测试结果和分析结果,测试数据为测试服务器根据该测试数据更新决策树模型提供参考。
一种业务和网络的关联测试装置,包括:测试位置确定模块,用于将测试任务的测试指标以及终端的属性参数和性能参数输入到预设的决策树模型中,运行决策树模型确定得到测试指标的测试位置,测试位置包括终端和/或测试服务器;其中,所述预设的决策树模型是根据预设的分类规则对历史测试数据进行训练学习得到的,所述决策树模型的非叶子节点为分类规则、叶子节点为测试指标的测试位置;测试执行模块,用于根据所述测试位置确定模块所确定的测试指标的测试位置对测试指标进行测试,或者指示测试服务器对测试指标进行测试,得到测试结果,并对测试结果进行分析得到分析结果。
具体地,测试执行模块,具体用于:在所确定的测试指标的测试位置为终端的情况下,对测试指标进行测试得到测试结果;在所确定的测试指标的测试位置为测试服务器的情况下,向测试服务器发送测试消息指示测试服务器对该测试指标进行测试,接收测试服务器返回的对该测试指标进行测试得到的测试结果;在所确定的测试指标中一部分子指标的测试位置为终端、另一部分子指标的测试位置为测试服务器的情况下,对需要在终端进行测试的子指标进行测试,得到终端测试结果,向测试服务器发送测试消息指示测试服务器对测试指标中需要在测试服务器进行测试的子指标进行测试,并接收测试服务器返回的对该测试指标的子指标进行测试得到的服务器测试结果;将终端测试结果和服务器测试结果合并为测试结果。
优选地,所述装置还包括:保存模块,用于接收并保存来自测试服务器的所述预设的决策树模型;其中,所述预设的决策树模型是测试服务器根据预设的分类规则对历史测试数据进行训练学习得到的。则,测试执行模块,还用于:将测试数据发送给测试服务器,测试数据包括测试任务的测试指标、终端的属性参数和性能参数、测试结果和分析结果,测试数据为测试服务器根据该测试数据更新决策树模型提供参考。
一种业务和网络的关联测试方法,包括:测试服务器接收来自终端的对测试指标的测试指示;测试服务器对测试指示所指示的测试指标进行测试。
具体地,测试服务器判断对测试指标进行测试是否需要采集具体业务平台的相关参数,在判断为是的情况下,向具体业务平台采集相关参数;则,测试服务器根据从业务平台采集的相关参数对测试指标进行测试,得到测试结果;将测试结果返回给终端。
优选地,所述方法还包括:测试服务器根据预设的分类规则对历史测试数据进行训练学习得到的决策树模型,将该决策树模块发送给终端。测试服务器接收来自终端的测试数据,根据测试数据更新决策树模块;其中,测试数据包括测试任务的测试指标、终端的属性参数和性能参数、测试结果和分析结果。
一种业务和网络的关联测试装置,包括:收发模块,用于接收来自终端的对测试指标的测试指示;测试模块,用于对接收模块接收到的测试指示所指示的测试指标进行测试。
具体地,测试模块,还用于:判断对测试指标进行测试是否需要采集具体业务平台的相关参数,在判断为是的情况下,向具体业务平台采集相关参数;则,测试模块,具体根据从业务平台采集的相关参数对测试指标进行测试,得到测试结果;收发模块,还将测试模块测试得到的测试结果返回给终端。
优选地,所述装置还包括:决策树模型模块,用于根据预设的分类规则对历史测试数据进行训练学习得到的决策树模型;则,收发模块,还用于将决策树模型模块得到的决策树模块发送给终端。
优选地,收发模块还用于接收来自终端的测试数据;则,决策树模型模块还用于:根据测试数据更新决策树模块;其中,测试数据包括测试任务的测试指标、终端的属性参数和性能参数、测试结果和分析结果。
一种业务和网络的关联测试***,包括:终端和测试服务器;终端,用于将测试任务的测试指标以及终端的属性参数和性能参数输入到预设的决策树模型中,运行决策树模型确定得到测试指标的测试位置,测试位置包括终端和/或测试服务器;其中,所述预设的决策树模型是根据预设的分类规则对历史测试数据进行训练学习得到的,所述决策树模型的非叶子节点为分类规则、叶子节点为测试指标的测试位置;终端根据所确定的测试指标的测试位置对测试指标进行测试,或者指示测试服务器对测试指标进行测试,得到测试结果,并对测试结果进行分析得到分析结果;测试服务器,用于根据终端的指示对测试指标进行测试。
本发明实施例通过终端将测试任务的测试指标以及终端的属性参数和性能参数输入到预设的决策树模型中,运行决策树模型确定得到测试指标的测试位置,测试位置包括终端和/或测试服务器;其中,所述预设的决策树模型是根据预设的分类规则对历史测试数据进行训练学习得到的,所述决策树模型的非叶子节点为分类规则、叶子节点为测试指标的测试位置;终端根据所确定的测试指标的测试位置对测试指标进行测试,或者指示测试服务器对测试指标进行测试,得到测试结果,并对测试结果进行分析得到分析结果;从而,能够在终端侧确定测试指标的测试位置,并且,通过决策树模型确定出测试指标在测试服务器侧进行测试的情况下,由于测试服务器的处理能力比终端的处理能力强,能够完成抓取数据包进行协议分析等的复杂功能,从而能够依赖测试服务器的处理能力实现对无法在终端进行测试的测试指标的测试,进而能够解决现有的业务测试和网络测试的方案中所存在的部分复杂的涉及协议的测试指标无法直接在终端上进行测试的问题。
本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
图1为本发明实施例提供的业务和网络的关联测试***的结构框图;
图2为本发明实施例提供的种业务和网络的关联测试方法的工作流程图;
图3为决策树模型的示意图;
图4为本发明实施例提供的种业务和网络的关联测试方法的另一工作流程图;
图5为本发明实施例提供的业务和网络的关联测试装置的结构框图;
图6为本发明实施例提供的业务和网络的关联测试装置的另一结构框图;
图7a为本发明实施例提供的种业务和网络的关联测试方法的另一工作流程图;
图7b为图7a所示方法在具体实施过程中的工作流程;
图8为本发明实施例提供的业务和网络的关联测试装置的另一结构框图;
图9为本发明实施例提供的业务和网络的关联测试装置的另一结构框图。
具体实施方式
以下结合附图对本发明的实施例进行说明,应当理解,此处所描述的实施例仅用于说明和解释本发明,并不用于限定本发明。
针对现有的业务测试和网络测试的方案中所存在的只能对网络质量与业务质量的其中之一进行测试,不能对这二者都进行测试,以及部分复杂的涉及协议的测试指标无法直接在终端上进行测试的问题,本发明实施例提供了一种业务和网络关联测试方案,用于解决该问题。
在本发明实施例的技术方案中,终端将测试任务的测试指标以及终端的属性参数和性能参数输入到预设的决策树模型中,运行决策树模型确定得到测试指标的测试位置,测试位置包括终端和/或测试服务器;其中,所述预设的决策树模型是根据预设的分类规则对历史测试数据进行训练学习得到的,所述决策树模型的非叶子节点为分类规则、叶子节点为测试指标的测试位置;终端根据所确定的测试指标的测试位置对测试指标进行测试,或者指示测试服务器对测试指标进行测试,得到测试结果,并对测试结果进行分析得到分析结果;从而,能够在终端侧确定测试指标的测试位置,并且,通过决策树模型确定出测试指标在测试服务器侧进行测试的情况下,由于测试服务器的处理能力比终端的处理能力强,能够完成抓取数据包进行协议分析等的复杂功能,从而能够依赖测试服务器的处理能力实现对无法在终端进行测试的测试指标的测试;
并且,测试任务包括业务质量测试任务或网络质量测试任务。从而能够在终端侧实现对业务质量和网络质量都进行测试,能够解决现有的业务测试和网络测试的方案中所存在的只能对网络质量和业务质量的其中之一进行测试,不能对这二者都进行测试的问题。
下面对本发明实施例的技术方案进行详细说明。
图1示出了本发明实施例提供的业务和网络的关联测试***的结构框图,该***包括:终端1和测试服务器2;
终端1,用于将测试任务的测试指标以及终端的属性参数和性能参数输入到预设的决策树模型中,运行决策树模型确定得到测试指标的测试位置,测试位置包括终端1和/或测试服务器2;其中,所述预设的决策树模型是根据预设的分类规则对历史测试数据进行训练学习得到的,所述决策树模型的非叶子节点为分类规则、叶子节点为测试指标的测试位置;终端1根据所确定的测试指标的测试位置对测试指标进行测试,或者指示测试服务器2对测试指标进行测试,得到测试结果,并对测试结果进行分析得到分析结果;
测试服务器2,用于根据终端1的指示对测试指标进行测试。
(一)、下面对图1中终端1的工作原理进行说明。
图2示出了本发明实施例提供的种业务和网络的关联测试方法的工作流程图,该方法包括:
步骤201、终端将测试任务的测试指标以及终端的属性参数和性能参数输入到预设的决策树模型中,运行决策树模型确定得到测试指标的测试位置,测试位置包括终端和/或测试服务器;
其中,预设的决策树模型是终端从测试服务器接收并保存的,该预设的决策树模型是测试服务器根据预设的分类规则对历史测试数据进行训练学习得到的,所述决策树模型的非叶子节点为分类规则、叶子节点为测试指标的测试位置;历史测试数据即为大量过往的测试数据;
其中,测试任务包括业务质量测试任务或网络质量测试任务;
图3示出了决策树模型的示意图,决策树的表现形式是类似于流程图的树结构,在决策树的内部节点进行属性值测试,也即根据分类规则对属性进行分类,并根据属性值判断由该节点引出的分支,在决策树的叶子节点得到结论。内部节点(即非叶子节点)是属性或属性的集合(即分类规则的结合),叶子节点代表样本所属的类或类分布,例如,叶子节点包括四个类,A类、B类、C类、D类。
基于决策树的学习算法只要训练样本能够用属性——值的方式表达,就可以使用该算法来学习。在决策树的训练方法中最经典的方法是ID3方法。ID3算法是以信息论为基础,以信息熵和信息增益度为衡量标准,从而实现对数据的归纳分类,它是一个从上到下、分而治之的归纳过程。ID3算法的核心是:在决策树各级结点上选择属性时,通过计算信息增益来选择属性,以使得在每一个非叶结点进行测试时,能获得关于被测试记录最大的类别信息。其具体方法是:检测所有的属性,选择信息增益最大的属性产生决策树结点,由该属性的不同取值建立分支,再对各分支的子集递归调用该方法建立决策树结点的分支,直到所有子集仅包含同一类别的数据为止。
在本发明实施例中,决策树模型中预定的分类规则(也即决策树的内部节点对输入的参数进行属性值测试的判决条件)包括至少以下之一或组合:有关终端属性和性能的分类规则、有关业务质量的分类规则、有关网络质量的分类规则;其中,有关终端属性和性能的分类规则包括但不限于:终端的型号、终端的中央处理器(CPU)的频率、终端的计算能力等,有关业务质量的分类规则包括但不限于:是否为语音识别任务、是否为测速任务、是否为FTP下载测速等等,有关网络质量的分类规则包括但不限于:测试指标是否包括需要在测试服务器中测试的子指标、小区网络质量、忙闲时长等等;
在本发明中,根据决策树模型确定得到的测试指标的测试位置包括至少以下三种情况:测试位置在终端,测试位置在测试服务器,测试指标的一部分子指标的测试位置在终端、另一部分子指标的测试位置在测试服务器,前两种情况可以称为独立测试,第三种情况可以称为关联测试;并且,根据各种终端具体性能的区别,测试指标的测试位置还可以在第一种情况和第二种情况之间进行转换,具体地,在终端的性能低于预定的性能标准的情况下,测试指标的测试位置为测试服务器,在终端的性能高于预定的性能标准的情况下,测试指标的测试位置为终端,从而确保测试指标能够有效地得到测试,其中,预定的性能标准可以通过定义终端的属性和性能来表达;
结合图3,表1所示的例子说明了测试位置的分类情况:
表1
其中,测试指标1要对FTP下载业务的质量进行测试,该指标的子指标包括下载的时延和速率,测试位置为终端,不包括需要测试服务器测试的子指标,计算复杂度为低,测试指标1在决策树模型中的叶子节点的分类为A;
测试指标2要对WEB页面下载业务的质量进行测试,该指标的子指标包括:所下载的页面文件元素的数量、下载的时长、下载的速率、IP数据包的解析时长,测试位置为终端,不包括需要在测试服务器测试的子指标,计算复杂度较低,测试指标2在决策树模型中的叶子节点的分类为B;
测试指标3要对语音小秘书业务的质量进行测试,测试的指标包括业务的网络建立时长、语言包大小、语音包传输时长、语音识别正确率,其中,子指标:业务的网络建立时长、语言包大小、语音包传输时长的测试位置为终端,子指标:语音识别正确率的测试位置为测试服务器,计算复杂度为较高,测试指标3在决策树模型中的叶子节点的分类为C;
测试指标4要对视频业务的质量进行测试,测试的指标包括:终端接收到的视频数据包的数量和时长、对协议包的解析正确率,其中,子指标:终端接收到的视频数据包的数量和时长的测试位置为终端,子指标:对协议包的解析正确率的测试位置为测试服务器,计算复杂度为高,测试指标4在决策树模型中的叶子节点的分类为D;
通过步骤201的处理过程,能够有效地确定得到业务质量的测试指标或者网络质量的测试指标的测试位置;
步骤202、终端根据所确定的测试指标的测试位置对测试指标进行测试,或者指示测试服务器对测试指标进行测试,得到测试结果,并对测试结果进行分析得到分析结果。
具体地,在所确定的测试指标的测试位置为终端的情况下,终端对测试指标进行测试得到测试结果;
在所确定的测试指标的测试位置为测试服务器的情况下,终端向测试服务器发送测试消息指示测试服务器对该测试指标进行测试,接收测试服务器返回的对该测试指标进行测试得到的测试结果;
在所确定的测试指标中一部分子指标的测试位置为终端、另一部分子指标的测试位置为测试服务器的情况下,终端对需要在终端进行测试的子指标进行测试,得到终端测试结果,向测试服务器发送测试消息指示测试服务器对测试指标中需要在测试服务器进行测试的子指标进行测试,并接收测试服务器返回的对该测试指标的子指标进行测试得到的服务器测试结果;将终端测试结果和服务器测试结果合并为测试结果;
通过步骤202,能够根据所确定的测试指标的测试位置,对测试指标进行测试。
可见,通过图2所示的处理过程,通过终端将测试任务的测试指标以及终端的属性参数和性能参数输入到预设的决策树模型中,运行决策树模型确定得到测试指标的测试位置,测试位置包括终端和/或测试服务器;终端根据所确定的测试指标的测试位置对测试指标进行测试,或者指示测试服务器对测试指标进行测试,得到测试结果,并对测试结果进行分析得到分析结果;从而,能够在终端侧确定测试指标的测试位置,并且,通过决策树模型确定出测试指标在测试服务器侧进行测试的情况下,由于测试服务器的处理能力比终端的处理能力强,能够完成抓取数据包进行协议分析等的复杂功能,从而能够依赖测试服务器的处理能力实现对无法在终端进行测试的测试指标的测试,进而能够解决现有的业务测试和网络测试的方案中所存在的部分复杂的涉及协议的测试指标无法直接在终端上进行测试的问题。
并且,测试任务包括业务质量测试任务或网络质量测试任务。从而能够在终端侧实现对业务质量和网络质量都进行测试,能够解决现有的业务测试和网络测试的方案中所存在的只能对网络质量和业务质量的其中之一进行测试,不能对这二者都进行测试的问题。
优选地,在图2所示方法的基础上,如图4所示,终端在完成对测试指标的测试后,该方法还包括:
步骤203、终端还将测试数据发送给测试服务器,测试数据包括测试任务的测试指标、终端的属性参数和性能参数、测试结果和分析结果,测试数据为测试服务器根据该测试数据更新决策树模型提供参考。
从而,终端将测试数据发送给测试服务,为测试服务器进一步地完善决策树模型提供了数据支持。
基于相同的发明构思,本发明实施例还提供了一种业务和网络的关联测试装置,该装置位于终端中。
图5示出了本发明实施例提供的业务和网络的关联测试装置的结构框图,该装置包括:
测试位置确定模块51,用于将测试任务的测试指标以及终端的属性参数和性能参数输入到预设的决策树模型中,运行决策树模型确定得到测试指标的测试位置,测试位置包括终端和/或测试服务器;其中,所述预设的决策树模型是根据预设的分类规则对历史测试数据进行训练学习得到的,所述决策树模型的非叶子节点为分类规则、叶子节点为测试指标的测试位置;
测试执行模块52,连接至测试位置确定模块51,用于根据所述测试位置确定模块51所确定的测试指标的测试位置对测试指标进行测试,或者指示测试服务器对测试指标进行测试,得到测试结果,并对测试结果进行分析得到分析结果;
具体地,测试执行模块52在所确定的测试指标的测试位置为终端的情况下,对测试指标进行测试得到测试结果;
在所确定的测试指标的测试位置为测试服务器的情况下,向测试服务器发送测试消息指示测试服务器对该测试指标进行测试,接收测试服务器返回的对该测试指标进行测试得到的测试结果;
在所确定的测试指标中一部分子指标的测试位置为终端、另一部分子指标的测试位置为测试服务器的情况下,对需要在终端进行测试的子指标进行测试,得到终端测试结果,向测试服务器发送测试消息指示测试服务器对测试指标中需要在测试服务器进行测试的子指标进行测试,并接收测试服务器返回的对该测试指标的子指标进行测试得到的服务器测试结果;将终端测试结果和服务器测试结果合并为测试结果。
优选地,如图6所示,在图5所示装置的基础上,本发明实施例提供的业务和网络的关联测试装置还包括:
保存模块53,连接至测试位置确定模块51,用于接收并保存来自测试服务器的所述预设的决策树模型;其中,所述预设的决策树模型是测试服务器根据预设的分类规则对历史测试数据进行训练学习得到的。
优选地,测试执行模块52,还用于:将测试数据发送给测试服务器,测试数据包括测试任务的测试指标、终端的属性参数和性能参数、测试结果和分析结果,测试数据为测试服务器根据该测试数据更新决策树模型提供参考。
通过图5或者图6所示的装置,能够在终端侧实现对业务质量和网络质量都进行测试,并且,在确定出测试指标在测试服务器侧进行测试的情况下,由于测试服务器的处理能力比终端的处理能力强,能够完成抓取数据包进行协议分析等的复杂功能,从而能够依赖测试服务器的处理能力实现对无法在终端进行测试的测试指标的测试。进而能够解决现有的业务测试和网络测试的方案中所存在的只能对网络质量和业务质量的其中之一进行测试,不能对这二者都进行测试,以及部分复杂的涉及协议的测试指标无法直接在终端上进行测试的问题。
(二)、下面对测试服务器的工作原理进行说明。
图7a示出了图1中测试服务器的工作流程图,也即测试服务器的工作原理,包括:
步骤701、测试服务器接收来自终端的对测试指标的测试指示;
步骤702、测试服务器对测试指示所指示的测试指标进行测试。
通过上述处理过程,能够通过测试服务器的处理能力实现对无法在终端进行测试的测试指标的测试,从而能够解决现有的业务测试和网络测试的方案中所存在的部分复杂的涉及协议的测试指标无法直接在终端上进行测试的问题。
图7b示出了图7a所示方法在具体实施过程中的工作流程,该处理流程包括:
步骤7011、测试服务器接收到来自终端的指示;
步骤7012、判断对终端所指示的测试指标进行测试是否需要采集具体业务平台的相关参数,在判断为是的情况下,处理进行到步骤7013,在判断为否的情况下,处理进行到步骤7022;
步骤7013、向具体业务平台的采集相关参数;
步骤7021、根据从业务平台采集的相关参数对测试指标进行测试,得到测试结果,处理进行到步骤7023;
步骤7022、对测试指标进行测试,得到测试结果;
步骤7023、将测试结果返回给终端。
通过上述处理过程,能够通过测试服务器的处理能力实现对无法在终端进行测试的测试指标的测试,从而能够解决现有的业务测试和网络测试的方案中所存在的部分复杂的涉及协议的测试指标无法直接在终端上进行测试的问题。
优选地,测试服务器还根据预设的分类规则对历史测试数据进行训练学习得到的决策树模型,将该决策树模块发送给终端。以及,接收来自终端的测试数据,根据测试数据更新决策树模块;其中,测试数据包括测试任务的测试指标、终端的属性参数和性能参数、测试结果和分析结果。
从而测试服务器能够得到用于确定测试指标的测试位置的决策树模型。
基于相同的发明构思,本发明实施例还提供了一种业务和网络的关联测试装置,该装置位于测试服务器中。
图8示出了本发明实施例提供的业务和网络的关联测试装置的结构框图,该装置包括:
收发模块81,用于接收来自终端的对测试指标的测试指示;
测试模块82,连接至收发模块81,用于对收发模块81接收到的测试指示所指示的测试指标进行测试。
具体地,测试模块82,还用于:判断对测试指标进行测试是否需要采集具体业务平台的相关参数,在判断为是的情况下,向具体业务平台采集相关参数;则,测试模块82,具体根据从业务平台采集的相关参数对测试指标进行测试,得到测试结果;收发模块,还将测试模块测试得到的测试结果返回给终端。
优选地,如图9所示,本发明实施例提供的业务和网络的关联测试装置还包括:
决策树模型模块83,用于根据预设的分类规则对历史测试数据进行训练学习得到的决策树模型;则,收发模块81,还连接至决策树模型模块83,还用于将决策树模型模块83得到的决策树模块发送给终端。
收发模块81,还用于接收来自终端的测试数据;则,
决策树模型模块83还用于:根据测试数据更新决策树模块;其中,测试数据包括测试任务的测试指标、终端的属性参数和性能参数、测试结果和分析结果。
通过图8或图9所示的装置,也能够通过测试服务器的处理能力实现对无法在终端进行测试的测试指标的测试,从而能够解决现有的业务测试和网络测试的方案中所存在的部分复杂的涉及协议的测试指标无法直接在终端上进行测试的问题。
综上所述,本发明实施例通过终端根据预设的决策树模型来确定业务质量的测试指标或者网络质量的测试指标的测试位置,并根据所确定的测试位置进行相应的测试,相比于现有技术只能对业务质量或者网络质量进行测试,能够扩大测试的广度和深度,并通过终端和/或测试服务器的关联测试,相比现有技术仅通过终端进行测试,能够实现对计算复杂度较高的测试指标的测试,从而能够解决现有的业务测试和网络测试的方案中所存在的只能对网络质量和业务质量的其中之一进行测试,不能对这二者都进行测试,以及部分复杂的涉及协议的测试指标无法直接在终端上进行测试的问题。
本领域普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。
本领域内的技术人员应明白,本发明的实施例可提供为方法、***、或计算机程序产品。因此,本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (19)

1.一种业务和网络的关联测试方法,其特征在于,包括:
终端将测试任务的测试指标以及终端的属性参数和性能参数输入到预设的决策树模型中,运行决策树模型确定得到测试指标的测试位置,测试位置包括终端和/或测试服务器;其中,所述预设的决策树模型是根据预设的分类规则对历史测试数据进行训练学习得到的,所述决策树模型的非叶子节点为分类规则、叶子节点为测试指标的测试位置;
终端根据所确定的测试指标的测试位置对测试指标进行测试,或者指示测试服务器对测试指标进行测试,得到测试结果,并对测试结果进行分析得到分析结果。
2.根据权利要求1所述的方法,其特征在于,终端根据所确定的测试指标的测试位置对测试指标进行测试,或者指示测试服务器对测试指标进行测试,得到测试结果,具体包括:
在所确定的测试指标的测试位置为终端的情况下,终端对测试指标进行测试得到测试结果;
在所确定的测试指标的测试位置为测试服务器的情况下,终端向测试服务器发送测试消息指示测试服务器对该测试指标进行测试,接收测试服务器返回的对该测试指标进行测试得到的测试结果;
在所确定的测试指标中一部分子指标的测试位置为终端、另一部分子指标的测试位置为测试服务器的情况下,终端对需要在终端进行测试的子指标进行测试,得到终端测试结果,向测试服务器发送测试消息指示测试服务器对测试指标中需要在测试服务器进行测试的子指标进行测试,并接收测试服务器返回的对该测试指标的子指标进行测试得到的服务器测试结果;将终端测试结果和服务器测试结果合并为测试结果。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
终端接收并保存来自测试服务器的所述预设的决策树模型;其中,所述预设的决策树模型是测试服务器根据预设的分类规则对历史测试数据进行训练学习得到的。
4.根据权利要求1所述的方法,其特征在于,所述测试任务包括业务质量测试任务或网络质量测试任务。
5.根据权利要求1所述的方法,其特征在于,所述分类规则至少包括以下之一或组合:
有关终端属性和性能的分类规则、有关业务质量的分类规则、有关网络质量的分类规则。
6.根据权利要求3所述的方法,其特征在于,所述方法还包括:
终端将测试数据发送给测试服务器,测试数据包括测试任务的测试指标、终端的属性参数和性能参数、测试结果和分析结果,测试数据为测试服务器根据该测试数据更新决策树模型提供参考。
7.一种业务和网络的关联测试装置,其特征在于,包括:
测试位置确定模块,用于将测试任务的测试指标以及终端的属性参数和性能参数输入到预设的决策树模型中,运行决策树模型确定得到测试指标的测试位置,测试位置包括终端和/或测试服务器;其中,所述预设的决策树模型是根据预设的分类规则对历史测试数据进行训练学习得到的,所述决策树模型的非叶子节点为分类规则、叶子节点为测试指标的测试位置;
测试执行模块,用于根据所述测试位置确定模块所确定的测试指标的测试位置对测试指标进行测试,或者指示测试服务器对测试指标进行测试,得到测试结果,并对测试结果进行分析得到分析结果。
8.根据权利要求7所述的装置,其特征在于,测试执行模块,具体用于:
在所确定的测试指标的测试位置为终端的情况下,对测试指标进行测试得到测试结果;
在所确定的测试指标的测试位置为测试服务器的情况下,向测试服务器发送测试消息指示测试服务器对该测试指标进行测试,接收测试服务器返回的对该测试指标进行测试得到的测试结果;
在所确定的测试指标中一部分子指标的测试位置为终端、另一部分子指标的测试位置为测试服务器的情况下,对需要在终端进行测试的子指标进行测试,得到终端测试结果,向测试服务器发送测试消息指示测试服务器对测试指标中需要在测试服务器进行测试的子指标进行测试,并接收测试服务器返回的对该测试指标的子指标进行测试得到的服务器测试结果;将终端测试结果和服务器测试结果合并为测试结果。
9.根据权利要求7所述的装置,其特征在于,所述装置还包括:
保存模块,用于接收并保存来自测试服务器的所述预设的决策树模型;其中,所述预设的决策树模型是测试服务器根据预设的分类规则对历史测试数据进行训练学习得到的。
10.根据权利要求9所述的装置,其特征在于,测试执行模块,还用于:
将测试数据发送给测试服务器,测试数据包括测试任务的测试指标、终端的属性参数和性能参数、测试结果和分析结果,测试数据为测试服务器根据该测试数据更新决策树模型提供参考。
11.一种业务和网络的关联测试方法,其特征在于,包括:
测试服务器接收来自终端的对测试指标的测试指示;
测试服务器对测试指示所指示的测试指标进行测试。
12.根据权利要求11所述的方法,其特征在于,所述方法还包括:
测试服务器判断对测试指标进行测试是否需要采集具体业务平台的相关参数,在判断为是的情况下,向具体业务平台采集相关参数;则,
测试服务器根据从业务平台采集的相关参数对测试指标进行测试,得到测试结果;
将测试结果返回给终端。
13.根据权利要求11的方法,其特征在于,所述方法还包括:
测试服务器根据预设的分类规则对历史测试数据进行训练学习得到的决策树模型,将该决策树模块发送给终端。
14.根据权利要求13所述的方法,其特征在于,所述方法还包括:
测试服务器接收来自终端的测试数据,根据测试数据更新决策树模块;其中,测试数据包括测试任务的测试指标、终端的属性参数和性能参数、测试结果和分析结果。
15.一种业务和网络的关联测试装置,其特征在于,包括:
收发模块,用于接收来自终端的对测试指标的测试指示;
测试模块,用于对接收模块接收到的测试指示所指示的测试指标进行测试。
16.根据权利要求15所述的装置,其特征在于,测试模块,还用于:
判断对测试指标进行测试是否需要采集具体业务平台的相关参数,在判断为是的情况下,向具体业务平台采集相关参数;则,
测试模块,具体根据从业务平台采集的相关参数对测试指标进行测试,得到测试结果;
收发模块,还将测试模块测试得到的测试结果返回给终端。
17.根据权利要求15所述的装置,其特征在于,所述装置还包括:
决策树模型模块,用于根据预设的分类规则对历史测试数据进行训练学习得到的决策树模型;则,
收发模块,还用于将决策树模型模块得到的决策树模块发送给终端。
18.根据权利要求17所述的装置,其特征在于,收发模块还用于接收来自终端的测试数据;则,
决策树模型模块还用于:根据测试数据更新决策树模块;其中,测试数据包括测试任务的测试指标、终端的属性参数和性能参数、测试结果和分析结果。
19.一种业务和网络的关联测试***,其特征在于,包括:终端和测试服务器;
终端,用于将测试任务的测试指标以及终端的属性参数和性能参数输入到预设的决策树模型中,运行决策树模型确定得到测试指标的测试位置,测试位置包括终端和/或测试服务器;其中,所述预设的决策树模型是根据预设的分类规则对历史测试数据进行训练学习得到的,所述决策树模型的非叶子节点为分类规则、叶子节点为测试指标的测试位置;终端根据所确定的测试指标的测试位置对测试指标进行测试,或者指示测试服务器对测试指标进行测试,得到测试结果,并对测试结果进行分析得到分析结果;
测试服务器,用于根据终端的指示对测试指标进行测试。
CN201310384932.6A 2013-08-29 2013-08-29 业务和网络关联测试方法、装置及*** Active CN104427547B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310384932.6A CN104427547B (zh) 2013-08-29 2013-08-29 业务和网络关联测试方法、装置及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310384932.6A CN104427547B (zh) 2013-08-29 2013-08-29 业务和网络关联测试方法、装置及***

Publications (2)

Publication Number Publication Date
CN104427547A true CN104427547A (zh) 2015-03-18
CN104427547B CN104427547B (zh) 2017-11-21

Family

ID=52975236

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310384932.6A Active CN104427547B (zh) 2013-08-29 2013-08-29 业务和网络关联测试方法、装置及***

Country Status (1)

Country Link
CN (1) CN104427547B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105281978A (zh) * 2015-10-23 2016-01-27 小米科技有限责任公司 一种性能测试的方法、装置和***
CN106803799A (zh) * 2015-11-26 2017-06-06 阿里巴巴集团控股有限公司 一种性能测试方法和装置
CN107908558A (zh) * 2017-11-14 2018-04-13 广东华仝九方科技有限公司 一种手机客户端软件质量自动化评测方法
CN109902251A (zh) * 2019-01-17 2019-06-18 平安城市建设科技(深圳)有限公司 基于决策树的方案选择方法、装置、终端及可读存储介质
CN110445653A (zh) * 2019-08-12 2019-11-12 灵长智能科技(杭州)有限公司 网络状态预测方法、装置、设备及介质
CN111400147A (zh) * 2019-01-02 2020-07-10 ***通信有限公司研究院 一种业务质量测试方法、装置和***
CN112527621A (zh) * 2019-09-17 2021-03-19 中移动信息技术有限公司 测试路径构建方法、装置、设备及存储介质
CN114392560A (zh) * 2021-11-08 2022-04-26 腾讯科技(深圳)有限公司 虚拟场景的运行数据处理方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030163770A1 (en) * 2002-02-28 2003-08-28 Webster Robert Charles Stochastic simulation of computer activity based on user categories
CN102014016A (zh) * 2010-08-31 2011-04-13 北京邮电大学 一种网络协议缺陷测试***及方法
CN102035698A (zh) * 2011-01-06 2011-04-27 西北工业大学 基于决策树分类算法的http隧道检测方法
CN102420727A (zh) * 2012-01-05 2012-04-18 北京邮电大学 一种基于分布式的协议测试***及方法
CN102740328A (zh) * 2011-04-13 2012-10-17 ***通信集团公司 一种远程测试方法、装置及***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030163770A1 (en) * 2002-02-28 2003-08-28 Webster Robert Charles Stochastic simulation of computer activity based on user categories
CN102014016A (zh) * 2010-08-31 2011-04-13 北京邮电大学 一种网络协议缺陷测试***及方法
CN102035698A (zh) * 2011-01-06 2011-04-27 西北工业大学 基于决策树分类算法的http隧道检测方法
CN102740328A (zh) * 2011-04-13 2012-10-17 ***通信集团公司 一种远程测试方法、装置及***
CN102420727A (zh) * 2012-01-05 2012-04-18 北京邮电大学 一种基于分布式的协议测试***及方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105281978A (zh) * 2015-10-23 2016-01-27 小米科技有限责任公司 一种性能测试的方法、装置和***
CN105281978B (zh) * 2015-10-23 2019-02-19 小米科技有限责任公司 一种性能测试的方法、装置和***
CN106803799A (zh) * 2015-11-26 2017-06-06 阿里巴巴集团控股有限公司 一种性能测试方法和装置
CN107908558A (zh) * 2017-11-14 2018-04-13 广东华仝九方科技有限公司 一种手机客户端软件质量自动化评测方法
CN111400147A (zh) * 2019-01-02 2020-07-10 ***通信有限公司研究院 一种业务质量测试方法、装置和***
CN111400147B (zh) * 2019-01-02 2023-05-05 ***通信有限公司研究院 一种业务质量测试方法、装置和***
CN109902251A (zh) * 2019-01-17 2019-06-18 平安城市建设科技(深圳)有限公司 基于决策树的方案选择方法、装置、终端及可读存储介质
CN110445653A (zh) * 2019-08-12 2019-11-12 灵长智能科技(杭州)有限公司 网络状态预测方法、装置、设备及介质
CN110445653B (zh) * 2019-08-12 2022-03-29 灵长智能科技(杭州)有限公司 网络状态预测方法、装置、设备及介质
CN112527621A (zh) * 2019-09-17 2021-03-19 中移动信息技术有限公司 测试路径构建方法、装置、设备及存储介质
CN114392560A (zh) * 2021-11-08 2022-04-26 腾讯科技(深圳)有限公司 虚拟场景的运行数据处理方法、装置、设备及存储介质
CN114392560B (zh) * 2021-11-08 2024-06-04 腾讯科技(深圳)有限公司 虚拟场景的运行数据处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN104427547B (zh) 2017-11-21

Similar Documents

Publication Publication Date Title
CN104427547A (zh) 业务和网络关联测试方法、装置及***
CN110365503B (zh) 一种指标确定方法及其相关设备
US11539590B2 (en) Detect impact of network maintenance in software defined infrastructure
CN104581785B (zh) 无线网络测试方法、测试装置和移动终端
CN110147237A (zh) 一种冗余资源去除方法和装置
WO2022001918A1 (zh) 构建预测模型的方法、装置、计算设备和存储介质
CN104113870B (zh) 网络测试方法和移动终端
CN108768695A (zh) Kqi的问题定位方法及装置
US11558769B2 (en) Estimating apparatus, system, method, and computer-readable medium, and learning apparatus, method, and computer-readable medium
CN109818820A (zh) 流量数据监控方法、装置、电子设备及存储介质
CN108959048A (zh) 模块化环境的性能分析方法、装置及可存储介质
CN104717670A (zh) 一种业务质量测试方法、装置及***
CN108093036A (zh) 一种获取资源的方法及装置
CN109040744B (zh) 预测视频业务的关键质量指标的方法、装置及存储介质
CN106549827A (zh) 网络状态的探测方法及装置
CN113660687A (zh) 网络差小区处理方法、装置、设备及存储介质
CN116719750A (zh) 软件测试方法及装置、服务器设备和存储介质
CN109710487A (zh) 一种监控方法和装置
CN112420019B (zh) 设备的测试方法及装置
CN112488491B (zh) 基于Petri网列控车载设备接入过程可靠性评估方法
CN114449569B (zh) 用户流量使用量处理方法、网络设备及业务处理***
CN107818142A (zh) 无线信号空间分布特征库更新方法、服务器及存储介质
CN106941705A (zh) 一种网络设置方法和装置
CN109104730A (zh) 一种网络路测方法、设备及***
CN113079038A (zh) 一种网络质量的评估方法、装置、服务器和存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant