CN110581785B - 一种可靠性评估方法和装置 - Google Patents

一种可靠性评估方法和装置 Download PDF

Info

Publication number
CN110581785B
CN110581785B CN201810594497.2A CN201810594497A CN110581785B CN 110581785 B CN110581785 B CN 110581785B CN 201810594497 A CN201810594497 A CN 201810594497A CN 110581785 B CN110581785 B CN 110581785B
Authority
CN
China
Prior art keywords
service
network element
evaluated
service module
test case
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810594497.2A
Other languages
English (en)
Other versions
CN110581785A (zh
Inventor
黄珊
郑屹峰
章淑敏
黄官
唐颖
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Mobile Group Zhejiang Co Ltd
Original Assignee
China Mobile Group Zhejiang Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Mobile Group Zhejiang Co Ltd filed Critical China Mobile Group Zhejiang Co Ltd
Priority to CN201810594497.2A priority Critical patent/CN110581785B/zh
Publication of CN110581785A publication Critical patent/CN110581785A/zh
Application granted granted Critical
Publication of CN110581785B publication Critical patent/CN110581785B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/50—Testing arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供一种可靠性评估方法和装置，该方法包括：根据业务模块的业务类型，获取待评估网元的各业务模块各自对应的故障测试用例；其中，所述故障测试用例包括：与所述业务类型关联的业务层故障测试用例、物理层故障测试用例和虚拟化层故障测试用例；针对每一业务模块，向所述待评估网元分层注入所述业务模块对应的故障测试用例，并根据所述待评估网元对应的业务测试背景流量，进行所述业务模块对应的业务测试；根据各业务模块的业务测试结果，对所述待评估网元的可靠性进行评估。本发明实施例提供的方案，能够对基于NFV网络的云业务网元进行可靠性评估，提高评估准确度，从而保障基于NFV网络的云业务可靠性。

Description

一种可靠性评估方法和装置
技术领域
本发明实施例涉及通信技术领域，尤其涉及一种可靠性评估方法和装置。
背景技术
为了保障电信业务运行稳定，为用户提供可靠的业务体验，运营商通常要求设备具有99.999％的可靠性，网元可靠性的计算方法如下：
Figure BDA0001691724700000011
其中，MTBF(Mean Time Between Failure，平均故障间隔时间)是指相邻两次故障之间的平均工作时间，也称为平均故障间隔。MTTR(Mean Time To Repair，平均修复时间)是指可修复产品的平均修复时间，就是从出现故障到修复的时间。
传统电信网元的可靠性主要通过网元架构设计、冗余配置、故障检测和恢复等机制来实现，为网元厂家的内部实现机制，运营商不对此机制进行干涉，厂家承诺可达到5个9(99.999％)的可靠性即可，即按照5个9的可靠性要求，电信业务仅可宕机5.26分钟。
随着NFV(Network Functions Virtualization，网络功能虚拟化)技术的应用与推进，IT(Internet Technology，互联网技术)虚拟化、云化技术应用，使得传统网元可以以软件的形式运行在通用硬件提供的虚拟资源之上。而随着NFV技术应用的进一步深化，NFV网络的三层解耦、每层由不同的厂商提供的趋势已成为必然，如图1所示，底层由专用硬件变换为通用硬件，故障风险更高，此外，新引入的虚拟化层也增加故障风险点；则相应的，基于NFV网络的电信云业务的可靠性也无法再由某单一厂家进行保障，传统的厂家对电信业务的网元可靠性进行承诺的方法不再可靠。
因此有必要提供一种适用于云业务网元的可靠性评估方法。
发明内容
针对现有技术中的缺陷，本发明实施例提供一种可靠性评估方法和装置，能够对基于NFV网络的云业务网元进行可靠性评估，提高评估准确度，从而保障基于NFV网络的云业务可靠性。
一方面，本发明实施例提供一种可靠性评估方法，包括：
根据业务模块的业务类型，获取待评估网元的各业务模块各自对应的故障测试用例；其中，所述故障测试用例包括：与所述业务类型关联的业务层故障测试用例、物理层故障测试用例和虚拟化层故障测试用例；
针对每一业务模块，向所述待评估网元分层注入所述业务模块对应的故障测试用例，并根据所述待评估网元对应的业务测试背景流量，进行所述业务模块对应的业务测试；
根据各业务模块的业务测试结果，对所述待评估网元的可靠性进行评估。
又一方面，本发明实施例提供一种可靠性评估装置，包括：
测试用例获取单元，用于根据业务模块的业务类型，获取待评估网元的各业务模块各自对应的故障测试用例；其中，所述故障测试用例包括：与所述业务类型关联的业务层故障测试用例、物理层故障测试用例和虚拟化层故障测试用例；
业务模块测试单元，用于针对每一业务模块，向所述待评估网元分层注入所述业务模块对应的故障测试用例，并根据所述待评估网元对应的业务测试背景流量，进行所述业务模块对应的业务测试；
可靠性评估单元，用于根据各业务模块的业务测试结果，对所述待评估网元的可靠性进行评估。
又一方面，本发明实施例提供一种电子设备，包括处理器、存储器和总线，其中：
所述处理器，所述存储器通过总线完成相互间的通信；
所述处理器可以调用存储器中的计算机程序，以执行：
根据业务模块的业务类型，获取待评估网元的各业务模块各自对应的故障测试用例；其中，所述故障测试用例包括：与所述业务类型关联的业务层故障测试用例、物理层故障测试用例和虚拟化层故障测试用例；针对每一业务模块，向所述待评估网元分层注入所述业务模块对应的故障测试用例，并根据所述待评估网元对应的业务测试背景流量，进行所述业务模块对应的业务测试；根据各业务模块的业务测试结果，对所述待评估网元的可靠性进行评估。
再一方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现：
根据业务模块的业务类型，获取待评估网元的各业务模块各自对应的故障测试用例；其中，所述故障测试用例包括：与所述业务类型关联的业务层故障测试用例、物理层故障测试用例和虚拟化层故障测试用例；针对每一业务模块，向所述待评估网元分层注入所述业务模块对应的故障测试用例，并根据所述待评估网元对应的业务测试背景流量，进行所述业务模块对应的业务测试；根据各业务模块的业务测试结果，对所述待评估网元的可靠性进行评估。
本发明实施例提供的可靠性评估方法和装置，根据业务模块的业务类型，获取待评估网元的各业务模块各自对应的故障测试用例；针对每一业务模块，向所述待评估网元分层注入所述业务模块对应的故障测试用例，并根据所述待评估网元对应的业务测试背景流量，进行所述业务模块对应的业务测试；根据各业务模块的业务测试结果，对所述待评估网元的可靠性进行评估。一方面避免了在底层组件上遍历所有测试用例，大大提升测试效率；另一方面能够纵向整合物理层、虚拟化层和业务层的资源进行可靠性评估，避免单一层面的测试不能体现***中业务整体测试结果，提高可靠性评估准确度，从而保障基于NFV网络的云业务可靠性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了NFV网络的分层架构示例图；
图2示出了根据本发明一实施例的可靠性评估方法的示例性流程图；
图3示出了一种业务模块关联到组件的示例图；
图4示出了一种基于NFV网络的电信云业务***的架构示例图；
图5示出了根据本发明一实施例的可靠性评估装置的结构示意图；
图6示出了根据本发明一实施例的电子设备的实体结构示意图。
具体实施方式
以下将结合附图对本发明的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。
本申请使用的“模块”、“装置”等术语旨在包括与计算机相关的实体，例如但不限于硬件、固件、软硬件组合、软件或者执行中的软件。例如，模块可以是，但并不仅限于：处理器上运行的进程、处理器、对象、可执行程序、执行的线程、程序和/或计算机。举例来说，计算设备上运行的应用程序和此计算设备都可以是模块。一个或多个模块可以位于执行中的一个进程和/或线程内，一个模块也可以位于一台计算机上和/或分布于两台或更多台计算机之间。
下面结合附图详细说明本发明的技术方案。
参考图2，其示出了根据本发明一实施例的可靠性评估方法的示例性流程图。
如图2所示，本发明实施例提供的可靠性评估方法，可以包括如下步骤：
S210：根据业务模块的业务类型，获取待评估网元的各业务模块各自对应的故障测试用例。
其中，所述故障测试用例包括：与所述业务类型关联的业务层故障测试用例、物理层故障测试用例和虚拟化层故障测试用例。
本发明实施例中，待评估网元具体为基于NFV网络的云业务中的网元。针对待评估网元，可以预先对待评估网元的各业务模块进行分类，确定各业务模块的业务类型。
本发明实施例中，业务模块的业务类型具体为如下至少任意一种：
业务分发类、业务处理类、综合处理类、维护管理类和数据库类。
可以理解的是，业务模块的业务类型还可以是其他预设的类型。
本发明实施例中，针对不同的业务类型，预先定制了不同的故障测试用例；故障测试用例可以包括：与业务类型关联的业务层故障测试用例、物理层故障测试用例和虚拟化层故障测试用例。
本发明实施例中，物理层故障测试用例可以包括如下至少一种：
物理机类故障测试用例、业务网络类故障测试用例、存储类故障测试用例和管理网络类故障测试用例。
虚拟化层故障测试用例可以包括如下至少一种：
虚拟机类故障测试用例、计算openstack类故障测试用例和管理openstack类故障测试用例。
业务层故障测试用例可以包括：网元模块类故障测试用例。网元模块类故障测试用例具体可以包括：业务分发模块异常测试用例、业务处理模块异常测试用例、数据库模块异常测试用例和综合处理模块异常测试用例。
实际应用中，可以预先针对物理层、虚拟化层和业务层的各组件分别设计故障测试用例，如表1所示。表1示出了各层组件的故障测试用例。
表1
Figure BDA0001691724700000051
Figure BDA0001691724700000061
由于底层的物理层、虚拟化层都是为了支撑上层业务。因此，本发明实施例中，可以设计一种由上层的业务模块的业务类型关联到底层的测试用例的关联逻辑，同时结合网元的资源拓扑，使得在定制网元的业务层的测试用例时，只需勾选顶层的业务模块，即可自顶向下的自动生成对应的故障测试用例，故障测试用例中包括顶层的业务层故障测试用例、底层的物理层故障测试用例和虚拟化层故障测试用例。
表2示出了根据本发明一实施例的业务类型与业务层、虚拟化层、物理层的用例关联关系。
表2
Figure BDA0001691724700000071
由于故障测试用例的底层的测试用例由上层的业务模块的业务类型决定，故障测试用例避免了在底层组件上遍历所有测试用例，只执行与考察该业务模块的可靠性相关的用例，大大提升测试效率。
S220：针对每一业务模块，向所述待评估网元分层注入所述业务模块对应的故障测试用例，并根据所述待评估网元对应的业务测试背景流量，进行所述业务模块对应的业务测试。
本发明实施例中，在通过步骤S210获取待评估网元的各业务模块各自对应的故障测试用例之后，可以根据获取的故障测试用例和待评估网元对应的业务测试背景流量进行业务测试。
具体地，可以针对每一业务模块，可以确定该业务模块所在虚拟机和物理机。继而，将所述虚拟化层故障测试用例注入所述业务模块所在的虚拟机，以使所述虚拟机执行所述虚拟化层故障测试用例；将所述物理层故障测试用例注入所述业务模块所在的物理机，以使所述物理机执行所述物理层故障测试用例；将所述业务层故障测试用例注入所述业务模块，以使所述业务模块执行所述业务层故障测试用例。
图3示出了一种业务模块关联到组件的示例图。
如图3所示，当勾选“业务模块1”(此模块可以代表业务分发模块)，将自动关联到其所在组件的以下测试用例：对“业务模块1”执行业务分发模块对应的故障测试用例。
业务分发模块所在虚拟机“VNFC1”执行虚拟机故障(客户操作***GUEST OS崩溃、虚拟操作***模拟器QEMU进程异常、业务分发虚机异常等)、openstack关键进程故障用例等虚拟化层故障测试用例；业务分发模块所在“物理机1”执行物理机故障、网络故障类用例等物理层故障测试用例；业务分发模块执行对应的业务层故障测试用例。其他存储、管理节点数据库故障等与业务分发无关的测试用例，不会选择执行。
本发明实施例中，为了对NFV网络中的待评估网元的可靠性进行评估，可以明确待评估网元在NFV网络中的具***置和业务功能，模拟待评估网元的周边环境，向其发起全包围式的业务测试。
具体地，可以通过预先设置的背景流量发生装置生成对应的业务测试背景流量，以模拟待评估网元的周边环境。
图4示出了一种基于NFV网络的电信云业务***的架构示例图。
如图4所示，“一机双号AS(Application Server，应用服务器)”作为待评估网元，本发明实施例中，可以通过预先设置的背景流量发生装置模拟下游的SCSCF(Serving CallSession Control Function，服务会话控制功能)向“一机双号AS”发起业务请求，“一机双号AS”接收并处理业务过程中，需要向周边网元发起的查询等交互操作亦由背景流量发生装置模拟，最后“一机双号AS”响应的消息亦由背景流量发生装置接收，并完成后续业务流程。设置此背景流量发生装置的速度，模拟现网忙时话务量向待评估网元发起业务测试。
本发明实施例，通过业务测试背景流量的模拟可以提供全包围式的业务测试，能够更全面、准确的测试待评估网元的业务性能。
S230：根据各业务模块的业务测试结果，对所述待评估网元的可靠性进行评估。
本发明实施例中，在通过步骤S220对各业务模块进行业务测试后，可以获取对应的业务测试结果。其中，业务测试结果包括但不限于：呼损出现的时间节点、呼损出现次数和虚拟机负载等。
本发明实施例中，可以针对每一业务模块，根据所述业务模块的业务测试结果中的呼损出现次数，确定所述业务模块对应的呼损时长。
具体地，可以从所述业务测试结果中统计所述业务模块对应的故障测试用例注入后引起的呼损出现次数；计算所述呼损出现次数与业务测试中的试呼频率的比值，并作为所述业务模块对应的呼损时长。
其中，所述试呼频率由业务测试背景流量进行设置。
在获取各业务模块各自对应的呼损时长之后，可以将各业务模块各自对应的呼损时长进行累加，并将各业务模块的呼损时长的累加值与预设宕机时间上限阈值进行比较；并根据比较结果对所述待评估网元的可靠性进行评估。
其中，预设宕机时间上限阈值由本领域技术人员根据实际需求进行设置，例如，可以设置为5分钟。
本发明实施例提供的可靠性评估方法，根据业务模块的业务类型，获取待评估网元的各业务模块各自对应的故障测试用例；其中，所述故障测试用例包括：与所述业务类型关联的业务层故障测试用例、物理层故障测试用例和虚拟化层故障测试用例；针对每一业务模块，向所述待评估网元分层注入所述业务模块对应的故障测试用例，并根据所述待评估网元对应的业务测试背景流量，进行所述业务模块对应的业务测试；根据各业务模块的业务测试结果，对所述待评估网元的可靠性进行评估。一方面避免了在底层组件上遍历所有测试用例，只执行与业务模块的可靠性相关的测试用例，大大提升测试效率；另一方面能够纵向整合物理层、虚拟化层和业务层的资源完成NFV网络的网元的可靠性评估，避免单一层面的测试不能体现***中业务整体测试结果，提高可靠性评估准确度，从而保障基于NFV网络的云业务可靠性。
进一步地，在上述实施例的基础上，本发明又一实施例提供的可靠性评估方法中，所述向所述待评估网元分层注入所述业务模块对应的故障测试用例，包括：
根据所述业务模块的冗余方式对应的注入方式，将所述业务模块对应的故障测试用例分层注入所述待评估网元中；
其中，所述冗余方式具体为如下任意一种：主备方式和负荷分担方式；
所述主备方式对应的注入方式为：向所述待评估网元中所述业务模块中的主用模块注入；
所述负荷分担方式对应的注入方式为：向所述待评估网元中所述业务模块中的任一模块注入。
本发明实施例中，为了保障网元可靠性，网元的各业务模块在部署时必须存在1个或以上的冗余模块；并配置业务模块的各模块之间的冗余方式。例如，可以配置为主备方式或负荷分担方式。
为了进一步保障网元可靠性，主备方式下的主用模块和备用模块之间必须具有反亲和特性；负荷分担方式下的各模块应分别分布在多个虚拟机及物理机上。
本发明实施例中，对于不同的冗余方式，配置各自对应的注入方式。
这样，在获取业务模块对应的故障测试用例之后，可以根据业务模块的冗余方式来确定故障测试用例的注入方式；继而，根据业务模块的冗余方式对应的注入方式，将业务模块对应的故障测试用例分层注入待评估网元中。
例如，若业务模块的冗余方式为主备方式，则可以向待评估网元中业务模块中的主用模块注入故障测试用例。
若业务模块的冗余方式为负荷分担方式，则可以向待评估网元中业务模块中的任一模块注入故障测试用例。
本发明实施例其他步骤与前述实施例步骤相似，本发明实施例不再赘述。
本发明实施例提供的可靠性评估方法，通过根据业务模块的冗余方式调整故障测试用例的注入方式能够更充分、合理的完成业务测试，提高可靠性评估准确度。
进一步地，在上述实施例的基础上，本发明又一实施例提供的可靠性评估方法中，所述方法还包括：
根据所述各业务模块的业务类型、冗余方式，以及对应的业务测试结果中呼损出现次数和呼损出现的时间节点，评估所述待评估网元的架构合理性。
本发明实施例中，在对各业务模块进行业务测试的过程中，还可以监控业务虚拟机的负载以及呼损情况，以此判断网元架构的合理性。
具体地，针对每一业务模块，可以从该业务模块对应的业务测试结果中确定呼损出现的时间点，以及测试过程中呼损出现次数。
继而，根据业务模块的业务类型、冗余方式，确定对应的合理性评估要求。
若呼损出现的时间点、测试过程中呼损出现次数符合预设的合理性评估要求，则可以评估待评估网元的架构合理；否则，评估待评估网元的架构不合理，后续需要对该业务模块进行优化改造。
表3示出了根据本发明一实施例的架构合理性评估要求与业务类型和冗余方式之间的对应关系。
表3
Figure BDA0001691724700000111
实际应用中，主备倒换后业务可正常完成，表示在向业务模块的主用模块注入故障测试用例后，允许主备倒换后出现一次呼损；业务倒换后业务可正常完成，表示在向业务模块的一个模块注入故障测试用例后，允许模块倒换后出现一次呼损；不允许出现呼损，表示在业务模块注入故障测试用例后不允许出现一次呼损。
本发明实施例其他步骤与前述实施例步骤相似，本发明实施例不再赘述。
本发明实施例提供的可靠性评估方法，通过对网元架构合理性进行评估，可以进一步保障网元的可靠性。
在上述各实施例的基础上，本发明又一实施例提供了一种可靠性评估装置。
参考图5，其示出了根据本发明一实施例的可靠性评估装置的结构示意图。
如图5所示，本发明实施例提供的可靠性评估装置500可以包括：测试用例获取单元501、业务模块测试单元502和可靠性评估单元503。
其中，测试用例获取单元501用于根据业务模块的业务类型，获取待评估网元的各业务模块各自对应的故障测试用例；其中，所述故障测试用例包括：与所述业务类型关联的业务层故障测试用例、物理层故障测试用例和虚拟化层故障测试用例。
业务模块测试单元502用于针对每一业务模块，向所述待评估网元分层注入所述业务模块对应的故障测试用例，并根据所述待评估网元对应的业务测试背景流量，进行所述业务模块对应的业务测试。
可靠性评估单元503用于根据各业务模块的业务测试结果，对所述待评估网元的可靠性进行评估。
可选地，所述业务类型具体为如下至少任意一种：
业务分发类、业务处理类、综合处理类、维护管理类和数据库类。
可选地，业务模块测试单元502具体用于根据所述业务模块的冗余方式对应的注入方式，将所述业务模块对应的故障测试用例分层注入所述待评估网元中；
其中，所述冗余方式具体为如下任意一种：主备方式和负荷分担方式；所述主备方式对应的注入方式为：向所述待评估网元中所述业务模块中的主用模块注入；所述负荷分担方式对应的注入方式为：向所述待评估网元中所述业务模块中的任一模块注入。
可选地，业务模块测试单元502具体用于将所述虚拟化层故障测试用例注入所述业务模块所在的虚拟机，以使所述虚拟机执行所述虚拟化层故障测试用例；将所述物理层故障测试用例注入所述业务模块所在的物理机，以使所述物理机执行所述物理层故障测试用例；将所述业务层故障测试用例注入所述业务模块，以使所述业务模块执行所述业务层故障测试用例。
可选地，可靠性评估单元503具体用于针对每一业务模块，根据所述业务模块的业务测试结果中的呼损出现次数，确定所述业务模块对应的呼损时长；将各业务模块的呼损时长的累加值与预设宕机时间上限阈值进行比较；根据比较结果对所述待评估网元的可靠性进行评估。
可选地，可靠性评估单元503具体用于从所述业务测试结果中统计所述业务模块对应的故障测试用例注入后引起的呼损出现次数；计算所述呼损出现次数与业务测试中的试呼频率的比值，并作为所述业务模块对应的呼损时长。
可选地，可靠性评估装置500还可以进一步包括：架构合理性评估单元。架构合理性评估单元用于根据所述各业务模块的业务类型、冗余方式，以及对应的业务测试结果中呼损出现次数和呼损出现的时间节点，评估所述待评估网元的架构合理性。
本发明实施例提供的可靠性评估装置，根据业务模块的业务类型，获取待评估网元的各业务模块各自对应的故障测试用例；针对每一业务模块，向所述待评估网元分层注入所述业务模块对应的故障测试用例，并根据所述待评估网元对应的业务测试背景流量，进行所述业务模块对应的业务测试；根据各业务模块的业务测试结果，对所述待评估网元的可靠性进行评估。一方面避免了在底层组件上遍历所有测试用例，只执行与业务模块的可靠性相关的测试用例，大大提升测试效率；另一方面能够纵向整合物理层、虚拟化层和业务层的资源完成NFV网络的网元的可靠性评估，避免单一层面的测试不能体现***中业务整体测试结果，提高可靠性评估准确度，从而保障基于NFV网络的云业务可靠性。
本发明提供的可靠性评估装置的实施例具体可以用于执行上述方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。
参考图6，其示出了根据本发明一实施例的电子设备的实体结构示意图。如图6所示，该电子设备600可以包括：处理器(processor)601、存储器(memory)602和总线603，其中，处理器601，存储器602通过总线603完成相互间的通信。
处理器601可以调用存储器602中的计算机程序，以执行上述方法实施例所提供的方法，例如包括：
根据业务模块的业务类型，获取待评估网元的各业务模块各自对应的故障测试用例；其中，所述故障测试用例包括：与所述业务类型关联的业务层故障测试用例、物理层故障测试用例和虚拟化层故障测试用例；
针对每一业务模块，向所述待评估网元分层注入所述业务模块对应的故障测试用例，并根据所述待评估网元对应的业务测试背景流量，进行所述业务模块对应的业务测试；
根据各业务模块的业务测试结果，对所述待评估网元的可靠性进行评估。
在另一种实施方式中，所述业务类型具体为如下至少任意一种：
业务分发类、业务处理类、综合处理类、维护管理类和数据库类。
在另一种实施方式中，所述处理器601执行所述计算机程序时实现如下方法：所述向所述待评估网元分层注入所述业务模块对应的故障测试用例，包括：
根据所述业务模块的冗余方式对应的注入方式，将所述业务模块对应的故障测试用例分层注入所述待评估网元中；
其中，所述冗余方式具体为如下任意一种：主备方式和负荷分担方式；
所述主备方式对应的注入方式为：向所述待评估网元中所述业务模块中的主用模块注入；
所述负荷分担方式对应的注入方式为：向所述待评估网元中所述业务模块中的任一模块注入。
在另一种实施方式中，所述处理器601执行所述计算机程序时实现如下方法：所述向所述待评估网元分层注入所述业务模块对应的故障测试用例，包括：
将所述虚拟化层故障测试用例注入所述业务模块所在的虚拟机，以使所述虚拟机执行所述虚拟化层故障测试用例；
将所述物理层故障测试用例注入所述业务模块所在的物理机，以使所述物理机执行所述物理层故障测试用例；
将所述业务层故障测试用例注入所述业务模块，以使所述业务模块执行所述业务层故障测试用例。
在另一种实施方式中，所述处理器601执行所述计算机程序时实现如下方法：所述根据各业务模块的业务测试结果，对所述待评估网元的可靠性进行评估，包括：
针对每一业务模块，根据所述业务模块的业务测试结果中的呼损出现次数，确定所述业务模块对应的呼损时长；
将各业务模块的呼损时长的累加值与预设宕机时间上限阈值进行比较；
根据比较结果对所述待评估网元的可靠性进行评估。
在另一种实施方式中，所述处理器601执行所述计算机程序时实现如下方法：所述根据所述业务模块的业务测试结果中的呼损出现次数，确定所述业务模块对应的呼损时长，包括：
从所述业务测试结果中统计所述业务模块对应的故障测试用例注入后引起的呼损出现次数；
计算所述呼损出现次数与业务测试中的试呼频率的比值，并作为所述业务模块对应的呼损时长。
在另一种实施方式中，所述处理器601执行所述计算机程序时实现如下方法：
根据所述各业务模块的业务类型、冗余方式，以及对应的业务测试结果中呼损出现次数和呼损出现的时间节点，评估所述待评估网元的架构合理性。
本发明实施例提供的电子设备600，至少具有以下技术效果：根据业务模块的业务类型，获取待评估网元的各业务模块各自对应的故障测试用例；针对每一业务模块，向所述待评估网元分层注入所述业务模块对应的故障测试用例，并根据所述待评估网元对应的业务测试背景流量，进行所述业务模块对应的业务测试；根据各业务模块的业务测试结果，对所述待评估网元的可靠性进行评估。一方面避免了在底层组件上遍历所有测试用例，只执行与业务模块的可靠性相关的测试用例，大大提升测试效率；另一方面能够纵向整合物理层、虚拟化层和业务层的资源完成NFV网络的网元的可靠性评估，避免单一层面的测试不能体现***中业务整体测试结果，提高可靠性评估准确度，从而保障基于NFV网络的云业务可靠性。
本发明实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：
根据业务模块的业务类型，获取待评估网元的各业务模块各自对应的故障测试用例；其中，所述故障测试用例包括：与所述业务类型关联的业务层故障测试用例、物理层故障测试用例和虚拟化层故障测试用例；针对每一业务模块，向所述待评估网元分层注入所述业务模块对应的故障测试用例，并根据所述待评估网元对应的业务测试背景流量，进行所述业务模块对应的业务测试；根据各业务模块的业务测试结果，对所述待评估网元的可靠性进行评估。
本发明实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述各方法实施例所提供的方法，例如包括：
根据业务模块的业务类型，获取待评估网元的各业务模块各自对应的故障测试用例；其中，所述故障测试用例包括：与所述业务类型关联的业务层故障测试用例、物理层故障测试用例和虚拟化层故障测试用例；针对每一业务模块，向所述待评估网元分层注入所述业务模块对应的故障测试用例，并根据所述待评估网元对应的业务测试背景流量，进行所述业务模块对应的业务测试；根据各业务模块的业务测试结果，对所述待评估网元的可靠性进行评估。
此外，上述的存储器中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种可靠性评估方法，其特征在于，包括：
根据业务模块的业务类型，获取待评估网元的各业务模块各自对应的故障测试用例；其中，所述故障测试用例包括：与所述业务类型关联的业务层故障测试用例、物理层故障测试用例和虚拟化层故障测试用例；
针对每一业务模块，向所述待评估网元分层注入所述业务模块对应的故障测试用例，并根据所述待评估网元对应的业务测试背景流量，进行所述业务模块对应的业务测试；
根据各业务模块的业务测试结果，对所述待评估网元的可靠性进行评估；
其中，所述业务类型是预先对所述待评估网元的各业务模块进行分类所确定的；所述待评估网元对应的业务测试背景流量是通过预先设置的背景流量发生装置生成的，用于模拟所述待评估网元的周边环境。
2.根据权利要求1所述的方法，其特征在于，所述业务类型具体为如下至少任意一种：
业务分发类、业务处理类、综合处理类、维护管理类和数据库类。
3.根据权利要求1所述的方法，其特征在于，所述向所述待评估网元分层注入所述业务模块对应的故障测试用例，包括：
根据所述业务模块的冗余方式对应的注入方式，将所述业务模块对应的故障测试用例分层注入所述待评估网元中；
其中，所述冗余方式具体为如下任意一种：主备方式和负荷分担方式；
所述主备方式对应的注入方式为：向所述待评估网元中所述业务模块中的主用模块注入；
所述负荷分担方式对应的注入方式为：向所述待评估网元中所述业务模块中的任一模块注入。
4.根据权利要求1所述的方法，其特征在于，所述向所述待评估网元分层注入所述业务模块对应的故障测试用例，包括：
将所述虚拟化层故障测试用例注入所述业务模块所在的虚拟机，以使所述虚拟机执行所述虚拟化层故障测试用例；
将所述物理层故障测试用例注入所述业务模块所在的物理机，以使所述物理机执行所述物理层故障测试用例；
将所述业务层故障测试用例注入所述业务模块，以使所述业务模块执行所述业务层故障测试用例。
5.根据权利要求1所述的方法，其特征在于，所述根据各业务模块的业务测试结果，对所述待评估网元的可靠性进行评估，包括：
针对每一业务模块，根据所述业务模块的业务测试结果中的呼损出现次数，确定所述业务模块对应的呼损时长；
将各业务模块的呼损时长的累加值与预设宕机时间上限阈值进行比较；
根据比较结果对所述待评估网元的可靠性进行评估。
6.根据权利要求5所述的方法，其特征在于，所述根据所述业务模块的业务测试结果中的呼损出现次数，确定所述业务模块对应的呼损时长，包括：
从所述业务测试结果中统计所述业务模块对应的故障测试用例注入后引起的呼损出现次数；
计算所述呼损出现次数与业务测试中的试呼频率的比值，并作为所述业务模块对应的呼损时长。
7.根据权利要求1-6任一所述的方法，其特征在于，所述方法还包括：
根据所述各业务模块的业务类型、冗余方式，以及对应的业务测试结果中呼损出现次数和呼损出现的时间节点，评估所述待评估网元的架构合理性。
8.一种可靠性评估装置，其特征在于，包括：
测试用例获取单元，用于根据业务模块的业务类型，获取待评估网元的各业务模块各自对应的故障测试用例；其中，所述故障测试用例包括：与所述业务类型关联的业务层故障测试用例、物理层故障测试用例和虚拟化层故障测试用例；
业务模块测试单元，用于针对每一业务模块，向所述待评估网元分层注入所述业务模块对应的故障测试用例，并根据所述待评估网元对应的业务测试背景流量，进行所述业务模块对应的业务测试；
可靠性评估单元，用于根据各业务模块的业务测试结果，对所述待评估网元的可靠性进行评估；
其中，所述业务类型是预先对所述待评估网元的各业务模块进行分类所确定的；所述待评估网元对应的业务测试背景流量是通过预先设置的背景流量发生装置生成的，用于模拟所述待评估网元的周边环境。
9.一种电子设备，其特征在于，包括处理器、存储器和总线，其中：
所述处理器、所述存储器通过总线完成相互间的通信；
所述处理器调用存储器中的计算机程序，以执行如权利要求1-7任意一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7任意一项所述方法的步骤。
CN201810594497.2A 2018-06-11 2018-06-11 一种可靠性评估方法和装置 Active CN110581785B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810594497.2A CN110581785B (zh) 2018-06-11 2018-06-11 一种可靠性评估方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810594497.2A CN110581785B (zh) 2018-06-11 2018-06-11 一种可靠性评估方法和装置

Publications (2)

Publication Number Publication Date
CN110581785A CN110581785A (zh) 2019-12-17
CN110581785B true CN110581785B (zh) 2021-07-30

Family

ID=68810137

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810594497.2A Active CN110581785B (zh) 2018-06-11 2018-06-11 一种可靠性评估方法和装置

Country Status (1)

Country Link
CN (1) CN110581785B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111143209B (zh) * 2019-12-23 2023-10-17 五八有限公司 分层压力测试方法、装置、电子设备及存储介质
CN113055218B (zh) * 2019-12-29 2022-08-05 ***通信集团浙江有限公司 Nfv网络的冗余性评价方法、装置及计算设备
CN113127331B (zh) * 2019-12-31 2024-01-05 航天信息股份有限公司 一种基于故障注入的测试方法、装置及计算机设备
CN111538669B (zh) * 2020-04-29 2023-09-22 中国银行股份有限公司 一种基于历史问题回溯分析的测试案例抽取方法及装置
CN111679960B (zh) * 2020-05-30 2021-01-26 北京航空航天大学 一种可靠性、弹性、脆性的***状态评估方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09233700A (ja) * 1996-02-28 1997-09-05 Fuji Electric Co Ltd 日最大需要電力予測の信頼性評価方法
CN101741595A (zh) * 2008-11-26 2010-06-16 华为技术有限公司 一种网络可靠性评估方法、装置和***
CN102035667A (zh) * 2009-09-27 2011-04-27 华为技术有限公司 网络可靠性评估方法、装置和***
CN102323499A (zh) * 2011-06-15 2012-01-18 北京四方继保自动化股份有限公司 一种继电保护设备实现自动化测试的方法
CN103376403A (zh) * 2012-04-26 2013-10-30 京信通信***（中国）有限公司 数字预失真功率放大器的可靠性测试***
CN106656684A (zh) * 2017-03-27 2017-05-10 苏州大学 一种网格资源可靠性监控方法及装置
CN106789432A (zh) * 2016-12-28 2017-05-31 中软信息***工程有限公司 基于自主可控云平台技术的测试***
CN106933734A (zh) * 2015-12-30 2017-07-07 中兴通讯股份有限公司 一种物理层软件自动化测试方法和装置
CN107391359A (zh) * 2016-05-17 2017-11-24 腾讯科技（深圳）有限公司 一种业务测试方法及装置

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09233700A (ja) * 1996-02-28 1997-09-05 Fuji Electric Co Ltd 日最大需要電力予測の信頼性評価方法
CN101741595A (zh) * 2008-11-26 2010-06-16 华为技术有限公司 一种网络可靠性评估方法、装置和***
CN102035667A (zh) * 2009-09-27 2011-04-27 华为技术有限公司 网络可靠性评估方法、装置和***
CN102323499A (zh) * 2011-06-15 2012-01-18 北京四方继保自动化股份有限公司 一种继电保护设备实现自动化测试的方法
CN103376403A (zh) * 2012-04-26 2013-10-30 京信通信***（中国）有限公司 数字预失真功率放大器的可靠性测试***
CN106933734A (zh) * 2015-12-30 2017-07-07 中兴通讯股份有限公司 一种物理层软件自动化测试方法和装置
CN107391359A (zh) * 2016-05-17 2017-11-24 腾讯科技（深圳）有限公司 一种业务测试方法及装置
CN106789432A (zh) * 2016-12-28 2017-05-31 中软信息***工程有限公司 基于自主可控云平台技术的测试***
CN106656684A (zh) * 2017-03-27 2017-05-10 苏州大学 一种网格资源可靠性监控方法及装置

Also Published As

Publication number Publication date
CN110581785A (zh) 2019-12-17

Similar Documents

Publication Publication Date Title
CN110581785B (zh) 一种可靠性评估方法和装置
Chen et al. Towards intelligent incident management: why we need it and how we make it
CN111831569A (zh) 基于故障注入的测试方法、装置、计算机设备和存储介质
Nguyen et al. Availability modeling and analysis of a data center for disaster tolerance
Larsson et al. Impact of etcd deployment on Kubernetes, Istio, and application performance
CN110262972A (zh) 一种面向微服务应用的失效测试工具及方法
US11539590B2 (en) Detect impact of network maintenance in software defined infrastructure
Rojas et al. Are we ready to drive software-defined networks? A comprehensive survey on management tools and techniques
CN107451040A (zh) 故障原因的定位方法、装置及计算机可读存储介质
Cotroneo et al. Dependability evaluation and benchmarking of network function virtualization infrastructures
EP3692443A1 (en) Application regression detection in computing systems
Oliveira et al. Barricade: defending systems against operator mistakes
Cotroneo et al. Thorfi: a novel approach for network fault injection as a service
US20140325277A1 (en) Information processing technique for managing computer system
CN111176974A (zh) 容灾测试方法、装置、计算机可读介质及电子设备
US20220038444A1 (en) Cloud device, application processing method, electronic device and storage medium
CN111124724B (zh) 一种分布式块存储***的节点故障测试方法及装置
Du et al. High availability verification framework for OpenStack based on fault injection
Kikuchi et al. Evaluation of operational vulnerability in cloud service management using model checking
CN112099879B (zh) 配置信息管理方法、装置、计算机设备及存储介质
CN111737130B (zh) 公有云多租户认证服务测试方法、装置、设备及储存介质
CN115220871A (zh) 一种虚拟机克隆方法、装置及存储介质
Kavulya et al. Draco: Top Down Statistical Diagnosis of Large-Scale VoIP Networks
CN113238950A (zh) 一种分布式***测试的***及方法、存储介质、电子设备
CN113064755A (zh) 数据恢复方法、装置、设备、介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant