CN103188119A - 通信网络中关键性能指标的置信区间 - Google Patents

通信网络中关键性能指标的置信区间 Download PDF

Info

Publication number
CN103188119A
CN103188119A CN2012105992396A CN201210599239A CN103188119A CN 103188119 A CN103188119 A CN 103188119A CN 2012105992396 A CN2012105992396 A CN 2012105992396A CN 201210599239 A CN201210599239 A CN 201210599239A CN 103188119 A CN103188119 A CN 103188119A
Authority
CN
China
Prior art keywords
network
value
sample rate
monitoring system
confidence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2012105992396A
Other languages
English (en)
Inventor
R·T·威尔金森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Turcotte Rangnick Dirk Sass LLC
Original Assignee
Tektronix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tektronix Inc filed Critical Tektronix Inc
Publication of CN103188119A publication Critical patent/CN103188119A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/02—Capturing of monitoring data
    • H04L43/022—Capturing of monitoring data by sampling
    • H04L43/024—Capturing of monitoring data by sampling by adaptive sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/142—Network analysis or design using statistical or mathematical methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/50—Network service management, e.g. ensuring proper service fulfilment according to agreements
    • H04L41/5003—Managing SLA; Interaction between SLA and QoS
    • H04L41/5009—Determining service level performance parameters or violations of service level contracts, e.g. violations of agreed response time or mean time between failures [MTBF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0852—Delays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/16—Threshold monitoring

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及通信网络中关键性能指标的置信区间。公开用于计算和呈现(多个)关键性能指标(KPIs)的(多个)置信区间的***和方法。例如，在一些实施例中，一种方法可以包括识别表示由网络监控***观测的网络事件的向量，每个向量包括：维度；以其来观测相应的事件的采样率的指示；和与维度相关联的值。该方法还可以包括至少部分基于所述值来计算针对所述维度与被观测的事件对应的KPI。该方法还可以包括至少部分基于所述采样率来计算与KPI关联的置信。在一些情况下，可以以不同的采样率来观测事件。附加地或可选地，采样率可以包括由网络监控***响应于网络或资源加载(例如经历随时间而改变)、白名单区别采样率等等而控制的自适应采样率。

Description

通信网络中关键性能指标的置信区间
相关申请的交叉引用
本申请要求保护标题为“Calculation and/or Presentation of ConfidenceIntervals for Key Performance Indicators”且2011年12月27日提交的美国临时专利申请No.61/580,502的提交日的权益，其公开被通过引用整体结合于此。
技术领域
本说明书总体上针对网络监控并且尤其针对在通信网络中计算和呈现(多个)关键性能指标(KPIs)的(多个)置信区间的***和方法。
背景技术
网络和客户体验监控解决方案是被广泛接受的用于电信公司服务提供商网络穿过两个固定网络(例如，Cable/MSO，IP宽带例如DSL，FTTH等)和移动网络(例如，2.5G，3G，LTE等)的操作的标准。这些***通过探测器设备监控网络业务，然后通过各种阶段得到可操作的信息(因为所述信息属于订户体验(服务质量、体验质量)，订户行为(应用程序使用情况，服务使用情况等)，订户位置等)来处理所述业务。实际上，可操作的信息可以涉及静态指标(典型地被称为关键性能指标或KPIs)，所述静态指标被从由探测器处理的源数据中计算得到，并随后被电信公司的各种不同用户构成部分获得以达到驱动其商业过程的目的。
KPIs的一些例子包括：切换成功(通过节点，位置等)，掉话率(通过节点，手机等)，应用程序使用情况(通过节点，订户等)，订户计数(通过位置，人口统计学等)，等等。
如本发明人已经认识到的，存在呈现在今天的市场中的多宏观层驱动，其以可以影响电信服务提供商(CSPs)的监控***和KPIs的部署和使用的方式来影响他们。例如，因为订户增长、订户的每用户平均收入(ARPU)下降的压力，增长的网络复杂性等，CSPs必须持续提高操作的效率。CSPs提高效率的一个主要方法是通过增加直接嵌入商业过程和自动控制的KPIs的可靠性。也就是说，CSPs日益依赖于精确的数据来做出关于网络上的活动的实时操作决定。同样，存在增长的推动使CSPs影响数据在他们的网络上的呈现以便实现新的收入流。一些例子包括使用订户行为数据来更好地以额外的CSP服务提供为目标，打包关于订户对第三方广告商的兴趣和行为的聚合数据等。
总之，这些驱动意味着如下：KPIs的可用性和精确性比以往更加重要，因为从监控***获得的KPIs日益用于触发网络、商业和潜在的收入影响决定。同样地，本发明人已经确定了对一种***和方法的需要，所述***和方法提供了一种向用户呈现给定KPI的置信区间的能力，以便用户可以在进行网络或商业影响行动之前更充分地认识到度量的重要性。但是，如本发明人已经认识到的，现有的KPI测量解决方案采用了监控所有数据，并且所有被监控的数据都被考虑到KPI计算中。当存在其他使用采样方法的解决方案时，这些***使用了固定的全局采样率，这使得根据观测数据对KPIs的推断是相对徒劳的运用。
发明内容
用于计算和呈现(多个)关键性能指标(KPIs)的(多个)置信区间的***和方法的实施例在这里被描述。在一个说明性的、非限制性的实施例中，一种方法可以包括识别表示被网络监控***观测的网络事件的向量，每个向量包括：维度(dimension)；以其来观测相应的网络事件的采样率的指示；和与所述维度相关联的值。所述方法还可以包括至少部分基于所述值来计算针对所述维度对应于被观测的网络事件的KPI，和至少部分基于采样率来计算与KPI相关联的置信。
在一些实施例中，所述维度可以包括：国际移动设备识别码(IMEI)，国际移动用户识别码(IMSI)，移动台综合业务数字网(MSISDN)，用户代理(UA)简档，用户代理，手机制造商，手机型号，软件版本，统一资源***(URL)，服务，应用，位置，移动国家码(MCC)或移动网络码(MNC)等。此外，所述值可以包括会话长度、上行链路字节计数、下行链路字节计数、尝试的数目，失败的数目、或等待时间。
此外，所述维度可以以第一采样率被观测，另一个维度可以以第二采样率被观测，而第二采样率可以不同于第一采样率。附加地或可选地，采样率可以包括由网络监控***响应于网络或资源加载而控制的自适应采样率。附加地或可选地，所述采样率可以随时间而改变。附加地或可选地，所述采样率可以包括基于白名单或黑名单的区别采样率。
在一些实施例中，计算置信可以包括估计在不存在采样的情况下将会被网络监控***观测的网络事件的数目(KN)，确定所观测的网络事件的数目(Kn)，和计算所述值的标准偏差(Kσ)。所述置信包括置信水平或置信区间，并且所述置信水平或置信区间可以至少部分基于KN、Kn和Kσ。
例如，在某种情况下，计算置信可以包括识别期望的置信水平和至少部分基于所述期望的置信水平来计算置信区间。在其他情况下，计算置信可以包括识别期望的置信区间和至少部分基于所述期望的置信区间来计算置信水平。另外，该方法还可以包括至少部分基于用户对置信水平或置信区间的调整来使得修改将来要以其来观测网络事件的采样率。
在另一个说明性的、非限制性的实施例中，网络监控***可以包括处理器和耦合到该处理器的存储器，所述存储器被配置为存储程序指令，所述程序指令能够由处理器执行来使网络监控***执行一个或多个操作。例如，该网络监控***可以识别多个表示所采样的网络事件的向量，每个向量包括：多个维度；所述多个维度中的每一个都与以其来采样相应的维度的采样率的指示相关联；和与每个相应的维度相关联的值，所述采样率经历根据网络或资源加载而随时间的修改。所述网络监控***还可以至少部分基于关于相应的值而执行的操作来计算与多个维度中的所选一个相关联的关键性能指标(KPI)，所述操作包括下述各项中的至少一个：均值(mean)，平均数(average)，最小值，或最大值。网络监控***可以进一步估计在不存在采样的情况下将会被观测的网络事件的数目(KN)，确定所采样的网络事件的数目(Kn)，计算值的标准偏差(Kσ)，至少部分基于KN、Kn和Kσ来计算与KPI相关联的置信值。
在一些实施例中，网络监控***还可以以图表和/或文本形式向用户显示KPI和/或置信值。进一步地，为了计算置信值，网络监控***可以识别期望的置信水平并至少部分基于该期望的置信水平来计算置信区间。附加地或可选地，网络监控***可以识别期望的置信区间并至少部分基于该期望置信区间来计算置信水平。同样，在一些情况下，该网络监控***可以至少部分基于对置信值的调整来自动修改在后续网络事件中要以其来对所选维度进行采样的采样率。
在另一个说明性的、非限制性的实施例中，一种有形的电子存储介质可以具有存储在其上的程序指令，当所述程序指令被计算机***中的处理器执行时，使得该计算机***执行一个或多个操作。例如，所述计算机***可以至少部分基于与表示被检测的网络事件的多个向量中的维度相关联的值来确定KPI，所述被检测的网络事件已经由网络监控***使用采样率进行自适应采样。
计算机***还可以至少部分基于采样率来计算与KPI相关联的置信值，并且其还可以至少部分基于用户对置信值的调整来计算第二采样率，利用所述第二采样率来检测后续的网络事件。为了计算置信值，所述程序指令可以进一步使计算机***估计在不存在可变采样率的情况下将会被检测的网络事件的数目(KN)，确定所监控的、所检测的事件的数目(Kn)，以及计算值的标准偏差(Kσ)。
在一些实施例中，在这里描述的技术中的一种或多种可以由一个或多个计算机***执行。在其他实施例中，有形的计算机可读存储介质可以具有存储在其上的程序指令，当所述程序指令由一个或多个计算机或网络监控***执行时，使该一个或多个计算机***来执行在这里描述的一个或多个操作。在其他实施例中，***可以包括至少一个处理器和耦合到所述至少一个处理器的存储器，所述存储器被配置为存储能够由所述至少一个处理器执行来实行在这里描述的一个或多个操作的程序指令。
附图说明
现在将对附图进行参考，其中：
图1是根据一些实施例的网络监控***的框图。
图2是根据一些实施例的网络监控软件程序的框图。
图3是根据一些实施例被配置为实现于此描述的各种***和方法的计算机***的框图。
图4是根据一些实施例的计算关键性能指标(KPI)的置信值的方法的流程图。
图5是根据一些实施例的调整采样率来使KPI结果符合期望的置信值的方法的流程图。
具体实施方式
虽然本说明书提供了几个实施例和说明性的附图，但本领域普通技术人员应该认识到本说明书并非只是限于所描述的实施例或附图。应该理解的是，附图和详细说明并不意图将说明限于所公开的特殊形式，而是正相反，目的是涵盖所有落入权利要求的精神和范围内的修改、等同和替换。同样，任何于此使用的标题只是用于组织的目的而不是意图限制描述的范围。如这里所使用的，词“可以”表示传达许可的含义(即，意思为“有可能”)，而不是强制性的含义(即，意思为“必须”)。类似地，词“包括”，“包含”和“具有”意味着包括而不是限于。
详细描述。
图1示意网络监控***的示例性框图。如所示，移动设备105和110可以能够通过网络115传输和接收去往和来自彼此的数据(例如，网页，音频，视频，等等)。同样，网络服务器120可以被配置为通过网络115提供一个或多个网页给客户端设备125。在各种实施例中，网络115可以包括任何适当的有线或无线/移动计算机或数据网络，其包括例如第三代(3G)，***(4G)，或3GPP长期演进(LTE)无线网络，IP语音(VoIP)网络，IP多媒体子***(IMS)网络，因特网，等等。
移动设备105和110之间的通信以及网络服务器120和客户端设备125之间的通信可以由网络监控***100监控，因为数据分组包括这些经过网络115的通信。同样地，网络监控***100可以包括耦合到网络115的网络监控器或分析器，分组嗅探器，探测器，或诸如此类。可以选择在图1中被用来使得能够发生通信的协议，例如，根据要被传递的内容的类型，网络115的类型，和/或设备105、110、和/或125的能力。可以被使用的协议的类型的例子包括，但不限于，超文本传输协议(HTTP)，实时消息传送协议(RTMP)，和实时传输协议(RTP)。
针对各种设备105、110和/或125的每个通信会话可以有不同的开始和结束时间，并且它们也可以经受不同的网络业务限制。在每个会话期间，针对该会话可用的带宽可以多次改变。同样，数据流可以在给定的会话期间开始和结束。
因此，网络监控***100可以被配置成针对通信会话对相关的数据分组进行采样(例如，不明显地)以便为每个会话和每个客户端追踪相同的用户体验信息集合而不用考虑用来支持所述会话的协议(例如，HTTP，RTMP，RTP，等等)。例如，通过计算和/或呈现(多个)关键性能指标(KPIs)以及针对所述KPIs的(多个)置信区间，监控***100可以能够识别关于每个用户的体验的特定信息，如在下文中更详细地描述那样。服务提供商可以使用这些信息，例如以便调整可用于客户端设备105、110、和/或125的网络服务(如分配给每个用户的带宽)和对通过网络115的数据分组的路由。
一般而言，客户端设备105、110和125可以包括任何计算机***或设备，诸如例如，个人计算机，膝上型计算机，平板计算机，移动设备，智能电话，网络使能的设备，网络使能的电视，等等。客户端设备105、110和125可以允许用户执行语音通信，操纵因特网或其他通过图形用户界面(GUI)使用网页浏览器应用程序或类似物的数据网络，等等。附加地或可选地，客户端设备125可以通过独立的或基于网络的客户端应用访问由网络服务器120使得可用的内容目录。网络服务器120可以包括任何能够递送内容给设备125的服务器或计算机***。
虽然只有设备105、110、120和125在图1上显示出来，但应该理解的是，网络115可以包括任意数目的节点和端点。例如，在一些实施方式中，网络115可以包括可能为3G或4G无线网络中的组件的节点或端点，例如服务GPRS支持节点(SGSN)，网关GPRS支持节点(GGSN)，或通用分组无线业务(GPRS)网络中的边界网关，CDMA2000网络中的分组数据服务节点(PDSN)，长期演进/服务***架构演进(LTE/SAE)网络中的移动性管理实体(MME)或任何其他在端点之间传递数据分组或消息的核心网络节点或路由器。而且，应该理解的是，这样的节点和端点可以以任何合适的方式互相连接，包括被耦合到一个或多个其他这样的节点和/或端点。
如上所述，很多分组在端点之间穿过网络115。这些分组可以表示很多不同的会话和协议。例如，如果移动设备105用于语音或视频呼叫，则它可以使用实时传输协议(RTP)与SIP/VOIP服务器(没有示出)交换互联网协议电话(VoIP)或会话初始化协议(SIP)数据分组。如果移动设备105用于发送或取回电子邮件，则它可以与电子邮件服务器(没有示出)交换因特网消息访问协议(IMAP)，邮局协议3协议(POP3)，或简单邮件传输协议(SMTP)消息。如果客户端设备105用于下载视频或使视频流出，则它可以使用实时流协议(RTSP)来同网络服务器120建立和***体会话。可选地，移动设备105和110或客户端设备125处的用户可以使用超文本传输协议(HTTP)访问多个网站以便同网络服务器120交换数据。应该理解的是，在设备端点之间交换的分组可以遵守许多其他现在已知或之后开发的协议。
在一个典型的情况下，大约百分之一的经过网络115的分组承载控制数据，例如在端点之间建立、管理或拆除呼叫或会话的信息。其他百分之九十九的分组承载用户数据，例如去往和来自所连接的设备的实际的语音、视频、电子邮件或信息内容。
在各种实施例中，网络监控***100可以用于监控网络115的性能。为此，监控***100可以被配置为捕获经过网络115传输的分组。在一些实施例中，分组捕获设备可以非侵入式地耦合到网络链路以便充分地捕获所有经过链路传输的分组。应该理解的是，在实际网络中，节点之间存在许多或上百个物理、逻辑或虚拟连接和链路。在一些情况下，网络监控***100可以耦合到所有或者高百分比的这些链路。在其他实施例中，监控***100可以只耦合到网络115的一部分，例如只耦合到与特定运营商或服务提供商相关联的链路。分组捕获设备可以是网络监控***100的一部分，例如线路接口卡，或可以是从不同位置远程耦合到网络监控***100的独立组件。
监控***100可以包括一个或多个运行一个或多个软件应用的处理器，其从网络115收集、关联和/或分析媒体和信令数据分组。监控***100可以通过表征通过网络115上的链路、节点、应用和服务器的IP业务的特征，来结合协议分析器、会话分析器、和/或业务分析器功能，其提供OSI(开放***互连)第二层到第七层的故障诊断。在一些实施例中，这些操作可以被提供，例如，通过可从Tektronix公司获得的
Figure BSA00000860463500071
工具集，虽然其他合适的工具可能存在或稍后被开发出来。将网络监控***100耦合到网络115的分组捕获设备可以是高速、高密度探测器，其被优化为处理高带宽IP业务，例如其同样可以从Tektronix公司得到，虽然其他合适的工具可能存在或稍后被开发出来。服务提供商或网络运营商可以通过带有显示器或图形用户界面的用户接口站从监控***100访问数据，例如IRISVIEW可配置的软件框架，其为几个应用提供单一的、完整的平台，包括对客户体验管理***和操作支持***(OSS)和商业支持***(BSS)应用的反馈，这也可以从Tektronix公司得到，虽然其他合适的工具可能存在或稍后被开发出来。
监控***100可以进一步包括内部或外部存储器用于存储所捕获的数据分组、用户会话数据、和配置信息。监控***100可以捕获和关联与特定数据会话相关联的分组。在一些实施例中，相关的分组可以被关联和结合到针对网络115上的特定流、会话或呼叫的记录。这些数据分组或消息可以被捕获到捕获文件中。呼叫跟踪应用可以被用于将消息分类成呼叫并建立呼叫详细记录(CDRs)。这些呼叫可能属于基于优先网络或由优先网络定义的方案。在一个说明性的、非限定性的例子中，相关的分组可以使用5元组关联机制来关联。这样的5元组关联处理可以使用IP相关密钥，其包括5部分：服务器IP地址、客户端IP地址、源端口、目的端口和第四层协议(传输控制协议(TCP)、用户数据报协议(UDP)或流控制传输协议(SCTP))。
因此，网络监控***100可以被配置成针对通信会话来对相关数据分组进行采样(例如，不明显地)以便为每个会话和每个客户端追踪相同的用户体验信息集合而不用考虑用来支持所述会话的协议(例如，HTTP，RTMP，RTP，等等)。例如，监控***100可以能够识别关于每个用户的体验的特定信息，如在下文中更详细地描述那样。服务提供商可以使用这些信息，例如以便调整可用于端点105、110、和/或125的网络服务(如分配给每个用户的带宽)和对通过网络115的数据分组的路由。
尽管网络115的容量向10吉比特/秒(Gbps)增长并超过(例如，100Gbps)，但是，它支持更多用户的流量和会话。同样的，对服务提供商或网络运营商来说，分析所有经过网络115的业务(例如，识别问题节点或链路)变得困难。一些***可以在相对短的时间段内收集所有的数据，期望采样具有代表性。其他***可以在全部时间收集一部分的网络业务并试图通过对其进行简单地缩放来为整个网络推断数据。为了解决这些和其他所关心的问题，某些于此描述的***和方法可以实现电信网络的自适应监控。
现在转向图2，描述了网络监控软件程序的框图。在一些实施例中，网络监控软件200可以是可由图1的监控***100执行的软件应用程序。如之前提到的，多个通信会话或数据流可以在设备105、110、120和/或125之间穿过网络115被传送。这样的通信可以通过HTTP、RTMP、RTP或任何其他合适的协议被流传输。
监控探测器205可以被配置为从网络115捕获数据分组，包括例如来自一个或多个HTTP请求或会话的数据。同样地，监控探测器205可以为所捕获的数据分组确定识别信息并可以将相关数据结合到会话或请求记录中。监控探测器205可以随后将会话记录和所捕获的分组数据反馈到监控引擎210。在一些情况下，会话记录可以包括多个段，当相关的会话处于活动时周期性地将所述段提供给监控引擎210。监控引擎210可以接着被配置成从每个会话记录提取会话数据并为每个会话记录识别协议。
会话数据可以被作为监控反馈提供给会话监控模块215和/或可以被存储到数据库220。数据库220还可以存储订户信息和客户端设备数据。
网络监控软件200可以允许服务提供商针对网络115从各种HTTP请求或会话并行或同时地收集数据。用于多个请求或会话的数据被存储在数据库220中，其允许服务提供商追踪每个会话或提取全***参数。例如，监控探测器205和/或监控引擎210可以通过分析所述会话的一个或多个数据分组的报头来识别用于每个会话的协议的类型。
监控探测器205和/或监控引擎210还可以追踪每个VoIP会话可用的带宽，并且可以识别实时发生的带宽改变。此外，监控探测器205和/或监控引擎210可以在用于任何请求或会话的数据分组的流中发生间隙或片段丢失时进行检测。所述请求或会话参数、带宽信息和间隙数据可以被收集给数据库200和/或呈现给服务提供商。
存储在数据库220中的数据可以由服务提供商查询，例如，基于每会话、每用户、每设备或每协议。会话监控模块210可以使用收集到的信息来为每个会话和为整个网络生成体验质量(QoE)和关键质量指标(KQIs)。所述QoE和KQIs可以基于例如检测到的多少时候一次重新缓冲、屏幕分辨率改变、间隙、和/或丢失的片段。会话期间额外的缓冲(即重新缓冲)，许多的屏幕分辨率改变和VoIP流中的间隙可能降低用户的QoE。
返回参考图1和2，网络监控***100可以被配置为通过网络监控软件200来监控它所接近的网络业务的可编程片段(例如，10Gbps，100Gpbs，等)。这样的可编程部分可以被定义，例如，通过采样率等等。在一些情况下，监控探测器205和/或引擎210可以基于一组试探法来智能地分析业务以便区别高值业务和低值业务(或任何其他所选形式的业务)。这样的试探法的例子可能包括(但不限于)具有共同的源或目的地址、共同的订户识别符、共同的传输协议、共同的端口号、共同的内容类型等等的业务。根据不同类型的业务，可以应用不同的采样规则(或规则集合)。每个规则可以依次指示会在后续的处理中被使用的业务的一部分，例如，KPIs的计算等等。KPIs的例子包括，但不限定于，服务性能指标、网络拥塞指标、连接保持指标、服务质量指标、和/或网络可用性指标。
在软件200的控制下，网络监控***100还可以被配置为聚合数据来实现回程，生成网络流和基础KPI计算，数据的时间戳，数据的端口戳，滤除不需要的数据，协议分类，和深度分组检测(DPI)分析。另外，网络监控***100可以进一步被配置为执行数据的有状态分析，对呼叫关联的关键参数的提取和呼叫数据记录(CDRs)的生成，应用特殊处理，等等。
在操作中，监控引擎210可以被配置为接收负载信息(例如，CPU和/或存储器使用)和存储所述信息到数据库220中。其也可以被配置为生成和/或修改存储在数据库220中的采样规则。基于负载信息和/或网络条件确定，监控引擎210可以自适应地修改存储在数据库220中的规则的一个或多个方面，以及使用修改后的滤波器器、优先码和采样率等更新监控探测器205。
下面的表1提供了可以被存储在数据库220中的假定采样规则的一个例子用于说明：
表1
规则 条件 优先级 采样率
1 订户＝{A，B，或C} 0 SR＝100％
2 订户＝{D，E，或F} 1 SR＝1％
在这个例子中，监控引擎210可以接收规则1或将其存储在数据库220中，使得对于任何与订户A、B或C相关联的分组，采样率为100％。对于规则2，对于识别订户D、E或F的分组，采样率为1％。因此，在这种情况下，由网络监控***100检测到的来自和/或去往订户A、B和C的每个分组(即SR＝100％)可以被用于后续的处理，诸如例如，计算与所述业务相关联的KPIs。相反地，所检测到的来自或去往订户D、E和F的分组的仅1％可以被用于所述业务的KPI计算。在一些实施方式中，关于重要客户可以应用规则1，反之，关于较不关键的订户(也被称为“白名单”或“VIP监控”)可以应用规则2。相反地，采样规则可以被建立成使得订户具有默认的以高或相对较高的比率(例如，100％)采样的他们的事件和/或维度，但是所选的订户是“黑名单”用户并且他们的事件/维度以较低的比率采样。
当基于遵循每个规则(和相应采样率)采样的分组来计算KPI参数时，每个这样的参数可以与统计的置信水平等等相关联起来。一般，随着给定的采样率降低，与相应KPI参数相关联的置信水平也趋于降低。相反地，随着采样率增大，置信因数也会增大。在很多实施例，统计置信值可以如关于下面的图4和5描述的那样被计算。
网络监控***100的实施例可以被一个或多个计算机***实现或执行。一个这样的计算机***在图3中被举例说明。在各种实施例中，计算机***300可以是服务器、大型计算机***、工作站、网络计算机、桌上型计算机、膝上型计算机、或诸如此类。例如，在一些情况下，图1中所示的网络监控***100可以被实现为计算机***300。此外，流传送服务器120或设备105、110和125中的一个或多个可以包括处于计算机***300的形式的一个或多个计算机。如上述解释的，在不同的实施例中，这些各种计算机***可以被配置为以任何合适的方式彼此通信，诸如例如，通过网络115.
如举例说明的那样，计算机***300包括一个或多个通过输入/输出(I/O)接口330耦合到***存储器320的处理器310。计算机***300进一步包括耦合到I/O接口330的网络接口340，和一个或多个输入/输出设备350，例如光标控制设备360、键盘370、和(多个)显示器380。在一些实施例中，给定实体(例如，网络监控***110)可以使用计算机***300的单个实例来实现，而在其他实施例中，多个这样的***或构成计算机***300的多个节点可以被配置为主控实施例的不同端口或实例。例如，在一个实施例中，一些元件可以通过计算机***300中的与实现其他元件的那些节点不同的一个或多个节点来实现(例如，当另一个计算机***可以实现监控引擎210时，第一计算机***可以实现监控探测器205)。
在各种实施例中，计算机***300可以是包括一个处理器310的单处理器***，或是包括两个或多个处理器310(例如，两个、四个、八个、或另外合适的数目)的多处理器***。处理器310可以是任何能够执行程序指令的处理器。例如，在各种实施例中，处理器310可以是实现任何多种多样的指令集体系结构(ISAs)的通用目的或嵌入式处理器，例如x86，
Figure BSA00000860463500111
或
Figure BSA00000860463500121
ISAs，或任何其他合适的ISA。在多处理器***中，处理器310中的每一个通常但不必须实现相同的ISA。而且，在一些实施例中，至少一个处理器310可以是图形处理单元(GPU)或其他专用图形渲染设备。
***存储器320可以被配置为存储程序指令和/或处理器310可存取的数据。在各种实施例中，***存储器320可以使用任何合适的存储器技术来实现，例如静态随机存取存储器(SRAM)，同步动态RAM(SDRAM)，非易失性/闪存型存储器，或任何其他类型的存储器。如解释说明的那样，实现于此描述的特定操作的程序指令和数据可以分别作为程序指令325和数据存储335被存储在***存储器320中。在其他实施例中，程序指令和/或数据可以被接收、发送或存储在不同类型的计算机可存取介质上或与***存储器320或计算机***300分离的类似介质上。一般而言，计算机可存取介质可以包括任何有形的存储介质或存储器介质例如磁性或光学介质-例如，通过I/O接口330耦合到计算机***300的盘或CD/DVD-ROM。以非瞬时的形式存储在有形的计算机可存取介质上的程序指令和数据可以进一步通过例如电、电磁或数字信号的传输介质或信号传送，其可以通过例如网络和/或无线链路的通信介质被传送，诸如其可以通过网络接口340实现。
在一个实施例中，I/O接口330可以被配置为调整处理器310、***存储器320和设备中的任意***设备(包括网络接口340或其他***接口，例如输入/输出设备350)之间的I/O业务。在一些实施例中，I/O接口330可以进行任何需要的协议、定时或其他数据变换来将数据信号从一个组件(例如，***存储器320)转换成合适于供另一个组件(例如，处理器310)使用的形式。在一些实施例中，I/O接口330可以包括对通过各种类型的***总线(诸如例如外设部件互联(PCI)总线标准或通用串行总线(USB)标准的变形)附接的设备的支持。在一些实施例中，I/O接口330的功能可以被分为两个或更多个独立组件，诸如例如北桥和南桥。另外，在一些实施例中，I/O接口330的一些或所有功能，例如到***存储器320的接口，可以直接结合到处理器310中。
网络接口340可以被配置为允许在计算机***300和附接到网络115的其他设备(例如其他计算机***)之间、或计算机***300的节点之间交换数据。在各种实施例中，网络接口340可以支持通过有线或无线通用数据网络(例如任何合适类型的因特网网络)的通信；通过例如模拟语音网络或数字光纤通信网络的电信/电话网络的通信；通过例如光纤信道SANs的存储区域网络的通信；或通过任何其他合适类型的网络和/或协议的通信。
在一些实施例中，输入/输出设备350可以包括一个或多个显示器终端、键盘、键区、触摸屏、扫描设备、语音或光学识别设备，或任何其他适合通过一个或多个计算机***300输入或取回数据的设备。多输入/输出设备350可以存在于计算机***300中或分布在计算机***300的许多节点上。在一些实施例中，相似的输入/输出设备可以与计算机***300分离，并可以通过有线或无线连接(例如通过网络接口340)与计算机***300的一个或多个节点相互作用。
如图3中所示，存储器320可以包括：程序指令325，其被配置为实现于此所述的特定实施例；和数据存储335，其包括可由程序指令325存取的各种数据。在一个实施例中，程序指令325可以包括如图2举例说明的实施例的软件元件。例如，程序指令325可以在各种实施例中使用任何期望的编程语言、脚本语言或编程语言和/或脚本语言的结合(例如，C、C++、C#、
Figure BSA00000860463500131
Figure BSA00000860463500132
等等)来实现。数据存储335可以包括用于这些实施例的数据。在其他实施例中，可以包括其他或不同的软件元件和数据。
本领域普通技术人员会意识到，计算机***300只是举例说明而不是意图限制于此描述的公开的范围。特别是，所述计算机***和设备可以包括可以执行指示的操作的硬件或软件的任何组合。另外，在一些实施例中，由举例说明的组件执行的操作可以由较少的组件执行或被分配在额外的组件上。类似地，在其他实施例中，一些举例说明的组件的操作可以不被执行和/或其他额外的操作可以获得。因此，于此描述的***和方法可以利用其他计算机***配置来实现或执行。
在一些实施例中，上文描述的***可以被配置为执行计算KPIs，以及KPIs的(多个)置信水平或(多个)置信区间的一种或多种方法。例如，假设网络监控***100中的监控探测器205为每个被观测的网络事件(“事件”)生成下列的网络事件向量(“事件向量”或“向量”)：
(T，D1，D2，...，Dn，V0＝1，V1，V2，...，Vn)
其中T是事件时间，DX是维度，且VX是值。具体来说，维度是通过其KPI可以被聚合或查看的所呈现的领域(field)。“维度”的例子可以包括，但不限于，订户(例如，通过国际移动用户识别码或IMSI，国际移动设备识别码或IMEI，移动用户综合业务数字网号码或MSISDN等)、蜂窝网、节点、手机制造商、手机型号、软件版本(例如，操作***、网络浏览器等等)、用户代理(UA)，UA简档、服务、应用、位置、发布码、统一资源***(URL)、移动国家码(MCC)、移动网络码(MNC)等等。同时，“值”可以包括任何合适的可以***纵、聚合等的数字值，以便生成KPI。值的例子可以包括：等待时间、字节计数(上行链路和/或下行链路)、吞吐量、会话长度、尝试的数目(例如，连接尝试)、失败的数目(例如，连接失败、)等等。在上文所示的例子中，V0＝1可以用作计数器-即其表示为了简单计数KPIs(例如，具有发布的事件的计数使得X可以被表示成当DRC＝X时的和(V0)(sum(V0)))目的的事件本身的发生。
智能和/或自适应采样***(诸如结合图1-3描述的一个)可以以几个不同的形态采样网络事件-一些例子包括自适应随机采样、白名单区别采样等等。再次，自适应随机采样可以使用随机采样，但基于资源加载自适应地调整比率(即将比在高业务时间更高的低业务采样率)。在效果上，在这种模式下，采样率在时间维度上改变。相反地，在白名单区别采样中，对于任何给定维度，所述***可以以一个比率(R1)采样白名单中的事件，并且以不同的比率(R2)采样不在白名单上的事件。例如，为了实现VIP监控能力，***可以提供针对合适的维度的订户白名单，然后将R1设定为100％并且将R2设定为1％。如果我们假设VIPs构成总的订户对象总体的1％，则所述监控配置只为业务的～1％做详细处理，但是仍然可以产生可高度操作和正确的KPIs，如果以适当方式计算和呈现的话。
现在，假设针对VIP订户进行白名单区别采样的情况(白名单国际移动用户识别码或IMSI＝100-199)其中R1＝100％和R2＝1％，并考虑如下该输出向量组的例子：
向量1：(T1，D1-IMSI＝101，D2-HANDSET(手机)＝H1，V0＝1，V1-Latency(等待时间)＝2)
向量2：(T2，D1-IMSI＝151，D2-HANDSET＝H2，V0＝1，V1-Latency＝5)
向量3：(T3，D1-IMSI＝368，D2-HANDSET＝H1，V0＝1，V1-Latency＝110)
向量4：(T4，D1-IMSI＝499，D2-HANDSET＝H3，V0＝1，V1-Latency＝89)
然后，考虑到可以基于向量1-4(例如在给定的时间范围内)计算的不同KPIs，包括(但不限定于)：
例子A-总的平均等待时间：合适的计算是采样集中等待时间值的均值。如果我们假设等待时间值的典型分布(例如，正常分布)，则于此描述的技术使得能够计算针对等待时间KPI的置信因数(例如，水平和/或区间)。
例子B-订户IMSI101的平均等待时间：在这个例子中，IMSI101在“白名单”中，并且因此假设其所有数据都被呈现-即其以100％的采样率被采样。使用于此描述的技术，统计学聚合和呈现层可以反映对理想的置信区间(即+/-0)或水平(例如，100％)来说什么是必要的。
例子C-订户IMSI368的平均等待时间：这是和例子B中的KPI陈述的类型相同的例子，但是由于被请求的订户不在白名单中，所以***知道数据已经被采样。在这个举例说明情况中，所述值将简单地被报告为110，并且置信因数可以被计算并反映适当的不确定性。
例子D-对具有HANDSET H1(手机H1)的用户的计数-针对该情况中的适当计算，***可以对VIP订户组中的用户进行计数(即和(V0))并将其添加到乘以1/采样率的剩余的H1用户的计数。
在一些实施例中，监控***可以了解事件会被观测和报告的条件。为了达到这一目的，我们可以引入与事件向量中的维度并行的一组DSx值。
(T，D1，D2，...，Dn，DST，DS1，DS2，...，DSn，V0＝1，V1，V2，...，Vn)
每个DSx可以承载或以其他方式指示采样率，以所述采样率来针对该事件采样维度，其支持通用采样模型，在其中每个维度可以承载其自身的多层/白名单采样策略，但是，在一些情况下，可以假设一个模型，在其中单个主要维度是采样维度，并且所有其他维度是从属的。在其他情况下，这样的一个模型可以被扩展以支持同时活动的任意数目的主要采样维度。
在这种情况下，上述向量1-4现在可以变成：
向量1：(T1，D1-IMSI＝101，D2-HANDSET＝H1，DST＝0.01，DS1＝1.0，DS2＝0.01，V0＝1，V1-Latency＝2)
向量2：(T2，D1-IMSI＝151，D2-HANDSET＝H2，DST＝0.01，DS1＝1.0，DS2＝0.01，V0＝1，V1-Latency＝5)
向量3：(T3，D1-IMSI＝368，D2-HANDSET＝H1，DST＝0.01，DS1＝0.01，DS2＝0.01，V0＝1，V1-Latency＝110)
向量4：(T4，D1-IMSI＝499，D2-HANDSET＝H3，DST＝0.01，DS1＝0.01，DS2＝0.01，V0＝1，V1-Latency＝89)
向量1和2承载DS1中的采样率1.0，因此指示通过白名单的那些IMSI值并因此数据被100％呈现。所有其他DSx值为0.01，其反映了在这个特定例子中的默认采样率。还要注意的是，如果在向量中被单独承载，则DSx值可以经常是多余的。因此，在一些情况下，DSx值可以被编码以使得它们呈现或指示在其他地方存储的采样率(例如，数据库220的不同的表)，而不是承载实际采样率。例如，事件向量表中的每个向量可以包括去往采样率表中的对应条目(以相关的方式，或诸如此类)的DSx指针。更一般地，应该注意到的是，于此描述的***和方法并不限于上述例子，其只是为了用于说明而提供的，但是相反相同或相似的信息可以以其他合适的方式获得，因此导致不同的具体实施方式。
在一些实施例中，KPI聚合引擎(例如，在监控引擎210中)可以使用DSx采样率来适当地计算KPIs。假设KPI的一般表示为：
(ΔT，D1，D2，...，Dn，K)
和事件向量或描述符形成对比，代替时间值，可以针对特定时间范围ΔT来计算KPIs。同样，可以以每维度集(例如，在事件记录中呈现的维度子集)来计算KPIs。此外，KPIs计算典型地产生单个值或结果K，虽然其在计算针对相同的维度和时间范围的KPIs集合的实施方式中十分普通。如上所表明的那样，为了适当地计算K以及能够呈现实际的置信区间给用户二者，可以使用附加信息。特别地，针对自适应采样***的KPIs可以表示为：
(ΔT，D1，D2，...，Dn，K，KN，Kn，Kσ)
其中K表示计算的KPI值(一般情况下其是采样均值)，KN表示在没有发生采样的情况下全部对象总体中的事件的数目，Kn表示针对该KPI计算呈现的采样的数目，并且Kσ表示所观测的采样值的标准偏差。为了适当地计算自适应采样***的KPI值，可以使用对不同KPI类型来说特别的一些附加逻辑：
对于基于和的KPIs，例如，为了获得或估计采样集，算法可以从事件向量表中选择(Vx*1/DSx)，其中(Dx＝X，Dy＝Y，...)，并且T处于ΔY中。也就是说，结果或值由(多个)采样率来度量。对于基于均值的KPIs，为了获得或估计采样集，算法可以从事件向量表中选择(Vx)，其中(Dx＝X，Dy＝Y，...)，并且T处于ΔY中。在这两种情况下，为了获得或估计对象总体的大小KN，算法可以从事件向量表中选择和(1/DSx)(sum(1/DSx))，其中(Dx＝X，Dy＝Y，...)，并且T处于ΔY中。同样的，K表示均值(采样集)，KN表示对象总体大小，Kn表示计数(采样集)，并且Kσ表示stddev(采样集)。
通过与KPI一起存储的附加的计算，所述***拥有足够的信息来报告对于给定目标置信因数的置信区间(即+/-X)，或使用如下公式报告对于给定区间范围的置信因数(即95％)：
X ± t n - 1 S n N - n N - 1
其中X表示事件向量中对应值的采样均值或KPI结果(K)，tn-1是从标准统计或分布表中获得的“t”值，S是采样标准偏差(Kσ)，n是采样大小(Kn)，并且N是对象总体大小(KN)。注意，包括限定的对象总体校正(fpc)因数(即根号内部的分数)的变量被用于“无采样”情况(即白名单采样外的采样，等等)。现在，使得：
A = S n N - n N - 1 .
在一些实施例中，用户可以设定置信水平(即95％)，其确定t的值并接着确定置信区间等于+/-tn-1A。附加地或可选地，用户可以设定区间(X)，并且置信水平为X/A的相关联的t值。
总而言之，一旦特定事件被观测或检测的采样条件在它们的对应向量中被识别到，就有可能计算与源自那些向量的KPI相关联的置信因数或值。图4是用于计算KPI的置信值的方法的流程图。在一些实施例中，方法400至少部分由网络监控***100执行。在块405，方法400可以识别多个表示被观测的、被检测的或被采样的网络事件的向量，每个向量都包括：一个或多个维度；采样率的指示，所述网络事件以该采样率被观测、检测或采样；和与每个维度相关联的值。例如，采样率可以经历随着时间根据网络或资源加载、根据白名单或黑名单协议等等的修改。同样，在相同向量中，给定的维度可以以第一采样率被观测，而另一个维度可以以不同的第二采样率被观测。
在块410，方法400可以计算与被采样的网络事件相关联的KPI，例如，针对(多个)所选维度。例如，可以基于关于在对应于(多个)所选维度的向量中报告的值而执行的操作(例如，均值、平均数、最小值、最大值、等等)来计算KPI。在块415，方法400可以估计在不存在采样的情况下将被观测的网络事件的数目(KN)。在块420，方法400可以确定被采样的网络事件的数目(Kn)。在块425，方法400可以计算值的标准偏差(Kσ)。并且在块430，方法400可以至少部分基于KN、Kn和Kσ来计算与KPI相关联的置信值。
置信区间和/或水平连同KPI值可以随后被显示给用户用于可视化。在一些实施例中，可以在计算机屏幕上以图形方式显示这样的可视化。例如，在KPI图上，阴影条可以在所述值之上和之下扩展。所述可视化也可以是文本(例如，表示紧邻KPI值的+/-值，等等)。然而，需要理解的是，于此描述的***和方法并不被限于任何一个特定类型的可视化，并且其他变型根据本公开将变得显而易见。
同样地，为了数据完整性评估等等的目的，于此描述的***和方法可以呈现完整的(和适当计算的)置信区间。此外，于此描述的***和方法可以解决核心客户的商业问题和许多客户满意问题，从而给予他们广泛的应用(产品/***等级)。
在一些实施例中，一旦KPI和相关联的置信水平和/或区间被呈现给用户，所述用户就可以期望调整所述置信值(例如，为了做出商业决定，其可能想知道具有更高准确性的特定的KPI或KPI集)。一般而言，所计算的KPI的置信是采样率的函数，利用该采样率来记录、检测或观测网络事件。相对应地，图5示出了调整采样率以使KPI结果符合期望的置信值的方法的流程图。在一些实施例中，方法500可以至少部分由网络监控***100执行。在块505，方法500可以至少部分基于与多个表示所检测的网络事件的向量中的维度相关联的值确定KPI。例如，可能已经由网络监控***使用采样率等等对所检测的网络事件进行自适应采样。
在块510，方法500可以如上文所述至少部分基于采样率来计算与KPI相关联的置信值。在块515，方法可以接收对置信值的调整或修改。这样的调整可以从用户或客户接收(例如，以期望值的形式)，其可以是预先建立的，和/或其可以由网络监控***100遵循一条或多条规则(例如，报告规则为特定KPIs设定最小或目标置信值)来自动确定。然后，在块520，方法500可以至少部分基于对置信值的调整来计算第二采样率，使用该第二采样率来检测后续的网络事件。在一些情况下，可以通过使用另一个采样率检测或观测将来的网络事件、计算新的置信值、调整采样率(例如，作为新的置信值和期望值之间的差的函数)、以及重复所述过程一次或多次来反复地确定第二采样率。附加地或可选地，可以通过改变它们所观测的参数中的一个或多个参数和基于那些变量计算目标采样率(例如在指示监控探测器205改变针对后续网络事件的采样率之前)以模拟的方式使用现有的向量。
于此描述的各种技术可以以软件、硬件或其结合来实现。给定方法中的每个操作执行的顺序可以被改变，并且于此举例说明的所述***的各种元件可以被增加、重新排序、组合、省略、修改等等。利用本说明书的好处作出各种修改和改变对本领域普通技术人员来说将是清楚的。意图使于此描述的(多个)发明包括所有这样的修改和改变，并且因此，上述描述应该被认为是示例性说明而非限制性的意义。

Claims (20)

1.一种方法，包括：
使用一个或多个计算机***执行：
识别表示由网络监控***观测的网络事件的向量，每个向量包括：维度；以其来观测相应的网络事件的采样率的指示；和与所述维度相关联的值；
至少部分基于所述值来计算针对所述维度与被观测的网络事件相对应的关键性能指标(KPI)；以及
至少部分基于所述采样率来计算与所述KPI相关联的置信。
2.如权利要求1所述的方法，其中所述维度包括以下各项中的至少一个：国际移动设备识别码(IMEI)、国际移动用户识别码(IMSI)、移动台综合业务数字网(MSISDN)、用户代理(UA)简档、用户代理、手机制造商、手机型号、软件版本、统一资源***(URL)、服务、应用、位置、移动国家码(MCC)或移动网络码(MNC)。
3.如权利要求1所述的方法，其中以第一采样率来观测所述维度，其中以第二采样率来观测另一个维度，并且其中所述第二采样率不同于所述第一采样率。
4.如权利要求1所述的方法，其中所述采样率包括由所述网络监控***响应于网络或资源加载而控制的自适应采样率。
5.如权利要求1所述的方法，其中所述采样率随时间而改变。
6.如权利要求1所述的方法，其中所述采样率包括基于白名单或黑名单的区别采样率。
7.如权利要求1所述的方法，其中所述值包括以下各项中的至少一个：会话长度、上行链路字节计数、下行链路字节计数、尝试的数目、失败的数目、或等待时间。
8.如权利要求1所述的方法，其中计算置信进一步包括：
使用所述一个或多个计算机***执行：
估计当不存在采样时将会被所述网络监控***观测的网络事件的数目(KN)；
确定被观测的网络事件的数目(Kn)；以及
计算所述值的标准偏差(Kσ)。
9.如权利要求8所述的方法，其中所述置信包括置信水平或置信区间中的至少一个，并且其中所述置信水平或置信区间至少部分基于KN、Kn和Kσ。
10.如权利要求9所述的方法，其中计算所述置信进一步包括：
使用所述一个或多个计算机***执行：
识别期望的置信水平；以及
至少部分基于所述期望的置信水平来计算置信区间。
11.如权利要求9所述的方法，其中计算所述置信进一步包括：
使用所述一个或多个计算机***执行：
识别期望的置信区间；以及
至少部分基于所述期望的置信区间来计算置信水平。
12.如权利要求9所述的方法，进一步包括：
使用所述一个或多个计算机***执行：
至少部分基于用户对置信水平或置信区间的调整来促使修改将来要以其来观测网络事件的采样率。
13.一种网络监控***，包括：
处理器；以及
耦合到所述处理器的存储器，所述存储器被配置为存储程序指令，所述程序指令能够由处理器执行来使所述网络监控***：
识别多个表示被采样的网络事件的向量，每个向量包括：多个维度；与所述多个维度中的每一个相关联的采样率的指示，以所述采样率来对相应的维度进行采样；和与每个相应的维度相关联的值，所述采样率经历根据网络或资源加载而随时间的修改；
至少部分基于关于相应的值而执行的操作，计算与所述多个维度中的所选一个相关联的关键性能指标(KPI)，所述操作包括以下各项中的至少一个：均值、平均数、最小值、或最大值；
估计在不存在采样的情况下将会被观测的网络事件的数目(KN)；
确定被采样的网络事件的数目(Kn)；
计算所述值的标准偏差(Kσ)；以及
至少部分基于KN、Kn和Kσ来计算与KPI相关联的置信值。
14.如权利要求13所述的网络监控***，其中所述程序指令能够由处理器进一步执行使得所述网络监控***：
将KPI显示给用户；以及
以图表或文本形式向用户显示置信值。
15.如权利要求13所述的网络监控***，其中为了计算置信值，所述程序指令能够进一步由处理器执行使得所述网络监控***：
识别期望的置信水平；以及
至少部分基于所述期望的置信水平来计算置信区间。
16.如权利要求13所述的网络监控***，其中为了计算置信值，所述程序指令能够进一步由处理器执行使得所述网络监控***：
识别期望的置信区间；以及
至少部分基于所述期望的置信区间来计算置信水平。
17.如权利要求13所述的网络监控***，所述程序指令能够进一步由处理器执行使得所述网络监控***：至少部分基于对置信值的调整来自动修改在后续网络事件中要以其来对所选维度进行采样的采样率。
18.一种有形的电子存储介质，其具有存储在其上的程序指令，所述程序指令在由计算机***中的处理器执行时使得所述计算机***：
至少部分基于与多个表示被检测的网络事件的向量中的维度相关联的值来确定关键性能指标(KPI)，所述被检测的网络事件已经由网络监控***使用采样率进行自适应采样；
至少部分基于所述采样率来计算与KPI相关联的置信值；以及
至少部分基于用户对置信值的调整来计算要以其来检测后续网络事件的第二采样率。
19.如权利要求18所述的有形的电子存储介质，其中为了计算置信值，所述程序指令进一步使得计算机***：
估计在不存在可变采样率的情况下将会被检测的网络事件的数目(KN)；
确定被观测、被检测的事件的数目(Kn)；以及
计算所述值的标准偏差(Kσ)。
20.如权利要求19所述的有形的电子存储介质，其中所述置信值包括置信水平或置信区间中的至少一个。
CN2012105992396A 2011-12-27 2012-12-26 通信网络中关键性能指标的置信区间 Pending CN103188119A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201161580502P 2011-12-27 2011-12-27
US61/580502 2011-12-27
US13/452008 2012-04-20
US13/452,008 US9130825B2 (en) 2011-12-27 2012-04-20 Confidence intervals for key performance indicators in communication networks

Publications (1)

Publication Number Publication Date
CN103188119A true CN103188119A (zh) 2013-07-03

Family

ID=47603127

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2012105992396A Pending CN103188119A (zh) 2011-12-27 2012-12-26 通信网络中关键性能指标的置信区间

Country Status (3)

Country Link
US (1) US9130825B2 (zh)
EP (1) EP2611074B1 (zh)
CN (1) CN103188119A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017016472A1 (en) * 2015-07-28 2017-02-02 Huawei Technologies Co., Ltd. Predicting network performance
CN107135128A (zh) * 2017-06-28 2017-09-05 努比亚技术有限公司 调用链数据采集方法、移动终端及计算机可读存储介质
CN107423433A (zh) * 2017-08-03 2017-12-01 聚好看科技股份有限公司 一种数据采样率控制方法及装置
CN112003976A (zh) * 2020-07-31 2020-11-27 北京达佳互联信息技术有限公司 硬编硬解测试方法及装置
WO2021073413A1 (zh) * 2019-10-14 2021-04-22 中兴通讯股份有限公司 ***性能参数的发送方法、装置、管理设备和存储介质
CN113543091A (zh) * 2015-07-08 2021-10-22 联邦快递服务公司 与无线节点网络中的id节点相关的事件候选的事件监测
US12014318B2 (en) 2013-11-29 2024-06-18 Fedex Corporate Services, Inc. Node-enabled logistics receptacle in a wireless node network

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8971199B2 (en) * 2012-05-11 2015-03-03 Alcatel Lucent Apparatus and method for selecting service quality metrics for managed services quality assurance
US10531251B2 (en) * 2012-10-22 2020-01-07 United States Cellular Corporation Detecting and processing anomalous parameter data points by a mobile wireless data network forecasting system
US9538409B2 (en) 2012-10-29 2017-01-03 T-Mobile Usa, Inc. Quality of user experience analysis
US10237144B2 (en) 2012-10-29 2019-03-19 T-Mobile Usa, Inc. Quality of user experience analysis
US10313905B2 (en) 2012-10-29 2019-06-04 T-Mobile Usa, Inc. Contextual quality of user experience analysis using equipment dynamics
US10412550B2 (en) 2012-10-29 2019-09-10 T-Mobile Usa, Inc. Remote driving of mobile device diagnostic applications
US10952091B2 (en) 2012-10-29 2021-03-16 T-Mobile Usa, Inc. Quality of user experience analysis
US8626912B1 (en) 2013-03-15 2014-01-07 Extrahop Networks, Inc. Automated passive discovery of applications
US8867343B2 (en) 2013-03-15 2014-10-21 Extrahop Networks, Inc. Trigger based recording of flows with play back
US11025521B1 (en) * 2013-03-15 2021-06-01 CSC Holdings, LLC Dynamic sample selection based on geospatial area and selection predicates
US8848744B1 (en) 2013-03-15 2014-09-30 Extrahop Networks, Inc. Resynchronization of passive monitoring of a flow based on hole detection
CN105308906B9 (zh) * 2013-05-03 2019-04-12 马维尔国际贸易有限公司 一种用于在网络设备中对事件进行计数的方法及计数器设备
WO2015061729A1 (en) 2013-10-25 2015-04-30 Marvell World Trade Ltd. Range extension mode for wifi
EP3076705B1 (en) * 2013-12-19 2018-10-17 Huawei Technologies Co., Ltd. Method and apparatus for determining performance indicator of communications network
US20170013484A1 (en) * 2014-02-17 2017-01-12 Telefonaktiebolaget Lm Ericsson (Publ) Service failure in communications networks
US20150256431A1 (en) * 2014-03-07 2015-09-10 Cisco Technology, Inc. Selective flow inspection based on endpoint behavior and random sampling
US9401851B2 (en) * 2014-03-28 2016-07-26 Verizon Patent And Licensing Inc. Network management system
IL232316A (en) * 2014-04-28 2017-04-30 Verint Systems Ltd System and method for demographic characterization of users of mobile communication terminals based on revalidation - a network of installed Applitzkis and their regime
US9338147B1 (en) 2015-04-24 2016-05-10 Extrahop Networks, Inc. Secure communication secret sharing
US9983853B2 (en) * 2015-04-29 2018-05-29 Facebook Inc. Controlling data logging based on a lifecycle of a product
EP3304818B1 (en) * 2015-05-29 2020-10-14 T-Mobile USA, Inc. Quality of user experience analysis using echo locate
US10142353B2 (en) 2015-06-05 2018-11-27 Cisco Technology, Inc. System for monitoring and managing datacenters
US10536357B2 (en) 2015-06-05 2020-01-14 Cisco Technology, Inc. Late data detection in data center
EP3110090B1 (en) * 2015-06-22 2020-10-21 Sandvine Corporation System and method for heuristic control of network traffic management
CN105827475B (zh) * 2015-10-20 2019-11-08 广东亿迅科技有限公司 一种端到端电信客户网络监控***
US11811584B2 (en) * 2015-11-03 2023-11-07 Tektronix Texas, Llc System and method for automatically identifying failure in services deployed by mobile network operators
US10204211B2 (en) 2016-02-03 2019-02-12 Extrahop Networks, Inc. Healthcare operations with passive network monitoring
US9729416B1 (en) 2016-07-11 2017-08-08 Extrahop Networks, Inc. Anomaly detection using device relationship graphs
US9660879B1 (en) 2016-07-25 2017-05-23 Extrahop Networks, Inc. Flow deduplication across a cluster of network monitoring devices
US10511510B2 (en) 2016-11-14 2019-12-17 Accenture Global Solutions Limited Performance of communication network based on end to end performance observation and evaluation
US9858964B1 (en) 2017-03-07 2018-01-02 Seagate Technology Llc Data storage device with power loss adaptation
US10476673B2 (en) 2017-03-22 2019-11-12 Extrahop Networks, Inc. Managing session secrets for continuous packet capture systems
US10764141B2 (en) 2017-03-27 2020-09-01 Cisco Technology, Inc. Network agent for reporting to a network policy system
US10873794B2 (en) 2017-03-28 2020-12-22 Cisco Technology, Inc. Flowlet resolution for application performance monitoring and management
US20190007292A1 (en) * 2017-06-28 2019-01-03 Cpacket Networks Inc. Apparatus and method for monitoring network performance of virtualized resources
US10263863B2 (en) 2017-08-11 2019-04-16 Extrahop Networks, Inc. Real-time configuration discovery and management
US10063434B1 (en) 2017-08-29 2018-08-28 Extrahop Networks, Inc. Classifying applications or activities based on network behavior
US9967292B1 (en) 2017-10-25 2018-05-08 Extrahop Networks, Inc. Inline secret sharing
CN109756358B (zh) * 2017-11-08 2020-11-06 华为技术有限公司 采样频率推荐方法、装置、设备与存储介质
US11271960B2 (en) * 2017-12-06 2022-03-08 Ribbon Communications Operating Company, Inc. Communications methods and apparatus for dynamic detection and/or mitigation of anomalies
US10931696B2 (en) 2018-07-13 2021-02-23 Ribbon Communications Operating Company, Inc. Communications methods and apparatus for dynamic detection and/or mitigation of threats and/or anomalies
US10264003B1 (en) 2018-02-07 2019-04-16 Extrahop Networks, Inc. Adaptive network monitoring with tuneable elastic granularity
US10389574B1 (en) 2018-02-07 2019-08-20 Extrahop Networks, Inc. Ranking alerts based on network monitoring
US10038611B1 (en) 2018-02-08 2018-07-31 Extrahop Networks, Inc. Personalization of alerts based on network monitoring
US10270794B1 (en) 2018-02-09 2019-04-23 Extrahop Networks, Inc. Detection of denial of service attacks
US10116679B1 (en) 2018-05-18 2018-10-30 Extrahop Networks, Inc. Privilege inference and monitoring based on network behavior
US10411978B1 (en) 2018-08-09 2019-09-10 Extrahop Networks, Inc. Correlating causes and effects associated with network activity
US10594718B1 (en) 2018-08-21 2020-03-17 Extrahop Networks, Inc. Managing incident response operations based on monitored network activity
US10931768B2 (en) * 2018-08-28 2021-02-23 Cujo LLC Determining active application usage through a network traffic hub
US11102126B2 (en) * 2018-10-22 2021-08-24 Centurylink Intellectual Property Llc Method, apparatus, and system for adjusting routing of network traffic or utilization of network nodes
US10965702B2 (en) 2019-05-28 2021-03-30 Extrahop Networks, Inc. Detecting injection attacks using passive network monitoring
US11165814B2 (en) 2019-07-29 2021-11-02 Extrahop Networks, Inc. Modifying triage information based on network monitoring
US11388072B2 (en) 2019-08-05 2022-07-12 Extrahop Networks, Inc. Correlating network traffic that crosses opaque endpoints
US10742530B1 (en) 2019-08-05 2020-08-11 Extrahop Networks, Inc. Correlating network traffic that crosses opaque endpoints
US10742677B1 (en) 2019-09-04 2020-08-11 Extrahop Networks, Inc. Automatic determination of user roles and asset types based on network monitoring
US11165823B2 (en) 2019-12-17 2021-11-02 Extrahop Networks, Inc. Automated preemptive polymorphic deception
EP4085574A1 (en) 2019-12-31 2022-11-09 Hughes Network Systems, LLC Traffic flow classification using machine learning
ZA202100191B (en) 2020-01-20 2023-12-20 EXFO Solutions SAS Method and device for estimating a number of distinct subscribers of a telecommunication network impacted by network issues
WO2022066910A1 (en) 2020-09-23 2022-03-31 Extrahop Networks, Inc. Monitoring encrypted network traffic
US11463466B2 (en) 2020-09-23 2022-10-04 Extrahop Networks, Inc. Monitoring encrypted network traffic
EP4305822A1 (en) * 2021-03-12 2024-01-17 Telefonaktiebolaget LM Ericsson (publ) Methods and apparatuses for reporting anomalies and forecasting key performance indicator (kpi) measurements in a telecommunications node
EP4348956A1 (en) * 2021-05-31 2024-04-10 Telefonaktiebolaget LM Ericsson (publ) Generating and aggregating data for network monitoring
US11349861B1 (en) 2021-06-18 2022-05-31 Extrahop Networks, Inc. Identifying network entities based on beaconing activity
US11296967B1 (en) 2021-09-23 2022-04-05 Extrahop Networks, Inc. Combining passive network analysis and active probing
US11843606B2 (en) 2022-03-30 2023-12-12 Extrahop Networks, Inc. Detecting abnormal data access based on data similarity
WO2023211430A1 (en) * 2022-04-27 2023-11-02 Rakuten Mobile, Inc. Key performance indicator monitoring interface apparatus and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6011838A (en) * 1997-06-06 2000-01-04 Bellsouth Intellectual Property Corporation Process and system for dynamically measuring switch traffic
US20020129157A1 (en) * 2000-11-08 2002-09-12 Shlomo Varsano Method and apparatus for automated service level agreements
CN1672361A (zh) * 2002-07-22 2005-09-21 意大利电信股份公司 电信网中监控服务质量的方法、***及组件和计算机产品

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9053222B2 (en) * 2002-05-17 2015-06-09 Lawrence A. Lynn Patient safety processor
US7027621B1 (en) * 2001-03-15 2006-04-11 Mikos, Ltd. Method and apparatus for operator condition monitoring and assessment
US6643613B2 (en) * 2001-07-03 2003-11-04 Altaworks Corporation System and method for monitoring performance metrics
US7076695B2 (en) * 2001-07-20 2006-07-11 Opnet Technologies, Inc. System and methods for adaptive threshold determination for performance metrics
US7076397B2 (en) * 2002-10-17 2006-07-11 Bmc Software, Inc. System and method for statistical performance monitoring
ATE383039T1 (de) * 2004-01-30 2008-01-15 Ericsson Telefon Ab L M Verfahren zur bestimmung der leistungsfähigkeit von mobilfunkendgeräten in einem im betrieb befindlichen mobilfunknetz
US7460487B2 (en) * 2004-06-04 2008-12-02 Lucent Technologies Inc. Accelerated per-flow traffic estimation
US20060074598A1 (en) * 2004-09-10 2006-04-06 Emigholz Kenneth F Application of abnormal event detection technology to hydrocracking units
US7567887B2 (en) * 2004-09-10 2009-07-28 Exxonmobil Research And Engineering Company Application of abnormal event detection technology to fluidized catalytic cracking unit
US7761172B2 (en) * 2006-03-21 2010-07-20 Exxonmobil Research And Engineering Company Application of abnormal event detection (AED) technology to polymers
US7853538B2 (en) * 2006-04-10 2010-12-14 Dietmar Hildebrand Fuzzy logic-based surveillance in information technology and business service management systems
US7720641B2 (en) * 2006-04-21 2010-05-18 Exxonmobil Research And Engineering Company Application of abnormal event detection technology to delayed coking unit
US20090043539A1 (en) * 2007-08-08 2009-02-12 General Electric Company Method and system for automatically evaluating the performance of a power plant machine
US7990982B2 (en) 2008-12-15 2011-08-02 At&T Intellectual Property I, L.P. Methods and apparatus to bound network traffic estimation error for multistage measurement sampling and aggregation
US20120116696A1 (en) * 2009-03-24 2012-05-10 Infinirel Corporation Systems, devices and methods for predicting power electronics failure
US8731724B2 (en) * 2009-06-22 2014-05-20 Johnson Controls Technology Company Automated fault detection and diagnostics in a building management system
CN104115077B (zh) * 2011-12-16 2018-12-07 施耐德电气美国股份有限公司 主机代管电气架构

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6011838A (en) * 1997-06-06 2000-01-04 Bellsouth Intellectual Property Corporation Process and system for dynamically measuring switch traffic
US20020129157A1 (en) * 2000-11-08 2002-09-12 Shlomo Varsano Method and apparatus for automated service level agreements
CN1672361A (zh) * 2002-07-22 2005-09-21 意大利电信股份公司 电信网中监控服务质量的方法、***及组件和计算机产品

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WENHONG MA ET AL: "Adaptive sampling for network performance measurement under voice traffic", 《2004 IEEE INTERNATIONAL CONFERENCE ON COMMUNICATIONS》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12014318B2 (en) 2013-11-29 2024-06-18 Fedex Corporate Services, Inc. Node-enabled logistics receptacle in a wireless node network
CN113543091A (zh) * 2015-07-08 2021-10-22 联邦快递服务公司 与无线节点网络中的id节点相关的事件候选的事件监测
CN113543091B (zh) * 2015-07-08 2024-06-07 联邦快递服务公司 与无线节点网络中的id节点相关的事件候选的事件监测
WO2017016472A1 (en) * 2015-07-28 2017-02-02 Huawei Technologies Co., Ltd. Predicting network performance
CN107135128A (zh) * 2017-06-28 2017-09-05 努比亚技术有限公司 调用链数据采集方法、移动终端及计算机可读存储介质
CN107135128B (zh) * 2017-06-28 2021-07-23 努比亚技术有限公司 调用链数据采集方法、移动终端及计算机可读存储介质
CN107423433A (zh) * 2017-08-03 2017-12-01 聚好看科技股份有限公司 一种数据采样率控制方法及装置
CN107423433B (zh) * 2017-08-03 2020-07-10 聚好看科技股份有限公司 一种数据采样率控制方法及装置
WO2021073413A1 (zh) * 2019-10-14 2021-04-22 中兴通讯股份有限公司 ***性能参数的发送方法、装置、管理设备和存储介质
US11950142B2 (en) 2019-10-14 2024-04-02 Zte Corporation Method and apparatus for sending system performance parameters, management device, and storage medium
CN112003976A (zh) * 2020-07-31 2020-11-27 北京达佳互联信息技术有限公司 硬编硬解测试方法及装置

Also Published As

Publication number Publication date
US20130166730A1 (en) 2013-06-27
EP2611074B1 (en) 2019-08-07
US9130825B2 (en) 2015-09-08
EP2611074A1 (en) 2013-07-03

Similar Documents

Publication Publication Date Title
CN103188119A (zh) 通信网络中关键性能指标的置信区间
CN103220164B (zh) 数据完整性计分和网络可视化及用户体验监控
JP6690011B2 (ja) ストリーミング分析法を用いてネットワーク問題の実効顧客影響度をリアルタイムで測定するためのシステム及び方法
US9426046B2 (en) Web page download time analysis
US9853867B2 (en) Method and apparatus to determine network quality
EP2661020B1 (en) Adaptive monitoring of telecommunications networks
US11811584B2 (en) System and method for automatically identifying failure in services deployed by mobile network operators
US8761757B2 (en) Identification of communication devices in telecommunication networks
WO2012055023A1 (en) System for monitoring a video network and methods for use therewith
JP5104738B2 (ja) パケットロス率計測方法、パケットロス率計測装置、およびコンピュータプログラム
CN103297290A (zh) 使用层级化设备的智能和可缩扩网络监控
CN105794175B (zh) 输送web内容的***的性能度量
Mangla et al. VideoNOC: Assessing video QoE for network operators using passive measurements
CN103081403A (zh) 用于使用事件分析通信***的操作的方法和装置
Sahni et al. Real time monitoring and analysis of available bandwidth in cellular network-using big data analytics
TWI597952B (zh) Broadband Internet service quality monitoring system
CN116056245B (zh) 数据调度方法、装置及计算机可读存储介质
Gibeli et al. Construction of baselines for VoIP traffic management on open MANs
Sou et al. Modeling application-based charging management with traffic detection function in 3GPP
Al-Shehri et al. Metrics for broadband networks in the context of the digital economies
CN116962268A (zh) 性能分析***以及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C41 Transfer of patent application or patent right or utility model
CB02 Change of applicant information

Address after: Texas, USA

Applicant after: Tektronic, Inc.

Address before: Massachusetts, USA

Applicant before: Turcotte Rangnick Dirk Sass LLC

COR Change of bibliographic data
TA01 Transfer of patent application right

Effective date of registration: 20161206

Address after: Massachusetts, USA

Applicant after: Turcotte Rangnick Dirk Sass LLC

Address before: oregon

Applicant before: Tektronix, Inc.

RJ01 Rejection of invention patent application after publication

Application publication date: 20130703

RJ01 Rejection of invention patent application after publication