CN104468567B - 一种网络多媒体业务流识别和映射的***及方法 - Google Patents

Abstract

本发明公开了一种网络多媒体业务流识别和映射的***及方法，该方法将在线识别与离线识别相结合，兼顾了网络实时性与准确性的要求。对识别算法隐马尔科夫模型(HMM)进行了改进，采用频率作为发射概率，降低了计算复杂度，提高识别映射效率。利用现行网络设备获取QoS属性进行业务区分，使该方法具有较好的通用性和可实现性。通过对QoS域的动态调整，提高网络资源利用率，得到较高性能的异构网络端到端QoS保证。

Description

一种网络多媒体业务流识别和映射的***及方法

技术领域

本发明涉及计算机网络通信技术领域，特别涉及一种网络多媒体业务流识别和映射的***及方法。

背景技术

保证异构网络端到端服务质量(QoS，Quality of Service)，对顺利开展多媒体业务具有重要意义，很多国际组织和学者对此进行了研究，提出了许多解决方案，其中QoS映射是研究热点之一。异构网络跨域QoS类映射存在以下特点：1)不同QoS域具有不同粒度的QoS类划分，导致异构域中的QoS类映射存在匹配不准确的问题；2)存在大量QoS需求相近业务，需要采取有效的方法降低执行QoS映射等相关操作的时间开销；3)端到端的QoS具有很大不确定性，这是由于即使对于同一种业务，不同的用户也存在不同的QoS要求，这是由于用户本身具有很强的主观性，业务内容、环境、心情等都会对用户的感知质量有影响；4)网络资源处于动态变化之中，而很多业务过程时间很短，这需要识别方案具有较高的实时性。

尽管有不少较好的单个解决方案，但缺乏在端到端QoS保证领域，对业务流识别和QoS类映射进行有效整合的方案设计。本发明设计了一种泛在异构网络多媒体业务流识别和映射方案，该方案基于QoS特征选取业务区分特征以满足QoS类区分的需要，并通过有机组合离线分析、在线分析和历史信息，兼顾多媒体业务识别在实时性和准确性上的需要，并基于用户体验的差异性，通过灵活调整映射结果，以提高多媒体业务的端到端QoS保证。

发明内容

本发明针对异构网络中多媒体业务，提出了一种网络多媒体业务流识别和映射方法及***架构。

本发明为解决技术问题所采用的技术方法是：在无线异构网络中为多媒体业务提供QoS映射的体系结构。该方法利用现行网络设备Netflow将抓获该业务流特征的统计信息，通过归一化处理相关流特征，形成统一格式的序列集。依据当前QoS域的分类数，对获得的序列集聚类，其目的是确定业务类别分类数目，提供给训练集训练识别算法(采用隐马尔科夫模型(HMM，Hidden Markov Model))使用。依据聚类结果观察业务流在包的QoS层面是否具有相似性(即是否满足可聚集条件)，如果通过最短矢量距离判断相似度较低(即不满足可聚集条件)，则将该业务流按当前网络缺省设置传输至下一QoS域，否则，将可聚集数据源集合在一起，进行HMM分类映射，这里的HMM由训练集训练得到。通过网络感知器件感知当前网络资源分布，集合映射结果，调整QoS类匹配结果，如果网络资源满足，则传输该业务群，并将该业务群加入训练集，训练新的HMM。如果不满足，则判断是否满足等待条件，如果满足则等待，否则取消该业务群。所述方法仅需布置在网络边界的路由/网关上，便于新接入技术的使用，有较好的可扩展性。

***架构及功能

本***主要包括网络环境感知及数据包捕获模块、特征数据库、离线分析服务器、在线识别服务器、历史数据库和映射执行器模块。

1)网络环境感知及数据包捕获模块，利用嗅探器完成特征提取、网络环境感知的任务。借助网络工具抓获网络中的业务流，获得包到达时间间隔、包大小、流数量等QoS特征的统计信息；

2)特征数据库存储经过预处理的特征序列集合，这些特征序列集合是通过嗅探器抓获的网络业务流获得，对原始数据进行预处理，获得区分特征；

3)离线分析服务器从特征数据库中获取完整的业务流信息，然后对各种业务进行离线分析，识别算法要求准确率高，实时性要求可降低，分析结果一方面提供给在线识别服务器用于事后误差修正，另一方面用于更新历史数据库；

4)在线识别服务器包含在线识别引擎和训练数据库，是模块的核心部分，对算法的实时性要求高，该模块综合特征数据库、离线分析服务器和历史数据库的信息快速分类业务。通过以下步骤解决实时性要求和准确性要求之间的矛盾：

a:为了提高处理效率，对接收到的前几个包即时传输，这对实时性要求甚高、数据量少的业务较合适，比如矿井中传感器采集的监控数据实时性要求高于监控视频，但监控数据量远小于视频数据；

b:为了进一步提高处理速度，选取前几个包(一般是5～7个)的相关统计参数作为快速识别算法的输入参数，在接受到来自离线处理服务器输入的修正结果以前，依据快速识别算法识别结果处理，适合对实时性要求高、持续时间较短的业务流；

c:如果业务在收到离线分析服务器识别结果以后，依然没有终止，为了兼顾准确性，采用离线识别结果进一步处理，适合对实时性要求较高、持续时间较长的业务流，如IPTV、VoIP等业务。

5)历史数据库存储的是用户行为分析等历史数据。引入历史信息表，暂存最有可能成为业务流的候选数据流。历史数据库模块存储用户行为模式和业务模式的历史数据，利用用户行为模式和业务模式的历史数据，实现对业务的预测，主要用于前面的几个包，适合用时很短的业务，解决实时性问题。

在业务被正确识别以前，在线识别服务器利用该数据库存储的历史数据，预测该业务的业务类型，并基于该预测结果，将初期的预测结果提交给映射执行器。这时有两种情况：(1)识别与预测结果一致，则在线识别服务器继续检测该业务，不再提交识别结果给映射执行器；(2)识别与预测结果不一致，则在线识别服务器将识别结果提交给映射执行器。离线分析服务器对业务进行全面分析，并将分析后的结果添加到历史数据库；

6)映射执行器是模块的另一核心部分，依据在线识别服务器提供的分类结果和当前QoS域信息，完成聚集/解聚集的操作，结合网络环境信息，向下一个网络提供弹性的QoS映射服务。

有益效果：

1.改进的HMM模型计算复杂度远小于典型HMM，提高了识别效率。

2.考虑到用户感知质量差异性，通过灵活调整QoS/业务类映射结果提高网络资源利用率，得到较高性能的网络多媒体业务端到端QoS保证。

3.考虑到通用性和可实现性，所用QoS参数来自典型的网络抓包工具NetFlow；该算法考虑历史信息对当前网络数据流状态的影响，对各数据流指定合适的误差边界，较大地提高大业务流识别的准确性。

附图说明

图1是本发明网络多媒体业务流识别和映射***架构。

图2是本发明的实现流程图。

图3是本发明与现有技术在端到端平均延迟分布上的仿真实验对比。

具体实施方式

以下结合说明书附图对本发明创造作进一步的详细说明。

如图2所示当未知多媒体业务流进入网络传输时，Netflow将抓获该业务流特征的统计信息，通过归一化处理相关流特征，形成统一格式的序列集。依据当前QoS域的分类数，对获得的序列集聚类，其目的是确定业务类别分类数目，提供给训练集训练识别算法HMM(Hidden Markov Model)使用，依据聚类结果观察业务流在包的QoS层面是否具有相似性(即是否满足可聚集条件)，如果通过最短矢量距离判断相似度较低(即不满足可聚集条件)，则将该业务流按当前网络缺省设置传输至下一QoS域，否则，将可聚集数据源集合在一起，进行HMM分类映射，这里的HMM由训练集训练得到。通过网络感知器件感知当前网络资源分布，集合映射结果，调整QoS类匹配结果，如果网络资源满足，则传输该业务群，并将该业务群加入训练集，训练新的HMM。如果不满足，则判断是否满足等待条件，如果满足则等待，否则取消该业务群。

为了保证网络多媒体业务端到端QoS，网络节点基于QoS/业务类，提供区分服务。网络节点对属于同一类别QoS/业务类的网络多媒体业务，提供一致的网络操作，以保证其QoS需求。提供QoS保证的网络操作过程可使用有限状态机描述，网络节点隐藏了其状态及状态间的转移特征，仅多媒体业务流传输过程中的QoS特征可被外部观察到。

假设网络操作状态相互转移的概率矩阵为A＝{α_ij},1≤i,j≤N(N为状态数目)，α_ij＝p(q_t+1/q_t)表示从状态q_i转移到状态q_j的概率，B＝{b_im}表示某个时刻因网络操作状态而得到相应QoS特征输出值的概率，b_im＝P(v_k/q_i)描述在给定状态q_i输出QoS特征取值v_k的概率。

网络操作状态间的转移不可被观测(隐式过程)，但受网络操作影响的某些输出的业务流QoS特征可以被外部观察(可见过程)。由于网络操作状态之间转化服从一定的概率分布，且每一个网络操作状态与输出的QoS特征状态也服从一定的概率分布，因此输出QoS特征的取值序列能够透露出网络协议状态序列的一些信息，从而实现多媒体业务区分。随机产生为网络操作状态初始概率分布，所以多媒体业务的QoS/业务类区分本质上是一个双重的随机过程---马尔科夫链和一般随机过程，符合HMM要求，复杂度为O(N²T)，这里T指的是观察序列长度，N指的是隐藏状态数目，可以简单用一个λ＝[Π,A,B]表示。

HMM建模过程的详细描述如下：

(1)初始化模型。对每一类视频业务在不同时间进行采集，共获得10组视频流特征序列作为训练样本，此时HMM观测值序列长度参数T＝10；

(2)应用聚类：由于上述过程得到的参数特征维数均相同，因此可以采用向量空间中的方法来对其进行聚类分析。在对应用进行聚类的过程中，聚类数目的确定是一个非常重要的问题，如果聚类数目设定的不合适，聚类的效果将会很差，这里设定为视频业务类型的数目N；

(3)应用模式的HMM建模。应用分析的目的是希望获得视频业务在网络中QoS特征，并据此对未知的目标行为进行分类或预测。因此，在对应用进行聚类分析后，需要进一步为每一类应用所表示的目标行为进行建模。这里对聚类后的每一类应用采用Baum-welch算法为其重新拟合一个HMM作为该类的分析模型，并以该模型为依据来对未知的目标进行分类等处理。具体过程为：把统计参数(特征向量)和随机给定模型初始参数向量λ₀，代入重估公式求得一组新的参数使得其中O为观测值序列。即重估公式得到的应比原始λ更好的表示观测值序列。不断重复这个过程直至模型参数收敛到某一个值，这时得到该视频服务类型优化后的模型

(4)计算观测值序列发生概率。提取未知视频流序列特征，依据设置的观测值数目值M，将每个尺度下的特征向量聚为M类，即M个可能得到的观测值，从而获得观测值序列O。若要辨识观测序列O是多个模型中哪个模型产生，需要分别计算各个模型产生该观测序列的概率，然后选择概率最大的模型作为最合适该观测序列的模型。

本发明的仿真结果：

本发明借助于Matlab仿真工具进行仿真实验。基于可实现性和典型性的考虑，本方法依据从实际校园网中所采集到的网络多媒体业务流QoS特征，以典型的E-Learning业务为对象，定义了13种多媒体业务，并假设构建八种“业务群”在网络中传输，其中1％的业务在传输时不标注优先级。

仿真实验有如下假设：1)网络层以下各层对网络层的传输无影响；2)每种业务群的持续传输时间为15s。上述假设对测试不同QoS映射策略在端到端带宽利用率指标上的性能没有影响，故当网络传输状态稳定时即可，其判断标志是带宽利用率稳定。

分别对现有文献中的映射表方法+HMM，QCM-ASM+HMM和本发明方法在三种QoS模型下的映射性能，对比分析了端到端带宽利用率和实时视频业务延时。

如图3所示，由于实时视频业务形成的“业务群”，传输时分配较高的优先权，3种映射方法端到端延迟分布有差异：采用本发明方法时实时视频业务端到端平均延迟较小(约0.15ms)，其它两种方法相近且较大(约为0.8ms)。其原因在于本发明方法可以灵活地利用网络资源，使实时视频业务具有更多的QoS资源可以利用，故延迟较小。其它两种方法由于资源需求过于集中，造成大量实时视频业务的等待，故延迟较大。此外，典型的采用映射表方法的QoS类映射方案和采用QCM-ASM的QoS类映射方案，是基于业务进行映射，不涉及聚集操作，具有较高的实时性。本发明方法QMT-FA由于使用了历史信息，在聚集操作过程中，依然可以提供实时业务流传输，规避了聚集多带来的时间开销，在历史信息完备、准确的前提下，本发明方法在实时性方面与前两种方法类似。

Claims (4)

1.一种网络多媒体业务流识别和映射的***，其特征在于：所述***包括网络环境感知及数据包捕获模块、特征数据库、离线分析服务器、在线识别服务器、历史数据库和映射执行器模块；

网络环境感知及数据包捕获模块的功能是：利用嗅探器完成特征提取、网络环境感知的任务，借助网络工具抓获网络中的业务流，获得包到达时间间隔、包大小、流数量的QoS特征的统计信息；

特征数据库的功能是：存储经过预处理的通过嗅探器抓获的网络业务流获得的特征序列集合，对原始数据进行预处理，获得区分特征；

离线分析服务器的功能是：从特征数据库中获取完整的业务流信息，然后对各种业务进行离线分析，分析结果一方面提供给在线识别服务器用于事后误差修正，另一方面用于更新历史数据库；

在线识别服务器的功能是：为了提高处理效率，对接收到的前几个包即时传输；为了进一步提高处理速度，选取前几个包的相关统计参数作为快速识别算法的输入参数，在接受到来自离线处理服务器输入的修正结果以前，依据快速识别算法识别结果处理；如果业务在收到离线分析服务器识别结果以后，依然没有终止，为了兼顾准确性，采用离线识别结果进一步处理；

历史数据库模块的功能是：存储用户行为模式和业务模式的历史数据，利用用户行为模式和业务模式的历史数据，实现对业务的预测；

映射执行器的功能是：依据在线识别服务器提供的分类结果和当前QoS域信息，完成聚集/解聚集的操作，结合网络环境信息，向下一个网络提供弹性的QoS映射服务。

2.根据权利要求1所述的一种网络多媒体业务流识别和映射的***，其特征在于：所述***的在线识别服务器包含在线识别引擎和训练数据库；所述在线识别服务器综合特征数据库、离线分析服务器和历史数据库的信息快速分类业务。

3.一种网络多媒体业务流识别和映射的方法，其特征在于：当未知多媒体业务流进入网络传输时，Netflow将抓获该业务流特征的统计信息，通过归一化处理相关流特征，形成统一格式的序列集；依据当前QoS域的分类数，对获得的序列集聚类，确定业务类别分类数目，提供给训练集训练识别算法HMM使用，依据聚类结果观察业务流在包的QoS层面是否具有相似性，如果通过最短矢量距离判断相似度较低，则将该业务流按当前网络缺省设置传输至下一QoS域，否则，将可聚集数据源集合在一起，进行HMM分类映射；通过网络感知器件感知当前网络资源分布，集合映射结果，调整QoS类匹配结果，如果网络资源满足，则传输该业务群，并将该业务群加入训练集，训练新的HMM；如果不满足，则判断是否满足等待条件，如果满足则等待，否则取消该业务群，所述业务群为具有相同或相近QoS需求的业务流集合。

4.根据权利要求3所述的一种网络多媒体业务流识别和映射的方法，其特征在于：所述方法仅需布置在网络边界的路由/网关上，便于新接入技术的使用，有较好的可扩展性。