CN102098170B - 一种数据采集优化方法及*** - Google Patents

Abstract

本发明公开了一种数据采集优化方法及***，所述方法包括：操作维护中心(OMC)为各网元确定统一的最小上报粒度，根据所述最小上报粒度为每个网元配置上报时间的偏移量，并将所述偏移量包含在性能任务中下发给各网元；所述网元收到所述性能任务后，根据其中的所述偏移量确定上报性能数据的上报时间。采用本发明提供的数据采集优化方法及***，可以避免大量文件传输给OMC造成的巨大压力，减少服务器的负荷。

Description

一种数据采集优化方法及***

技术领域

本发明涉及通信领域，尤其涉及一种数据采集优化方法及***。

背景技术

在OMC(Operations&Maintenance Center，操作维护中心)总体需求中，对性能模块的要求是能够采集和管理10000个网元的性能指标数据。采集粒度可以由用户设定，可选项包括15分钟和30分钟两种粒度。

数据采集的主要流程如下：

先在OMC中创建一个性能任务，任务的主要内容包括：要对哪些网元进行数据采集、要采集哪些性能指标、采集的粒度，以及采集的开始和结束的时间；

性能任务下发到网元后，网元根据设定的任务，每个粒度搜集并统计性能指标，一个采集粒度结束后，主动上报到OMC，直至任务的结束。

其中，采集的性能数据的上报是通过FTP(File Transfer Protocol，文件传输协议)协议，OMC作为FTP服务器，网元将采集的数据通过FTP上传到OMC。每个采集粒度的网元性能数据存放在一个文本文件中。将文本文件进行压缩，压缩后的zip(一种计算机文件的压缩格式)文件就是传输的载体。OMC收到zip文件后，先进行解压缩，再将解压缩后的数据文本文件导入数据库中，至此，一次完整的性能指标采集流程结束。

目前的数据采集的解决方案主要存在如下两点缺陷：其一，FTP上传的并发量过大，最多时将会有10000个网元同时上传，而OMC***分配给性能管理模块的FTP连接数量有限，只有30个；其二，传输频繁，目前要支持的最小采集粒度是15分钟，也就是说在极限情况下每隔15分钟，就会有10000个网元上传文件。

在这种模式下，经常会造成网元争抢FTP资源的情况。一旦某个网元没有获得FTP上传链接，那么它会在一段时间，通常是几秒钟后，再次请求FTP链接。这将造成FTP服务器长期拥塞，并且***资源占用过高，而且还会出现一个采集粒度结束后，仍有一些网元未能获得FTP链接，从而无法完成性能指标数据的上传。

发明内容

本发明要解决的技术问题是提供一种数据采集优化方法及***，避免大量文件传输给OMC造成的巨大压力，减少服务器的负荷。

为了解决上述问题，本发明提供了一种数据采集优化方法，所述方法包括：

操作维护中心(OMC)为各网元确定统一的最小上报粒度，根据所述最小上报粒度为每个网元配置上报时间的偏移量，并将所述偏移量包含在性能任务中下发给各网元；

所述网元收到所述性能任务后，根据其中的所述偏移量确定上报性能数据的上报时间。

进一步地，所述OMC根据需要上报性能数据的网元的总个数确定所述最小上报粒度。

进一步地，所述根据所述最小上报粒度为每个网元配置上报时间的偏移量是指：

所述OMC将所有需要上报性能数据的网元分为多个偏移量组，同一偏移量组内各网元的偏移量相同；

且所述偏移量组的最大偏移量应小于或等于所述最小上报粒度。

进一步地，相邻偏移量组的网元的偏移量相差一个时间周期T，且该时间周期T至少大于完成一次性能数据传输的时间。

进一步地，所述OMC中设置有网元偏移量信息表，用于存储各网元与其偏移量的对应关系；

所述OMC中包括两个队列：已分配偏移量队列，用于存储已分配偏移量的网元与其偏移量的对应关系；待分配偏移量队列，用于存储待分配的偏移量。

进一步地，当某一网元被删除时，所述OMC将所述网元从已分配偏移量队列中删除，并将其所使用的偏移量存储于待分配队列中；同时删去数据库中网元偏移量信息表中所述网元的记录。

进一步地，所述网元偏移量信息表中存储的对应关系包括网元的逻辑地址与该网元的偏移量的对应关系；

当网元移组时，对所述网元偏移量信息表中该网元的逻辑地址更新为该网元的新的逻辑地址。

进一步地，当***中新增网元时，采用如下方式为所述新增网元分配偏移量：

搜索所述待分配偏移量队列中是否有可用名额，如果有，则从待分配偏移量队列中为其分配一个可用名额，否则，再搜索当前的最大偏移量组中是否有可用名额，如果有，则为该网元分配当前的最大偏移量，否则，新建偏移量组，从该新建偏移量组中为该网元分配一个可用名额，并将该网元与偏移量的对应关系添加到所述网元偏移量信息表中。

本发明还提供了一种数据采集优化***，包括：OMC，网元，

所述OMC用于，为各网元确定统一的最小上报粒度，根据所述最小上报粒度为每个网元配置上报时间的偏移量，并将所述偏移量包含在性能任务中下发给各网元；

所述网元用于，收到所述性能任务后，根据其中的所述偏移量确定上报性能数据的上报时间。

进一步地，所述OMC用于，采用如下方式为每个网元配置上报时间的偏移量：将所有需要上报性能数据的网元分为多个偏移量组，同一偏移量组内各网元的偏移量相同，相邻偏移量组的网元的偏移量相差一个时间周期T，该时间周期T至少大于完成一次性能数据传输的时间，且所述偏移量组的最大偏移量应小于或等于所述最小上报粒度；以及，

用于存储***中各网元与其偏移量的对应关系；当***中新增网元时，为新增的网元分配偏移量，存储该新增网元与其偏移量的对应关系，并将分配的偏移量包含在性能任务中下发给该新增网元；当***中某一网元被删除时，删除存储的该网元与其偏移量的对应关系。

与现有技术相比，上述实施方案至少具有如下有益效果：

针对OMC需要管理的网元数量大，传输数据文件频繁的局面，本发明对性能指标的采集流程提供一种优化方案，在一定程度上缓解了大量文件传输给OMC造成的巨大压力，减少了服务器负荷；并且设计与实现合理，并不是一味的减少传输量；将客户的实际需求与服务器的承受能力，以及OMC***的执行效率达到一种最佳的契合点。

附图说明

图1为本发明实施例的数据采集优化***的示意框图；

图2为本发明实施例的新建网元偏移量分配流程示意图。

具体实施方式

下面将结合附图及具体实施例对本发明技术方案的实施作进一步详细描述。

本发明主要采用如下技术方案：

步骤一，OMC为各网元确定统一的最小上报粒度；并根据确定的所述最小上报粒度为每个网元配置上报时间的偏移量，并包含在性能任务中下发给各网元；

步骤二，各网元根据所述偏移量确定数据的上报时间，即，当到达上报时间后，网元再等待指定的偏移时间后，上报性能文件。

具体地，可以根据需上传数据的网元的总个数，自动确定各网元的上报粒度，例如：

1000个网元以下，最小上报粒度为15分钟；

1001至5000个网元，最小上报粒度为60分钟；

5000个网元以上，最小上报粒度为120分钟。

进一步地，上报粒度决定了最大偏移量，OMC可以结合上报粒度来配置各网元的偏移量。例如，上报粒度和最大偏移量的关系如下：

上报粒度是15分钟，则容许的最大偏移量是12分钟；

上报粒度是60分钟，则容许的最大偏移量时55分钟；

上报粒度是120分钟，则容许的最大偏移量时110分钟。

其中，在计算偏移量时，首先由OMC负责计算每个网元上传文件的具体时间；

根据统计，完成一次FTP传输大约需要6秒的时间。在此6秒中，网元和OMC建立FTP链接的过程费时颇多，真正用于传输数据的时间并不长。由此可知，传输一个包含一个文本文件的zip，和传输一个包含四个文本文件的zip，所用的时间相差不多。即，一个上报粒度内上报一次采集粒度的数据，与上报四次采集粒度的数据所用的时间基本相等。

然后，由OMC根据上报粒度统一计算每个网元上报文件的偏移量，例如，为各网元配置的偏移量分别为：0、T、2T、3T。。。，依次偏移一个时间周期T，其中该周期T是12秒。

采用上述技术方案，可以使得所有网元的上报时间均匀分布在统一的上报粒度内，可以有效地避免FTP资源的紧张状况。

下面结合附图及具体实施例对本发明技术方案的实施作进一步详细描述。

参照图1，本发明实施例中，OMC作为网管服务端，将所有下发性能任务的网元(本实施例中指基站)分为多个偏移量组，每一个偏移量组最多30个网元，同一个偏移量组内网元的偏移量相同，即同一个偏移量组内的网元同时上传文件。相邻偏移量组的网元的偏移量相差一个时间周期T，该时间周期T至少大于完成一次性能数据传输的时间。且容许的最大偏移量应不大于最小上报粒度。

本实施例中，偏移量的分配方案包括：

A，偏移量的设置

本实施例中，将第一个偏移量组的偏移量为0秒，第二个偏移量组的偏移量为12秒，第三个偏移量组的偏移量为24秒，第n个偏移量组的偏移量为12×(n-1)秒，以此类推。相当于为每个网元分配12秒的时间用于上报数据。

B，偏移量的存储

在OMC的性能数据库中设置一个网元偏移量信息表，用于存储网元和偏移量的对应关系，例如可以存储网元的逻辑地址与偏移量的对应关系。服务器启动后，将数据库中该网元偏移量信息表中存储的网元和偏移量的对应关系读取到内存中。

在OMC内存中建立2个队列：其中一个队列用于存放已经分配的偏移量和网元的对应关系，此队列即为服务器启动后，从数据库中读取数据进行加载的；另一个则用于存放所有待分配的零碎偏移量。

C，网元偏移量信息表的维护及偏移量的再分配

当网络中网元被删除，或新增网元，或网元发生移组时，通过监听配置管理发送的关于网元变更的JMS(Java Messaging Service，Java消息服务)消息，维护内存中的偏移量信息，同时修改网元偏移量信息表中的相关信息，保证数据库与内存中的信息一致。

当OMC的配置管理模块给性能管理模块发送某个网元已经被删除的消息后，性能管理模块将该网元从已分配偏移量的队列中删除，并将其所使用的偏移量放于待分配队列中；同时删去数据库中网元偏移量信息表中的相应记录。

当网元移组时(这里的组与本发明中的偏移量组不同)，网元的逻辑地址将发生变化，此时，只需对网元偏移量信息表中对应网元的逻辑地址进行更新即可，而无需对其偏移量做任何改动。

当***中新增加网元时，可进行如下处理：先从待分配的偏移量队列中搜索，如果在待分配队列中没有可用的，则新增网元的偏移量依次递增。例如，当前的最大偏移量是24秒，共有28个网元的偏移量是24秒。如再增加5个网元，那么其中有2个网元的偏移量是24秒，另3个是36秒，并记录到数据库中。

下面以***中新增加网元的处理流程为例，对本发明的偏移量的分配流程进行详细说明。

参考图2，当***中新增加网元时，相应的处理流程可包括如下步骤：

步骤1，OMC为新增新网元进行性能任务准备；

步骤2，搜索待分配偏移量队列中是否有可用名额，如果有，则从待分配偏移量队列中为该网元分配一个可用名额，并转至步骤5，否则，执行下一步；

步骤3，搜索当前的最大偏移量组中是否有可用名额，如果有，则为该网元分配当前的最大偏移量，并转至步骤5，；否则，执行下一步；

步骤4，新建偏移量组，该偏移量组的偏移量按照前述方式递增，为该网元分配一个可用名额，并记录到数据库中，执行下一步；

步骤5，向该新增网元发送性能任务。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种数据采集优化方法，其特征在于，所述方法包括：

操作维护中心OMC为各网元确定统一的最小上报粒度，根据所述最小上报粒度为每个网元配置上报时间的偏移量，并将所述偏移量包含在性能任务中下发给各网元；

所述网元收到所述性能任务后，根据其中的所述偏移量确定上报性能数据的上报时间；

所述根据所述最小上报粒度为每个网元配置上报时间的偏移量是指：

所述OMC将所有需要上报性能数据的网元分为多个偏移量组，同一偏移量组内各网元的偏移量相同；

且所述偏移量组的最大偏移量小于或等于所述最小上报粒度；

相邻偏移量组的网元的偏移量相差一个时间周期T，且该时间周期T至少大于完成一次性能数据传输的时间。

2.如权利要求1所述的方法，其特征在于，

所述OMC根据需要上报性能数据的网元的总个数确定所述最小上报粒度。

3.如权利要求2所述的方法，其特征在于，

所述OMC中设置有网元偏移量信息表，用于存储各网元与其偏移量的对应关系；

所述OMC中包括两个队列：已分配偏移量队列，用于存储已分配偏移量的网元与其偏移量的对应关系；待分配偏移量队列，用于存储待分配的偏移量。

4.如权利要求3所述的方法，其特征在于，

当某一网元被删除时，所述OMC将所述网元从已分配偏移量队列中删除，并将其所使用的偏移量存储于待分配队列中；同时删去数据库中网元偏移量信息表中所述网元的记录。

5.如权利要求3所述的方法，其特征在于，

所述网元偏移量信息表中存储的对应关系包括网元的逻辑地址与该网元的偏移量的对应关系；

当网元移组时，对所述网元偏移量信息表中该网元的逻辑地址更新为该网元的新的逻辑地址。

6.如权利要求3所述的方法，其特征在于，

当***中新增网元时，采用如下方式为所述新增网元分配偏移量：

搜索所述待分配偏移量队列中是否有可用名额，如果有，则从待分配偏移量队列中为其分配一个可用名额，否则，再搜索当前的最大偏移量组中是否有可用名额，如果有，则为该网元分配当前的最大偏移量，否则，新建偏移量组，从该新建偏移量组中为该网元分配一个可用名额，并将该网元与偏移量的对应关系添加到所述网元偏移量信息表中。

7.一种数据采集优化***，其特征在于，包括：OMC，网元，

所述OMC用于，为各网元确定统一的最小上报粒度，根据所述最小上报粒度为每个网元配置上报时间的偏移量，并将所述偏移量包含在性能任务中下发给各网元；

所述网元用于，收到所述性能任务后，根据其中的所述偏移量确定上报性能数据的上报时间；

所述OMC用于，采用如下方式为每个网元配置上报时间的偏移量：将所有需要上报性能数据的网元分为多个偏移量组，同一偏移量组内各网元的偏移量相同，相邻偏移量组的网元的偏移量相差一个时间周期T，该时间周期T至少大于完成一次性能数据传输的时间，且所述偏移量组的最大偏移量应小于或等于所述最小上报粒度；以及，

用于存储***中各网元与其偏移量的对应关系；当***中新增网元时，为新增的网元分配偏移量，存储该新增网元与其偏移量的对应关系，并将分配的偏移量包含在性能任务中下发给该新增网元；当***中某一网元被删除时，删除存储的该网元与其偏移量的对应关系。