CN101222351A - 性能数据文件的采集方法及装置 - Google Patents

Abstract

本发明提供了一种性能数据文件的采集方法及装置，该方法包括以下步骤：步骤S102，设定不同采集类型的采集规则、采集信息记录表、性能数据文件处理状态图、以及采集调度模块；步骤S104，性能数据文件源将待采集的性能数据文件信息发送到采集调度模块；以及步骤S106，采集调度模块根据所设定的采集规则以及性能数据文件处理状态图，对所接收到的性能数据文件信息进行处理。因此，有效地保证性能数据采集中数据的完整性和数据处理的顺序性。

Description

性能数据文件的采集方法及装置

技术领域

本发明涉及电信网络管理中的性能管理，更具体地，涉及一种保证性能数据文件采集的完整性和顺序性的性能数据文件的采集方法和装置。

背景技术

性能管理是电信网络管理中的几大管理功能之一，性能管理的目的是对网络、网络单元或设备进行性能监视，采集相关的性能统计数据，评价网络和网络单元的有效性，报告电信设备的状态，支持网络规划和网络分析。

在性能管理中，整个流程是以数据为核心进行的，采集的性能数据的正确性和完整性是对***的基本要求。另外，根据实际情况对性能数据处理顺序进行定制也是一项重要要求。

性能数据以文件方式进行组织是当前常用的一种方式。但是，通常由于网络不稳定或***实现的不健壮，容易导致性能数据的丢失。

因此，人们需要一种能够有效的保证性能数据完整性和可根据需求对数据处理顺序进行定制的采集方法和装置。

发明内容

为了有效地保证性能数据采集中数据的完整性和数据处理的顺序性，使性能管理的整个处理方法清晰，并易于实现，本发明提出了一种性能数据文件的采集方法和装置。

本发明的一个方面提供了一种性能数据文件的采集方法，用于在电信网管***中采集性能数据文件，该采集方法包括以下步骤：步骤S102，设定不同采集类型的采集规则、采集信息记录表、性能数据文件处理状态图、以及采集调度模块；步骤S104，性能数据文件源将待采集的性能数据文件信息发送到采集调度模块；以及步骤S106，采集调度模块根据所设定的采集规则以及性能数据文件处理状态图，对所接收到的性能数据文件信息进行处理。

根据本发明的一个方面，采集方法还包括以下步骤：采集调度模块根据采集规则，使用从性能数据文件源上获取的性能数据文件名信息来对采集信息记录表进行更新，以实现所待采集性能数据文件名的同步。

其中，采集信息记录表包括采集类型、性能数据文件名、性能数据文件处理的状态、采集性能数据文件的记录时间、以及辅助信息。

根据本发明的一个方面，步骤S106包括以下步骤：步骤S1062，采集调度模块将所接收到的性能数据文件信息***到采集信息记录表中；步骤S1064，采集调度模块根据采集信息记录表，确定性能数据文件的状态；以及步骤S1066，采集调度模块根据采集规则以及性能数据文件处理状态图，对不同状态的性能状态文件进行处理。

其中，文件状态包括已处理状态、未处理状态、以及错误状态。

另外，根据本发明的一个方面，步骤S1064包括以下步骤：采集信息记录表中存在性能数据文件名，则不处理性能数据文件；以及采集信息记录表中不存在性能数据文件名，则将性能数据文件设置为未处理。

此外，根据本发明的一个方面，步骤S1066包括以下步骤：对处于未处理状态的性能数据文件进行处理，处理成功后则将其状态记录为已处理状态，以及处理失败后则将其记录为未处理状态或错误状态。

根据本发明的采集规则包括性能数据文件处理的先后顺序规则以及过滤规则。另外，本发明的采集类型对应于多个采集规则。

本发明的另一方面提供了一种性能数据文件的采集装置，用于在电信网管***中采集性能数据文件，该装置包括：设置装置，用于设定不同采集类型的采集规则、采集信息记录表、性能数据文件处理状态图、以及采集调度模块；发送装置，用于使性能数据文件源将待采集的性能数据文件信息发送到采集调度模块；以及处理装置，用于使采集调度模块根据所设定的采集规则以及性能数据文件处理状态图，对所接收到的性能数据文件信息进行处理。

根据本发明的另一方面，采集装置还包括：同步装置，用于使采集调度模块根据采集规则，使用从性能数据文件源上获取的性能数据文件名信息来对采集信息记录表进行更新，以实现待采集性能数据文件名的同步。

另外，根据本发明的另一方面，处理装置包括：***装置，用于使采集调度模块将所接收到的性能数据文件信息***到采集信息记录表中；确定装置，用于使采集调度模块根据采集信息记录表，确定性能数据文件的状态；以及子处理装置，用于使采集调度模块根据采集规则以及性能数据文件处理状态图，对不同状态的性能状态文件进行处理。

因此，通过上述技术方案，本发明实现了如下技术效果：

本发明能够有效地保证性能数据采集中数据的完整性和数据处理的顺序性定制，整个处理方法清晰，易于实现。

除此之外，在修改文件采集信息表的过程中，可以根据操作的时间来更新采集文件信息表中的采集时间字段。因此，可以根据采集文件记录表信息来生成***数据采集报告，通过查看该报告就可以看出***运行状况，最终达到即时发现和解决问题，便于***维护的目的。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是根据本发明的性能数据文件的采集方法的流程图；

图2是根据本发明的实施例的电信网管性能数据文件处理的状态图；以及

图3是根据本发明的性能数据文件的采集装置的框图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1是根据本发明的性能数据文件的采集方法的流程图。图2是根据本发明的实施例的电信网管性能数据文件处理的状态图。

以下结合如图2所示的本发明的实施例，详细描述如图1所示的本发明的性能数据文件的采集方法。如图1所示，该采集方法包括以下步骤：

步骤S102，设定不同采集类型的采集规则、采集信息记录表、性能数据文件处理状态图、以及采集调度模块。根据本发明的实施例，其具体操作步骤如下：

定义不同采集类型的采集规则。其中，采集类型可认为是相同数据文件类型的组合。而采集规则指的是对文件的一些处理规则，包括文件处理的先后顺序规则：是按照文件的采集时间还是按照文件的名称等；也可以包括一些过滤规则，比如过滤掉某种特殊类型的文件等。应该注意的是，一种采集类型可以对应多个采集规则。

表1是根据本发明的数据文件采集规则表。在表1中，采集类型只有一种：采集类型A。采集类型A具有如下的采集规则：

(1)数据文件的处理顺序按照文件名的从小到大顺序处理；

(2)该采集类型定时从数据文件源获取所有待采集文件名信息的周期为1天；

(3)采集文件后缀为.data的数据文件。

表1

采集类型	采集规则
		采集类型A	规则1：数据文件的处理顺序按照文件名的从小到大顺序处理
采集类型A	规则2：该采集类型定时从数据文件源获取所有待采集文件名信息的周期为1天
		采集类型A	规则3：只采集文件后缀为.data的数据文件

随后，定制数据文件采集信息记录表。该表用来保存性能数据文件的处理状态。该表结构由以下几部分组成：采集类型、文件名、文件处理的状态、采集文件的记录时间以及辅助信息等。

表2是数据文件采集信息表。在表2中，数据文件采集信息表包括以.data为后缀名的4个文件名。

表2

采集类型	采集文件名	采集文件状态	采集文件时间	辅助信息
					采集类型A	20060101.dat	已处理	20060101
采集类型A	20060102.dat	已下载	20060102
					采集类型A	20060103.dat	未下载	20060103
采集类型A	20060104.dat	错误态	20060104

随后，定义数据文件处理状态转换图。这些状态反映了一个数据文件在整个处理过程中的生命周期。如表2所示，通常情况下，文件状态包括已处理、未处理、错误态(处理失败)。另外，可以对未处理、错误态等状态扩展为多个更细的状态。

随后，定制文件采集调度模块。该模块一方面根据前面定制的各种采集规则和文件处理状态图进行采集的调度，另外，提供服务方法供外部模块调用。

在本发明的实施例中，这里的外部模块指的是***中相关的通讯模块，该模块负责接收数据文件源发送的待采集文件信息。采集调度模块收到该信息后按照采集信息表的格式***到采集信息表中，这个过程需要按照如表2所示的采集规则(3)对数据文件名进行过滤。

步骤S104，性能数据文件源将待采集的性能数据文件信息发送到采集调度模块。其具体操作步骤如下所示：

文件采集调度模块收到外部模块传入的待处理数据文件信息的时候把该信息保存到文件记录信息表中。如果该记录表中已经存在该文件名则不处理，如果不存在则***到文件记录信息表中，设置文件状态为未处理。

步骤S106，采集调度模块根据所设定的采集规则以及性能数据文件处理状态图，对所接收到的性能数据文件信息进行处理。其具体操作步骤如下：

采集调度模块按照采集规则对文件记录信息表中不同采集类型的文件进行调度，通常是对文件状态为未处理的文件处理，处理成功后则修改文件的记录状态为已处理，处理失败的时候记录为未处理或错误态。

如图2所示，如果发现采集信息表中存在未处理的文件时，采集模块按照采集规则对文件记录信息表中的文件信息进行处理。在本发明的实施例中，按照如表1所示的采集规则(1)从采集信息表中按文件名的从小到大获取未处理文件名(未处理指状态为已下载和未下载两种)，对这些文件逐一处理。对于已经下载的，直接对下载的文件进行解析、入库，成功处理后更新文件的状态为已处理。对于未下载的文件，首先从数据文件源下载该文件，下载完成后修改文件的处理状态为已下载，然后对该已下载的文件进行处理，完成后修改文件状态为已处理。对于上述过程中处理失败的情况，如果是由于数据库连接等类似原因的异常导致的失败，则设置文件状态为已下载，这样下次采集调度模块还会调度到该文件的处理，如果是由于数据文件本身的格式错误，则设置文件状态为错误态。其中，各种具体的文件状态参见表2的数据文件采集信息表。

随后，进行待采集文件名的同步，该步骤的目的是防止对数据文件的遗漏。采集调度模块根据采集规则对不同采集类型进行文件名更新。通常是从数据文件源上获取文件名信息，对文件记录表进行更新，更新原则上面所述的更新原则相同。需要注意的是，这里的数据文件源指的是保存数据文件的其它***。

在本发明的实施例中，根据如表1所示的采集规则(2)，采集模块启动定时周期为1天的定时任务，该任务每次从数据文件源处获取需要采集的所有数据文件名信息，这里同样需要用到如表1所示的采集规则(3)对文件名信息进行过滤。对于获取到的所有文件名信息，采集模块会逐一更新文件采集信息表，如果表中已存在同名的文件名，则不处理，如果文件采集信息表中没有对应的文件名信息，则***到文件采集信息表，设置该文件的初始状态为未下载。

至此，完成了整个数据文件采集工作。其中，需要注意的是，在修改文件采集信息表的过程中，可以根据操作的时间来更新采集文件信息表中的采集时间字段，这样就可以根据采集文件记录表信息来生成***数据采集报告，最终，通过查看该报告就可以看出***运行状况，这样能够即时发现和解决问题，便于***维护。

图3是根据本发明的性能数据文件的采集装置300的框图。如图3所示的性能数据文件的采集装置300，用于在电信网管***中采集性能数据文件，该装置包括：

设置装置302，用于设定不同采集类型的采集规则、采集信息记录表、性能数据文件处理状态图、以及采集调度模块，其中，采集类型对应于多个采集规则；采集规则包括性能数据文件处理的先后顺序规则以及过滤规则；采集信息记录表包括采集类型、性能数据文件名、性能数据文件处理的状态、采集性能数据文件的记录时间、以及辅助信息；文件状态包括已处理状态、未处理状态、以及错误状态；未处理状态以及错误状态包括从它们扩展出的多个状态；

发送装置304，用于使性能数据文件源将待采集的性能数据文件信息发送到采集调度模块；

处理装置306，用于使采集调度模块根据所设定的采集规则以及性能数据文件处理状态图，对所接收到的性能数据文件信息进行处理，其中，处理装置306还包括：***装置3062，用于使采集调度模块将所接收到的性能数据文件信息***到采集信息记录表中；确定装置3064，用于使采集调度模块根据采集信息记录表，确定性能数据文件的状态；以及子处理装置3066，用于使采集调度模块根据采集规则以及性能数据文件处理状态图，对不同状态的性能状态文件进行处理；

此外，采集装置还包括：同步装置，用于使采集调度模块根据采集规则，使用从性能数据文件源上获取的性能数据文件名信息来对采集信息记录表进行更新，以实现待采集性能数据文件名的同步。

在本发明中，在采集信息记录表中存在性能数据文件名的情况下，确定装置不处理性能数据文件，以及在采集信息记录表中不存在性能数据文件名的情况下，确定装置将性能数据文件确定为未处理。

另外，在本发明中，子处理装置3066对处于未处理状态的性能数据文件进行处理，处理成功后则将其状态记录为已处理状态，以及处理失败后则将其记录为未处理状态或错误状态。

通过使用本发明的性能数据文件的采集方法及装置，可以有效地保证性能数据采集中数据的完整性和数据处理的顺序性定制。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种性能数据文件的采集方法，用于在电信网管***中采集所述性能数据文件，其特征在于，包括以下步骤：

步骤S102，设定不同采集类型的采集规则、采集信息记录表、性能数据文件处理状态图、以及采集调度模块；

步骤S104，性能数据文件源将待采集的性能数据文件信息发送到所述采集调度模块；以及

步骤S106，所述采集调度模块根据所设定的所述采集规则以及所述性能数据文件处理状态图，对所接收到的所述性能数据文件信息进行处理。

2.根据权利要求1所述的采集方法，其特征在于，所述采集方法还包括以下步骤：

所述采集调度模块根据所述采集规则，使用从所述性能数据文件源上获取的所述性能数据文件名信息来对所述采集信息记录表进行更新，以实现所述待采集性能数据文件名的同步。

3.根据权利要求1或2所述的采集方法，其特征在于，所述采集信息记录表包括采集类型、性能数据文件名、性能数据文件处理的状态、采集所述性能数据文件的记录时间、以及辅助信息。

4.根据权利要求3所述的采集方法，其特征在于，所述步骤S106包括以下步骤：

步骤S1062，所述采集调度模块将所接收到的所述性能数据文件信息***到所述采集信息记录表中；

步骤S1064，所述采集调度模块根据所述采集信息记录表，确定所述性能数据文件的状态；以及

步骤S1066，所述采集调度模块根据所述采集规则以及性能数据文件处理状态图，对不同状态的所述性能状态文件进行处理。

5.根据权利要求4所述的采集方法，其特征在于，所述文件状态包括已处理状态、未处理状态、以及错误状态。

6.根据权利要求5所述的采集方法，其特征在于，所述步骤S1064包括以下步骤：

所述采集信息记录表中存在所述性能数据文件名，则不处理所述性能数据文件；以及

所述采集信息记录表中不存在所述性能数据文件名，则将所述性能数据文件设置为未处理。

7.根据权利要求6所述的采集方法，其特征在于，所述步骤S1066包括以下步骤：

对处于未处理状态的所述性能数据文件进行处理，处理成功后则将其状态记录为已处理状态，以及处理失败后则将其记录为未处理状态或错误状态。

8.根据权利要求2所述的采集方法，其特征在于，所述采集规则包括所述性能数据文件处理的先后顺序规则以及过滤规则，所述采集类型对应于多个所述采集规则。

9.一种性能数据文件的采集装置，用于在电信网管***中采集所述性能数据文件，其特征在于，包括：

设置装置，用于设定不同采集类型的采集规则、采集信息记录表、性能数据文件处理状态图、以及采集调度模块；

发送装置，用于使性能数据文件源将待采集的性能数据文件信息发送到所述采集调度模块；以及

处理装置，用于使所述采集调度模块根据所设定的所述采集规则以及所述性能数据文件处理状态图，对所接收到的所述性能数据文件信息进行处理。

10.根据权利要求9所述的采集装置，其特征在于，

所述采集装置还包括：同步装置，用于使所述采集调度模块根据所述采集规则，使用从所述性能数据文件源上获取的所述性能数据文件名信息来对所述采集信息记录表进行更新，以实现所述待采集性能数据文件名的同步；

所述处理装置包括：***装置，用于使所述采集调度模块将所接收到的所述性能数据文件信息***到所述采集信息记录表中；确定装置，用于使所述采集调度模块根据所述采集信息记录表，确定所述性能数据文件的状态；以及子处理装置，用于使所述采集调度模块根据所述采集规则以及性能数据文件处理状态图，对不同状态的所述性能状态文件进行处理。

Images