CN103177045A - 文本解析方法及装置 - Google Patents

Abstract

本发明提供一种文本解析方法及装置，属于网管领域。其中，该文本解析方法包括：确定待解析的文本文件，获取与所述文本文件相对应的配置信息，所述配置信息包括用于对文本文件进行解析的脚本文件；根据所述配置信息读取待解析的文本文件，并运行所述脚本文件对所述文本文件进行解析，存储解析后得到的文本数据。本发明的技术方案能够解析多种格式的文本文件，提高文本解析的效率。

Description

文本解析方法及装置

技术领域

本发明涉及网管领域，特别是指一种文本解析方法及装置。

背景技术

在日常的移动通信运营维护工作中，维护人员经常要对通信设备的统计文件、日志文件等文本进行解析和抽取数据，例如爱立信交换机的话统文件、交换机的ALOG/COMMAND LOG日志文件等等，为网络营运、维护提供数据支撑。然而，在整个移动网络中包括各种专业、各种设备、各种厂家等不同类型的网络设备，这些不同的网络设备的统计、日志等文件的内容格式和命名都不统一，这给日常分析、网络维护带来困难。

现有的文本解析器解析和抽取数据的对象文件的命名要按照约定来固定，否则，文本解析器不能自动找到要解析的对象文件；并且，文本解析器只能解析固定格式的文本文件，要解析的文本文件格式一旦改变，需要重新编译文本解析器才能再对文本文件进行解析，使得文本解析的效率比较低。

发明内容

本发明要解决的技术问题是提供一种文本解析方法及装置，能够解析多种格式的文本文件，提高文本解析的效率。

为解决上述技术问题，本发明的实施例提供技术方案如下：

一方面，提供一种文本解析方法，包括：

确定待解析的文本文件，获取与所述文本文件相对应的配置信息，所述配置信息包括用于对文本文件进行解析的脚本文件；

根据所述配置信息读取待解析的文本文件，并运行所述脚本文件对所述文本文件进行解析，存储解析后得到的文本数据。

进一步地，所述确定待解析的文本文件之前还包括：

获取并存储预先编制的用以对至少一种类型文本文件进行解析的脚本文件。

进一步地，所述根据所述配置信息读取待解析的文本文件，并运行所述脚本文件对所述文本文件进行解析，存储解析后得到的文本数据包括：

根据所述配置信息将待解析的文本文件读取成一个以上纯文本文件；

运行所述脚本文件对所述一个以上纯文本文件进行解析，得到对应所述待解析的文本文件的文本数据。

进一步地，所述确定待解析的文本文件，获取与所述文本文件相对应的配置信息包括：

扫描数据分析服务列表，获取其中的待解析的文本文件的标识；

根据所述标识到配置文件数据库中获取与所述文本文件相对应的配置信息。

进一步地，所述根据所述配置信息读取待解析的文本文件，并运行所述脚本文件对所述文本文件进行解析，存储解析后得到的文本数据之后还包括：

修改所述数据分析服务列表中所述文本文件的任务状态，标示所述文本文件已经解析完毕。

本发明实施例还提供了一种文本解析装置，包括：

解析服务管理模块，用于确定待解析的文本文件，获取与所述文本文件相对应的配置信息，所述配置信息包括用于对文本文件进行解析的脚本文件，并将所述配置信息发送至通用文本解析模块；

所述通用文本解析模块，用于根据所述配置信息读取待解析的文本文件，并运行所述脚本文件对所述文本文件进行解析，存储解析后得到的文本数据。

进一步地，所述装置还包括：

存储模块，用于获取并存储预先编制的用以对至少一种类型文本文件进行解析的脚本文件。

进一步地，所述通用文本解析模块具体用于根据所述配置信息将待解析的文本文件读取成一个以上纯文本文件，运行所述脚本文件对所述一个以上纯文本文件进行解析，得到对应所述待解析的文本文件的文本数据。

进一步地，所述解析服务管理模块具体用于扫描数据分析服务列表，获取其中的待解析的文本文件的标识，根据所述标识到配置文件数据库中获取与所述文本文件相对应的配置信息。

进一步地，所述解析服务管理模块还用于修改所述数据分析服务列表中所述文本文件的任务状态，标示所述文本文件已经解析完毕。

本发明的实施例具有以下有益效果：

上述方案中，首先确定待解析的文本文件，获取与该文本文件相对应的脚本文件等配置信息，之后根据配置信息读取待解析的文本文件，运行脚本文件对文本文件进行解析得到的文本数据，并存储文本数据。本发明可以通过配置信息将待解析文件自动读取为一个或多个的纯文本文件，再通过预先编制的脚本自动对各种格式的纯文本文件进行解析和抽取数据，提高了文本解析的效率。

附图说明

图1为本发明的文本解析方法的流程示意图；

图2为本发明的文本解析装置的结构框图；

图3为本发明的文本解析装置的另一结构框图；

图4为本发明的解析服务管理模块的工作流程示意图；

图5为本发明的通用文本解析模块的工作流程示意图。

具体实施方式

为使本发明的实施例要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明的实施例针对现有技术中文本解析器不能自动找到要解析的对象文件，并且文本解析器只能解析固定格式的文本文件，使得文本解析的效率比较低的问题，提供一种文本解析方法及装置，能够解析多种格式的文本文件，提高文本解析的效率。

图1为本发明的文本解析方法的流程示意图，如图1所示，本实施例包括：

步骤101：确定待解析的文本文件，获取与文本文件相对应的配置信息，配置信息包括用于对文本文件进行解析的脚本文件；

步骤102：根据配置信息读取待解析的文本文件，并运行脚本文件对文本文件进行解析，存储解析后得到的文本数据。

本发明的文本解析方法，首先确定待解析的文本文件，获取与该文本文件相对应的脚本文件等配置信息，之后根据配置信息读取待解析的文本文件，运行脚本文件对文本文件进行解析得到的文本数据，并存储文本数据。本发明可以通过配置信息将待解析文件自动读取为一个或多个的纯文本文件，再通过预先编制的脚本自动对各种格式的纯文本文件进行解析和抽取数据，提高了文本解析的效率。

图2为本发明的文本解析装置的结构框图，如图2所示，本实施例包括：

解析服务管理模块21，用于确定待解析的文本文件，获取与文本文件相对应的配置信息，配置信息包括用于对文本文件进行解析的脚本文件，并将配置信息发送至通用文本解析模块22；

通用文本解析模块22，用于根据配置信息读取待解析的文本文件，并运行脚本文件对文本文件进行解析，存储解析后得到的文本数据。

其中，该装置还包括：

存储模块23，用于获取并存储预先编制的用以对至少一种类型文本文件进行解析的脚本文件。

其中，通用文本解析模块22具体用于根据配置信息将待解析的文本文件读取成一个以上纯文本文件，运行脚本文件对一个以上纯文本文件进行解析，得到对应待解析的文本文件的文本数据。

进一步地，解析服务管理模块21具体用于扫描数据分析服务列表，获取其中的待解析的文本文件的标识，根据标识到配置文件数据库中获取与文本文件相对应的配置信息。

进一步地，解析服务管理模块21还用于修改数据分析服务列表中文本文件的任务状态，标示文本文件已经解析完毕。

本发明的文本解析装置，首先确定待解析的文本文件，获取与该文本文件相对应的脚本文件等配置信息，之后根据配置信息读取待解析的文本文件，运行脚本文件对文本文件进行解析得到的文本数据，并存储文本数据。本发明可以通过配置信息将待解析文件自动读取为一个或多个的纯文本文件，再通过预先编制的脚本自动对各种格式的纯文本文件进行解析和抽取数据，提高了文本解析的效率。

下面结合图3-图5对本发明的文本解析方法进行进一步介绍：

为实现通用文本格式分析的功能，本发明设计了一套描述语言，称为格式分析描述原语(SCRIPT脚本语言)，用于描述文本文件内容关键字的位置与含义。文本解析过程通过解释执行描述语言，达到分析文本文件，提取预设的关键数据的目的。文本解析分两步执行：第一步是读取描述语言的语句，将其组织成为语句执行链，即将描述语言的配置文件读入内存，以增加执行速度；第二步是按照语句执行链的顺序，逐条执行语句，完成分析提取功能。

如图2所示，本发明的文本解析装置包括解析服务管理模块21和通用文本解析模块22。其中，解析服务管理模块21实际相当于数据解析管理的总控模块，其具体功能包括：及时提交数据分析服务列表中的新文本解析任务——组合参数调用通用文本解析模块22，监控各文本解析进程的运行状态，处理各通用文本解析模块返回的结果；通用文本解析模块22接收解析服务管理模块21传来的任务，完成相应的文本解析任务，并将解析结果存入相应的文本数据存放表中。

如图3所示，本发明的文本解析方法包括以下步骤：

步骤1：解析服务管理模块21周期扫描数据分析服务列表，如有任务要执行，就读取任务信息，包括待解析的文本文件的标识，启动解析进程；

步骤2：解析服务管理模块21根据待解析的文本文件的标识到配置文件数据库对应地读取SCRIPT(脚本)文件等配置信息，配置信息还包括待解析的文本文件的数据输入和输出的信息；

步骤3：解析服务管理模块21将要解析的任务所需的所有配置信息，包括对应的脚本文件以及文本数据存放表名送到通用文本解析模块22；

步骤4：通用文本解析模块22开始启动进程，根据配置信息从文本文件数据库中读取文本文件和运行脚本文件对读取出的文本文件进行文本解析；

步骤5：通用文本解析模块22将文本文件解析后，将抽取的文本数据入库，存储到对应的文本数据存放表中；

步骤6：通用文本解析模块22完成本次解析和入库后，返回解析结果的确认信息给解析服务管理模块21；

步骤7：解析服务管理模块21再返回解析结果的确认信息给数据分析服务列表，修改数据分析服务列表中该文本文件的任务状态，标示本任务执行完毕。

其中，配置文件数据库中存储有程序运行所需配置文件，主要存放：

1)连接数据库的信息：User、Password、Database、ServerName；

2)各类SCRIPT文件存放路径的环境变量(因为安装时需要对这些环境变量进行设置)或完整路径；

3)各类文本文件的原始数据在本机存放路径的环境变量(因为安装时需要对这些环境变量进行设置)或完整路径；

格式如下：

[DATABASE]

USERNAME＝

PASSWORD＝

LINKSTRING＝

SEVERNAME＝

[FILE_PATH]

SCRIPT_PATH＝$SCRIPT_PATH

DATAFILE_PATH＝

在配置文件数据库中，每种格式的文本文件关键数据抽取对应一个SCRIPT文件，SCRIPT文件就是关键数据抽取和控制抽取的脚本，语法如下：

(1)文本格式分析类原语：

LINKDB(配置文件名)    ：根据配置文件提供的用户名及口令连接数据库

DISLINK          ： 断连数据库

GETLINE(n)       ：从故障文本中读入n行

SAVELINE         ：将读入的行保存至当前字符串

SETSTR(变量名，行1，行2)：将SAVELINE中的行1至行2的内容赋值给变量

SPLIT(分隔符，n)  ：将当前字符串用指定分隔符分隔的第n个子串存入当前字符串

SYSTIME(字符变量名)：将当前***时间变为字符串返回，并存入指定变量

TIMECHANGE(变量名，转换前时间格式，转换后时间格式)

COLUMN(列1，列2)：将当前字符串列1至列2的子串存入当前字符串

DELETE(字符)：从当前字符串中删除指定字符

RESET      ：恢复当前字符串中的初始内容

SETCHAR(变量名)：将当前字符串的内容赋值给字符串变量

DEFINECHAR(变量名，值)：将指定值赋值给字符串变量

WRITEBUFF/WIRTETABLE(表名，(字段名1，。。。)，(变量1，。。。))：将指定的变量值存入指定数据表的相应字段

STOP     ：出口原语

(2)信息项格式转换类原语：

CONVERTTABLE(表名，转换变量数，(字段一，。。。)，(变量一，。。。))：通过指定数据表进行信息项的格式转换。

(3)辅助类原语：

IF  (条件)

ELSE

ENDIF  ：用以构成分支结构

LOOP  (条件)

ENDLOOP ：用以构成循环结构

BREAK      ：跳出循环结构

CONTINUE   ：跳出本次循环

COMPARE(字符串)：比较当前字符串与指定字符串，相同返回非零值，反之为0

IN(字符串)：判断当前字符串是否包含与指定字符串相同的子串。若有，返回非零值，反之为0

IS(变量，字符串)：判断变量的值是否与字符串的值相等

&！  ：逻辑非

&|  ：逻辑或

&&  ：逻辑与

～  ：表示折行

图4为本发明的解析服务管理模块的工作流程示意图，如图4所示，解析服务管理模块的输入为数据分析服务列表中各字段值，输出为调用通用文本分析模块的各参数值。解析服务管理模块主要调用的都是标准的共享内存存取、Sybase数据表操作以及I/O操作等函数。

其中，子进程监控函数：1)若采用共享内存的第一种数据结构，该函数的功能是查询当前共享内存中子进程的个数。2)若采用第二种数据结构，该函数的功能是查找当前共享内存中是否还可以申请子进程记录结构。若不能，则还负责将超时的进程杀掉。

其中，子进程管理函数：1)若采用共享内存的第一种数据结构，该函数的功能是由子进程将共享内存中的记录数加1。2)若采用第二种数据结构，该函数的功能是子进程将自身创建时的信息记录到相应结构中(这个结构记录是父进程查找到的)。

其中，子进程更新函数：1)若采用共享内存的第一种数据结构，该函数应放在子进程终止之前。其功能是将共享内存中的记录数减1。2)若采用第二种数据结构，该函数的功能是子进程定期修改其在共享内存中的记录值(更改时间)，以表示其还正在正常运行。

上述工作流程中，本发明的解析服务管理模块查询数据分析服务列表，判断是否有需要执行的解析任务，在存在需要执行的解析任务时创建子进程，接收父进程传来的数据，查询配置文件数据库，获取相应的脚本文件等配置信息，并根据配置信息读取文本文件至相应路径下，在读取文本文件的过程中，可以将文本文件自动分解成一个或多个的对象文件，对象文件为脚本文件能够解析的纯文本文件，之后调用通用文本解析模块就可以对各种格式的纯文本文件进行解析，获得解析结果。解析服务管理模块可以为每一个对象文件创建一个对应的子进程，这样可以灵活快速地对文本文件进行解析，提高了解析的效率。在接收到通用文本解析模块返回的解析结果后，解析服务管理模块修改数据分析服务列表中的相应记录，标示对应的解析任务已经执行完毕。

图5为本发明的通用文本解析模块的工作流程示意图，如图5所示，通用文本解析模块的输入为由解析服务管理模块传入的各参数值、SCRIPT文件、待解析的文本文件，输出为抽取完毕的入库文本数据。通用文本解析模块接收解析服务管理模块发送过来的包括脚本文件在内的配置信息，在检查配置信息无误后，读入解析脚本，检查解析脚本格式是否符合要求，若符合要求，则读入待解析的对象文件(即源文本文件)的内容，使用脚本进行逐行解析，并在解析完毕后输出结果文件给解析服务管理模块。

本发明提供了一种简单的脚本语言，称为格式分析描述原语，利用脚本语言来编写脚本，就可以自动对任何格式的纯文本文件进行解析、抽取数据和入库，本发明的脚本文件能够对一切纯文本文件，例如*.txt、*.log、*.data等进行解析，解决了现有的一个解析器只能解析一种固定格式的文本文件的难题。

此说明书中所描述的许多功能部件都被称为模块，以便更加特别地强调其实现方式的独立性。

本发明实施例中，模块可以用软件实现，以便由各种类型的处理器执行。举例来说，一个标识的可执行代码模块可以包括计算机指令的一个或多个物理或者逻辑块，举例来说，其可以被构建为对象、过程或函数。尽管如此，所标识模块的可执行代码无需物理地位于一起，而是可以包括存储在不同位上的不同的指令，当这些指令逻辑上结合在一起时，其构成模块并且实现该模块的规定目的。

实际上，可执行代码模块可以是单条指令或者是许多条指令，并且甚至可以分布在多个不同的代码段上，分布在不同程序当中，以及跨越多个存储器设备分布。同样地，操作数据可以在模块内被识别，并且可以依照任何适当的形式实现并且被组织在任何适当类型的数据结构内。所述操作数据可以作为单个数据集被收集，或者可以分布在不同位置上(包括在不同存储设备上)，并且至少部分地可以仅作为电子信号存在于***或网络上。

在模块可以利用软件实现时，考虑到现有硬件工艺的水平，所以可以以软件实现的模块，在不考虑成本的情况下，本领域技术人员都可以搭建对应的硬件电路来实现对应的功能，所述硬件电路包括常规的超大规模集成(VLSI)电路或者门阵列以及诸如逻辑芯片、晶体管之类的现有半导体或者是其它分立的元件。模块还可以用可编程硬件设备，诸如现场可编程门阵列、可编程阵列逻辑、可编程逻辑设备等实现。

在本发明各方法实施例中，所述各步骤的序号并不能用于限定各步骤的先后顺序，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，对各步骤的先后变化也在本发明的保护范围之内。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种文本解析方法，其特征在于，包括：

确定待解析的文本文件，获取与所述文本文件相对应的配置信息，所述配置信息包括用于对文本文件进行解析的脚本文件；

根据所述配置信息读取待解析的文本文件，并运行所述脚本文件对所述文本文件进行解析，存储解析后得到的文本数据。

2.根据权利要求1所述的文本解析方法，其特征在于，所述确定待解析的文本文件之前还包括：

获取并存储预先编制的用以对至少一种类型文本文件进行解析的脚本文件。

3.根据权利要求1所述的文本解析方法，其特征在于，所述根据所述配置信息读取待解析的文本文件，并运行所述脚本文件对所述文本文件进行解析，存储解析后得到的文本数据包括：

根据所述配置信息将待解析的文本文件读取成一个以上纯文本文件；

运行所述脚本文件对所述一个以上纯文本文件进行解析，得到对应所述待解析的文本文件的文本数据。

4.根据权利要求1所述的文本解析方法，其特征在于，所述确定待解析的文本文件，获取与所述文本文件相对应的配置信息包括：

扫描数据分析服务列表，获取其中的待解析的文本文件的标识；

根据所述标识到配置文件数据库中获取与所述文本文件相对应的配置信息。

5.根据权利要求4所述的文本解析方法，其特征在于，所述根据所述配置信息读取待解析的文本文件，并运行所述脚本文件对所述文本文件进行解析，存储解析后得到的文本数据之后还包括：

修改所述数据分析服务列表中所述文本文件的任务状态，标示所述文本文件已经解析完毕。

6.一种文本解析装置，其特征在于，包括：

解析服务管理模块，用于确定待解析的文本文件，获取与所述文本文件相对应的配置信息，所述配置信息包括用于对文本文件进行解析的脚本文件，并将所述配置信息发送至通用文本解析模块；

所述通用文本解析模块，用于根据所述配置信息读取待解析的文本文件，并运行所述脚本文件对所述文本文件进行解析，存储解析后得到的文本数据。

7.根据权利要求6的文本解析装置，其特征在于，所述装置还包括：

存储模块，用于获取并存储预先编制的用以对至少一种类型文本文件进行解析的脚本文件。

8.根据权利要求6的文本解析装置，其特征在于，

所述通用文本解析模块具体用于根据所述配置信息将待解析的文本文件读取成一个以上纯文本文件，运行所述脚本文件对所述一个以上纯文本文件进行解析，得到对应所述待解析的文本文件的文本数据。

9.根据权利要求6的文本解析装置，其特征在于，

所述解析服务管理模块具体用于扫描数据分析服务列表，获取其中的待解析的文本文件的标识，根据所述标识到配置文件数据库中获取与所述文本文件相对应的配置信息。

10.根据权利要求9的文本解析装置，其特征在于，

所述解析服务管理模块还用于修改所述数据分析服务列表中所述文本文件的任务状态，标示所述文本文件已经解析完毕。

Images