CN103942245A - 基于元数据的数据抽取方法 - Google Patents

Abstract

本发明公开了一种基于元数据的数据抽取方法，属于数据抽取领域。该方法在业务模型公用元数据模型的基础上建立数据抽取模型，从业务模型中抽取制定业务数据。与现有技术相比，本发明的基于元数据的数据抽取方法基于行业标准规范数据元，通过对业务模型的提炼梳理，整理出元数据模型，并将业务数据与元数据对应。针对这些元数据进行业务归类，并映射到已建立的数据抽取模型，从而形成基于元数据的数据抽取模型，达到灵活的业务数据抽取目标，具有良好地推广应用价值。

Description

基于元数据的数据抽取方法

技术领域

本发明涉及数据抽取领域，具体地说是一种基于元数据的数据抽取方法。

背景技术

在卫生行业的各个业务条线，都有诸多量大且复杂的业务模型，对应的数据模型具有表结构复杂、字段繁多等业务特点。

在现有的数据抽取模型中，大多数是针对各条线业务模型或某个独立的业务模型进行有针对性的数据抽取模型设计。这种设计不仅设计复杂，且应变能力差。当因行业标准规范发生变化或在不同区域而出现区域化形态时，就会产生繁琐而复杂的变更，带来巨大的维护工作量，且不易扩展。

发明内容

本发明的技术任务是针对上述现有技术的不足，提供一种基于元数据的数据抽取方法。

本发明的技术任务是按以下方式实现的：基于元数据的数据抽取方法，其特点是在业务模型公用元数据模型的基础上建立数据抽取模型，从业务模型中抽取制定业务数据。

所述元数据模型由业务模型中提炼出，建立业务模型与元数据模型的关联关系。

所述数据抽取模型包含模型定义、数据抽取项定义、每一项数据的更新来源定义，以及数据抽取分类逻辑处理，通过数据抽取项与元数据的关联和元数据与业务数据的关联建立三者的关系，达到通过元数据的数据抽取模型抽取业务数据的目标。

上述方法的实现包括数据抽取模型定义、数据抽取项定义、数据更新来源定义及数据抽取分类逻辑处理：

所述数据抽取模型定义指定义数据抽取模型的框架，从不同的切面、不同的维度、不同的点对要抽取的数据归类汇总，每个模型定义包括：模型内码、名称、描述基本属性，以及模型的处理方式、是否需要跳转标识、存储详细信息的表名定义；

所述数据抽取项定义包括数据抽取项对应字段值的处理方式、数据类型、长度、精度、处理类型的抽取属性定义；

所述数据更新来源定义是针对数据抽取项的数据来源进行定义，用于确定每一个数据抽取项的数据在什么情况下，从哪些元数据中进行更新，包括来源算法定义、元数据标识、以及计算的数据集定义；

所述数据抽取分类逻辑处理包括累计类数据抽取处理、基本信息类数据抽取处理及更新汇总类数据抽取处理。

与现有技术相比，本发明的方法基于行业标准规范数据元，通过对业务模型的提炼梳理，整理出元数据模型，并将业务数据与元数据对应。针对这些元数据进行业务归类，并映射到已建立的数据抽取模型，从而形成基于元数据的数据抽取模型，达到灵活的业务数据抽取目标，具有以下突出地有益效果：

（1）抽取模型建立在底层元数据模型上，不会因业务模型的变化而进行大量的模型变动和维护。

（2）数据抽取模型对应元数据，可按照元数据的版本，建立数据抽取的版本管理，有益于管理抽取模型的版本。

（3）通过数据更新来源定义，有效的处理已抽取数据的更新机制。

（4）通过不同类型的处理逻辑，有针对性的处理不同抽取模型在业务数据发生变化时而做的操作，且模型统一，便于管理和扩展。

附图说明

附图1是本发明方法中数据抽取模型图；

附图2是实施例中数据抽取模型的样例；

附图3是实施例中数据抽取项定义的样例；

附图4是实施例中数据更新来源定义的样例；

附图5是实施例中数据抽取模型的简要类图。

具体实施方式

参照说明书附图以具体实施例对本发明的基于元数据的数据抽取方法作以下详细地说明。

实施例：

本发明基于元数据的数据抽取方法包括数据抽取模型定义、数据抽取项定义、数据更新来源定义、数据抽取分类逻辑处理。

以下进一步说明：

（一）、数据抽取模型定义

根据业务需求，定义数据抽取模型的框架，从不同的切面、不同的维度、不同的点对要抽取的数据归类汇总。每个模型定义包括：模型内码、名称、描述基本属性，以及模型的处理方式、是否需要跳转标识、存储详细信息的表名定义。通过这些方面的定义，能够确定一种数据抽取模型的抽取过程及方式。

属性	描述
		处理方式	累计类、基本信息类、更新汇总类
跳转标记	定义是否存在跳转字段。跳转字段需要生成字段详细记录。
		详细表名	用于配置跳转字段记录的存储表。

（二）、数据抽取项定义

每一个或每一类数据抽取模型，由若干用于抽取的数据项组成。每个数据抽取项将包括数据抽取项对应字段值的处理方式、数据类型、长度、精度、处理类型的抽取属性定义。通过这些数据抽取项的定义能够确定一个数据抽取模型的细节项的抽取过程及方式。

属性	描述
		处理方式	指定字段类型，（MERGE合并类型的字段，JUMP跳转类型的字段）。

（三）、数据更新来源定义

数据更新来源主要是针对数据抽取项的数据来源进行定义，能够确定每一个数据抽取项的数据在什么情况下，从哪些元数据中进行更新。包括来源算法定义、元数据标识、以及计算的数据集定义。

属性	描述
		算法	可以根据定义的处理类定义动态调用处理算法，实现了数据抽取处理算法的动态扩展。

（四）、数据抽取分类逻辑处理

基于我们对业务抽取模型的梳理和归类，可从累计类、基本信息类、更新汇总类三种类型的数据抽取模型进行处理。

进一步的说明如下：

A.  累计类数据抽取处理逻辑：

a)       根据数据抽取模型的定义到元数据关联的业务表获取数据。

b)      如果该数据已经存在且业务数据状态非删除或者更新状态，则放弃当前业务表处理。其他情况继续下一步处理。

c)       业务数据删除或者更新状态时，则将原抽取记录删除。删除状态业务数据处理完成后结束，非删除状态业务数据则继续下一步。

d)      业务数据为新增或者更新状态时，对业务数据继续进行分析，获取业务表中用于生成抽取数据记录数最多的表名。

e)       根据表名获取表的数据进行循环。根据抽取模型的定义从各个表中取值抽取多条数据。

B.  基本信息类数据抽取逻辑：

a)       根据数据抽取模型的定义数据获取已生成的基本信息数据。

b)      如果进行的是删除操作，直接将存在的抽取记录删除。完成后处理结束，其他情况则继续处理。

c)       按照数据抽取项定义中字段内容进行逐一的抽取，获取元数据对应业务字段的数据。根据抽取的数据是否存在，执行更新或新增操作。

C.  更新汇总类数据抽取逻辑：

a)       根据数据抽取模型定义数据获取更新汇总业务表数据。

b)      对业务数据状态进行判断，如果是删除状态和更新状态，则将数据抽取记录的详细表中业务表对应的数据记录删除。执行完成后，删除状态业务数据处理完毕。其他类型继续后面的处理。

更新汇总类数据抽取模型，删除仅针对详细记录表中的数据操作。更新汇总表中数据不发生变化。可能会导致更新汇总表中存在部分脏数据。

业务数据是新增或者更新操作时，需要对业务数据中用于数据抽取的字段逐个抽取。对于属于跳转类型的字段还需要另外生成数据抽取的详细信息记录。

Claims (4)

1.基于元数据的数据抽取方法，其特征在于：在业务模型公用元数据模型的基础上建立数据抽取模型，从业务模型中抽取制定业务数据。

2.根据权利要求1所述的基于元数据的数据抽取方法，其特征在于：所述元数据模型由业务模型中提炼出。

3.根据权利要求2所述的基于元数据的数据抽取方法，其特征在于：所述数据抽取模型包含模型定义、数据抽取项定义、每一项数据的更新来源定义，以及数据抽取分类逻辑处理，通过数据抽取项与元数据的关联和元数据与业务数据的关联建立三者的关系，达到通过元数据的数据抽取模型抽取业务数据的目标。

4.根据权利要求3所述的基于元数据的数据抽取方法，其特征在于包括数据抽取模型定义、数据抽取项定义、数据更新来源定义及数据抽取分类逻辑处理：

所述数据抽取模型定义指定义数据抽取模型的框架，从不同的切面、不同的维度、不同的点对要抽取的数据归类汇总，每个模型定义包括：模型内码、名称、描述基本属性，以及模型的处理方式、是否需要跳转标识、存储详细信息的表名定义；

所述数据抽取项定义包括数据抽取项对应字段值的处理方式、数据类型、长度、精度、处理类型的抽取属性定义；

所述数据更新来源定义是针对数据抽取项的数据来源进行定义，用于确定每一个数据抽取项的数据在什么情况下，从哪些元数据中进行更新，包括来源算法定义、元数据标识、以及计算的数据集定义；

所述数据抽取分类逻辑处理包括累计类数据抽取处理、基本信息类数据抽取处理及更新汇总类数据抽取处理。