CN110347878A - 一种规则引擎驱动的数据融合方法 - Google Patents

Abstract

本发明属于数据融合技术领域，公开了一种规则引擎驱动的数据融合方法，包括以下步骤：设置融合规则的表达规范；设置融合引擎的实现规范；制定数据预处理、数据集成、同名实体匹配、同名实体融合四个阶段的融合规则，并构建四个阶段相应的融合规则库；解析四个阶段融合规则库中的融合规则，针对每一个融合规则创建一个对应的融合引擎，并构建四个阶段相应的融合引擎库；读取多源异构数据；用户指定融合规则，创建数据融合任务，调用融合引擎自动完成数据的融合过程。本发明解决了现有技术中的数据融合方法难以满足对数据的动态需求的问题。

Description

一种规则引擎驱动的数据融合方法

技术领域

本发明涉及数据融合技术领域，尤其涉及一种规则引擎驱动的数据融合方法。

背景技术

数据在融合过程中，存在融合逻辑复杂、融合需求动态变化等问题，常规的数据融合方法拥有固定的融合流程，参与融合的数据和数据融合流程都是固定不变的，难以满足对数据的动态需求。

发明内容

本申请实施例通过提供一种规则引擎驱动的数据融合方法，解决了现有技术中的数据融合方法难以满足对数据的动态需求的问题。

本申请实施例提供一种规则引擎驱动的数据融合方法，包括以下步骤：

步骤1、设置融合规则的表达规范；

步骤2、设置融合引擎的实现规范；

步骤3、制定数据预处理、数据集成、同名实体匹配、同名实体融合四个阶段的融合规则，并构建四个阶段相应的融合规则库；

步骤4、解析四个阶段融合规则库中的融合规则，针对每一个融合规则创建一个对应的融合引擎，并构建四个阶段相应的融合引擎库；

步骤5、读取多源异构数据；

步骤6、用户指定融合规则，创建数据融合任务，调用融合引擎自动完成数据的融合过程。

优选的，所述步骤1中，所述融合规则包括：0-N个融合条件，至少一个融合操作。

优选的，所述步骤2中，所述融合引擎包括引擎激活和引擎执行两个部分；所述引擎激活为对所述融合条件的判断；所述引擎执行为对所述融合操作的执行。

优选的，所述步骤2中，当所述融合规则发生变化时，所述融合引擎重新读取融合条件和融合操作。

优选的，所述步骤6包括以下子步骤：

步骤6.1、结合数据预处理的融合规则库，指定数据预处理规则，并调用相应的预处理引擎，实现对数据的抽取与清洗；

步骤6.2、结合数据集成的融合规则库，指定集成规则，并调用相应的集成引擎，实现数据在数据模型、空间参考、语义编码的统一；

步骤6.3、结合同名实体匹配的融合规则库以及各数据之间的关联关系，指定同名实体匹配规则，并调用相应的匹配引擎，实现多源异构数据的匹配；

步骤6.4、结合同名实体融合的融合规则库以及各数据之间的匹配关系，构建融合后的数据模型，指定同名实体融合规则，并调用相应的融合引擎，实现数据的空间信息融合和属性信息融合。

优选的，所述规则引擎驱动的数据融合方法还包括：步骤7、将融合后的数据存储至数据库中。

优选的，所述步骤1中，采用XML格式编写规则文件，在规则文件中定义具有层级关系与相应含义的标签来记录融合规则。

优选的，所述标签包括：

规则库标签，所述规则库标签对应一个融合规则库；

规则分类标签，所述规则分类标签为所述规则库标签的子标签，对应一个业务分类；

规则标签，所述规则标签为所述规则分类标签的子标签，对应一个融合规则；

条件标签/操作标签，所述条件标签/操作标签为规则标签的子标签，所述条件标签对应融合规则中定义的融合条件，所述操作标签对应融合规则中定义的融合操作；

参数标签，所述参数标签为所述条件标签下的子标签，用于存储融合条件所需的参数。

优选的，所述步骤4中，采用Java语言创建融合引擎。

优选的，所述步骤5中，采用Geotools来实现空间数据的读写与操作，采用GDAL的Java开发包实现对栅格数据的处理。

本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

在本申请实施例中，从地理信息科学的视角出发，将空间数据融合中的预处理方法、集成方法、同名实体匹配方法、同名实体融合方法应用到数据融合中，以集成多源异构数据的优势信息，挖掘不同来源数据之间的关联关系，整合生成一套信息更丰富、现势性更好、语义更完整的高质量数据集。本方法引入了规则引擎的思想，将复杂的融合逻辑抽象为若干简单的融合规则，由融合引擎负责对融合规则进行解析与执行，实现了融合规则制定与融合规则实现的解耦合，降低了融合逻辑的复杂度，同时支持融合规则的动态修改，提高了融合***的扩展性和灵活性。

附图说明

为了更清楚地说明本实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一个实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种规则引擎驱动的数据融合方法的结构示意图。

具体实施方式

为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。

空间数据融合技术能集成多源异构空间数据的优势信息，整合生成一套精度更高、信息更丰富、现势性更好、价值更高的新空间数据集。数据中大量数据都包含了空间位置信息，因此，本发明将数据视为空间数据，将空间数据融合技术应用到数据的融合领域，以提高数据的质量。

规则引擎是一种基于规则的专家***，将业务规范抽象为“规则”，业务操作抽象为“引擎”，能够实现业务规范制定和业务操作执行两个过程的分离，保证这些业务规则在***运行的时候可以动态管理和动态修改，提高***的扩展性和灵活性。

基于上述考虑，本实施例提供了一种规则引擎驱动的数据融合方法，参见图1，主要包括以下步骤：

步骤1、设置融合规则的表达规范。

融合规则的表达包括融合条件和融合操作两个部分，融合条件表示该规则所需要满足的要求，融合操作是在满足条件的情况下将要执行的操作。一条规则里面包含0-N个条件，至少1个操作。

步骤2、设置融合引擎的实现规范。

融合引擎包括引擎激活和引擎执行两个部分，引擎激活部分是对融合规则中条件的判断，一个融合规则可以包括多个条件，只有在满足所有条件的情况下，才能激活该引擎；如果相应的融合规则包含0个融合条件，则引擎激活不对融合条件进行判断，默认判断结果为True，能够激活该引擎；引擎执行部分是对融合规则中融合操作执行的具体实现。当一个融合规则发生变化时，融合引擎可重新读取规则文件中的条件与操作，实现引擎激活与引擎执行的自我更新。

步骤3、制定数据预处理、数据集成、同名实体匹配、同名实体融合四个阶段的融合规则，并构建四个阶段相应的融合规则库。

数据融合过程包括数据预处理、数据集成、同名实体匹配、同名实体融合等四个阶段，将每一个阶段中涉及的融合逻辑抽象成若干条简单的融合规则，并将融合规则写入规则文件，将每一个阶段中的所有融合规则组合形成一个融合规则库，因此，本发明中一共设计了数据预处理、数据集成、同名实体匹配、同名实体融合等四个融合规则库。

步骤4、解析四个阶段融合规则库中的融合规则，针对每一个融合规则创建一个对应的融合引擎，并构建四个阶段相应的融合引擎库。

对各个融合规则库中的每一条融合规则进行解析，并创建一个与之对应的融合引擎，实现对融合规则中融合条件的判断与融合操作的执行，将每一个阶段的所有融合引擎组合形成融合引擎库，因此，本发明中一共设计了数据预处理、数据集成、同名实体匹配、同名实体融合等四个融合引擎库。

步骤5、读取多源异构数据。

通过不同的数据读取接口，实现对多源异构数据的读取。

步骤6、用户指定融合规则，创建数据融合任务，调用融合引擎自动完成数据的融合过程。

数据融合过程涉及四个阶段，因此，该步骤可以细分为如下步骤：

步骤6.1，结合步骤3中的数据预处理规则库，为各数据指定预处理规则，并调用相应的预处理引擎，实现对数据的抽取与清洗。

步骤6.2，结合步骤3中的数据集成规则库，为各数据指定集成规则，并调用相应的集成引擎，实现数据在数据模型、空间参考、语义编码等方面的统一。

步骤6.3，结合步骤3中的同名实体匹配规则库以及各数据之间的关联关系(包括空间关联、拓扑关联、语义关联等关联关系)，为数据指定同名实体匹配规则，并调用相应的匹配引擎，建立多源异构数据(即各个数据源) 之间的匹配关系(包括空间匹配、拓扑匹配、语义匹配等匹配关系)，即建立同名实体之间的匹配关系，其中同名实体指不同数据源中反映同一地物或地物集的空间实体。

步骤6.4，结合步骤3中的同名实体融合规则库以及各数据之间的匹配关系，设计融合后的数据模型，同时为数据指定同名实体融合规则，并调用相应的融合引擎，实现数据的空间信息融合和属性信息融合。

下面以土地权属数据与农业产业调查数据的融合为例，做进一步的说明。

具体的实施流程包括如下步骤：

步骤1，制定融合规则的表达规范，融合规则包括条件和操作两个部分，一条规则里面包含0-N个条件，至少1个操作。例如，坐标***转换规则定义如下：如果一个空间数据的坐标系为WGS84，那么就把这个空间数据的坐标系转换为CGCS2000。该规则的条件为空间数据的坐标***是WGS84，这条规则的操作为将该空间数据转换为CGCS2000。

本实施例采用XML格式编写规则文件，在规则文件中定义了具有层级关系与特殊含义的标签来记录融合规则，包括如下5级标签：

①规则库标签：

对应一个规则库，一共定义了四个规则库标签，分别对应4个规则库，例如集成规则库标签<IntegrateRuleRepository/>。

②规则分类标签：

规则库标签的子标签，对应一个业务分类。以集成规则库为例，统一空间参考这类操作对应的业务分类标签为<UnifiedSpatRefer/>，统一数据模型这类操作对应的业务分类标签<UnifiedDataModel/>。

③规则标签：

规则分类标签的子标签，对应一个具体的规则，该标签具有Name属性，是该规则在规则库中的唯一标识符。例如，将坐标系转换为CGCS2000***的坐标***转换规则，其对应的标签为<CoordTransToCGCS2000/>。

④条件标签/操作标签：

规则标签的子标签，条件标签<Condition/>对应规则中定义的条件，操作标签<Operation/>对应规则中定义的操作。一个规则标签下面可以有0-N个条件标签和至少1个操作标签。

⑤参数标签：

条件标签下的子标签，用于存储条件部分需要的参数，包括<Param/>、 <Field/>等。

步骤2，融合引擎的实现规范，本实施例采用Java语言实现融合引擎，负责对规则文件进行解析，从<Condition/>标签中获取规则中定义的条件与参数，从<Operation/>标签中解析出符合条件时的操作内容。当规则文件发生变化时，引擎自动读取规则文件，实现引擎自动更新。当所有条件都被满足后，该引擎会被激活，然后执行具体的融合操作。

步骤3，融合规则库的构建，根据数据融合的不同阶段，共构建了数据预处理、数据集成、同名实体匹配、同名实体融合等四个规则库，每个融合规则库里面包含众多融合规则。

例如，数据预处理规则库中包含以下预处理规则：

①如果农业产业调查数据中的农作物类型字段的属性值中包含“\”、“/”等非法字符，就删掉“\”、“/”等非法字符。

②如果农业产业调查数据中面积字段的类型不是double，就将其转为 double类型；

③抽取土地权属表全部字段，且字段Area>100的部分记录；

④如果农业产业调查数据中姓名农作物类型字段的属性值为空，就删掉该条记录；

步骤4，融合引擎库的构建，解析四个阶段融合规则库中的每一条融合规则，并创建一个与之对应的融合引擎，实现对融合规则中融合条件的判断与融合操作的执行。将每一个阶段的所有融合引擎组合形成融合引擎库，一共构建了数据预处理、数据集成、同名实体匹配、同名实体融合等四个融合引擎库。

步骤5，多源异构数据的读取，数据融合过程中涉及对不同类型空间数据读写，本实施例采用Geotools来实现空间数据的读写与操作，此外，还采用 GDAL(Geospatial DataAbstraction Library,GDAL)的Java开发包实现了对栅格数据的处理。

步骤6，为待融合的数据指定融合规则，并将这个融合任务交由服务端调度执行，服务端自动解析融合规则，并调用相应的融合引擎对待融合数据执行融合操作，实现数据的融合。当需要修改融合规则时，使用者仅需要修改规则文件(即记录融合规则的文件)，规则引擎会自动读取规则的变化，并按照修改后融合规则更新融合逻辑。

步骤7，将融合后的数据存储于PostgreSQL数据库中。

最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种规则引擎驱动的数据融合方法，其特征在于，包括以下步骤：

步骤1、设置融合规则的表达规范；

步骤2、设置融合引擎的实现规范；

步骤3、制定数据预处理、数据集成、同名实体匹配、同名实体融合四个阶段的融合规则，并构建四个阶段相应的融合规则库；

步骤4、解析四个阶段融合规则库中的融合规则，针对每一个融合规则创建一个对应的融合引擎，并构建四个阶段相应的融合引擎库；

步骤5、读取多源异构数据；

步骤6、用户指定融合规则，创建数据融合任务，调用融合引擎自动完成数据的融合过程。

2.根据权利要求1所述的规则引擎驱动的数据融合方法，其特征在于，所述步骤1中，所述融合规则包括：0-N个融合条件，至少一个融合操作。

3.根据权利要求2所述的规则引擎驱动的数据融合方法，其特征在于，所述步骤2中，所述融合引擎包括引擎激活和引擎执行两个部分；所述引擎激活为对所述融合条件的判断；所述引擎执行为对所述融合操作的执行。

4.根据权利要求3所述的规则引擎驱动的数据融合方法，其特征在于，所述步骤2中，当所述融合规则发生变化时，所述融合引擎重新读取融合条件和融合操作。

5.根据权利要求1所述的规则引擎驱动的数据融合方法，其特征在于，所述步骤6包括以下子步骤：

步骤6.1、结合数据预处理的融合规则库，指定数据预处理规则，并调用相应的预处理引擎，实现对数据的抽取与清洗；

步骤6.2、结合数据集成的融合规则库，指定集成规则，并调用相应的集成引擎，实现数据在数据模型、空间参考、语义编码的统一；

步骤6.3、结合同名实体匹配的融合规则库以及各数据之间的关联关系，指定同名实体匹配规则，并调用相应的匹配引擎，实现多源异构数据的匹配；

步骤6.4、结合同名实体融合的融合规则库以及各数据之间的匹配关系，构建融合后的数据模型，指定同名实体融合规则，并调用相应的融合引擎，实现数据的空间信息融合和属性信息融合。

6.根据权利要求1所述的规则引擎驱动的数据融合方法，其特征在于，还包括：

步骤7、将融合后的数据存储至数据库中。

7.根据权利要求1所述的规则引擎驱动的数据融合方法，其特征在于，所述步骤1中，采用XML格式编写规则文件，在规则文件中定义具有层级关系与相应含义的标签来记录融合规则。

8.根据权利要求7所述的规则引擎驱动的数据融合方法，其特征在于，所述标签包括：

规则库标签，所述规则库标签对应一个融合规则库；

规则分类标签，所述规则分类标签为所述规则库标签的子标签，对应一个业务分类；

规则标签，所述规则标签为所述规则分类标签的子标签，对应一个融合规则；

条件标签/操作标签，所述条件标签/操作标签为规则标签的子标签，所述条件标签对应融合规则中定义的融合条件，所述操作标签对应融合规则中定义的融合操作；

参数标签，所述参数标签为所述条件标签下的子标签，用于存储融合条件所需的参数。

9.根据权利要求1所述的规则引擎驱动的数据融合方法，其特征在于，所述步骤4中，采用Java语言创建融合引擎。

10.根据权利要求1所述的规则引擎驱动的数据融合方法，其特征在于，所述步骤5中，采用Geotools来实现空间数据的读写与操作，采用GDAL的Java开发包实现对栅格数据的处理。