CN106055652A

CN106055652A - 一种基于模式和实例的数据库匹配方法及***

Info

Publication number: CN106055652A
Application number: CN201610380637.7A
Authority: CN
Inventors: 兰雨晴; 解刚; 顾迪华
Original assignee: Individual
Current assignee: Individual
Priority date: 2016-06-01
Filing date: 2016-06-01
Publication date: 2016-10-26

Abstract

本发明涉及一种基于模式和实例的数据库匹配方法及其***，所述方法包括：导入源文件和目标文件；对文件进行解析及预处理；计算相似度；构建相似度矩阵，得到匹配结果；合并匹配结果；显示匹配结果。所述***包括：预处理模块、相似度计算模块、模式生成模块以及文本生成模块。本发明提供的基于模式和实例的数据库匹配方法及***，主要用于进行数据库表的模式匹配，方便进行数据迁移，能够得到源表和目标表之间的映射关系，在模式信息较少或不明确时，此方法结合分析了实例信息，能更准确地得到匹配结果；同时，通过遗传算法进行预处理，减少了数据集范围。

Description

一种基于模式和实例的数据库匹配方法及***

技术领域

本发明涉及计算机领域，具体的，涉及一种基于模式和实例的数据库匹配方法及***。

背景技术

以往，在为了提高处理速度而在通信网络中配置了多个数据库装置的情况下，有时存在以下问题：由于数据库装置的故障等而不能在数据库装置之间正常发送接收控制信号，致使产生在数据库装置中存储的数据之间不匹配。

模式匹配在许多应用中都起着关键作用，如数据仓库中的数据抽取过程需要将数据源的数据按仓库的格式转换；电子商务信息交换的处理中的异构信息的映射；以及数据集成中全局视图的构建。

模式匹配的目标是找出异构模式中实体之间的映射关系，目前模式匹配主要有基于模式内部信息的模式匹配和基于大规模数据以及背景知识的模式匹配等两类。基于待匹配模式内部信息的模式匹配的优点在于整合模式内聚信息，其局限性在于模式自身语义的不完备；基于大规模数据以及背景知识的模式匹配方法充分利用了数据实例或以往的匹配结果，但往往不具备通用性，并且学习数据较难获取。

发明内容

为解决现有技术的不足，提供一种能得到更准确的匹配结果的模式匹配方法，本发明提供了一种基于模式和实例的数据库匹配方法，包括如下步骤：

S1：导入源文件和目标文件；

S2：对源文件和目标文件进行解析及预处理；

S3：计算源文件和目标文件的相似度；

S4：根据相似度构建相似度矩阵，得到匹配结果；

S5：合并匹配结果；

S6：显示匹配结果。

其中，前述步骤S1中，导入的源文件和目标文件的格式为.xdr。

其中，前述步骤S2具体包括如下步骤：

S21：将解析好的数据保存到class中；

S22：对源文件和目标文件进行预处理，得到关于源文件和目标文件对应的图；

S23：读取源文件和目标文件的元素信息；

S24：根据步骤S23中的元素信息构造出树；

S25：将步骤S24中构造出的树显示在软件界面上。

其中，前述步骤S21中，所述class包括Manager和Controller。其中，Class

代表JAVA的类，Manager和Controller分别是两个类的名称。其中，前述

步骤S22中，通过遗传算法对源文件和目标文件进行预处理。其中，前

述步骤S23中，所述元素信息包括路径及叶子节点。

其中，前述步骤S3中，通过三种方法计算相似度：Jaccard系数算法、Levenshtein算法以及Jaro-Winkler算法。

其中，前述步骤S4中，通过组合步骤S3中三种算法计算出的相似度得到相似度矩阵。

本发明另外提供了一种基于模式和实例的数据库匹配***，包括：

预处理模块，用于对导入的源文件和目标文件进行解析及预处理；

相似度计算模块，与预处理模块连接，用于计算源文件和目标文件的相似度；

模式生成模块，与相似度计算模块连接，用于组合相似度计算模块计算出的相似度，从而得到相似度矩阵及匹配结果；

文本生成模块，与模式生成模块连接，用于输出文本文件以方便查看匹配结果及相似度。

其中，前述相似度计算模块通过Jaccard系数算法、Levenshtein算法以及Jaro-Winkler算法计算相似度。

其中，前述预处理模块主要通过遗传算法对导入的源文件和目标文件进行解析及预处理。

本发明提供的基于模式和实例的数据库匹配方法及***，主要用于进行数据库表的模式匹配，方便进行数据迁移，能够得到源表和目标表之间的映射关系，在模式信息较少或不明确时，此方法结合分析了实例信息，能更准确地得到匹配结果；同时，通过遗传算法进行预处理，减少了数据集范围。

附图说明

图1：本发明的基于模式和实例的数据库匹配方法的流程图；

图2：本发明的基于模式和实例的数据库匹配***的结构示意图；

图3：本发明的一个相似度矩阵图；

图4：本发明所适用的复制情景的情景示意图；

图5：本发明所适用的合并情景的情景示意图；

图6：本发明所适用的分类情景的情景示意图；

图7：本发明所适用的嵌套情景的情景示意图。

具体实施方式

为了对本发明的技术方案及有益效果有更进一步的了解，下面配合附图详细说明本发明的技术方案及其产生的有益效果。

图1为本发明的基于模式和实例的数据库匹配方法的流程图，如图1所示，本发明提供了一种基于模式和实例的数据库匹配方法，包括如下步骤：

S1：导入源文件和目标文件；

S2：对源文件和目标文件进行解析及预处理；

S3：计算源文件和目标文件的相似度，在计算源文件和目标文件的相似度时，主要是计算相应的每条路径以及叶子节点等信息的相似度；如果实例信息差别很大，那么源文件和目标文件对应的项的相似度很低；

S4：根据相似度构建相似度矩阵，得到匹配结果；图示的迭代过程即，首先使用一种相似度算法计算出一种相似度后，回去再使用另一种算法计算的过程。

S5：合并匹配结果；

S6：显示匹配结果。

较优的，所述步骤S1中，导入的源文件和目标文件的格式为.xdr。

xdr是SunSoft的开放网络计算环境的一种功能。xdr提供了一种与体系结构无关的表示数据，解决了数据字节排序的差异、数据字节大小、数据表示和数据对准的方式。使用xdr的应用程序，可以在异构硬件***上交换数据。

xdr架构如下，例如

较优的，所述步骤S2具体包括如下步骤：

S21：将解析好的数据保存到class中；较优的，所述class包括Manager和Controller；

S22：对源文件和目标文件进行预处理，得到关于源文件和目标文件对应的图；其中，每条路径的最后一个节点为实例信息；

在实际操作中，可通过遗传算法对源文件和目标文件进行预处理，因此能够减少数据集范围；

S23：读取源文件和目标文件的元素信息；具体的，所述元素信息包括路径及叶子节点；

S24：根据步骤S23中的元素信息构造出树；

S25：将步骤S24中构造出的树显示在软件界面上。

较优的，所述步骤S3中，通过三种方法计算相似度：Jaccard系数算法、Levenshtein算法以及Jaro-Winkler算法。

较优的，所述步骤S4中，通过组合步骤S3中三种算法计算出的相似度得到相似度矩阵。

所述步骤S5中，匹配结果例如显示如下：

图2为本发明的基于模式和实例的数据库匹配***的结构示意图，如图2所示，本发明另外提供了一种基于模式和实例的数据库匹配***，包括：

模式生成模块，与相似度计算模块连接，用于组合相似度计算模块计算出的相似度，从而得到相似度矩阵及匹配结果，利用相似矩阵得到最终匹配的映射；

文本生成模块，与模式生成模块连接，用于输出文本文件以方便查看匹配结果及各项相似度评分。

具体的，预处理模块可实现上述步骤S1和步骤S2的操作；相似度计算模块可实现上述步骤S3的操作；模式生成模块可实现上述步骤S4的操作；文本生成模块可实现上述步骤S5及S6的操作。

较优的，所述预处理模块主要通过遗传算法对导入的源文件和目标文件进行解析及预处理。

预处理模块读取导入的源文件和目标文件的元素信息，然后构造出树，并在软件界面上显示，并将解析后的文件保存到SaveToGraphThread类中。

较优的，所述相似度计算模块通过Jaccard系数算法、Levenshtein算法以及Jaro-Winkler算法计算相似度。

具体的，所述三种算法的具体计算公式及方法如下：

1、Jaccard系数算法公式

元素的取值可以是实数。又称为Tanimoto系数，用EJ来表示，

计算方式如下：

EJ(A,B)＝(A*B)/(||A||^2+||B||^2-A*B)

其中，A、B分别是两个向量，集合中每一个元素都表示向量中的一个维度，在每个维度上，取值通常是0到1之间的值，A*B表示向量的乘积，||A||^2表示向量的模，即||A||^2＝sqrt(a1^2+a2^2+a3^2+......)。

J accard distance(A,B)＝1-Jaccard(A,B)

2、Levenshtein算法

编辑操作包含删除，增加，一比一的替换。

取两个字符串的长度中的最大值，用编辑操作/字符串长度最大值，相似度为1-(编辑操作/字符串长度最大值)

例如chane和chakre一个操作，长度为6，所以相似度为1-2/6＝0.666。

3、The Jaro–Winkler

The Jaro Winker距离是由Winkler首先提出的，它是一种计算字符串之间相似度的算法。Jaro–Winkler距离算法最后得到的评分越高就表示相似度更高

其中，s1,s2是两个要比对的字符串，Dj为最后得分,m是匹配的字符数，t是换位的数目

匹配窗口计算公式：

Dw＝Dj+L*P*(1-Dj)//公式三

Dw为jaro winlker距离Dj为公式一，P为前缀范围前缀相同部分长度为L。

具体的，在相似度计算模块中得到了各属性对之前的相似度评分，在模式生成模块中利用相似度矩阵来储存相似度。

图3为本发明的一个相似度矩阵图(利用数组存放)，如图3所示，相似度取上一个模块中三个算法的加权平均，提高容错率。在生成映射前输定阈值为将矩阵中元素值小于阈值的元素设为0。相似度大于阈值的匹配对，我们认为它为匹配项的可能性较大。确定匹配项后将在工具上对匹配项进行连线。

图4-图7分别为本发明所适用的四种情景的情景示意图，如图4所示，为本发明所适用的复制情景的情景示意图，复制情景是模式匹配中最普遍的一种场景，它将源模式中的属性直接复制到目标模式中。

如图5所示，为本发明所适用的合并情景的情景示意图，合并场景也是模式匹配中比较熟悉的一种场景，它将源模式中多个关系表中的几个类型差不多的属性合并到目标模式中的相关属性中。

如图6所示，为本发明所适用的分类情景的情景示意图，分类情景是合并场景的一个反向过程，它指的是源模式中一个关系表的相关属性元素分类到到目标模式中多个关系表的属性元素中。

如图7所示，为本发明所适用的嵌套情景的情景示意图，嵌套情景是模式匹配中很常见的一种情景，意思是在源模式中具有主外键关系的多个关系表的元素映射到目标模式中同一个模式元素。如图7所示，Article关系表的AuthorID字段与Author表的ID字段是外键关系，在匹配过程中需要将其映射到目标模式的Author表的ID中。

综上，本发明提供的基于模式和实例的数据库匹配方法及***，主要用于进行数据库表的模式匹配，方便进行数据迁移，能够得到源表和目标表之间的映射关系，在模式信息较少或不明确时，此方法结合分析了实例信息，能更准确地得到匹配结果；同时，通过遗传算法进行预处理，减少了数据集范围。

虽然本发明已利用上述较佳实施例进行说明，然其并非用以限定本发明的保护范围，任何本领域技术人员在不脱离本发明的精神和范围之内，相对上述实施例进行各种变动与修改仍属本发明所保护的范围，因此本发明的保护范围以权利要求书所界定的为准。

Claims

1.一种基于模式和实例的数据库匹配方法，其特征在于，包括如下步骤：

S1：导入源文件和目标文件；

S2：对源文件和目标文件进行解析及预处理；

S3：计算源文件和目标文件的相似度；

S4：根据相似度构建相似度矩阵，得到匹配结果；

S5：合并匹配结果；

S6：显示匹配结果。

2.如权利要求1所述的基于模式和实例的数据库匹配方法，其特征在于，所述步骤S1中，导入的源文件和目标文件的格式为.xdr。

3.如权利要求1所述的基于模式和实例的数据库匹配方法，其特征在于，所述步骤S2具体包括如下步骤：

S21：将解析好的数据保存到class中；

S23：读取源文件和目标文件的元素信息；

S24：根据步骤S23中的元素信息构造出树；

S25：将步骤S24中构造出的树显示在软件界面上。

4.如权利要求3所述的基于模式和实例的数据库匹配方法，其特征在于，所述步骤S21中，所述class包括Manager和Controller。

5.如权利要求3所述的基于模式和实例的数据库匹配方法，其特征在于，所述步骤S22中，通过遗传算法对源文件和目标文件进行预处理。

6.如权利要求3所述的基于模式和实例的数据库匹配方法，其特征在于，所述步骤S23中，所述元素信息包括路径及叶子节点。

7.如权利要求1所述的基于模式和实例的数据库匹配方法，其特征在于，所述步骤S3中，通过三种方法计算相似度：Jaccard系数算法、Levenshtein算法以及Jaro-Winkler算法。

8.如权利要求7所述的基于模式和实例的数据库匹配方法，其特征在于，所述步骤S4中，通过组合步骤S3中三种算法计算出的相似度得到相似度矩阵。

9.一种基于模式和实例的数据库匹配***，其特征在于，包括：

10.如权利要求8所述的基于模式和实例的数据库匹配***，其特征在于，所述相似度计算模块通过Jaccard系数算法、Levenshtein算法以及Jaro-Winkler算法计算相似度。

11.如权利要求8所述的基于模式和实例的数据库匹配***，其特征在于，所述预处理模块主要通过遗传算法对导入的源文件和目标文件进行解析及预处理。