CN109871382A - 一种数据表接入标准库的实现方法和装置 - Google Patents

Abstract

本发明公开了一种数据表接入标准库的实现方法和装置，其中，所述方法包括：将新数据表与标准库中的标准库表进行数据项匹配，根据相似度确定用于对标的第一标准库表；将所述新数据表与所述第一标准库表进行字段级对标，生成第二标准库表，并建立所述新数据表和所述第二标准库表之间的映射关系；将所述第二标准库表和映射关系存入所述标准库。本发明实施例通过数据项匹配和字段级对标，可以在接入新数据表时，快速高效的识别出该表字段在标准库中对应的数据项，从而可以自动或经过少量人工干预将新数据表接入标准库，提高了数据治理的效率。

Description

一种数据表接入标准库的实现方法和装置

技术领域

本发明涉及数据库领域，尤指一种数据表接入标准库的实现方法和装置。

背景技术

当今大数据应用蓬勃发展，但各行业数据呈现种类繁多、数据量大、结构复杂、建设标准不统一、数据代码冲突等特点。

按照公安部数据项标准编写要求，要求治理后的数据项是具有一定含义、按照特定规则命名和标识的、用于描述警务活动的信息数据单元。为此，在治理过程中结合这个标准建立了标准库。

在数据治理的过程中，会有大量的多源的，异构的数据表被接入，由于数据表中的字段常常与标准库中的数据项不一致，数据项识别更多是基于人工手段干预和配置，导致效率低下。

发明内容

为了解决上述技术问题，本发明提供了一种数据表接入标准库的实现方法和装置，以提高数据表接入数据库的效率。

为了达到本发明目的，本发明提供了一种数据表接入标准库的实现方法，包括：

将新数据表与标准库中的标准库表进行数据项匹配，根据相似度确定用于对标的第一标准库表；

将所述新数据表与所述第一标准库表进行字段级对标，生成第二标准库表，并建立所述新数据表和所述第二标准库表之间的映射关系；

将所述第二标准库表和映射关系存入所述标准库。

可选地，所述将新数据表与标准库中的标准库表进行数据项匹配，根据相似度确定用于对标的第一标准库表之前，所述方法还包括：

设置相似度阈值。

可选地，所述将新数据表与标准库中的标准库表进行数据项匹配，根据相似度确定用于对标的第一标准库表，包括：

将新数据表与标准库中的标准库表依次进行数据项匹配，得到相似度高于所述相似度阈值的所有标准库表；

在所述相似度高于所述相似度阈值的所有标准库表中选择一个作为第一标准库表。

可选地，所述将所述新数据表与所述第一标准库表进行字段级对标，生成第二标准库表，包括：

对于所述新数据表中的每一个字段，在所述第一标准库表中选择数据项进行匹配，按照相似度确定一个或多个待选数据项；

在确定所述待选数据项与所述新数据表中字段匹配时，将匹配的待选数据项加入所述第二标准库表。

可选地，所述对于所述新数据表中的每一个字段，在所述第一标准库表中选择数据项进行匹配，按照相似度确定一个或多个待选数据项之后，还包括：

在确定所有待选数据项与所述新数据表中字段均不匹配时，将没有匹配成功的字段对应的数据项加入所述第二标准库表。

本发明还提供一种数据表接入标准库的实现装置，包括：

第一匹配模块，用于将新数据表与标准库中的标准库表进行数据项匹配，根据相似度确定用于对标的第一标准库表；

第二匹配模块，用于将所述新数据表与所述第一标准库表进行字段级对标，生成第二标准库表，并建立所述新数据表和所述第二标准库表之间的映射关系；

接入模块，用于将所述第二标准库表和映射关系存入所述标准库。

可选地，所述装置还包括：

设置模块，用于设置相似度阈值。

可选地，所述第一匹配模块，用于：

将新数据表与标准库中的标准库表依次进行数据项匹配，得到相似度高于所述相似度阈值的所有标准库表；

在所述相似度高于所述相似度阈值的所有标准库表中选择一个作为第一标准库表。

可选地，所述第二匹配模块，用于：

对于所述新数据表中的每一个字段，在所述第一标准库表中选择数据项进行匹配，按照相似度确定一个或多个待选数据项；

在确定所述待选数据项与所述新数据表中字段匹配时，将匹配的待选数据项加入所述第二标准库表。

可选地，所述第二匹配模块，还用于：

在确定所有待选数据项与所述新数据表中字段均不匹配时，将没有匹配成功的字段对应的数据项加入所述第二标准库表。

本发明实施例包括：将新数据表与标准库中的标准库表进行数据项匹配，根据相似度确定用于对标的第一标准库表；将所述新数据表与所述第一标准库表进行字段级对标，生成第二标准库表，并建立所述新数据表和所述第二标准库表之间的映射关系；将所述第二标准库表和映射关系存入所述标准库。本发明实施例通过数据项匹配和字段级对标，可以在接入新数据表时，快速高效的识别出该表字段在标准库中对应的数据项，从而可以自动或经过少量人工干预将新数据表接入标准库，提高了数据治理的效率。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例的数据表接入标准库的实现方法的流程图；

图2为本发明实施例的步骤101的流程图；

图3为本发明实施例的步骤102中生成第二标准库表的流程图；

图4为本发明应用实例的数据表接入标准库的实现方法的流程图；

图5为本发明实施例的数据表接入标准库的实现装置的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

现有技术中，数据项识别更多是基于人工手段干预和配置，无法快速有效的识别标准库的数据项。而基于数据表的字段，来高效的识别标准库中的数据项，对如今的大数据治理和数据共享来说是至关重要的。

本发明实施例中，在接入大量数据表时，可以更快速高效的识别出该表字段在标准库中对应的数据项。本实施例依赖于标准库，这个库中的所有数据表的数据项都已经标准化。

如图1所示，本发明实施例的数据表接入标准库的实现方法，包括：

步骤101，将新数据表与标准库中的标准库表进行数据项匹配，根据相似度确定用于对标的第一标准库表。

所述新数据表是指需要接入标准库的数据表。所述标准库表是指标准库中的数据表。

在一实施例中，步骤101之前还包括：

设置相似度阈值。

所述相似度阈值可以是预设的默认值，也可以根据需要进行相应设置。

如图2所示，在一实施例中，步骤101包括：

步骤201，将新数据表与标准库中的标准库表依次进行数据项匹配，得到相似度高于所述相似度阈值的所有标准库表。

其中，将新数据表与标准库中的数据表依次进行表中的数据项匹配，将字段的中文名和标准库表中的字段中文名进行匹配，基于各字段的相似度求得表间的相似度，最终结合所有的标准库表的相似度，推荐出高于所述相似度阈值的所有标准库表，并以相似度由高到低来进行排序。

步骤202，在所述相似度高于所述相似度阈值的所有标准库表中选择一个作为第一标准库表。

其中，可以选择相似度最高的标准库表作为第一标准库表。

步骤102，将所述新数据表与所述第一标准库表进行字段级对标，生成第二标准库表，并建立所述新数据表和所述第二标准库表之间的映射关系。

如图3所示，所述生成第二标准库表的过程可包括：

步骤301，对于所述新数据表中的每一个字段，在所述第一标准库表中选择数据项进行匹配，按照相似度确定一个或多个待选数据项。

例如，可以设置待选数据项为3个，针对每一个新数据表的字段，都会在该第一标准库表中选择3个相似度高的数据项作为待选数据项以供选择。

步骤302，在确定所述待选数据项与所述新数据表中字段匹配时，将匹配的待选数据项加入所述第二标准库表。

其中，可以根据相似度确定是否匹配。

步骤303，在确定所有待选数据项与所述新数据表中字段均不匹配时，将没有匹配成功的字段对应的数据项加入所述第二标准库表。

其中，当推荐的待选数据项都不匹配时，将新数据表中的数据项的基本信息和属性信息自动添加到对标的第二标准库表中。

当对标完所有的数据项，生成一个新的标准库表，即第二标准库表。

步骤103，将所述第二标准库表和映射关系存入所述标准库。

其中，将生成第二标准库表后，将第二标准库表自动同步到标准库中；对于新数据表和第二标准库表，将其建立字段和数据项之间的映射，并自动同步到标准库中。

在标准库接入多个新数据表时，重复执行上述101～103步骤。

本发明实施例通过数据项匹配和字段级对标，可以在接入新数据表时，快速高效的识别出该表字段在标准库中对应的数据项，从而可以自动将新数据表接入标准库，提高了数据治理的效率。

如图4所示，本发明应用实例的数据表接入标准库的实现方法的流程图，包括如下步骤：

步骤401，接入新的数据表；

步骤402，选择相似度阈值，等待***提供标准库中高于此相似度阈值的所有标准库表；

步骤403，选择其中1个的标准库表，作为字段对标的目标标准库表(即第一标准库表)，***会针对新数据表的每1个字段，从目标标准库表中选择3个相似度较高的数据项作为参考选择；

步骤404，依次针对新的数据表中的字段和与之对应的3个推荐的数据项，选择1个数据项建立映射关系(也可以放弃推荐的所有的数据项，直接选择新数据表中的字段作为数据项)；

步骤405，将步骤404中对标完成后生成的新的标准库表同步保存到标准库中，并将新数据表和新标准库表建立的映射关系保存到标准库中。

如果有新的数据表，重复步骤402-405步骤即可，指导所有的新数据表识别完标准库中的数据项。

举例来说，假设现有一个标准库，有10个标准库表B1-B10；现在有1张新数据表A，有1个四个字段的新数据表，依次为：“公民姓名”、“性别”、“民族”、“出生日期”，现在需要根据数据表中的字段识别出标准库中的数据项。

可以按照如下步骤依次进行：

1、先选择相似度，例如选择50％；***会推荐出高于这个相似度的表：B2(相似度75％),B8(相似度60％)；

2、选择B2，里边包含2个数据项：“姓名”、“性别”、“生日”。然后进行具体的字段级对标过程，针对原数据表“公民姓名”，推荐了3个相似度推荐数据项：“姓名”(相似度80％)，“性别”(相似度0％)，“生日”(相似度0％)，选择“姓名”作为对标的映射结果；针对原数据表“性别”，推荐了3个相似度推荐数据项：“性别”(相似度100％)，“姓名”(相似度0％)，“生日”(相似度0％)，选择“性别”作为对标的映射结果；针对原数据表“民族”，推荐了3个相似度推荐数据项：“性别”(相似度0％)，“姓名”(相似度0％)，“生日”(相似度0％)，推荐的数据项都不匹配，智能将“民族”添加到标准库表中作为对标的映射结果；同理，“出生日期”映射结果是“出生日期”；这样就生成了新的标准库表B11。

3、将B11同步到标准库中，并将建立A和新表B11对应的映射关系保存的标准库中。

再来新的数据表以2和3的步骤进行执行，至此完成了通过数据表中字段识别标准库中的数据项。

如图5所示，本发明实施例的数据表接入标准库的实现装置，包括：

第一匹配模块51，用于将新数据表与标准库中的标准库表进行数据项匹配，根据相似度确定用于对标的第一标准库表；

第二匹配模块52，用于将所述新数据表与所述第一标准库表进行字段级对标，生成第二标准库表，并建立所述新数据表和所述第二标准库表之间的映射关系；

接入模块53，用于将所述第二标准库表和映射关系存入所述标准库。

在一实施例中，所述装置还包括：

设置模块，用于设置相似度阈值。

在一实施例中，所述第一匹配模块51，用于：

将新数据表与标准库中的标准库表依次进行数据项匹配，得到相似度高于所述相似度阈值的所有标准库表；

在所述相似度高于所述相似度阈值的所有标准库表中选择一个作为第一标准库表。

在一实施例中，所述第二匹配模块52，用于：

对于所述新数据表中的每一个字段，在所述第一标准库表中选择数据项进行匹配，按照相似度确定一个或多个待选数据项；

在确定所述待选数据项与所述新数据表中字段匹配时，将匹配的待选数据项加入所述第二标准库表。

在一实施例中，所述第二匹配模块52，还用于：

在确定所有待选数据项与所述新数据表中字段均不匹配时，将没有匹配成功的字段对应的数据项加入所述第二标准库表。

本发明实施例通过数据项匹配和字段级对标，可以在接入新数据表时，快速高效的识别出该表字段在标准库中对应的数据项，从而可以自动或经过少量人工干预将新数据表接入标准库，提高了数据治理的效率。

本发明实施例还提出一种数据表接入标准库的实现设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述数据表接入标准库的实现方法。

本发明实施例还提出一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令被处理器执行时实现上述数据表接入标准库的实现方法。

本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施方式中，在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分；例如，一个物理组件可以具有多个功能，或者一个功能或步骤可以由若干物理组件合作执行。某些组件或所有组件可以被实施为由处理器，如数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。

Claims (10)

1.一种数据表接入标准库的实现方法，包括：

将新数据表与标准库中的标准库表进行数据项匹配，根据相似度确定用于对标的第一标准库表；

将所述新数据表与所述第一标准库表进行字段级对标，生成第二标准库表，并建立所述新数据表和所述第二标准库表之间的映射关系；

将所述第二标准库表和映射关系存入所述标准库。

2.根据权利要求1所述的方法，其特征在于，所述将新数据表与标准库中的标准库表进行数据项匹配，根据相似度确定用于对标的第一标准库表之前，所述方法还包括：

设置相似度阈值。

3.根据权利要求2所述的方法，其特征在于，所述将新数据表与标准库中的标准库表进行数据项匹配，根据相似度确定用于对标的第一标准库表，包括：

将新数据表与标准库中的标准库表依次进行数据项匹配，得到相似度高于所述相似度阈值的所有标准库表；

在所述相似度高于所述相似度阈值的所有标准库表中选择一个作为第一标准库表。

4.根据权利要求1～3中任意一项所述的方法，其特征在于，所述将所述新数据表与所述第一标准库表进行字段级对标，生成第二标准库表，包括：

对于所述新数据表中的每一个字段，在所述第一标准库表中选择数据项进行匹配，按照相似度确定一个或多个待选数据项；

在确定所述待选数据项与所述新数据表中字段匹配时，将匹配的待选数据项加入所述第二标准库表。

5.根据权利要求4所述的方法，其特征在于，所述对于所述新数据表中的每一个字段，在所述第一标准库表中选择数据项进行匹配，按照相似度确定一个或多个待选数据项之后，还包括：

在确定所有待选数据项与所述新数据表中字段均不匹配时，将没有匹配成功的字段对应的数据项加入所述第二标准库表。

6.一种数据表接入标准库的实现装置，包括：

第一匹配模块，用于将新数据表与标准库中的标准库表进行数据项匹配，根据相似度确定用于对标的第一标准库表；

第二匹配模块，用于将所述新数据表与所述第一标准库表进行字段级对标，生成第二标准库表，并建立所述新数据表和所述第二标准库表之间的映射关系；

接入模块，用于将所述第二标准库表和映射关系存入所述标准库。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

设置模块，用于设置相似度阈值。

8.根据权利要求7所述的装置，其特征在于，所述第一匹配模块，用于：

将新数据表与标准库中的标准库表依次进行数据项匹配，得到相似度高于所述相似度阈值的所有标准库表；

在所述相似度高于所述相似度阈值的所有标准库表中选择一个作为第一标准库表。

9.根据权利要求6～8中任意一项所述的装置，其特征在于，所述第二匹配模块，用于：

对于所述新数据表中的每一个字段，在所述第一标准库表中选择数据项进行匹配，按照相似度确定一个或多个待选数据项；

在确定所述待选数据项与所述新数据表中字段匹配时，将匹配的待选数据项加入所述第二标准库表。

10.根据权利要求9所述的装置，其特征在于，所述第二匹配模块，还用于：

在确定所有待选数据项与所述新数据表中字段均不匹配时，将没有匹配成功的字段对应的数据项加入所述第二标准库表。