CN113656395B - 数据质量治理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开一种数据质量治理方法、装置、设备及存储介质，所述方法包括：提取新输入数据库的新输入数据段，对所述新输入数据段的特征点进行拆解，将拆解后的所述新输入数据段的特征点与所述数据库的原数据段的特征点进行相似特征匹配，根据所述相似特征匹配的结果得到所述新输入数据段的相似等级，提取相似等级高于第一阈值的所述新输入数据段，通过数据相似度算法对相似等级高于所述第一阈值的所述新输入数据段进行计算，得到数据相似度结果，根据所述数据相似度结果，将相似度高于第二阈值的所新输入述数据段整合到所述数据库中。本发明使得数据整合和质量治理的效率较高，同时误码率低、整合反应速度增快。

Description

数据质量治理方法、装置、设备及存储介质

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据质量治理方法、装置、设备及存储介质。

背景技术

数据质量治理，是指对数据从计划、获取、存储、共享、维护、应用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。在对数据库新增主数据过程中，需要开展数据相似性度量、重复主数据匹配工作，但是现有的数据质量治理方法误码率过高，整合反应速度较慢、对于新数据与原数据整合效率较低。

发明内容

鉴于以上技术问题，本发明提供了一种数据质量治理方法、装置、设备及存储介质，以提供一种误码率低、整合反应速度快的技术方案。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本发明的一方面，公开一种数据质量治理方法，所述方法包括：

提取新输入数据库的新输入数据段；

对所述新输入数据段的特征点进行拆解；

将拆解后的所述新输入数据段的特征点与所述数据库的原数据段的特征点进行相似特征匹配；

根据所述相似特征匹配的结果得到所述新输入数据段的相似等级；

提取相似等级高于第一阈值的所述新输入数据段；

通过数据相似度算法对相似等级高于所述第一阈值的所述新输入数据段进行计算，得到数据相似度结果；

根据所述数据相似度结果，将相似度高于第二阈值的所新输入述数据段整合到所述数据库中。

进一步的，所述提取新输入数据库的新输入数据段，包括：实时检测新输入所述数据库的所述新输入数据段；当检测到新输入的所述新输入数据段时；将所述新输入数据段进行提取并标记。

进一步的，所述对所述新输入数据段的特征点进行拆解，包括：采用裂项算法对所述新输入数据段的特征点进行拆解并提取。

进一步的，所述将拆解后的所述新输入数据段的特征点与所述数据库的原数据段的特征点进行相似特征匹配，包括：将拆解后的所述新输入数据段的特征点与所述数据库中的原数据段的若干个特征点进行相似特征匹配；整理所述相似特征匹配的结果，按照匹配程度较高至匹配程度较底的顺序排列。

进一步的，所述根据所述相似特征匹配的结果得到所述新输入数据段的相似等级，包括：对所述相似特征匹配的结果进行分析；根据所述新输入数据段与所述数据库中的若干条所述原数据段相似特征匹配的程度的不同，确定所述新输入数据段与所述数据库中的其他所述原数据段的相似等级。

进一步的，所述将相似度高于第二阈值的所新输入述数据段整合到所述数据库中，包括：将所述数据库中的所述原数据段与所述新输入数据段相似的字节进行逐一整合。

进一步的，所述方法还包括：获取所述新输入数据段整合到所述数据库中的记录；将所述记录生成质量治理报告；将所述质量治理报告存储在日志中。

根据本公开的第二方面，提供一种数据质量治理装置，包括：识别模块，用于提取新输入数据库的新输入数据段；第一数据处理模块，用于对所述新输入数据段的特征点进行拆解；特征点匹配模块，用于将拆解后的所述新输入数据段的特征点与所述数据库的原数据段的特征点进行相似特征匹配；分析模块，用于根据所述相似特征匹配的结果得到所述新输入数据段的相似等级；提取模块，用于提取相似等级高于第一阈值的所述新输入数据段；第二数据处理模块，用于通过数据相似度算法对相似等级高于所述第一阈值的所述新输入数据段进行计算，得到数据相似度结果；整合模块，用于根据所述数据相似度结果，将相似度高于第二阈值的所新输入述数据段整合到所述数据库中。

根据本公开的第三方面，提供一种数据质量治理设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器：提取新输入数据库的新输入数据段；对所述新输入数据段的特征点进行拆解；将拆解后的所述新输入数据段的特征点与所述数据库的原数据段的特征点进行相似特征匹配；根据所述相似特征匹配的结果得到所述新输入数据段的相似等级；提取相似等级高于第一阈值的所述新输入数据段；通过数据相似度算法对相似等级高于所述第一阈值的所述新输入数据段进行计算，得到数据相似度结果；根据所述数据相似度结果，将相似度高于第二阈值的所新输入述数据段整合到所述数据库中。

根据本公开的第四方面，提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时上述数据质量治理方法。

本公开的技术方案具有以下有益效果：

通过基于此设计开发出的数据质量治理方案，首先对新输数据段与数据库中的若干数据段进行特征点匹配，由此确定匹配程度较高的元数据段，然后再对匹配程度较高的元数据段与新输数据段进行计算，从而能够对相似度较高的元数据与新输数据段进行整合，使得本数据质量治理方法对于数据整合的效率较高，使得数据质量治理的效率较高，同时使得本方法误码率过低，使得整合反应速度增快。

附图说明

图1为本说明书实施例中的一种数据质量治理方法的流程图；

图2为本说明书实施例中的累计方差示例图；

图3为本说明书实施例中的提取新输入数据库的新输入数据段的流程图；

图4为本说明书实施例中的新输入数据段和原数据段进行相似特征匹配的流程图；

图5为本说明书实施例中的得到新输入数据段的相似等级的流程图；

图6为本说明书实施例中获得质量治理报告的流程图；

图7为本说明书实施例中的数据质量治理装置的结构框图；

图8为本说明书实施例中一种数据质量治理方法的终端设备；

图9为本说明书实施例中一种数据质量治理方法的计算机可读存储介质。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

此外，附图仅为本公开的示意性图解。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

如图1所示，本说明书实施例提供一种数据质量治理方法，该方法的执行主体可以为服务端。该方法具体可以包括以下步骤S101~S107：

在步骤S101中，提取新输入数据库的新输入数据段。

其中，新输入数据库的新输入数据段，可以为从前台界面录入数据库的数据，或者通过EXEL导入数据库的数据，或者传入数据采集接口传输进数据库的数据，即未经过数据质量治理方法处理过的数据传输进数据库，即为新输入数据。

在步骤S102中，对所述新输入数据段的特征点进行拆解。

其中，将新输入数据段内包含的特征点拆解，即将其包含的特征点逐一提取出来。

示范性的，在提取完特征之后，还可以运用单位方差对数据进行特征缩放,完成数据预处理，可以将不同的特征缩放到相同的区间，数据预处理的过程可以使用如下方程式表示:

其中，

和

分别为数据集某个特征列的均值和标准差，

为某个特征列中的数据，

为该特征列的方差，方差

则代表着该数据的某个特征点。

均值

为某个特征列数据中所有数据之和再除以这个特征列数据的个数的商：

标准差

是某个特征列标准值与其平均数离差平方的算术平均数的平方根；

在步骤S103中，将拆解后的所述新输入数据段的特征点与所述数据库的原数据段的特征点进行相似特征匹配。

其中，即提取新输入数据段的特征点进后，将提取出的特征点与数据库中的原数据段的特征点进行逐一匹配，确定新输入数据段的特征点与数据库中的原数据段的特征点的匹配程度，从而确定新输数据段与数据库中的某条原数据段较为相似，缩小数据相似度计算的范围，从而使得本数据质量治理方法对于与新输数据段相似的元数据段提出建议并与主数据匹配与合并的效率大大提高。

具体的，完成S102的特征点拆解后，接着构造数据样本的协方差矩阵，比如,对数据的两个特征

和

可通过如下公式计算他们之间的协方差

：

和

是特征j和k的均值，两个特征值之间的协方差如为正，说明他们会同时增减，而一个负的协方差则表示两个特征会朝相反的方向变动，是对随机变量联合分布线性相关程度的一种度量，协方差

绝对值越大，说明数据相似度越高，反之，数据相似度低，协方差为零，数据无相似性，或线性低，依次类推，便可以得到新输入数据段的特征点与数据库中的原数据段的特征点的匹配程度。

在步骤S104中，根据所述相似特征匹配的结果得到所述新输入数据段的相似等级。

其中，根据新输入数据段与数据库中的若干个条原数据段的相似特征点的匹配程度的不同，确定数据的相似等级，示范性的，将相似等级分为递减的数列如A1、A2、A3...，其中A1的等级最大。

在步骤S105中，提取相似等级高于第一阈值的所述新输入数据段。

其中，第一阈值为预先设定的，如第一阈值可以为A3等级，根据步骤S104中设定的等级，将相似等级高于A3等级的新输入数据段提取出来。

在步骤S106中，通过数据相似度算法对相似等级高于所述第一阈值的所述新输入数据段进行计算，得到数据相似度结果。

其中，将步骤S105中提取出来的新输入数据与数据库中的原数据进行相似度计算，具体的，通过计算协方差矩阵的特征，分析评估主成分特征的重要性，示范性的，包含四个特征的协方差矩阵

用如下方式表达：

协方差矩阵

的特征向量代表相关成分，对应的特征值数值，数值大表示特征向量的重要性大，对数据相似度贡献大，数值小表示特征向量的重要性小，对数据相似度贡献小，协方差由上述步骤S103中获得。

示范性的，应用Python语言中numpy.cov函数，计算数据集的协方差矩阵

，使用linalg.eig函数，通过特征分解，得到4个特征值的向量及对应的特征值，再将特征向量以列的方式存储于一个4 X 4维的矩阵中，由于特征值的大小决定了特征向量的重要性，可以将特征值按降序排列。

通过计算特征值的方差贡献率，可以绘制相关成分的特征值

的方差贡献率为

,定义为特征值

与所有特征值和的比值。

具体的，可以使用Python编程语言的cumsum函数，计算累计方差，通过matplotlib的step函数生成如图2所示的示例图，根据图2所示的示例图，第一主成分占方差总和的40%左右，前三个主成分占总体方差的近90%，从而可以进一步分析数据相似性的重要主成分构成，得到数据相似度结果。

在步骤S107中，根据所述数据相似度结果，将相似度高于第二阈值的所新输入述数据段整合到所述数据库中。其中，第二阈值为预先设定的，将步骤S106中得到的数据相似度结果与第二阈值对比，根据比对结果将相似度高于第二阈值的所新输入述数据段整合到所述数据库中，便完成了新输入数据段的数据治理。

作为补充的，如图3所示，在另一种实施例中，在执行步骤S101时，具体执行以下步骤S201~S203：

在步骤S201中，实时检测新输入所述数据库的所述新输入数据段。

在步骤S202中，当检测到新输入的所述新输入数据段时。

在步骤S203中，将所述新输入数据段进行提取并标记。

其中，通过上述步骤S201~S203，实时检测到新输数据段，并将新输数据段进行提取，方便与新输入数据段相似的原数据段进行整合。

作为补充的，在另一种实施例中，在执行步骤S102时，采用裂项算法对所述新输入数据段的特征点进行拆解并提取。

其中，运用裂项算法对新输人数据段的特征点进行拆解并提取特征点，从而方便与数据库中的原数据段的特征点进行匹配，从而快速确定匹配程度较高的原数据段，进而提高在后续步骤中利用相似度算法计算的效率。

作为补充的，如图4所示，在另一种实施例中，在执行步骤S103时，包括以下步骤S301~S302：

在步骤S301中，将拆解后的所述新输入数据段的特征点与所述数据库中的原数据段的若干个特征点进行相似特征匹配。

在步骤S302中，整理所述相似特征匹配的结果，按照匹配程度较高至匹配程度较底的顺序排列。

其中，通过上述步骤S301~S302，确定新输数据段与数据库中的某条原数据段较为相似，缩小数据相似度计算的范围，从而使得本方法对于与新输入数据段相似的原数据段提出建议并与主数据匹配与合并的效率大大提高。

作为补充的，如图5所示，在另一种实施例中，在执行步骤S104时，包括以下步骤S401~S402：

在步骤S401中，对所述相似特征匹配的结果进行分析。

在步骤S402中，根据所述新输入数据段与所述数据库中的若干条所述原数据段相似特征匹配的程度的不同，确定所述新输入数据段与所述数据库中的其他所述原数据段的相似等级。

其中，通过上述步骤S401~S402，便于确定新输入数据段与数据库中的原数据段的相似等级，通过相似等级，快速获得相似程度高的原数据段，从而提高了本方法对于与新输入数据段相似的原数据段提出建议并与主数据匹配与合并的效率。

在一示例性实施例中，在执行步骤S107时，所述将相似度高于第二阈值的所新输入述数据段整合到所述数据库中，具体包括：将所述数据库中的所述原数据段与所述新输入数据段相似的字节进行逐一整合。

在一种可选的实施方式中，如图6所示，在执行步骤S107之后，还包括步骤S501~S503:

在步骤S501中，获取所述新输入数据段整合到所述数据库中的记录。

在步骤S502中，将所述记录生成质量治理报告。

在步骤S503中，将所述质量治理报告存储在日志中。

通过上述步骤S501~S503，方便工作人员对整合数据记录进行查看，便于后续数据库的维护与使用。

基于同样的思路，本公开的示例性实施方式还提供了一种数据质量治理装置，如图7所示，该数据质量治理装置600包括：识别模块601，用于提取新输入数据库的新输入数据段；第一数据处理模块602，用于对所述新输入数据段的特征点进行拆解；特征点匹配模块603，用于将拆解后的所述新输入数据段的特征点与所述数据库的原数据段的特征点进行相似特征匹配；分析模块604，用于根据所述相似特征匹配的结果得到所述新输入数据段的相似等级；提取模块605，用于提取相似等级高于第一阈值的所述新输入数据段；第二数据处理模块606，用于通过数据相似度算法对相似等级高于所述第一阈值的所述新输入数据段进行计算，得到数据相似度结果；整合模块607，用于根据所述数据相似度结果，将相似度高于第二阈值的所新输入述数据段整合到所述数据库中。

在一种可选的实施例中，识别模块601具体包括：检测单元，实时检测新输入所述数据库的所述新输入数据段；读取单元，当检测单元检测到新输入的所述新输入数据段时，读取单元用于将所述新输入数据段进行提取并标记。

在一种可选的实施例中，第一数据处理模块602控制模块用裂项算法对所述新输入数据段的特征点进行拆解并提取。

在一种可选的实施例中，特征点匹配模块603具体包括，匹配单元，用于将拆解后的所述新输入数据段的特征点与所述数据库中的原数据段的若干个特征点进行相似特征匹配；排序单元，用于整理所述相似特征匹配的结果，按照匹配程度较高至匹配程度较底的顺序排列。

在一种可选的实施例中，分析模块604具体包括：分析单元，对所述相似特征匹配的结果进行分析；标记单元，根据所述新输入数据段与所述数据库中的若干条所述原数据段相似特征匹配的程度的不同，确定所述新输入数据段与所述数据库中的其他所述原数据段的相似等级。

在一种可选的实施例中，整合模块607具体用于将所述数据库中的所述原数据段与所述新输入数据段相似的字节进行逐一整合。

在一种可选的实施例中，数据质量治理装置600还包括储存模块608，所述储存模块608包括：获取单元，获取所述新输入数据段整合到所述数据库中的记录；报告生成单元，将所述记录生成质量治理报告；存储单元，将所述质量治理报告存储在日志中。

本说明书实施例提供一种数据质量治理装置，首先对新输数据段与数据库中的若干数据段进行特征点匹配，由此确定匹配程度较高的元数据段，然后再对匹配程度较高的元数据段与新输数据段进行计算，从而能够对相似度较高的元数据与新输数据段进行整合，使得本数据质量治理方法对于数据整合的效率较高，使得数据质量治理的效率较高，同时使得本方法误码率过低，使得整合反应速度增快。

上述装置中各模块/单元的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

基于同样的思路，本说明书实施例还提供一种数据质量治理设备，如图8所示。

数据质量治理设备可以为上述实施例提供的终端设备或服务器。

数据质量治理设备可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上的处理器701和存储器702，存储器702中可以存储有一个或一个以上存储应用程序或数据。其中，存储器702可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)和/或高速缓存存储单元，还可以进一步包括只读存储单元。存储在存储器702的应用程序可以包括一个或一个以上程序模块(图示未示出)，这样的程序模块包括但不限于：操作***、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。更进一步地，处理器701可以设置为与存储器702通信，在数据质量治理设备上执行存储器702中的一系列计算机可执行指令。数据质量治理设备还可以包括一个或一个以上电源703，一个或一个以上有线或无线网络接口704，一个或一个以上I/O接口（输入输出接口）705，一个或多个外部设备706(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或一个以上使得用户能与该设备交互的设备通信，和/或与使得该设备能与一个或一个以上其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过I/O接口705进行。并且，设备还可以通过有线或无线接口704与一个或一个以上网络(例如局域网(LAN)通讯。

具体在本实施例中，数据质量治理设备包括有存储器702，以及一个或一个以上的程序，其中一个或者一个以上程序存储于存储器702中，且一个或者一个以上程序可以包括一个或一个以上模块，且每个模块可以包括对数据质量治理设备中的一系列计算机可执行指令，且经配置以由一个或者一个以上处理器701执行该一个或者一个以上程序包含用于进行以下计算机可执行指令：

提取新输入数据库的新输入数据段；对所述新输入数据段的特征点进行拆解；将拆解后的所述新输入数据段的特征点与所述数据库的原数据段的特征点进行相似特征匹配；根据所述相似特征匹配的结果得到所述新输入数据段的相似等级；提取相似等级高于第一阈值的所述新输入数据段；通过数据相似度算法对相似等级高于所述第一阈值的所述新输入数据段进行计算，得到数据相似度结果；根据所述数据相似度结果，将相似度高于第二阈值的所新输入述数据段整合到所述数据库中。

所述提取新输入数据库的新输入数据段，包括：实时检测新输入所述数据库的所述新输入数据段；当检测到新输入的所述新输入数据段时；将所述新输入数据段进行提取并标记。

所述对所述新输入数据段的特征点进行拆解，包括：采用裂项算法对所述新输入数据段的特征点进行拆解并提取。

所述将拆解后的所述新输入数据段的特征点与所述数据库的原数据段的特征点进行相似特征匹配，包括：将拆解后的所述新输入数据段的特征点与所述数据库中的原数据段的若干个特征点进行相似特征匹配；整理所述相似特征匹配的结果，按照匹配程度较高至匹配程度较底的顺序排列。

所述根据所述相似特征匹配的结果得到所述新输入数据段的相似等级，包括：对所述相似特征匹配的结果进行分析；根据所述新输入数据段与所述数据库中的若干条所述原数据段相似特征匹配的程度的不同，确定所述新输入数据段与所述数据库中的其他所述原数据段的相似等级。

所述将相似度高于第二阈值的所新输入述数据段整合到所述数据库中，包括：将所述数据库中的所述原数据段与所述新输入数据段相似的字节进行逐一整合。

获取所述新输入数据段整合到所述数据库中的记录；将所述记录生成质量治理报告；将所述质量治理报告存储在日志中。

基于同样的思路，本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

参考图9所示，描述了根据本公开的示例性实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行***、装置或者器件使用或者与其结合使用。

程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的***、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言一诸如Java、C++等，还包括常规的过程式程序设计语言一诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开示例性实施方式的方法。

此外，上述附图仅是根据本公开示例性实施方式的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的示例性实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施方式。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施方式仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种数据质量治理方法，其特征在于，所述方法包括：

提取新输入数据库的新输入数据段；

利用单位方差，对新输入数据段内包含的特征点拆解，包括：将所述数据段内的数据减去所述数据段，得到差值，将所述差值除以所述数据段的标准差，得到所述数据段的数据的特征点；

将拆解后的所述新输入数据段的特征点与所述数据库的原数据段的特征点进行相似特征匹配，包括，计算所述新输入数据段的特征点与所述数据库的原数据段的特征点的协方差，根据协方差的绝对值，确定所述特征相似特征匹配的结果；

根据所述相似特征匹配的结果得到所述新输入数据段的相似等级；

提取相似等级高于第一阈值的所述新输入数据段；

通过数据相似度算法对相似等级高于所述第一阈值的所述新输入数据段进行计算，包括，计算相似等级高于所述第一阈值的所述新输入数据段的特征点与所述原数据段的特征点的协方差，将得到的协方差组成协方差矩阵，计算所述协方差矩阵的特征向量，根据所述特征向量，得到数据相似度结果；

根据所述数据相似度结果，将相似度高于第二阈值的所新输入述数据段整合到所述数据库中。

2.根据权利要求1所述的数据质量治理方法，其特征在于，所述提取新输入数据库的新输入数据段，包括：

实时检测新输入所述数据库的所述新输入数据段；

当检测到新输入的所述新输入数据段时；

将所述新输入数据段进行提取并标记。

3.根据权利要求1所述的数据质量治理方法，其特征在于，对所述新输入数据段的特征点进行拆解，包括：采用裂项算法对所述新输入数据段的特征点进行拆解并提取。

4.根据权利要求1所述的数据质量治理方法，其特征在于，所述将拆解后的所述新输入数据段的特征点与所述数据库的原数据段的特征点进行相似特征匹配，包括：

将拆解后的所述新输入数据段的特征点与所述数据库中的原数据段的若干个特征点进行相似特征匹配；

整理所述相似特征匹配的结果，按照匹配程度较高至匹配程度较底的顺序排列。

5.根据权利要求1所述的数据质量治理方法，其特征在于，所述根据所述相似特征匹配的结果得到所述新输入数据段的相似等级，包括：

对所述相似特征匹配的结果进行分析；

根据所述新输入数据段与所述数据库中的若干条所述原数据段相似特征匹配的程度的不同，确定所述新输入数据段与所述数据库中的其他所述原数据段的相似等级。

6.根据权利要求1所述的数据质量治理方法，其特征在于，所述将相似度高于第二阈值的所新输入述数据段整合到所述数据库中，包括：将所述数据库中的所述原数据段与所述新输入数据段相似的字节进行逐一整合。

7.根据权利要求1所述的数据质量治理方法，其特征在于，所述方法还包括：

获取所述新输入数据段整合到所述数据库中的记录；

将所述记录生成质量治理报告；

将所述质量治理报告存储在日志中。

8.一种数据质量治理装置，其特征在于，包括：

识别模块，用于提取新输入数据库的新输入数据段；

第一数据处理模块，用于利用单位方差，对新输入数据段内包含的特征点拆解，包括：将所述数据段内的数据减去所述数据段，得到差值，将所述差值除以所述数据段的标准差，得到所述数据段的数据的特征点；

特征点匹配模块，用于将拆解后的所述新输入数据段的特征点与所述数据库的原数据段的特征点进行相似特征匹配，包括，计算所述新输入数据段的特征点与所述数据库的原数据段的特征点的协方差，根据协方差的绝对值，确定所述特征相似特征匹配的结果；

分析模块，用于根据所述相似特征匹配的结果得到所述新输入数据段的相似等级；

提取模块，用于提取相似等级高于第一阈值的所述新输入数据段；

第二数据处理模块，用于通过数据相似度算法对相似等级高于所述第一阈值的所述新输入数据段进行计算，包括，计算相似等级高于所述第一阈值的所述新输入数据段的特征点与所述原数据段的特征点的协方差，将得到的协方差组成协方差矩阵，计算所述协方差矩阵的特征向量，根据所述特征向量，得到数据相似度结果；

整合模块，用于根据所述数据相似度结果，将相似度高于第二阈值的所新输入述数据段整合到所述数据库中。

9.一种数据质量治理设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的数据质量治理方法。

10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据质量治理方法。

Images