CN115544048B - 一种监督数据变化的方法及终端 - Google Patents

Abstract

本发明提供了一种监督数据变化的方法及终端，将主表的每一条修改记录存入附表中，修改记录包括修改时间、有效标识及业务标识；根据业务标识将修改记录分组；在每一分组内将修改记录按照修改时间由远及近排序；根据排序及所述有效标识得到业务标识对应的当前状态；本发明修改主表之后，将每一条修改记录都在附表中进行存储，修改记录中包括修改时间、有效标识以及业务标识，根据业务标识将修改记录分组，并在组内按照修改时间排序，最后根据排序和有效标识得到业务标识对应的当前状态，不仅仅按照最新的有效标识直接得到当前状态，而是根据时间顺序排序之后，综合排序和有效标识得到当前状态，避免了当前状态的误判。

Description

一种监督数据变化的方法及终端

技术领域

本发明涉及数据库领域，尤其涉及一种监督数据变化的方法及终端。

背景技术

在大数据平台中接入数据后会***数据湖(Apache Hudi是一种数据湖的存储格式，在Hadoop文件***之上提供了更新数据和删除数据的能力以及消费变化数据的能力。)的贴源层贴源层表对数据都是***操作，无删除和编辑操作，在每次数据接入过程中不管业务字段主键是否存在都会***Hudi贴源层表，贴源层表的主键不是业务主键，而是自动生成的一个每一条数据唯一标识的主键，因为是要保留所有用户加入大数据平台的历史数据。在做这样的情况下，我们需要统计用户接入的一批次数据中分别是多少条新增、编辑和删除。就需要一个针对每一批次的每一条数据的识别技术。

在对一条记录（主键相同为一条记录）数据***表后，监督数据变化的方法，通常是利用记录中存在的某一字段，标识该记录是否有效，通过记录***的先后顺序与字段标识相结合，判断该记录***后的状态处于增删改中的哪一种。例如当前***的记录，字段标识为无效，则该记录当前的状态处于删除（无效）状态；当前***的记录，字段标识为有效，并且***的时间最早，那么该记录当前处于的状态为新增（有效）状态；当前***的记录，字段标识为有效，但是由于其***次序靠后（时间较晚），那么该记录当前状态处于修改（有效）状态。

现有技术中的这种标识方式，不具备精准识别当前记录当前所处状态的能力，当前记录当前所处状态实际取决于当前状态的前一个状态（例如：当当前记录被标识为有效时，由于当前记录的前一个状态为删除，所以该记录当前状态应为新增）。上述技术在识别当前记录当前所处状态为修改（有效）状态时，存在缺陷。当当前记录的前一状态为删除（失效）状态时，根据上述技术的识别手段，该记录的当前状态由于***的次序靠后（时间较晚），并且为有效状态，因此会被识别为修改（有效）状态，有悖于实际状态（实际状态为新增）。

发明内容

本发明所要解决的技术问题是：提供一种监督数据变化的方法及终端，实现在大数据平台导入过程中对数据状态的准确标记。

为了解决上述技术问题，本发明采用的一种技术方案为：

一种监督数据变化的方法，包括步骤：

将主表的每一条修改记录存入附表中，所述修改记录包括修改时间、有效标识及业务标识；

根据所述业务标识将所述修改记录分组；

在每一所述分组内将所述修改记录按照修改时间由远及近排序；

根据所述排序及所述有效标识得到所述业务标识对应的当前状态。

为了解决上述技术问题，本发明采用的另一种技术方案为：

一种监督数据变化的终端，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

将主表的每一条修改记录存入附表中，所述修改记录包括修改时间、有效标识及业务标识；

根据所述业务标识将所述修改记录分组；

在每一所述分组内将所述修改记录按照修改时间由远及近排序；

根据所述排序及所述有效标识得到所述业务标识对应的当前状态。

本发明的有益效果在于：修改主表之后，将每一条修改记录都在附表中进行存储，修改记录中包括修改时间、有效标识以及业务标识，根据业务标识将修改记录分组，并在组内按照修改时间排序，最后根据排序和有效标识得到业务标识对应的当前状态，不仅仅按照最新的有效标识直接得到当前状态，而是根据时间顺序排序之后，综合排序和有效标识得到当前状态，能够对主表状态的改变进行准确并且有效的监督，避免了当前状态的误判。

附图说明

图1为本发明实施例的一种监督数据变化的方法的步骤流程图；

图2为本发明实施例的一种监督数据变化的终端的结构示意图；

标号说明：

1、一种监督数据变化的终端；2、处理器；3、存储器。

具体实施方式

为详细说明本发明的技术内容、所实现目的及效果，以下结合实施方式并配合附图予以说明。

请参照图1，一种监督数据变化的方法，包括步骤：

将主表的每一条修改记录存入附表中，所述修改记录包括修改时间、有效标识及业务标识；

根据所述业务标识将所述修改记录分组；

在每一所述分组内将所述修改记录按照修改时间由远及近排序；

根据所述排序及所述有效标识得到所述业务标识对应的当前状态。

从上述描述可知，本发明的有益效果在于：修改主表之后，将每一条修改记录都在附表中进行存储，修改记录中包括修改时间、有效标识以及业务标识，根据业务标识将修改记录分组，并在组内按照修改时间排序，最后根据排序和有效标识得到业务标识对应的当前状态，不仅仅按照最新的有效标识直接得到当前状态，而是根据时间顺序排序之后，综合排序和有效标识得到当前状态，能够对主表状态的改变进行准确并且有效的监督，避免了当前状态的误判。

进一步地，所述将主表的每一条修改记录存入附表中包括：

接收主表修改信号，所述修改信号包括业务标识及有效标识；所述业务标识唯一标识修改的业务，所述有效标识标识业务标识对应的业务数据的有效状态；

获取所述修改信号对应的修改时间；

将所述修改时间、有效标识及业务标识存入附表中，并自动生成附表主键。

由上述描述可知，根据主表修改信号存储修改的业务数据对应的业务标识、数据的有效标识以及修改时间，并在存储到附表的过程中自动生成附表主键，在将主表的修改都进行对应存储的基础上，以主键将其区分开，方便在附表中进行定位和查询。

进一步地，所述根据所述业务标识将所述修改记录分组包括：

将业务标识相同的所述修改记录分为同一组。

由上述描述可知，将业务标识相同的修改记录分在同一组中，则同一组中的修改记录对应同业务标识对应的业务数据的修改，方便获取单个业务标识所对应的业务数据的当前状态。

进一步地，所述有效标识包括第一有效标识及第二有效标识，所述第一有效标识表示数据有效，所述第二有效标识表示数据无效；

所述根据所述排序及所述有效标识得到所述业务标识对应的当前状态包括：

获取排序最末的两条修改记录，标记为第一修改记录及第二修改记录，所述第一修改记录的修改时间在所述第二修改记录的修改时间之前；

获取第一修改记录的第一目标有效标识以及所述第二修改记录的第二目标有效标识，计算所述第一修改记录中第一目标有效标识与第二目标有效标识的和；

根据所述和以及所述第二目标有效标识得到所述业务标识对应的当前状态。

由上述描述可知，用第一有效标识数据和第二有效标识数据分别表示数据有效和无效，通过获取修改时间记录最新的两条数据，对比相邻两条有效标识的数据情况，就能够获取当前状态，将复杂的逻辑判断转换为了简单的数学计算过程。

进一步地，所述第一有效标识为1，所述第二有效标识为0；

所述根据所述和以及所述第二目标有效标识得到所述业务标识对应的当前状态包括：

计算所述第一目标有效标识和第二目标有效标识的和，若所述第一目标有效标识及所述第二目标有效标识的和为0且所述第二目标有效标识为0，则所述当前状态为删除；

若所述第一目标有效标识及所述第二目标有效标识的和为1且所述第二目标有效标识为1，则所述当前状态为新增；

若所述第一目标有效标识及所述第二目标有效标识的和为1且所述第二目标有效标识为0，则所述当前状态为删除；

若所述第一目标有效标识及所述第二目标有效标识的和为2且所述第二目标有效标识为1，则所述当前状态为编辑。

由上述描述可知，使用0和1作为有效标识，在存储中所占的存储位置少，且计算过程简单，计算得到的结果类型少，进一步简化了计算的过程。

一种监督数据变化的终端，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现以下步骤：

将主表的每一条修改记录存入附表中，所述修改记录包括修改时间、有效标识及业务标识；

根据所述业务标识将所述修改记录分组；

在每一所述分组内将所述修改记录按照修改时间由远及近排序；

根据所述排序及所述有效标识得到所述业务标识对应的当前状态。

本发明的有益效果在于：修改主表之后，将每一条修改记录都在附表中进行存储，修改记录中包括修改时间、有效标识以及业务标识，根据业务标识将修改记录分组，并在组内按照修改时间排序，最后根据排序和有效标识得到业务标识对应的当前状态，不仅仅按照最新的有效标识直接得到当前状态，而是根据时间顺序排序之后，综合排序和有效标识得到当前状态，避免了当前状态的误判。

进一步地，所述将主表的每一条修改记录存入附表中包括：

接收主表修改信号，所述修改信号包括业务标识及有效标识；所述业务标识唯一标识修改的业务，所述有效标识标识业务标识对应的业务数据的有效状态；

获取所述修改信号对应的修改时间；

将所述修改时间、有效标识及业务标识存入附表中，并自动生成附表主键。

由上述描述可知，根据主表修改信号存储修改的业务数据对应的业务标识、数据的有效标识以及修改时间，并在存储到附表的过程中自动生成附表主键，在将主表的修改都进行对应存储的基础上，以主键将其区分开，方便在附表中进行定位和查询。

进一步地，所述根据所述业务标识将所述修改记录分组包括：

将业务标识相同的所述修改记录分为同一组。

由上述描述可知，将业务标识相同的修改记录分在同一组中，则同一组中的修改记录对应同业务标识对应的业务数据的修改，方便获取单个业务标识所对应的业务数据的当前状态。

进一步地，所述有效标识包括第一有效标识及第二有效标识，所述第一有效标识表示数据有效，所述第二有效标识表示数据无效；

所述根据所述排序及所述有效标识得到所述业务标识对应的当前状态包括：

获取排序最末的两条修改记录，标记为第一修改记录及第二修改记录，所述第一修改记录的修改时间在所述第二修改记录的修改时间之前；

获取第一修改记录的第一目标有效标识以及所述第二修改记录的第二目标有效标识，计算所述第一修改记录中第一目标有效标识与第二目标有效标识的和；

根据所述和以及所述第二目标有效标识得到所述业务标识对应的当前状态。

由上述描述可知，用第一有效标识数据和第二有效标识数据分别表示数据有效和无效，通过获取修改时间记录最新的两条数据，对比相邻两条有效标识的数据情况，就能够获取当前状态，将复杂的逻辑判断转换为了简单的数学计算过程。

进一步地，所述第一有效标识为1，所述第二有效标识为0；

所述根据所述和以及所述第二目标有效标识得到所述业务标识对应的当前状态包括：

计算所述第一目标有效标识和第二目标有效标识的和，若所述第一目标有效标识及所述第二目标有效标识的和为0且所述第二目标有效标识为0，则所述当前状态为删除；

若所述第一目标有效标识及所述第二目标有效标识的和为1且所述第二目标有效标识为1，则所述当前状态为新增；

若所述第一目标有效标识及所述第二目标有效标识的和为1且所述第二目标有效标识为0，则所述当前状态为删除；

若所述第一目标有效标识及所述第二目标有效标识的和为2且所述第二目标有效标识为1，则所述当前状态为编辑。

由上述描述可知，使用0和1作为有效标识，在存储中所占的存储位置少，且计算过程简单，计算得到的结果类型少，进一步简化了计算的过程。

本发明上述一种能够适用于，以下通过具体实施方式进行说明

请参照图1，本发明的实施例一为：

一种监督数据变化的方法，具体包括：

S1、将主表的每一条修改记录存入附表中，所述修改记录包括修改时间、有效标识及业务标识，包括：

S11、接收主表修改信号，所述修改信号包括业务标识及有效标识；所述业务标识唯一标识修改的业务，所述有效标识标识业务标识对应的业务数据的有效状态；

其中，所述有效标识包括第一有效标识及第二有效标识，所述第一有效标识表示数据有效，所述第二有效标识表示数据无效（即已删除）；

在一种可选的实施方式中，所述第一有效标识为1，所述第二有效标识为0；

S12、获取所述修改信号对应的修改时间；

S13、将所述修改时间、有效标识及业务标识存入附表中，并自动生成附表主键；

例如，得到附表如下表1，其中，id为业务标识，表示业务主键字段；name表示名字字段、age表示年龄字段，***内置字段：o_id表示附表主键字段、o_insert_time表示修改时间字段、o_valid表示有效标识字段，该附表在***数据的时候仅有***动作，保留所有历史数据，即无论是id字段的值是否重复、o_valid字段值是1和0均是***到该附表；其中，名字字段和年龄字段仅为示例，可以根据不同需要设置，如设置为身份证号；

表1

S2、根据所述业务标识将所述修改记录分组；

在一种可选的实施方式中，将业务标识相同的修改记录分为同一组；

例如，表1中的数据可以分为两组，如下表2和表3：

表2

表3

S3、在每一所述分组内将所述修改记录按照修改时间由远及近排序；

S4、根据所述排序及所述有效标识得到所述业务标识对应的当前状态，包括：

S41、获取排序最末的两条修改记录，标记为第一修改记录及第二修改记录，所述第一修改记录的修改时间在所述第二修改记录的修改时间之前；

S42、获取第一修改记录的第一目标有效标识以及所述第二修改记录的第二目标有效标识，计算所述第一修改记录中第一目标有效标识与第二目标有效标识的和；

S43、根据所述和以及所述第二目标有效标识得到所述业务标识对应的当前状态，包括：

计算所述第一目标有效标识和第二目标有效标识的和，若所述第一目标有效标识及所述第二目标有效标识的和为0且所述第二目标有效标识为0，则所述当前状态为删除；

若所述第一目标有效标识及所述第二目标有效标识的和为1且所述第二目标有效标识为1，则所述当前状态为新增；

若所述第一目标有效标识及所述第二目标有效标识的和为1且所述第二目标有效标识为0，则所述当前状态为删除；

若所述第一目标有效标识及所述第二目标有效标识的和为2且所述第二目标有效标识为1，则所述当前状态为编辑，通过对FlinkSql自定义聚合函数的重写，并指定排序字段来定位第一目标有效标识，计算第一目标有效标识与第二目标有效标识的和，最终实现对当前状态的精准判定，总结如下表4：

表4

在一种可选的实施方式中，若当前行（第二修改记录）就是第一行，则虚拟出上一行（第一修改记录）的数据全为0；

在一种可选的实施方式中，步骤S41可以替换为：获取相邻的两条修改记录，标记为第一修改记录及第二修改记录，所述第一修改记录的修改时间在所述第二修改记录的修改时间之前，则可以获取到第二修改记录出现时对应的当前状态。

请参照图2，本发明的实施例二为：

一种监督数据变化的终端1，包括处理器2、存储器3及存储在存储器3上并可在所述处理器2上运行的计算机程序，所述处理器2执行所述计算机程序时实现实施例一中的各个步骤。

综上所述，本发明提供了一种监督数据变化的方法及终端，避免了在对记录数据***表后识别数据的增删改时添加过多的主观因素，直接从业务逻辑出发，将会有以下几种情况：新增，当修改记录第一次***表，并且该记录的字段标识为有效，那么该记录当前所处状态为新增（有效）状态；当修改记录非第一次***表，并且该记录的字段标识为有效，此时，若该记录的前一个状态为删除，那么该记录当前所处的状态为新增（有效）状态；删除，无论修改记录是否是第一次***表，只要被其字段标识为无效，那么该记录当前所处状态为删除（失效）状态；修改，当修改记录并非第一次***表时，并且该记录的字段标识为有效，此时，若该记录的前一个状态不为删除，那么该记录当前所处的状态为修改（有效）状态；由于上述技术方案能够完整的复述上述业务逻辑，则具备了精准识别当前记录当前所处状态的能力，为最终结果的正确性提供了有力保证，具备精准识别当前记录当前所处状态的能力，解决了错误识别记录数据***表后状态的问题，对后续业务需求的开展起到了关键作用，保证了最终结果的准确性。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等同变换，或直接或间接运用在相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (6)

1.一种监督数据变化的方法，其特征在于，包括步骤：

将主表的每一条修改记录存入附表中，所述修改记录包括修改时间、有效标识及业务标识；

根据所述业务标识将所述修改记录分组；

在每一所述分组内将所述修改记录按照修改时间由远及近排序；

根据所述排序及所述有效标识得到所述业务标识对应的当前状态；

所述有效标识包括第一有效标识及第二有效标识，所述第一有效标识表示数据有效，所述第二有效标识表示数据无效；

所述根据所述排序及所述有效标识得到所述业务标识对应的当前状态包括：

获取排序最末的两条修改记录，标记为第一修改记录及第二修改记录，所述第一修改记录的修改时间在所述第二修改记录的修改时间之前；

获取第一修改记录的第一目标有效标识以及所述第二修改记录的第二目标有效标识，计算所述第一修改记录中第一目标有效标识与第二目标有效标识的和；

根据所述和以及所述第二目标有效标识得到所述业务标识对应的当前状态；

所述第一有效标识为1，所述第二有效标识为0；

所述根据所述和以及所述第二目标有效标识得到所述业务标识对应的当前状态包括：

计算所述第一目标有效标识和第二目标有效标识的和，若所述第一目标有效标识及所述第二目标有效标识的和为0且所述第二目标有效标识为0，则所述当前状态为删除；

若所述第一目标有效标识及所述第二目标有效标识的和为1且所述第二目标有效标识为1，则所述当前状态为新增；

若所述第一目标有效标识及所述第二目标有效标识的和为1且所述第二目标有效标识为0，则所述当前状态为删除；

若所述第一目标有效标识及所述第二目标有效标识的和为2且所述第二目标有效标识为1，则所述当前状态为编辑。

2.根据权利要求1所述的一种监督数据变化的方法，其特征在于，所述将主表的每一条修改记录存入附表中包括：

接收主表修改信号，所述修改信号包括业务标识及有效标识；所述业务标识唯一标识修改的业务，所述有效标识标识业务标识对应的业务数据的有效状态；

获取所述修改信号对应的修改时间；

将所述修改时间、有效标识及业务标识存入附表中，并自动生成附表主键。

3.根据权利要求1所述的一种监督数据变化的方法，其特征在于，所述根据所述业务标识将所述修改记录分组包括：

将业务标识相同的所述修改记录分为同一组。

4.一种监督数据变化的终端，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现以下步骤：

将主表的每一条修改记录存入附表中，所述修改记录包括修改时间、有效标识及业务标识；

根据所述业务标识将所述修改记录分组；

在每一所述分组内将所述修改记录按照修改时间由远及近排序；

根据所述排序及所述有效标识得到所述业务标识对应的当前状态；

所述有效标识包括第一有效标识及第二有效标识，所述第一有效标识表示数据有效，所述第二有效标识表示数据无效；

所述根据所述排序及所述有效标识得到所述业务标识对应的当前状态包括：

获取排序最末的两条修改记录，标记为第一修改记录及第二修改记录，所述第一修改记录的修改时间在所述第二修改记录的修改时间之前；

获取第一修改记录的第一目标有效标识以及所述第二修改记录的第二目标有效标识，计算所述第一修改记录中第一目标有效标识与第二目标有效标识的和；

根据所述和以及所述第二目标有效标识得到所述业务标识对应的当前状态；

所述第一有效标识为1，所述第二有效标识为0；

所述根据所述和以及所述第二目标有效标识得到所述业务标识对应的当前状态包括：

计算所述第一目标有效标识和第二目标有效标识的和，若所述第一目标有效标识及所述第二目标有效标识的和为0且所述第二目标有效标识为0，则所述当前状态为删除；

若所述第一目标有效标识及所述第二目标有效标识的和为1且所述第二目标有效标识为1，则所述当前状态为新增；

若所述第一目标有效标识及所述第二目标有效标识的和为1且所述第二目标有效标识为0，则所述当前状态为删除；

若所述第一目标有效标识及所述第二目标有效标识的和为2且所述第二目标有效标识为1，则所述当前状态为编辑。

5.根据权利要求4所述的一种监督数据变化的终端，其特征在于，所述将主表的每一条修改记录存入附表中包括：

接收主表修改信号，所述修改信号包括业务标识及有效标识；所述业务标识唯一标识修改的业务，所述有效标识标识业务标识对应的业务数据的有效状态；

获取所述修改信号对应的修改时间；

将所述修改时间、有效标识及业务标识存入附表中，并自动生成附表主键。

6.根据权利要求4所述的一种监督数据变化的终端，其特征在于，所述根据所述业务标识将所述修改记录分组包括：

将业务标识相同的所述修改记录分为同一组。

Images