CN114595291A - 基于数据库注释的归集任务调整方法、装置 - Google Patents

Abstract

本申请提出了一种基于数据库注释的归集任务调整方法、装置，包括以下步骤：在数据归集平台上建立针对不同归集数据的至少一归集任务，在数据库中基于归集数据的归集任务调整情况修改归集数据的元数据和/或添加归集注释信息，其中元数据记录对应解释归集数据的解释数据，归集注释信息记录对应归集数据的任务调整信息；数据归集平台同步获取归集数据及对应的元数据和/或归集注释信息，若检测到元数据发生变化或含有归集注释信息，则关联归集数据对应的归集任务，基于元数据和/或归集注释信息对所述归集任务进行调整，可根据元数据和/或归集注释信息快速的获悉归集数据的归集任务调整情况，提高数据归集任务调整的效率。

Description

基于数据库注释的归集任务调整方法、装置

技术领域

本申请涉及大数据处理的领域，特别是涉及一种基于数据库注释的归集任务调整方法、装置。

背景技术

数据归集指的是将不同来源的数据进行归集整合到同一数据库中。在数据归集工作的前期，相关的数据实施人员会根据需要归集的数据信息建立相关的归集任务，但由于初期存在数据信息不完全、数据字段设计不合理的问题，导致在后期运行过程中需要重新在数据库中调整元数据和数据表的归集方式，然而在数据库调整完元数据之后需要管理人员手动调整相关归集任务。

也就是说，目前发生归集任务时，发生的归集任务的修改独立的，且只能由管理人员在平台上手动进行修改，增加管理人员的实施步骤。

发明内容

本申请实施例提供了一种基于数据库注释的归集任务调整方法、装置，通过在数据库中调整元数据时通过增加注释的方式，快速调整已建立的归集任务的配置信息，减少数据实施人员的操作流程的同时增加了归集效率。

第一方面，本申请实施例提供了一种基于数据库注释的归集任务调整方法，所述方法包括：在数据归集平台上建立针对不同归集数据的至少一归集任务，其中每一所述归集任务的配置信息至少包括归集数据来源、归集数据目标以及任务信息；

在数据库中基于归集数据的归集任务调整情况修改所述归集数据的元数据和/或添加归集注释信息，其中所述元数据记录对应解释所述归集数据的解释数据，所述归集注释信息记录对应所述归集数据的任务调整信息，所述任务调整信息用于调整所述归集任务的任务信息；

所述数据归集平台同步获取所述归集数据及对应的元数据和/或归集注释信息，若检测到所述元数据发生变化或含有归集注释信息，则关联所述归集数据对应的归集任务，基于所述元数据和/或所述归集注释信息对所述归集任务进行调整。

第二方面，本申请实施例提供了一种基于数据库注释的归集任务调整装置，包括：

任务建立单元，用于在数据归集平台上建立针对不同归集数据的至少一归集任务，其中每一所述归集任务的配置信息至少包括归集数据来源、归集数据目标以及任务信息；

注释填写单元，用于在数据库中基于归集数据的归集任务调整情况修改所述归集数据的元数据和/或添加归集注释信息，其中所述元数据记录对应解释所述归集数据的解释数据，所述归集注释信息记录对应所述归集数据的任务调整信息，所述任务调整信息用于调整所述归集任务的任务信息；

归集调整单元，用于所述数据归集平台同步获取所述归集数据及对应的元数据和/或归集注释信息，若检测到所述元数据发生变化或含有归集注释信息，则关联所述归集数据对应的归集任务，基于所述元数据和/或所述归集注释信息对所述归集任务进行调整。

第三方面，本申请实施例提供了一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述的基于数据库注释的归集任务调整方法。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括所述的基于数据库注释的归集任务调整方法。

本发明的主要贡献和创新点如下：

本申请实施例通过在数据表中对归集数据修改元数据或者添加表征字段注释或表注释的归集注释信息，使得数据归集平台在同步数据库中的归集数据后，可根据元数据和/或归集注释信息快速的获悉归集数据的归集任务调整情况，并基于归集任务调整情况对已建立的归集任务进行自动调整，不再需要人工手动调整，提高数据归集任务调整的效率。

本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的基于数据库注释的归集任务调整方法的流程图；

图2是根据本申请实施例的归集连接关系配置信息的配置示意图；

图3是根据本申请一种实施例的基于数据库注释的归集任务调整方法的逻辑框架示意图；

图4是根据本申请实施例的基于数据库注释的归集任务调整装置的结构框图；

图5是根据本申请实施例的电子装置的硬件结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。

需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。

实施例一

本申请实施例提供了一种基于数据库注释的归集任务调整方法，具体地，参考图1，所述方法包括：

在数据归集平台上建立针对不同归集数据的至少一归集任务，其中每一所述归集任务的配置信息至少包括归集数据来源、归集数据目标以及任务信息；

在数据库中基于归集数据的归集任务调整情况修改所述归集数据的元数据和/或添加归集注释信息，其中所述元数据记录对应解释归集数据的解释数据，所述归集注释信息记录对应归集数据的任务调整信息，所述任务调整信息用于调整所述归集任务的任务信息；

所述数据归集平台同步获取所述归集数据及对应的元数据和/或归集注释信息，若检测到所述元数据发生变化或含有归集注释信息，则关联所述归集数据对应的归集任务，基于所述元数据和/或所述归集注释信息对所述归集任务进行调整。

本方案独创地在数据库的归集数据的注释中引入了归集注释信息，元数据可理解为对归集数据的常规注释，利用归集注释信息和元数据来记录不同归集任务的调整，并利用这些元数据和归集注释信息实现归集任务的自动调整，解决了传统需要手工调整归集任务存在的技术难题。本方案提供的归集注释信息和元数据进行区分，归集注释信息仅针对归集任务发生调整的特定数据的任务调整情况进行注释说明。

为了实现数据归集，首先需要在数据归集平台上建立采集归集数据的至少一归集任务。基于配置好的所述归集任务可实现将不同数据库或不同数据表内的归集数据归集到目标数据库或目标数据表中，不同的归集任务需要配置不同的配置信息。

以下阐述本方案创建的归集任务的配置信息：

所述归集数据来源用于配置该归集任务所需要采集数据的来源位置，包括但不限于：数据来源、源表以及来源字段；所述归集数据目标用于配置该归集任务所需要采集的归集数据的目标位置，包括但不限于数据目标、源表以及目标字段。

数据来源，用于配置归集数据的来源，可以是归集数据的来源数据库；数据目标，用于配置归集数据的归集地，可以是归集数据的目标数据库；源表，用于配置归集数据的来源数据表，源表存储于来源数据库中；目标表，用于配置归集数据的目标数据表，目标表存储于目标数据库中；来源字段，用于配置归集数据在源表中的字段；目标字段，用于配置归集数据在目标表中的字段。

在本方案的实施例中，本方案的任务信息包括归集连接关系配置信息、调度配置信息、归集方式、归集依据字段、数据时间范围、任务调度前移的数据截止时间的至少一种。若不需要设置定时任务的话，则不需要配置调度配置信息以及任务调度前移的数据截止时间。

其中归集连接关系配置信息配置归集数据来源和归集数据目标之间的连接关系，具体的可以为：来源字段和目标字段之间的连接关系。示例性的，如图2所示，来源字段ID和目标字段id之间连接，来源字段Name和目标字段name连接，来源字段Age和目标字段age之间连接。

调度配置信息用于配置归集任务的定时任务。在一些实施例中，由Cron表达式作为归集任务的调度配置信息，以完成定时任务的调度。

归集方式包括全量和增量两种，全量表示目标表内的数据更新方式是不保留原始数据，将数据全部更新；增量表示目标表中的数据更新方式是保留原始数据，而增加新的数据。

归集依据字段用于配置归集任务的归集依据，源表中的数据根据归集依据字段为依据进行数据归集，归集依据字段默认为空。

数据时间范围用于配置归集任务的归集时间范围，表示源表中的数据在数据时间范围内进行数据归集，时间范围数字为大于0的整数，单位为s/m/h/d（秒/分钟/小时/天）。

任务调度前移的数据截止时间：配置定时任务调度时的前移时间，用于表征数据表的归集数据的最晚时间，时间范围数字为大于0的整数，单位为s/m/h/d（秒/分钟/小时/天）。

例如，若某归集任务的任务归集信息为：调度配置信息为每天1点，任务调度前移的数据截止时间为1小时，数据时间范围为1天，归集依据字段为time；则表示该归集任务在每天1点任务运行时，以time内的时间为依据，过滤出（1点-1小时=0点）0点往前1天内的归集数据（即前一天0点到当天0点的数据）进行归集。

通过以上描述可知，数据采集平台内配置好的归集任务，归集任务即可对数据库中符合规则的归集数据进行归集。

在“在数据库中基于归集数据的归集任务调整情况修改所述归集数据的元数据和/或添加归集注释信息”步骤中，元数据指的是用于解释归集数据的解释数据，在本方案中主要指的是表及字段的实际变动信息，如删除、修改等，归集注释信息根据注释的归集数据的类型可区分为表数据和字段数据。

值得一提的是，“归集任务调整情况”包括几种情况：当所述归集任务调整情况为归集数据的数据变动但是归集任务的任务信息未变动，将所述数据变动的内容作为解释数据填写入对应的元数据中；当所述归集任务调整情况为归集数据的数据变动且归集任务的任务信息变动，将所述数据变动的内容作为解释数据填写入对应的元数据中，将所述任务信息变动的内容作为任务调整信息填写入对应的归集注释信息；当所述归集任务调整情况为归集数据的数据不变动但归集任务的任务信息变动，将所述任务信息变动的内容作为任务调整信息填写入对应的归集注释信息。

示例性的，若归集数据的归集任务调整情况为：源表的表名发生变化，则解释数据为：源表表名变化，变化名称为“xx”,该解释数据被记录为元数据；此时由于不涉及归集任务内容的变动，故可不添加归集注释信息。

若归集数据的归集任务调整情况为：源表内添加字段，采用全归集的方式，则解释数据为：源表添加字段，字段名为“xx”,对应该字段的归集任务内容会发生变化，则该解释数据被记录为元数据，且添加归集注释信息。

若归集数据的归集任务调整情况为：源表内字段的调度配置时间发生变动，则不需要修改元数据，仅需要将变动的调度配置时间作为归集注释信息。

另外本方案的归集注释信息是独创的，具体内容如下所表一所示：

表一 归集注释信息

具体的，若所述归集数据的类型是表数据，对应的所述归集注释信息可以定义为表注释，表注释包括：归集状态注释、归集方式注释、保留时间注释、调度配置注释、数据时间范围注释、任务调度前移的数据截止时间注释的至少一种；若所述归集数据的类型是字段数据，对应的所述归集注释信息可以定义为字段注释，字段注释包括：归集状态注释以及保留时间注释的至少一种。

示例性，当归集数据的归集任务调整情况为：新增字段“name”,则所述归集注释信息为字段数据，记录元数据为“新增名字”名称为“name”，归集注释信息为“##1##”，此时所述数据库的注释信息为：“名称##1##”。

当然，对于同一归集数据可能存在多个归集任务发生调整时，则可能含有多个归集注释信息，多个归集注释信息之间累加。

在“所述数据归集平台同步获取所述归集数据的元数据和/或归集注释信息”步骤中，所述归集数据的元数据和/或归集注释信息可离线或实时同步到数据归集平台中，而数据归集平台不仅仅获取相关的元数据还可以解析所述元数据对应的归集注释信息。

本方案的归集注释信息和特定的数据归集平台对应，也就是说，对应不同数据归集平台可设置不同类型的归集注释信息。

为了减少数据量，数据归集平台在采集到所述元数据对应的归集注释信息，数据库内的所述归集注释信息删除。同时归集注释信息只在元数据变更当下作用于当时的数据有效，且仅用于当时的归集任务调整，同时为了不在数据归集平台增加无效的连接字段，另外为了避免短时间内二次修改需要填充重复的归集注释信息的情况，数据归集平台缓存保留时间后删除所述归集注释信息，所述保留时间相关于所述归集注释信息。如前所述，归集注释信息包括保留时间注释，该保留时间注释内配置该归集注释信息在数据归集平台中的保留时间。

在“若检测到所述元数据发生变化或含有归集注释信息，则关联所述归集数据对应的归集任务”步骤中，包括三种：元数据变更但没有归集注释信息，元数据未变更但有归集注释信息，元数据变更且有归集注释信息。

本方案通过所述元数据可直接关联对应的归集任务，具体的，所述元数据会记录所述归集数据的唯一识别信息，利用该唯一识别信息可关联所述数据归集平台内的归集任务。比如数据归集平台可通过相关表名，在创建的系列归集任务中找到相关表的归集任务。

参考图3可知，在“所若检测到所述元数据发生变化或含有归集注释信息，则关联所述归集数据对应的归集任务”步骤中，若检测到所述元数据变更但没有归集注释信息，则关联所述归集数据对应的归集任务，并以变更的元数据的替换所述归集任务中的归集数据来源和/或归集数据目标。

示例性，若所述元数据内记录发生变化的数据来源、源表、来源字段，或者数据目标、目标表以及目标字段的调整内容，但不涉及相关的归集注释信息，则直接修改所述归集任务中对应的信息。具体的，若所述归集数据对应的源表的名称改变，则直接修改所述归集数据的归集数据来源中的表名。

在“若检测到所述元数据发生变化或含有归集注释信息，则关联所述归集数据对应的归集任务”步骤中，若所述元数据未变更但有归集注释信息，则关联所述归集数据对应的归集任务，以所述归集注释信息替换所述归集任务的任务信息。这样的话可实现以归集注释信息修改归集任务的效果。

在“若检测到所述元数据发生变化或含有归集注释信息，则关联所述归集数据对应的归集任务”步骤中，若所述元数据变更且含有归集注释信息，则关联所述归集数据对应的归集任务，基于所述归集状态注释和所述元数据对所述归集任务做出对应的调整。

具体的，所述归集状态注释对应的情况有源表修改字段、源表增加字段、源表删除字段、目标表修改字段、目标表增加字段以及目标表删除字段这六种情况。也就是说，当出现表或字段的变动时对应的元数据会记录这些变动情况。当出现源表修改字段和目标表修改字段时，对应填写字段数据的归集状态注释，当出现源表增加字段和目标表增加字段时，对应填写表数据的归集状态注释和字段数据的归集状态注释，当出现源表删除字段和目标表删除字段时，填写字段数据的归集状态注释为不归集。

若所述归集状态注释对应的任务调整情况为源表修改字段时，所述元数据内填写调整内容为：源表内修改字段以及需要修改的待修改字段，所述归集状态注释填写该待修改字段的归集状态；若所述归集状态注释对应的任务调整情况为目标表修改字段时，所述元数据内填写调整内容为：目标表内修改字段以及需要修改的待修改字段，所述归集状态注释填写该待修改字段的归集状态。也就是说，当数据库中的字段进行了修改，修改字段的信息以及需要被修改的字段记录在元数据内，平台在获取元数据时和现有的元数据进行比对并根据待修改字段找到对应的归集任务，并基于记录的所述归集状态注释进行归集任务中该修改字段的归集状态的变动。

若所述待修改字段在原先的归集任务中和其他字段并没有连接关系，则根据所述待修改字段的归集状态注释判断是否需要建立源表字段和目标表字段的连接状态，如果所述归集状态注释的内容为需要连接，则在目标表或源表中新增同名且内容一致的相应字段，并建立连接状态；若所述待修改字段在所述归集任务中已与其他字段有连接关系，则根据所述修改字段的归集状态注释修改和其他字段的连接关系。

具体的修改方式如下：

若所述归集状态注释为全归集，对应字段注释的所述归集状态注释表示为“##1##”，则保持所述待修改字段和其他字段的连接关系；若所述归集状态注释为不归集，对应字段注释所述归集状态注释表示为“##2##”，则取消所述待修改字段和其他字段的连接关系。

若所述归集状态注释对应的任务调整情况为源表删除字段，所述元数据内填写调整内容为：源表删除字段以及需要删除的待删除字段。若所述归集状态注释对应的任务调整情况为目标表删除字段，所述元数据内填写调整内容为：目标表删除字段以及需要删除的待删除字段，所述归集状态注释填写该待删除字段的归集状态为不归集，直接删除所述待删除字段并取消对应所述待删除字段的连接关系。

若所述归集状态注释对应的任务调整情况为源表增加字段时，所述元数据内填写调整内容为：源表增加字段以及需要增加的待增加字段，所述归集状态注释填写源表的归集状态注释以及该待增加字段的归集状态注释，基于所述源表的归集状态注释和所述待增加字段的归集状态注释判断所述待增加字段是否需要和目标字段建立连接。

当所述源表的归集状态注释为全归集时，所述待增加字段的归集状态注释为归集时，所述待增加字段需要和目标字段建立连接；当所述源表的归集状态注释为全归集时，所述待增加字段的归集状态注释为不归集时，所述待增加字段需要和目标字段不建立连接；当所述源表的归集状态注释为全归集时，所述待增加字段的归集状态注释为初始状态时，所述待增加字段需要和目标字段建立连接。值得说明的是，归集状态注释为初始状态指的是：字段没有归集状态数据，此时只需要依据表的归集状态注释进行归集任务的变动。

当所述源表的归集状态注释为不归集时，所述待增加字段的归集状态注释为归集时，所述待增加字段需要和目标字段建立连接；当所述源表的归集状态注释为全归集时，所述待增加字段的归集状态注释为不归集时，所述待增加字段需要和目标字段不建立连接；当所述源表的归集状态注释为不归集时，所述待增加字段的归集状态注释为初始状态时，所述待增加字段需要和目标字段不建立连接。

若所述待增加字段不需要和目标字段建立连接，则利用所述元数据更新所述归集任务中的字段信息即可。若所述待增加字段需要和目标字段建立连接，筛选目标表是否有相应的目标字段，若有的话则和所述待增加字段建立连接，若无的话则根据所述待增加字段在目标表中新增对应字段，并建立对应字段和所述待增加字段的连接关系。

若所述归集状态注释对应的任务调整情况为目标表增加字段时，所述元数据内填写解释数据为：目标表增加字段以及需要增加的待增加字段，所述归集状态注释填写目标表的归集状态注释以及该待增加字段的归集状态注释，基于所述目标表的归集状态注释和所述待增加字段的归集状态注释判断所述待增加字段是否需要和源字段建立连接。

当所述目标表的归集状态注释为全归集时，所述待增加字段的归集状态注释为归集时，所述待增加字段需要和源字段建立连接；当所述目标表的归集状态注释为全归集时，所述待增加字段的归集状态注释为不归集时，所述待增加字段需要和源字段不建立连接；当所述目标表的归集状态注释为全归集时，所述待增加字段的归集状态注释为初始状态时，所述待增加字段需要和源字段建立连接；

当所述目标表的归集状态注释为不归集时，所述待增加字段的归集状态注释为归集时，所述待增加字段需要和源字段建立连接；当所述目标表的归集状态注释为全归集时，所述待增加字段的归集状态注释为不归集时，所述待增加字段需要和源字段不建立连接；当所述目标表的归集状态注释为不归集时，所述待增加字段的归集状态注释为初始状态时，所述待增加字段需要和源字段不建立连接。

若所述待增加字段不需要和源字段建立连接，则利用所述元数据更新所述归集任务中的字段信息即可。若所述待增加字段需要和源字段建立连接，筛选目标表是否有相应的目标字段，若有的话则和所述待增加字段建立连接，若无的话则根据所述待增加字段在源表中新增对应字段，并建立对应字段和所述待增加字段的连接关系。

以上为本方案的实施方式，通过本方案提供的数据表的注释信息可实现元数据的修改以及归集任务的修改，不需要进行人工手工调整，极大地节省了数据实施人员的工作量。

实施例二

基于相同的构思，参考图4，本申请还提出了一种基于数据库注释的归集任务调整装置，包括：

任务建立单元301，用于在数据归集平台上建立针对不同归集数据的至少一归集任务，其中每一所述归集任务的配置信息至少包括归集数据来源、归集数据目标以及任务信息；

注释填写单元302，用于在数据库中基于归集数据的归集任务调整情况修改所述归集数据的元数据和/或添加归集注释信息，其中所述元数据记录对应解释所述归集数据的解释，所述归集注释信息记录对应所述归集数据的任务调整信息，所述任务调整信息用于调整所述归集任务的任务信息；

归集调整单元303，用于所述数据归集平台同步获取所述归集数据及对应的元数据和/或归集注释信息，若检测到所述元数据发生变化或含有归集注释信息，则关联所述归集数据对应的归集任务，基于所述元数据和/或所述归集注释信息对所述归集任务进行调整。

实施例三

本实施例还提供了一种电子装置，参考图5，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项基于数据库注释的归集任务调整方法实施例中的步骤。

具体地，上述处理器402可以包括中央处理器（CPU），或者特定集成电路（ApplicationSpecificIntegratedCircuit，简称为ASIC），或者可以被配置成实施本申请实施例的一个或多个集成电路。

其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器（HardDiskDrive，简称为HDD）、软盘驱动器、固态驱动器（SolidStateDrive，简称为SSD）、闪存、光盘、磁光盘、磁带或通用串行总线（UniversalSerialBus，简称为USB）驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除（或固定）的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性（Non-Volatile）存储器。在特定实施例中，存储器404包括只读存储器（Read-OnlyMemory，简称为ROM）和随机存取存储器（RandomAccessMemory，简称为RAM）。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM（ProgrammableRead-OnlyMemory，简称为PROM）、可擦除PROM（ErasableProgrammableRead-OnlyMemory，简称为EPROM）、电可擦除PROM（ElectricallyErasableProgrammableRead-OnlyMemory，简称为EEPROM）、电可改写ROM（ElectricallyAlterableRead-OnlyMemory，简称为EAROM）或闪存（FLASH）或者两个或更多个以上这些的组合。在合适的情况下，该RAM可以是静态随机存取存储器（StaticRandom-AccessMemory，简称为SRAM）或动态随机存取存储器（DynamicRandomAccessMemory，简称为DRAM），其中，DRAM可以是快速页模式动态随机存取存储器404（FastPageModeDynamicRandomAccessMemory，简称为FPMDRAM）、扩展数据输出动态随机存取存储器（ExtendedDateOutDynamicRandomAccessMemory，简称为EDODRAM）、同步动态随机存取内存（SynchronousDynamicRandom-AccessMemory，简称SDRAM）等。

存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。

处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种基于数据库注释的归集任务调整方法。

可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。

传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器（Network Interface Controller，简称为NIC），其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频（Radio Frequency，简称为RF）模块，其用于通过无线方式与互联网进行通讯。

输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是各类数据库中的归集数据和元数据等。

可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：

在数据归集平台上建立针对不同归集数据的至少一归集任务，其中每一所述归集任务的配置信息至少包括归集数据来源、归集数据目标以及任务信息；

在数据库中基于归集数据的归集任务调整情况修改所述归集数据的元数据和/或添加归集注释信息，其中所述元数据记录对应解释所述归集数据的解释，所述归集注释信息记录对应所述归集数据的任务调整信息，所述任务调整信息用于调整所述归集任务的任务信息；

所述数据归集平台同步获取所述归集数据及对应的元数据和/或归集注释信息，若检测到所述元数据发生变化或含有归集注释信息，则关联所述归集数据对应的归集任务，基于所述元数据和/或所述归集注释信息对所述归集任务进行调整。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、***、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。

本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如DVD及其数据变体、CD等光学介质上。物理介质是非瞬态介质。

本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请的保护范围应以所附权利要求为准。

Claims (15)

1.一种基于数据库注释的归集任务调整方法，其特征在于，包括：

在数据归集平台上建立针对不同归集数据的至少一归集任务，其中每一所述归集任务的配置信息至少包括归集数据来源、归集数据目标以及任务信息；

在数据库中基于归集数据的归集任务调整情况修改所述归集数据的元数据和/或添加归集注释信息，其中所述元数据记录对应解释所述归集数据的解释数据，所述归集注释信息记录对应归集数据的任务调整信息，所述任务调整信息用于调整所述归集任务的任务信息；

所述数据归集平台同步获取所述归集数据及对应的元数据和/或归集注释信息，若检测到所述元数据发生变化或含有归集注释信息，则关联所述归集数据对应的归集任务，基于所述元数据和/或所述归集注释信息对所述归集任务进行调整。

2.根据权利要求1所述的基于数据库注释的归集任务调整方法，其特征在于，若所述元数据变更且含有归集注释信息，则关联所述归集数据对应的归集任务，基于所述归集注释信息中的归集状态注释和所述元数据对所述归集任务做出对应的调整。

3.根据权利要求2所述的基于数据库注释的归集任务调整方法，其特征在于，若所述归集状态注释对应的任务调整情况为源表修改字段或目标表修改字段，所述元数据内填写源表修改字段或目标表修改字段以及需要修改的待修改字段，所述归集状态注释填写所述待修改字段的归集状态，根据所述待修改字段的归集状态注释修改和其他字段的连接关系。

4.根据权利要求2所述的基于数据库注释的归集任务调整方法，其特征在于，若所述归集状态注释对应的任务调整情况为源表删除字段或目标表删除字段，所述元数据内填写源表删除字段或目标表删除字段以及需要删除的待删除字段，所述归集状态注释填写该待删除字段的归集状态为不归集，直接删除所述待删除字段并取消对应所述待删除字段的连接关系。

5.根据权利要求2所述的基于数据库注释的归集任务调整方法，其特征在于，若所述归集状态注释对应的任务调整情况为源表增加字段时，所述元数据内填写调整内容为：源表增加字段以及需要增加的待增加字段，所述归集状态注释填写源表的归集状态注释以及所述待增加字段的归集状态注释，基于所述源表的归集状态注释和所述待增加字段的归集状态注释判断所述待增加字段是否需要和目标字段建立连接。

6.根据权利要求2所述的基于数据库注释的归集任务调整方法，其特征在于，若所述归集状态注释对应的任务调整情况为目标表增加字段时，所述元数据内填写调整内容为：目标表增加字段以及需要增加的待增加字段，所述归集状态注释填写目标表的归集状态注释以及该待增加字段的归集状态注释，基于所述目标表的归集状态注释和所述待增加字段的归集状态注释判断所述待增加字段是否需要和源字段建立连接。

7.根据权利要求1所述的基于数据库注释的归集任务调整方法，其特征在于，所述任务信息包括归集连接关系配置信息、调度配置信息、归集方式、归集依据字段、数据时间范围、任务调度前移的数据截止时间的至少一种。

8.根据权利要求1所述的基于数据库注释的归集任务调整方法，其特征在于，当所述归集任务调整情况为归集数据的数据变动但是归集任务的任务信息未变动，将所述数据变动的内容作为解释数据填写入对应的元数据中；当所述归集任务调整情况为归集数据的数据变动且归集任务的任务信息变动，将所述数据变动的内容作为解释数据填写入对应的元数据中，将所述任务信息变动的内容作为任务调整信息填写入对应的归集注释信息；当所述归集任务调整情况为归集数据的数据不变动但归集任务的任务信息变动，将所述任务信息变动的内容作为任务调整信息填写入对应的归集注释信息。

9.根据权利要求1所述的基于数据库注释的归集任务调整方法，其特征在于，若所述归集数据的类型是表数据，对应的所述归集注释信息定义为表注释，表注释包括：归集状态注释、归集方式注释、保留时间注释、调度配置注释、数据时间范围注释、任务调度前移的数据截止时间注释的至少一种；若所述归集数据的类型是字段数据，对应的所述归集注释信息定义为字段注释，字段注释包括：归集状态注释以及保留时间注释的至少一种。

10.根据权利要求1所述的基于数据库注释的归集任务调整方法，其特征在于，当数据归集平台在采集到所述元数据的归集注释信息后，数据库内删除所述归集注释信息，数据归集平台缓存保留时间后删除所述归集注释信息，所述保留时间相关于所述归集注释信息。

11.根据权利要求1所述的基于数据库注释的归集任务调整方法，其特征在于，若检测到所述元数据变更但没有归集注释信息，则关联所述归集数据对应的归集任务，并以变更的元数据的替换所述归集任务中的归集数据来源和/或归集数据目标。

12.根据权利要求1所述的基于数据库注释的归集任务调整方法，其特征在于，若所述元数据未变更但有归集注释信息，则关联所述归集数据对应的归集任务，以所述归集注释信息替换所述归集任务的任务信息。

13.一种基于数据库注释的归集任务调整装置，其特征在于，包括：

任务建立单元，用于在数据归集平台上建立针对不同归集数据的至少一归集任务，其中每一所述归集任务的配置信息至少包括归集数据来源、归集数据目标以及任务信息；

注释填写单元，用于在数据库中基于归集数据的归集任务调整情况修改所述归集数据的元数据和/或添加归集注释信息，其中所述元数据记录对应解释所述归集数据的解释数据，所述归集注释信息记录对应所述归集数据的任务调整信息，所述任务调整信息用于调整所述归集任务的任务信息；

归集调整单元，用于所述数据归集平台同步获取所述归集数据及对应的元数据和/或归集注释信息，若检测到所述元数据发生变化或含有归集注释信息，则关联所述归集数据对应的归集任务，基于所述元数据和/或所述归集注释信息对所述归集任务进行调整。

14.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1到12任一所述的基于数据库注释的归集任务调整方法。

15.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1到12任一所述的基于数据库注释的归集任务调整方法。

Images