CN103106247A - 数据转储方法和*** - Google Patents

Abstract

本发明提供一种数据转储方法和***，其中方法包括：监测采集设备上的采集数据的数据量；确定所述数据量是否满足转储条件；若满足转储条件，则生成与所述采集数据对应的归档索引表，并将所述采集数据转储到后台***的归档数据表中。本发明的技术方案实现了历史数据的自动归档，有效解决了由于采集***的数据量不断增长而导致的***性能下降问题，并节约了成本。

Description

数据转储方法和***

技术领域

本发明涉及一种数据存储技术，尤其涉及一种数据转储方法和***。

背景技术

在现代生产、生活过程中，需要对大量的过程参数进行实时监测，这就要求对相关数据进行采集、记录与分析。

举例来说，为了分析某一水域的河水质量，需要监测该河水的诸如PH值、氮氨、磷、汞、石油类等数据信息，通过对一段时间内采集的大量数据进行分析，可以了解该段时间内，河水的污染情况以及判断主要污染源。

随着采集源和业务的多样化，各种采集设备所需采集的数据种类和数据量都随之增大。大量的数据存储在采集设备上，对其维护和存储必然会影响该采集设备的工作性能。现有技术只有通过不断增大采集设备上的存储器的大小以及处理器的能力，才能满足该需求，但是成本过大。

发明内容

针对现有技术中存在的缺陷，本发明提供一种数据转储方法和***，用以实现历史数据的自动归档，解决由于采集***的数据量不断增长而导致的***性能下降问题。

本发明的第一个方面是提供了一种数据转储方法，包括：

监测采集设备上的采集数据的数据量；

确定所述数据量是否满足转储条件；

若满足转储条件，则生成与所述采集数据对应的归档索引表，并将所述采集数据转储到后台***的归档数据表中。

本发明的另一个方面是提供了一种数据转储***，包括：

监测模块，用于监测采集设备上的采集数据的数据量；

判断模块，用于确定所述数据量是否满足转储条件；

转储模块，用于若所述数据量满足转储条件，则生成与所述采集数据对应的归档索引表，并将所述采集数据转储到后台***的归档数据表中。

本发明数据转储方法和***，通过判断模块确定采集设备上的采集数据的数据量是否满足转储条件，若所述数据量满足转储条件，则转储模块生成与所述采集数据对应的归档索引表，并将所述采集数据转储到后台***的归档数据表中，从而实现了历史数据的自动归档，有效解决了由于采集***的数据量不断增长而导致的***性能下降问题，并节约了成本。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明数据转储方法实施例一的流程图；

图2为本发明数据转储方法实施例二的流程图；

图3为本发明数据转储方法实施例三的流程图；

图4为本发明数据转储***实施例一的结构示意图；

图5为本发明数据转储***实施例二的结构示意图；

图6为本发明数据转储***实施例三的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明数据转储方法实施例一的流程图，如图1所示，本实施例的方法可以包括：

步骤101、监测采集设备上的采集数据的数据量；

本实施例中，数据转储***监测采集设备上的采集数据的数据量，该采集数据既可以是一个采集设备上的不同种类的采集数据，也可以是不同采集设备上的多种采集数据。相应地，数据转储***记录该采集数据的来源标识，比如采集设备标识、采集数据标识等。

步骤102、确定所述数据量是否满足转储条件；

本实施例中，数据转储***确定采集数据的数据量是否满足转储条件。具体来说，数据转储***监测该采集数据的数据量，当该数据量超过预设阈值时，确定该采集数据的数据量满足转储条件。在实际应用中，该预设阈值根据采集设备的采集策略及可以存储的采集数据的最大数据量而设定。

步骤103、若满足转储条件，则生成与所述采集数据对应的归档索引表，并将所述采集数据转储到后台***的归档数据表中。

本实施例中，数据转储***若确定采集数据的数据量满足转储条件，则生成与该采集数据对应的归档索引表，并将该采集数据转储到后台***的归档数据表中。具体来说，数据转储***可以将采集数据中最早存入的一段数据量，即历史数据，转储到后台***的归档数据表中，比如，当前采集数据的预设阈值为20万条，当采集数据的数据量超过该预设阈值时，会对采集设备的运行性能造成影响，则根据实际情况，数据转储***将该采集数据中最早存入的一段数据量，例如是5万条，转储到后台***的归档数据表中，并在归档索引表中记录该段数据量的标识信息。

需要说明的是，本领域技术人员可以根据需要，自行设定本步骤中所述历史数据的大小。

本实施例中，数据转储***监测采集数据的数据量，若该数据量满足转储条件，则生成与该采集数据对应的归档索引表，并将该采集数据转储到后台***的归档数据表中，从而实现了历史数据的自动归档，有效解决了由于采集***的数据量不断增长而导致的***性能下降问题，并节约了成本。

图2为本发明数据转储方法实施例二的流程图，如图2所示，本实施例的方法可以包括：

步骤201：监测采集设备上的至少两种采集数据的数据量；

步骤202：确定所述数据量是否满足转储条件，若满足则执行步骤203，否则执行步骤201；

本实施例中，数据转储***监测采集设备上的至少两种采集数据的数据量，例如可以是监测A1、A2、A3三种采集数据的数据量，当任一种采集数据的数据量超过该任一采集数据相对应的预设阈值时，确定该任一采集数据的数据量满足转储条件。本实施例中，假设A1、A2、A3三种采集数据的数据量均满足转储条件。

步骤203：生成与各种采集数据对应的转储任务队列；

具体来说，数据转储***对满足转储条件的采集数据的历史数据进行任务信息配置，形成转储任务队列。配置的任务信息可以包括：最大转储量、预设数据量、归档标识、运行状态标识、归档信息等。其中，最大转储量为数据转储***可并行转储的最大数据量；预设数据量为对任一个转储任务队列进行转储时，每次转储的数据量，不同的转储任务队列可以有不同的预设数据量；归档标识表示当前转储任务队列是否启动转储操作，若归档标识为是，表示当前转储任务队列启动转储操作，否则，不启动转储操作；运行状态标识表示当前采集数据是否处于运行状态，若当前采集数据处于运行状态，则不进行转储操作，若当前采集数据处于空闲状态，则可以进行转储操作；归档信息可以为归档数据表的名称，该归档数据表的名称包含有采集数据标识信息。

需要说明的是，本领域技术人员可以根据需要，自行设定最大转储量的值和预设数据量的值，只要保证预设数据量的值小于最大转储量的值即可。

本实施例中，设A1、A2、A3三种采集数据对应的历史数据分别为A10、A20、A30，分别对该三种历史数据进行任务信息配置，设A10、A20的归档标识均为是，运行状态标识均为空闲，预设数据量分别为a、b；A30的归档标识为否，从而形成了分别与采集数据A1、A2、A3对应的转储任务队列A11、A21、A31。

步骤204：采用任务调度的方式，分别调度各转储任务队列；

该采用任务调度的方式，分别调度各转储任务队列，包括：

根据最大转储量，确定可并行处理的转储任务队列的数量；

对确定的数量的转储任务队列进行调度。

具体来说，数据转储***首先判断转储任务队列中各转储任务的归档标识和运行状态标识是否满足执行转储操作的条件。只有当转储任务队列的归档标识为是且运行状态标识为空闲时，该转储任务队列才满足执行转储操作的条件。进而，数据转储***根据最大转储量与各转储任务队列的预设数据量之间的约束关系，确定可并行处理的转储任务队列的数量。具体地，若各转储任务队列的预设数据量之和小于最大转储量，则该各转储任务队列可并行进行转储操作；若各转储任务队列的预设数据量之和大于最大转储量，则根据各转储任务队列到达数据转储***的时钟顺序或根据各转储任务队列预先设定的优先级顺序依次确定可并行处理的转储任务队列的数量。

本实施例中，根据归档标识及运行状态标识，转储任务队列A11、A21满足执行转储操作的条件，进而根据该转储任务队列A11、A21的预设数据量a、b与最大转储量m的约束关系对该转储任务队列A11、A21进行调度，具体为：若a+b<m，则该转储任务队列A11、A21可同时并行进行转储。若a+b>m，则如果转储任务队列A11时序上先于转储任务队列A21到达数据转储***，则优先执行转储任务队列A11的转储，否则优先执行转储任务队列A21的转储；或者，如果转储任务队列A11的优先级高于转储任务队列A21的优先级，则优先执行转储任务队列A11的转储，否则优先执行转储任务队列A21的转储。

步骤205：根据所述任务调度，分别生成与各种采集数据对应的归档索引表，并将各种采集数据对应转储到后台***中与各种采集数据对应的归档数据表中。

具体来说，根据步骤204的任务调度，分别生成与各种采集数据对应的包含该各种采集数据的归档信息、起始时间以及结束时间的归档索引表，并将各种采集数据对应转储到后台***中与各种采集数据对应的归档数据表中。该转储过程包括：

以预设数据量为单元，依次将各种采集数据转储到与各种采集数据对应的当前归档数据表中；

若当前归档数据表容量已满，则自动链式递接生成下一归档数据表。

本实施例中，假设采集数据A1、A2对应的归档数据表分别为A1_B0001、A2_B0001。以a+b<m时为例，此时转储任务队列A11、A21可同时并行进行转储，则数据转储***分别以预设数据量a、b为单元，将转储任务队列A11、A21分别转储到归档数据表A1_B0001、A2_B0001中，并将每次转储的数据量的起始时间、结束时间及包含归档数据表名称的归档信息记录在归档索引表中。若当前归档数据表容量已满，则自动链式递接生成下一归档数据表，例如若归档数据表A1_B0001已满，则自动链式递接生成下一归档数据表，例如可以是A1_B0002，依次类推，在实际应用时，可以根据需要限定归档数据表链接的长度，比如若已达到A1_B9999，则不再进行转储，可重新生成转储任务队列，执行新的转储操作。

进一步地，本实施例还可以包括用户身份认证过程，则步骤201之前还可以包括：

步骤206：根据用户标识和认证标识判断用户的合法性。

用户标识可以具体指用户名，认证标识可以是密码信息。根据用户标识和认证标识判断用户的合法性的一种实现方式为：通过用户名和密码信息与***中的个人信息数据库中存储的用户信息进行核对，若***中的用户信息与该用户名和密码信息相同，则说明该用户是合法的，执行步骤201~205，否则结束。

进一步地，本实施例在完成采集数据转储到后台***的归档数据表中之后，还可以包括数据查询过程，则步骤205之后还可以包括：

步骤207：接收数据查询请求，进行归档数据查询。

具体地，若用户需要对已归档的数据进行查询，可以向数据转储***发送数据查询请求，该数据查询请求中包含所需查询数据的起始时间和结束时间。数据转储***接收该数据查询请求，查询归档索引表，确定与该起始时间和结束时间对应的归档信息，并根据该归档信息，从归档数据表中查询获取归档数据。

本实施例中，通过对采集设备上至少两种采集数据进行数据转储，有效解决了由于采集***的数据量不断增长而导致的***性能下降问题，并节约了成本；通过对各转储任务队列进行任务调度，使得各转储任务队列可以并行进行数据转储，提高了数据转储***的工作效率；在数据转储的过程中，通过生产归档索引表，便于用户对归档数据的查询。

图3为本发明数据转储方法实施例三的流程图，如图3所示，本实施例的方法可以包括：

步骤301：监测至少两个采集设备上的采集数据的数据量；

步骤302：确定所述数据量是否满足转储条件，若满足则执行步骤303，否则执行步骤301；

本实施例中，数据转储***监测至少两个采集设备上的采集数据的数据量，当任一采集设备上的采集数据的数据量超过该采集数据对应的预设阈值时，确定该采集数据的数据量满足转储条件。

步骤303：生成与各采集设备对应的转储任务队列；

具体来说，数据转储***对满足转储条件的各采集设备上的采集数据的历史数据进行任务信息配置，形成转储任务队列。配置的任务信息在图2所示实施例的基础上，还可以包括：设备标识，用于标识各个采集设备。

进一步地，每个采集设备上可以至少有一种采集数据，各采集设备上的各种采集数据的转储任务队列的生成方法与图2所示实施例的步骤203相似，不再赘述。

步骤304：采用任务调度的方式，分别调度各转储任务队列；

具体来说，该采用任务调度的方式，分别调度各转储任务队列，包括：

根据最大转储量，确定可并行处理的转储任务队列的数量；

对确定的数量的转储任务队列进行调度。

本实施例中，该任务调度方式既可以分别针对各采集设备，对其对应的各转储任务进行调度，也可以将各采集设备对应的所有转储任务视为一个整体，进行调度，具体的调度过程与图2所示实施例的步骤204相似，不再赘述。

步骤305：根据所述任务调度，分别生成与各采集设备对应的归档索引表，并将各采集设备的采集数据对应转储到后台***中与各采集设备对应的归档数据表中。

具体来说，数据转储***根据步骤304的任务调度，分别生成与各采集设备对应的包含该采集设备标识、该采集设备上的采集数据的归档信息、起始时间以及结束时间的归档索引表，并将各采集设备的采集数据对应转储到后台***中与各采集设备对应的归档数据表中。数据转储***可以为各采集设备在***内存中划分不同的存储区域，便于数据管理及查询。

步骤306：接收数据查询请求，进行归档数据查询。

具体地，若用户需要对已归档的数据进行查询，可以向数据转储***发送数据查询请求，该数据查询请求中包含所需查询数据的起始时间和结束时间。数据转储***接收该数据查询请求，查询归档索引表，确定与该起始时间和结束时间对应的归档信息，并根据该归档信息，从归档数据表中查询获取归档数据。

本实施例中，数据转储***可以对至少两个采集设备上的采集数据进行数据转储，通过对各转储任务队列进行任务调度，使得各转储任务队列可以并行进行数据转储，提高了数据转储***的工作效率；在数据转储的过程中，通过生产归档索引表，便于用户对归档数据的查询。

图4为本发明数据转储***实施例一的结构示意图，如图4所示，本发明提供的数据转储***可以包括：

监测模块11，用于监测采集设备上的采集数据的数据量；

判断模块12，用于确定所述数据量是否满足转储条件；

转储模块13，用于若所述数据量满足转储条件，则生成与所述采集数据对应的归档索引表，并将所述采集数据转储到后台***的归档数据表中。

本实施例的***可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图5为本发明数据转储***实施例二的结构示意图，如图5所示，在图4所示***的基础上，进一步地，监测模块11，包括：

第一监测单元111，用于监测所述采集设备上的至少两种采集数据的数据量。

所述转储模块13，具体用于：根据所述任务调度，分别生成与各种采集数据对应的归档索引表，并将各种采集数据对应转储到后台***中与各种采集数据对应的归档数据表中。

进一步地，该转储模块13，包括：

处理单元131，用于以预设数据量为单元，依次将所述采集数据转储到当前归档数据表中；

比较单元132，用于若当前归档数据表容量已满，则自动链式递接生成下一归档数据表；

生成单元133，用于生成包含所述采集数据的归档信息、起始时间以及结束时间的归档索引表。

该***还包括：

第一任务生成模块21，用于所述生成与所述采集数据对应的归档索引表，并将所述采集数据转储到后台***的归档数据表中之前，生成与各种采集数据对应的转储任务队列。

任务调度模块23，用于采用任务调度的方式，分别调度各转储任务队列。

进一步地，该任务调度模块23，包括：

确定单元231，用于根据最大转储量，确定可并行处理的转储任务队列的数量；

执行单元232，用于对确定的数量的转储任务队列进行调度。

数据查询模块24，用于所述将所述采集数据转储到后台***的归档数据表中之后，接收数据查询请求，所述数据查询请求中包含所需查询数据的起始时间和结束时间；

根据所述数据查询请求，查询归档索引表，确定与所述起始时间和结束时间对应的归档信息；

根据所述归档信息，从所述归档数据表中查询获取归档数据。

存储模块25，设置于***内存中，用于存储所述归档数据表。

本实施例的***可以用于执行图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图6为本发明数据转储***实施例三的结构示意图，如图6所示，在图4所示***的基础上，进一步地，监测模块11，包括：

第二监测单元112，用于监测至少两个采集设备上的采集数据的数据量。

所述转储模块13，具体用于：根据所述任务调度，分别生成与各采集设备对应的归档索引表，并将各采集设备的采集数据对应转储到后台***中与各采集设备对应的归档数据表中。

进一步地，该转储模块13，包括：

处理单元131，用于以预设数据量为单元，依次将所述采集数据转储到当前归档数据表中；

比较单元132，用于若当前归档数据表容量已满，则自动链式递接生成下一归档数据表；

生成单元133，用于生成包含所述采集数据的归档信息、起始时间以及结束时间的归档索引表。

该***还包括：

第二任务生成模块22，用于所述生成与所述采集数据对应的归档索引表，并将所述采集数据转储到后台***的归档数据表中之前，生成与各采集设备对应的转储任务队列。

任务调度模块23，用于采用任务调度的方式，分别调度各转储任务队列。

进一步地，该任务调度模块23，包括：

确定单元231，用于根据最大转储量，确定可并行处理的转储任务队列的数量；

执行单元232，用于对确定的数量的转储任务队列进行调度。

数据查询模块24，用于所述将所述采集数据转储到后台***的归档数据表中之后，接收数据查询请求，所述数据查询请求中包含所需查询数据的起始时间和结束时间；

根据所述数据查询请求，查询归档索引表，确定与所述起始时间和结束时间对应的归档信息；

根据所述归档信息，从所述归档数据表中查询获取归档数据。

存储模块25，设置于***内存中，用于存储所述归档数据表。

本实施例的***可以用于执行图3所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (15)

1.一种数据转储方法，其特征在于，包括：

监测采集设备上的采集数据的数据量；

确定所述数据量是否满足转储条件；

若满足转储条件，则生成与所述采集数据对应的归档索引表，并将所述采集数据转储到后台***的归档数据表中。

2.根据权利要求1所述的方法，其特征在于，所述确定所述采集数据的数据量是否满足转储条件，包括：

若所述数据量超过预设阈值，则确定满足转储条件。

3.根据权利要求1所述的方法，其特征在于，所述监测采集设备上的采集数据的数据量，包括：

监测所述采集设备上的至少两种采集数据的数据量；

所述生成与所述采集数据对应的归档索引表，并将所述采集数据转储到后台***的归档数据表中之前，还包括：

生成与各种采集数据对应的转储任务队列；

采用任务调度的方式，分别调度各转储任务队列；

所述生成与所述采集数据对应的归档索引表，并将所述采集数据转储到后台***的归档数据表中，包括：

根据所述任务调度，分别生成与各种采集数据对应的归档索引表，并将各种采集数据对应转储到后台***中与各种采集数据对应的归档数据表中。

4.根据权利要求1所述的方法，其特征在于，所述监测采集设备上的采集数据的数据量，包括：

监测至少两个采集设备上的采集数据的数据量；

所述生成与所述采集数据对应的归档索引表，并将所述采集数据转储到后台***的归档数据表中之前，还包括：

生成与各采集设备对应的转储任务队列；

采用任务调度的方式，分别调度各转储任务队列；

所述生成与所述采集数据对应的归档索引表，并将所述采集数据转储到后台***的归档数据表中，包括：

根据所述任务调度，分别生成与各采集设备对应的归档索引表，并将各采集设备的采集数据对应转储到后台***中与各采集设备对应的归档数据表中。

5.根据权利要求3或4所述的方法，其特征在于，将采集数据转储到归档数据表中的过程，包括：

以预设数据量为单元，依次将所述采集数据转储到当前归档数据表中；

若当前归档数据表容量已满，则自动链式递接生成下一归档数据表。

6.根据权利要求3或4所述的方法，其特征在于，所述采用任务调度的方式，分别调度各转储任务队列，包括：

根据最大转储量，确定可并行处理的转储任务队列的数量；

对确定的数量的转储任务队列进行调度。

7.根据权利要求1~4中任一项所述的方法，其特征在于，所述生成与所述采集数据对应的归档索引表，包括：

生成包含所述采集数据的归档信息、起始时间以及结束时间的归档索引表；

所述将所述采集数据转储到后台***的归档数据表中之后，还包括：

接收数据查询请求，所述数据查询请求中包含所需查询数据的起始时间和结束时间；

根据所述数据查询请求，查询归档索引表，确定与所述起始时间和结束时间对应的归档信息；

根据所述归档信息，从所述归档数据表中查询获取归档数据。

8.根据权利要求7所述的方法，其特征在于，所述归档数据表存储在***内存中。

9.一种数据转储***，其特征在于，包括：

监测模块，用于监测采集设备上的采集数据的数据量；

判断模块，用于确定所述数据量是否满足转储条件；

转储模块，用于若所述数据量满足转储条件，则生成与所述采集数据对应的归档索引表，并将所述采集数据转储到后台***的归档数据表中。

10.根据权利要求9所述的***，其特征在于，所述监测模块包括：第一监测单元，用于监测所述采集设备上的至少两种采集数据的数据量；

所述***还包括：

第一任务生成模块，用于所述生成与所述采集数据对应的归档索引表，并将所述采集数据转储到后台***的归档数据表中之前，生成与各种采集数据对应的转储任务队列；

任务调度模块，用于采用任务调度的方式，分别调度各转储任务队列；

所述转储模块，具体用于：根据所述任务调度，分别生成与各种采集数据对应的归档索引表，并将各种采集数据对应转储到后台***中与各种采集数据对应的归档数据表中。

11.根据权利要求9所述的***，其特征在于，所述监测模块包括：第二监测单元，用于监测至少两个采集设备上的采集数据的数据量；

所述***还包括：

第二任务生成模块，用于所述生成与所述采集数据对应的归档索引表，并将所述采集数据转储到后台***的归档数据表中之前，生成与各采集设备对应的转储任务队列；

任务调度模块，用于采用任务调度的方式，分别调度各转储任务队列；

所述转储模块，具体用于：根据所述任务调度，分别生成与各采集设备对应的归档索引表，并将各采集设备的采集数据对应转储到后台***中与各采集设备对应的归档数据表中。

12.根据权利要求10或11所述的***，其特征在于，所述转储模块包括：

处理单元，用于以预设数据量为单元，依次将所述采集数据转储到当前归档数据表中；

比较单元，用于若当前归档数据表容量已满，则自动链式递接生成下一归档数据表。

13.根据权利要求10或11所述的***，其特征在于，所述任务调度模块包括：

确定单元，用于根据最大转储量，确定可并行处理的转储任务队列的数量；

执行单元，用于对确定的数量的转储任务队列进行调度。

14.根据权利要求9~11中任一项所述的***，其特征在于，所述转储模块包括：

生成单元，用于生成包含所述采集数据的归档信息、起始时间以及结束时间的归档索引表；

所述***还包括：

数据查询模块，用于所述将所述采集数据转储到后台***的归档数据表中之后，接收数据查询请求，所述数据查询请求中包含所需查询数据的起始时间和结束时间；

根据所述数据查询请求，查询归档索引表，确定与所述起始时间和结束时间对应的归档信息；

根据所述归档信息，从所述归档数据表中查询获取归档数据。

15.根据权利要求14所述的***，其特征在于，还包括：

存储模块，设置于***内存中，用于存储所述归档数据表。

Images