CN110489407A - 数据补采方法、装置、计算机设备及存储介质 - Google Patents

Abstract

本发明涉及数据补采方法、装置、计算机设备及存储介质，属于网络技术领域。所述方法包括：确定待补充数据；待补充数据根据第一状态位图确定，第一状态位图用于表征数据的存在状态；获取与第一状态位图对应的终端标识信息；根据待补充数据以及终端标识信息，生成补采任务；根据补采任务，向第一采集端发送补采控制指令；补采控制指令用于控制第一采集端按照补采任务获取对应的补采数据。上述技术方案，解决了数据补采效率较低的问题。根据状态位图确定待补充数据，不需要逐个进行存储数据的访问就能快速生成补采任务，有效提高数据补采的效率。

Description

数据补采方法、装置、计算机设备及存储介质

技术领域

本发明涉及网络技术领域，特别是涉及数据补采方法、装置、计算机设备及存储介质。

背景技术

采集端往往需要将所采集的数据传送给处理终端、处理端等进行处理端数据处理。但是，数据的传送过程容易受环境干扰的影响，同时，部分采集端存在运行任务排队导致数据遗失的问题，这就使得处理端所获取的数据并不是100％可靠。这是就需要对没有上送或采集的数据进行再次采集，即进行补采。

在实现本发明过程中，发明人发现传统方式中至少存在如下问题：传统数据补采单纯依赖数据库逐一统计数据的缺点，建立与采集端的映射关系，组成补采任务，进而实现数据补采。这样的补采方式不仅过程复杂，而且对于处理端接入大量采集端或者需要接收海量数据的情况，建立数量庞大的补采任务需要花费大量的时间，这就使得数据补采效率较低。

发明内容

基于此，本发明实施例提供了数据补采方法、装置、计算机设备及存储介质，能有效提高数据补采效率。

本发明实施例的内容如下：

第一方面，本发明实施例提供一种数据补采方法，包括以下步骤：确定待补充数据；所述待补充数据根据第一状态位图确定，所述第一状态位图用于表征数据的存在状态；获取与所述第一状态位图对应的终端标识信息；根据所述待补充数据以及所述终端标识信息，生成补采任务；根据所述补采任务，向第一采集端发送补采控制指令；所述补采控制指令用于控制所述第一采集端按照所述补采任务获取对应的补采数据。

在一个实施例中，所述确定待补充数据的步骤之前，还包括：在接收到补采触发指令时，通过扫描内存库中的第一内存库文件，得到所述第一状态位图；其中，所述内存库为按照内存的存储方式进行数据存储的数据库。

在一个实施例中，所述获取第一状态位图的步骤之前，还包括：接收第二采集端发送的终端任务数据；所述终端任务数据中携带有时间信息以及所述第二采集端的终端类型；根据所述终端类型和所述时间信息，建立第二内存库文件。

在一个实施例中，所述终端任务数据中还携带有所述第二采集端的终端地址；所述根据所述终端类型和所述时间信息，建立第二内存库文件的步骤之后，还包括：对所述第二采集端的终端地址运行Hash算法，得到记录标识；判断是否存在与所述终端任务数据对应的采集数据；根据判断结果，确定对应的第二状态位图；根据所述记录标识在所述第二内存库文件中记录所述第二状态位图。

在一个实施例中，所述根据所述补采任务，向第一采集端发送补采控制指令的步骤之后，还包括：接收第一采集端发送的补采数据；所述补采数据中携带有终端地址；根据补采数据中携带的终端地址，定位并修改所述内存库中对应的状态位图。

在一个实施例中，所述接收第二采集端发送的终端任务数据的步骤，包括：接收第二采集端通过消息队列发送的终端任务数据。

在一个实施例中，所述向第一采集端发送补采控制指令的步骤，包括：通过消息队列向第一采集端发送补采控制指令。

在一个实施例中，所述终端标识信息包括终端类型以及终端地址；所述根据所述待补充数据以及所述终端标识信息，生成补采任务的步骤，包括：根据所述待补充数据、所述终端类型以及所述终端地址，生成所述补采任务。

第二方面，本发明实施例提供一种数据补采装置，包括：数据确定模块，用于确定待补充数据；所述待补充数据根据第一状态位图确定，所述第一状态位图用于表征数据的存在状态；信息获取模块，用于获取与所述第一状态位图对应的终端标识信息；任务生成模块，用于根据所述待补充数据以及所述终端标识信息，生成补采任务；指令发送模块，用于根据所述补采任务，向第一采集端发送补采控制指令；所述补采控制指令用于控制所述第一采集端按照所述补采任务采集对应的数据。

第三方面，本发明实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：确定待补充数据；所述待补充数据根据第一状态位图确定，所述第一状态位图用于表征数据的存在状态；获取与所述第一状态位图对应的终端标识信息；根据所述待补充数据以及所述终端标识信息，生成补采任务；根据所述补采任务，向第一采集端发送补采控制指令；所述补采控制指令用于控制所述第一采集端按照所述补采任务获取对应的补采数据。

第四方面，本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：确定待补充数据；所述待补充数据根据第一状态位图确定，所述第一状态位图用于表征数据的存在状态；获取与所述第一状态位图对应的终端标识信息；根据所述待补充数据以及所述终端标识信息，生成补采任务；根据所述补采任务，向第一采集端发送补采控制指令；所述补采控制指令用于控制所述第一采集端按照所述补采任务获取对应的补采数据。

上述技术方案中的一个技术方案具有如下优点或有益效果：根据第一状态位图确定待补充数据，不需要逐个进行访问数据的状态就能快速生成补采任务，有效提高数据补采的效率。

附图说明

图1为一个实施例中数据补采方法的应用环境图；

图2为一个实施例中数据补采方法的流程示意图；

图3为一个实施例中内存库文件的示意图；

图4为另一个实施例中实现数据补采方法的示意图；

图5为一个实施例中数据补采装置的结构框图；

图6为一个实施例中计算机设备的内部结构。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

本申请提供的数据补采方法可以应用于如图1所示的应用环境中。该应用环境包括处理端101和采集端102，两者可以进行网络通信。其中，处理端101根据状态位图生成补采任务，进而控制采集端102进行数据的补采。在实际应用场景中，处理端101可以是服务器，具体的，可以用独立的服务器或者是多个服务器组成的服务器集群来实现。当然，处理端101也可以为终端，可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。采集端102可以是各种具有数据采集功能的设备、器件等，例如：传感器、数据接收器、电表等。

本发明实施例提供一种数据补采方法、装置、计算机设备及存储介质。以下分别进行详细说明。

在一个实施例中，如图2所示，提供了一种数据补采方法。以该方法应用于图1中的处理端101为例进行说明，包括以下步骤：

S201、确定待补充数据；待补充数据根据第一状态位图确定，第一状态位图用于表征数据的存在状态。

其中，采集端可以为电力信息采集终端等。

第一状态位图可以存储各个采集端所采集数据的存在状态(可以理解为是否写入处理端对应的数据库)，可以为每个采集端建立对应的文件，文件中包含有第一状态位图，而第一状态位图可以在采集数据写入到内存中时变为1，在无采集数据或者采集数据未成功写入内存中时变为0。进一步地，采集端所采集的数据可能较为庞大，因此可以根据采集端的类型、地址以及任务号等来进行文件记录的区分。

具体的，第一状态位图的确定过程可以为：处理端查询采集数据是否存在，根据数据的存在状态确定第一状态位图的值，例如，查询到某一终端A的数据不存在，将与终端A对应的第一状态位图的值确定为0，查询到某一终端B的数据存在，将与终端B对应的第一状态位图的值确定为1。需要说明的是，状态位图的初始值可以为0，当有采集数据存在时，可以将其值修改为1。

基于此，处理端就能根据第一状态位图确定其中的缺损数据，进而得到待补充数据。

S202、获取与第一状态位图对应的终端标识信息。

本步骤确定与第一状态位图对应的终端标识信息。

在一些实施例中，这个终端标识信息可以指包括终端类型以及终端地址。其中，终端类型可以理解为采集端的类型、型号等。终端地址可以理解为采集端的MAC地址、IP地址等，也可以理解为采集端的编号。

S203、根据待补充数据以及终端标识信息，生成补采任务。

其中，补采任务指的是对需要进行数据补采时所产生的任务信息。

在一个实施例中，终端标识信息包括终端类型以及终端地址；根据待补充数据以及终端标识信息，生成补采任务的步骤，包括：根据待补充数据、终端类型以及终端地址，生成补采任务。

对所生成的补采任务举例如下：1、采集端A未将a1数据及时上传；2、采集端B未将b2数据及时上传。

S204、根据补采任务，向第一采集端发送补采控制指令；补采控制指令用于控制第一采集端按照补采任务获取对应的补采数据。

其中，第一采集端可以指向处理端对应数据中提供数据的原始终端，也可以指专门进行数据补采的终端。对于第二种情况，第一采集端可以通过访问原始终端的方式获取补采数据，也可以直接采集相应的数据得到补采数据。

随着大数据分析技术的发展，数据采集的实时性要求越来越高。采集实时数据不但要求数据采集粒度很小(秒级)，而且对数据的完整性要求很高，这样才能符合大数据分析技术的业务需求。但是传统的数据补采方法存在以下问题：1、补采任务需要花费大量的时间，2、处理端需要与采集端建立映射关系，3、数据库业务表往往按时间点存储数据，这些业务表保存几个月甚至几年数据，数据量非常大，而补采一般是按日补采，这就需要数据库业务表每日统计数据缺失情况，计算量非常大(逐条扫描)。以上这些问题都导致数据补采效率低下。而本实施例提供的数据补采方法，根据第一状态位图确定待补充数据，不需要逐个进行存储数据的访问，就能快速生成补采任务，有效提高数据补采的效率。

在一个实施例中，确定待补充数据的步骤之前，还包括：在接收到补采触发指令时，通过扫描内存库中的第一内存库文件，得到第一状态位图；其中，内存库为按照内存的存储方式进行数据存储的数据库。

其中，补采触发指令可以由某个终端根据业务需要发送；也可以通过定时器设置定时任务，在时间到达时由定时器发送，这样能实现数据的定期补采。

本发明实施例中的第一状态位图存储在内存库的内存库文件中，采集端所采集的数据可以独立存储在内存中，实现了数据持久化，即使上层程序故障也不会影响底层程序的数据：在处理端出现故障导致内存数据丢失时，重启处理端，处理端根据内存库文件中的第一状态位图就能获知内存中应该存储的数据的相关信息，因而可以进行补采，防止内存数据的丢失。另外，本发明实施例采用分离数据库业务，使用文件式的内存库，任务查找及扫描完全不影响数据库的业务运行。

在一些实施例中，可以根据需要在内存库中建立多个内存库文件，这些内存库文件可以根据采集端的终端类型、终端地址、时间信息来建立，例如：分别针对不同的终端类型、终端地址、时间建立不同的内存库文件。对于根据时间建立内存库文件的情况，可以每天建立一个内存库文件，当天获取的状态位图等数据就存入对应的内存库文件中。

其中，时间信息可以指与采集端采集数据的时间相关的数据，可以指采集端进行数据采集时的采集时间，也可以是采集端向处理端发送采集数据的发送时间，还可以是处理端接收采集端发送的采集数据的接收时间。同时，时间信息可以包括日期以及具体的时分秒等，也可以包括采集频率、历史采集时间、历史采集次数等信息。

进一步地，获取第一状态位图的步骤之前，还包括：接收第二采集端发送的终端任务数据；终端任务数据中携带有时间信息以及第二采集端的终端类型；根据终端类型和时间信息，建立第二内存库文件。

其中，终端任务数据可以指用于评价采集端所采集数据的数据，可以包括时间信息、终端类型、终端地址、任务号等信息。进一步地，不同采集端可以发送多个终端任务数据，该任务号可以理解为某一采集端发送的各个终端任务数据的序号，也可以理解为各个采集端发送的各个终端任务数据的总体序号(即不对采集端进行区分)。

进一步地，在接收第二采集端发送的终端任务数据的同时，还可以接收第二采集端所采集的数据，处理端可以将第二采集端所采集的数据存入内存(即，可以与终端任务数据分开存储)中。

另外，需要说明的是，第一采集端和第二采集端可以指同一终端，也可以为不同终端。进一步地，第一采集端和第二采集端的数据均可以为一个、两个甚至多个。

上述实施例，通过内存库文件来记录状态位图，在进行状态位图查询时定位对应的内存库文件即可，能快速获取到对应的状态位图，进而根据状态位图确定待补充数据，能有效提高数据补采的效率。

在一个实施例中，终端任务数据中还携带有第二采集端的终端地址；根据终端类型和时间信息，建立第二内存库文件的步骤之后，还包括：对第二采集端的终端地址运行Hash算法，得到记录标识；判断是否存在与终端任务数据对应的采集数据；根据判断结果，确定对应的第二状态位图；根据记录标识在第二内存库文件中记录第二状态位图。

其中，对第二采集端的终端地址运行Hash算法可以是对终端地址的全部运行Hash算法，也可以是对其中的一部分运行Hash算法。对于地区码+序号这种结构的终端地址，可以对其中的序号进行Hash算法，在进行状态位图查询时以序号作为键值即可，这样的处理方式能有效提高状态位图的定位效率，进而提高数据补采的效率，提升***处理速度。

在一些实施例中，也可以对终端地址运行其他的算法。当然，还可以直接将终端地址的全部或部分作为记录标识，而不运行Hash算法。

判断是否存在与终端任务数据对应的采集数据的实现过程可以为：查询内存空间，确定其中是否写入有与该终端任务数据对应的采集数据。进一步地，判断是否存在与终端任务数据对应的采集数据；根据判断结果，确定对应的第二状态位图的实现过程可以为：若确定内存中写入有对应的采集数据，将对应的第二状态位图确定为1；若确定内存中没有写入对应的采集数据，将对应的第二状态位图确定为0。

在一些实施例中，状态位图除了用一个位(数据存储的最小单位)来表示；还可以用多个位来表示，这些位除了可以表征内存中是否有对应的采集数据外，还可以表征采集数据的完整性。例如：00表示无采集数据，01表示缺少部分数据，10表示部分数据损坏，11表示数据完整且正确。

在一些实施例中，内存库文件中除了记录状态位图外，可以记录终端类型、终端地址、时间信息、任务号等，以对各个记录进行区分。内存库文件可以如图3所示，图3示出了内存库301中的部分内存库文件302。该内存库根据时间信息中的日期来建立内存库文件(即一天对应一个内存库文件，当然，内存库文件也可以以其他的方式来进行区分)。以下以2019年7月20日对应内存库文件中的第三条记录(00000101)为例，对内存库文件中记录的信息进行解释：

该条记录可以划分为以下四部分：00 00 010 1，其中，第6-7位(从左开始数第1-2位)表示终端类型，第4-5位表示对终端地址运算Hash算法后的记录标识，第1-3位表示时间信息，第0位表示状态位图。

其中，内存库文件中记录的时间信息可以是对采集端发送的时间信息进行处理后的信息。例如：将一天分为8等份，每一等份用三个位来表示，例如：00:00用000表示，03:00用001表示，06:00用010表示，……，21:00用111表示。这样的方式不仅能对各个时间发送的终端任务数据进行记录，还可以占用尽可能少的存储空间(通过一个字节就能记录完整的终端任务数据)，有效提高存储空间的利用率。

当然，内存库文件中的记录也可以为其他的形式(各个位表示的信息可以不同)，每条记录所占用的字节数也可以不同，例如可以为2字节、3字节等。

另外，状态位图也可以仅表示时间信息以及数据存在状态，而终端类型、终端地址、任务号等可以通过其他方式来存储。

上述实施例通过几个字节(甚至只需要一个字节)来存储终端任务数据，所占用的存储空间小；同时，在进行终端任务数据查询时，不需要访问大量的数据，能有效提高终端任务数据的查询效率，进而提高数据补采的效率。

在一个实施例中，根据补采任务，向第一采集端发送补采控制指令的步骤之后，还包括：接收第一采集端发送的补采数据；补采数据中携带有终端地址；根据补采数据中携带的终端地址，定位并修改内存库中对应的状态位图。

在一些实施例中，状态位图的定位可以将终端地址与终端类型、时间信息等结合，当然，也可以单独通过终端类型、时间信息等来进行状态位图的定位。

上述实施例在接收到补采数据时，定位状态位图，及时地对所定位的状态位图进行修改，下一次进行数据补采时就不需要对与该状态位图对应的数据进行补采了，能防止重复补采的情况。

在一个实施例中，接收第二采集端发送的终端任务数据的步骤，包括：接收第二采集端通过消息队列发送的终端任务数据。

进一步地，向第一采集端发送补采控制指令的步骤，包括：通过消息队列向第一采集端发送补采控制指令。

上述实施例通过消息队列实现处理端与第一采集端、第二采集端之间的数据交互，能在数据量大时有效缓解内存的压力。

在一个实施例中，处理端可以为自动计量***。计量自动计量***作为能源互联网的重要组成部分，通过智能表计应用、大数据分析等技术，能满足分布式能源接入和管理的需求、适应电动汽车业务发展需要、有效支撑费控体系、提高技术服务能力和竞争力。

为了更好地理解上述方法，如图4所示，以处理端为自动计量***为例，以下详细阐述一个本发明数据补采方法的应用实例。图4中的401表示自动计量***。

1、自动计量***接收采集端通过消息队列发送的终端任务数据；

2、自动计量***对终端任务数据进行任务分析，提取其中的终端类型、终端地址、任务号；

3、自动计量***根据终端地址、任务号等定位内存库中对应的状态位图，对状态位图进行修改(有采集数据的改为1)；

4、自动计量***在接收到补采触发指令时，扫描内存库中的各个状态位图，将其中状态位图为0的相关信息(终端类型、终端地址、任务号、时间信息等)提取出来，并据此生成补采任务；

5、自动计量***通过消息队列控制终端补采模块进行补采任务。

电网领域中，随着电力用户的增量，终端接入量将大量增加，而且新形势对电能量数据需求越来越多，用户用电信息采集的数据项和密度都将随之增加，数据量将会大幅增加，现有软件架构和软件硬件平台已经不满足未来的接入需求，不能支撑大数据量的采集需求。目前的电网***整体上处于由采集冻结数据向采集准实时数据的过渡阶段。由采集准实时数据向采集实时数据过渡，将是未来的趋势。准实时采集及实时数据采集不但要求数据采集粒度很小(秒级)，而且对数据的完整性要求很高，这样才能符合大数据分析的业务需求。计量自动化终端采集上送给计量主站的网络主流是无线公网(2G、4G、5G等)，受限无线网络的容易受环境干扰的不稳定特性，以及部分终端运行任务排队问题，不能保证数据采集100％可靠，则对于没有及时上送(采集)的数据(称任务数据)需要依靠主站按需进行补采，尽量保证业务的完整性。本实施例提供的数据补采方法，根据状态位图确定待补充数据，进而生成补采任务，这使得补采任务的产生不需要逐个查看数据的状态，能快速生成补采任务，有效提高数据补采的效率，同时能保证业务数据的完整性。

需要说明的是，对于前述的各方法实施例，为了简便描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。

基于与上述实施例中的数据补采方法相同的思想，本发明还提供数据补采装置，该装置可用于执行上述数据补采方法。为了便于说明，数据补采装置实施例的结构示意图中，仅仅示出了与本发明实施例相关的部分，本领域技术人员可以理解，图示结构并不构成对装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图5所示，数据补采装置包括数据确定模块501、信息获取模块502、任务生成模块503和指令发送模块504，详细说明如下：

数据确定模块501，用于确定待补充数据；待补充数据根据第一状态位图确定，第一状态位图用于表征数据的存在状态。

信息获取模块502，用于获取与第一状态位图对应的终端标识信息。

任务生成模块503，用于根据待补充数据以及终端标识信息，生成补采任务。

指令发送模块504，用于根据补采任务，向第一采集端发送补采控制指令；补采控制指令用于控制第一采集端按照补采任务采集对应的数据。

本实施例，根据第一状态位图确定待补充数据，不需要逐个进行存储数据的访问，就能快速生成补采任务，有效提高数据补采的效率。

在一个实施例中，还包括：文件扫描确定模块，用于在接收到补采触发指令时，通过扫描内存库中的第一内存库文件，得到第一状态位图；其中，内存库为按照内存的存储方式进行数据存储的数据库。

在一个实施例中，还包括：数据接收模块，用于接收第二采集端发送的终端任务数据；终端任务数据中携带有时间信息以及第二采集端的终端类型；文件建立模块，用于根据终端类型和时间信息，建立第二内存库文件。

在一个实施例中，终端任务数据中还携带有第二采集端的终端地址；还包括：算法运算模块，用于对第二采集端的终端地址运行Hash算法，得到记录标识；判断模块，用于判断是否存在与终端任务数据对应的采集数据；状态位图确定模块，用于根据判断结果，确定对应的第二状态位图；状态位图记录模块，用于根据记录标识在第二内存库文件中记录第二状态位图。

在一个实施例中，还包括：补采数据接收模块，用于接收第一采集端发送的补采数据；补采数据中携带有终端地址；状态位图修改模块，用于根据补采数据中携带的终端地址，定位并修改内存库中对应的状态位图。

在一个实施例中，数据接收模块，还用于接收第二采集端通过消息队列发送的终端任务数据。

在一个实施例中，指令发送模块504，还用于通过消息队列向第一采集端发送补采控制指令。

在一个实施例中，终端标识信息包括终端类型以及终端地址；任务生成模块503，还用于根据待补充数据、终端类型以及终端地址，生成补采任务。

需要说明的是，本发明的数据补采装置与本发明的数据补采方法一一对应，在上述数据补采方法的实施例阐述的技术特征及其有益效果均适用于数据补采装置的实施例中，具体内容可参见本发明方法实施例中的叙述，此处不再赘述，特此声明。

此外，上述示例的数据补采装置的实施方式中，各程序模块的逻辑划分仅是举例说明，实际应用中可以根据需要，例如出于相应硬件的配置要求或者软件的实现的便利考虑，将上述功能分配由不同的程序模块完成，即将数据补采装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分功能。

本申请提供的数据补采方法可以应用于如图6所示的计算机设备中。该计算机设备可以是处理端，也可以是终端设备，其内部结构图可以如图6所示。该计算机设备包括通过***总线连接的处理器、存储器、网络接口和数据库。其中，处理器用于提供计算和控制能力；存储器包括非易失性存储介质、内存储器，该非易失性存储介质存储有操作***、计算机程序(该计算机程序被处理器执行时实现一种数据补采方法)和数据库，该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境；数据库用于存储数据补采方法实现过程中涉及到的各种数据；网络接口用于与外部的终端通过网络连接通信，例如：与采集端连接。

本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：确定待补充数据；待补充数据根据第一状态位图确定，第一状态位图用于表征数据的存在状态；获取与第一状态位图对应的终端标识信息；根据待补充数据以及终端标识信息，生成补采任务；根据补采任务，向第一采集端发送补采控制指令；补采控制指令用于控制第一采集端按照补采任务获取对应的补采数据。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：在接收到补采触发指令时，通过扫描内存库中的第一内存库文件，得到第一状态位图；其中，内存库为按照内存的存储方式进行数据存储的数据库。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：接收第二采集端发送的终端任务数据；终端任务数据中携带有时间信息以及第二采集端的终端类型；根据终端类型和时间信息，建立第二内存库文件。

在一个实施例中，终端任务数据中还携带有第二采集端的终端地址；处理器执行计算机程序时还实现以下步骤：对第二采集端的终端地址运行Hash算法，得到记录标识；判断是否存在与终端任务数据对应的采集数据；根据判断结果，确定对应的第二状态位图；根据记录标识在第二内存库文件中记录第二状态位图。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：接收第一采集端发送的补采数据；补采数据中携带有终端地址；根据补采数据中携带的终端地址，定位并修改内存库中对应的状态位图。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：接收第二采集端通过消息队列发送的终端任务数据。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过消息队列向第一采集端发送补采控制指令。

在一个实施例中，终端标识信息包括终端类型以及终端地址；处理器执行计算机程序时还实现以下步骤：根据待补充数据、终端类型以及终端地址，生成补采任务。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：确定待补充数据；待补充数据根据第一状态位图确定，第一状态位图用于表征数据的存在状态；获取与第一状态位图对应的终端标识信息；根据待补充数据以及终端标识信息，生成补采任务；根据补采任务，向第一采集端发送补采控制指令；补采控制指令用于控制第一采集端按照补采任务获取对应的补采数据。

在一个实施例中，计算机程序被处理器执行时还实现以下步骤：在接收到补采触发指令时，通过扫描内存库中的第一内存库文件，得到第一状态位图；其中，内存库为按照内存的存储方式进行数据存储的数据库。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：接收第二采集端发送的终端任务数据；终端任务数据中携带有时间信息以及第二采集端的终端类型；根据终端类型和时间信息，建立第二内存库文件。

在一个实施例中，终端任务数据中还携带有第二采集端的终端地址；处理器执行计算机程序时还实现以下步骤：对第二采集端的终端地址运行Hash算法，得到记录标识；判断是否存在与终端任务数据对应的采集数据；根据判断结果，确定对应的第二状态位图；根据记录标识在第二内存库文件中记录第二状态位图。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：接收第一采集端发送的补采数据；补采数据中携带有终端地址；根据补采数据中携带的终端地址，定位并修改内存库中对应的状态位图。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：接收第二采集端通过消息队列发送的终端任务数据。

在一个实施例中，处理器执行计算机程序时还实现以下步骤：通过消息队列向第一采集端发送补采控制指令。

在一个实施例中，终端标识信息包括终端类型以及终端地址；处理器执行计算机程序时还实现以下步骤：根据待补充数据、终端类型以及终端地址，生成补采任务。

本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，作为独立的产品销售或使用。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本发明实施例的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或(模块)单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，不能理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种数据补采方法，其特征在于，包括以下步骤：

确定待补充数据；所述待补充数据根据第一状态位图确定，所述第一状态位图用于表征数据的存在状态；

获取与所述第一状态位图对应的终端标识信息；

根据所述待补充数据以及所述终端标识信息，生成补采任务；

根据所述补采任务，向第一采集端发送补采控制指令；所述补采控制指令用于控制所述第一采集端按照所述补采任务获取对应的补采数据。

2.根据权利要求1所述的方法，其特征在于，所述确定待补充数据的步骤之前，还包括：

在接收到补采触发指令时，通过扫描内存库中的第一内存库文件，得到所述第一状态位图；其中，所述内存库为按照内存的存储方式进行数据存储的数据库。

3.根据权利要求2所述的方法，其特征在于，所述获取第一状态位图的步骤之前，还包括：

接收第二采集端发送的终端任务数据；所述终端任务数据中携带有时间信息以及所述第二采集端的终端类型；

根据所述终端类型和所述时间信息，建立第二内存库文件。

4.根据权利要求3所述的方法，其特征在于，所述终端任务数据中还携带有所述第二采集端的终端地址；

所述根据所述终端类型和所述时间信息，建立第二内存库文件的步骤之后，还包括：

对所述第二采集端的终端地址运行Hash算法，得到记录标识；

判断是否存在与所述终端任务数据对应的采集数据；

根据判断结果，确定对应的第二状态位图；

根据所述记录标识在所述第二内存库文件中记录所述第二状态位图。

5.根据权利要求3所述的方法，其特征在于，所述根据所述补采任务，向第一采集端发送补采控制指令的步骤之后，还包括：

接收第一采集端发送的补采数据；所述补采数据中携带有终端地址；

根据补采数据中携带的终端地址，定位并修改所述内存库中对应的状态位图。

6.根据权利要求3所述的方法，其特征在于，

所述接收第二采集端发送的终端任务数据的步骤，包括：接收第二采集端通过消息队列发送的终端任务数据；

和/或，

所述向第一采集端发送补采控制指令的步骤，包括：通过消息队列向第一采集端发送补采控制指令。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述终端标识信息包括终端类型以及终端地址；

所述根据所述待补充数据以及所述终端标识信息，生成补采任务的步骤，包括：

根据所述待补充数据、所述终端类型以及所述终端地址，生成所述补采任务。

8.一种数据补采装置，其特征在于，包括：

数据确定模块，用于确定待补充数据；所述待补充数据根据第一状态位图确定，所述第一状态位图用于表征数据的存在状态；

信息获取模块，用于获取与所述第一状态位图对应的终端标识信息；

任务生成模块，用于根据所述待补充数据以及所述终端标识信息，生成补采任务；

指令发送模块，用于根据所述补采任务，向第一采集端发送补采控制指令；所述补采控制指令用于控制所述第一采集端按照所述补采任务采集对应的数据。

9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述的方法的步骤。