CN106648912B - 数据采集平台中数据处理的模块化方法及装置 - Google Patents

Abstract

本发明公开了一种数据采集平台中数据处理的模块化方法及装置，涉及计算机技术领域，主要目的在于提高数据采集平台中添加、修改及删除数据采集指标的灵活性。本发明的主要技术方案包括：根据数据采集指令采集待处理数据；其中，所述数据采集指令由服务器生成，且所述数据采集指令中包含待处理数据的配置信息，所述配置信息包含：采集待处理数据的数量、数据类型、数据发送协议；解析所述数据采集指令，并获取所述待处理数据的所述配置信息；基于所述配置信息对所述待处理数据进行模块化处理；其中，所述模块化处理包括数据格式化、加入数据发送队列、数据发送。本发明主要应用于数据采集过程中。

Description

数据采集平台中数据处理的模块化方法及装置

技术领域

本发明涉及计算机技术领域，特别是涉及一种数据采集平台中数据处理的模块化方法及装置。

背景技术

数据分析是组织有目的地收集数据、数据处理、分析数据，使之成为信息的过程。数据分析的前提是数据采集和数据处理，在数据采集过程中数据来源可能不同，格式也可能不同，因此在进行数据采集时，可以使用现有技术中提供的数据采集软件，例如，在采集网页视频播放数据时，可以使用采集网页视频播放数据的软件开发包(SoftwareDevelopment Kit，SDK)；在采集移动端的用户行为数据时，可以使用移动端的用户行为数据SDK等等。在数据采集过程中使用的SDK，均有特定的来源信息、特定的数据格式、特定的数据传送格式，在数据处理时要分别针对特定的来源信息、特定的数据格式、特定的数据传送格式进行数据处理。

在使用数据采集软件进行数据采集时，发明人发现其存在如下问题：当同时采集网页视频播放数据与移动端的用户行为数据两种数据采集指标时，需要对网页视频播放数据与移动端的用户行为分别部署不同的数据采集平台，才能实现同时采集到网页视频播放数据与移动端的用户行为数据；或者，在一个采集网页视频播放数据的数据采集平台中添加一个采集移动端的用户行为。但是，在一个数据采集平台中添加、修改及删除数据采集指标，需要对该数据采集平台中现有的代码做较多修改，因此，现有数据采集平台中在添加、修改及删除数据采集指标时灵活性较低。

发明内容

有鉴于此，本发明提供的一种数据采集平台中数据处理的模块化方法及装置，主要目的在于提高数据采集平台中添加、修改及删除数据采集指标的灵活性。

为了解决上述问题，本发明主要提供如下技术方案：

一方面，本发明提供了一种数据采集平台中数据处理的模块化方法，该方法包括：

接收数据采集指令，并根据所述数据采集指令采集待处理数据；其中，所述数据采集指令由服务器生成，且所述数据采集指令中包含待处理数据的配置信息，所述配置信息包含：采集待处理数据的数量、数据类型、数据发送协议；

解析所述数据采集指令，获取所述待处理数据的所述配置信息；

基于所述配置信息对所述待处理数据进行模块化处理；其中，所述模块化处理包括数据格式化、加入数据发送队列、数据发送。

另一方面，本发明还提供一种数据采集平台中数据处理的模块化装置，该装置包括：

接收单元，用于接收数据采集指令，其中，所述数据采集指令由服务器生成，且所述数据采集指令中包含待处理数据的配置信息，所述配置信息包含：采集待处理数据的数量、数据类型、数据发送协议；

采集单元，用于根据所述接收单元接收的所述数据采集指令采集待处理数据；

解析单元，用于解析所述接收单元接收的所述数据采集指令；

获取单元，用于在所述解析单元解析所述数据采集指令之后，获取所述待处理数据的所述配置信息；

处理单元，用于基于所述获取单元获取的所述配置信息对所述待处理数据进行模块化处理；其中，所述模块化处理包括数据格式化、加入数据发送队列、数据发送。

借由上述技术方案，本发明提供的技术方案至少具有下列优点：

本发明提供的数据采集平台中数据处理的模块化方法及装置，接收数据采集指令，并根据该数据采集指令采集待处理数据，该数据采集指令由服务器生成，且该数据采集指令包含有待处理数据的配置信息，解析该数据采集指令，并获取待处理数据的配置信息，基于该配置信息对待处理数据进行模块化处理，其中，该模块化处理包括：数据格式化、加入数据发送队列、数据发送；与现有技术相比，本发明通过数据采集指令中的配置信息，配置待处理数据，并基于该配置信息对待处理数据进行模块化处理，提高了基于一个数据采集平台添加、修改及删除数据采集指标的灵活性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提供的一种数据采集平台中数据处理的模块化方法的流程图；

图2示出了本发明实施例提供的一种模块化处理的示意图；

图3示出了本发明实施例提供的一种基于所述配置信息对所述待处理数据进行模块化处理方法的流程图；

图4示出了本发明实施例提供的一种数据采集平台中数据处理的模块化装置的组成框图；

图5示出了本发明实施例提供的另一种数据采集平台中数据处理的模块化装置的组成框。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明实施例提供一种数据采集平台中数据处理的模块化方法，如图1所示，该方法包括：

101、接收数据采集指令，并根据所述数据采集指令采集待处理数据。

在本发明实施例中，将数据采集平台中采集待处理数据的采集逻辑进行抽取，将抽取出的采集逻辑做成一个接口，该接口的功能为：将采集到的待处理数据交由封装后的不同指标模块，由该些指标模块对待处理数据进行处理；其中，所述指标模块为对数据采集平台原有的处理待处理数据的方法进行模块化封装形成指标模块。基于用户层面上来说，当基于该接口采集待处理数据之后，无需对待处理数据进行处理即可将采集的待处理数据发送至服务器；基于技术实现上来说，当采集待处理数据之后，将待处理数据传递至不同的指标模块中，由不同的指标模块分别对待处理数据进行模块化处理，模块化处理包括：数据格式化、加入数据发送队列、数据发送等操作过程。

在采集待处理数据时，由预设数据采集接口采集待处理数据，在预设数据采集接口采集待处理时，接收服务器发送的数据采集指令，并根据该数据采集指令采集待处理数据，该数据采集指令中包含待处理数据的配置信息，所述配置信息包含：采集待处理数据的数量、数据类型、数据发送协议。

示例性的，假设，数据采集指令中的配置信息为：采集待处理数据的数量为2个，分别为vido play begin time及vido play end time，且该待处理数据的数据类型均为数值型，则预设数据采集接口只采集vido play begin time及vido play end time对应的待处理数据。

102、解析所述数据采集指令，并获取所述待处理数据的所述配置信息。

对数据采集指令进行解析，获取数据采集指令中待处理数据对应的配置信息，其目的在于，基于配置信息对待处理数据进行处理，同时，检验采集的待处理数据与配置信息中记录的内容是否一致。

作为本发明实施例的一种实现方式，所述配置信息存储于表格中，作为本发明实施例的另一种实现方式，所述配置信息存储于文件中。本发明实施例对配置信息的存储形式不进行限定。

103、基于所述配置信息对所述待处理数据进行模块化处理。

本发明实施例中，对待处理数据进行模块化处理，所述模块化处理包括数据格式化、加入数据发送队列、数据发送。需要说明的是，模块化处理即将待处理数据分别传递至数据格式化指标模块、加入数据发送队列指标模块、数据发送指标模块中，数据格式化指标模块、加入数据发送队列指标模块、数据发送指标模块分别按照其模块内的功能对待处理数据进行数据处理。

数据格式化指标模块在对待处理数据进行处理时，基于配置文件中的待处理数据的数量、数据类型对待处理数据进行格式化处理；加入数据发送队列指标模块将格式化处理后的待处理数据执行加入数据发送队列中，以监测待处理数据是否已成功发送至服务器；数据发送指标模块基于配置信息中的数据发送协议将数据发送队列中的待处理数据发送至服务器。

为了便于对待处理数据进行模块化处理，以下将以示例的形式对模块化处理进行详细说明。如图2所示，图2示出了本发明实施例提供的一种模块化处理的示意图；当待处理数据传递至数据格式化指标模块时，数据格式化指标模块基于配置信息中的待处理数据的数量、数据类型进行格式化处理；格式化处理后将待处理数据传递至加入数据发送队列指标模块，将待处理数据执行加入数据发送队列；将待处理数据传递至数据发送指标模块，数据发送指标模块基于配置信息中的数据发送协议将待处理数据发送至服务器。其中，图2仅为便于理解对待处理的护具进行模块化处理抽象给出的示意图，具体的本发明实施例对待处理数据进行模块化处理的详细过程不进行限定。

需要说明的是，由于本发明实施例所述的待处理数据的数据类型为非特定数据类型的数据，因此，在数据格式化指标模块、加入数据发送队列指标模块、数据发送指标模块对待处理数据进行处理时，彼此之间相互独立，即当待处理数据传递至数据格式化指标模块进行处理时，该数据格式化指标模块对待处理数据进行数据格式化处理，格式化处理后的待处理数据在传递给入加入数据发送队列指标模块、数据发送指标模块进行数据处理时，也不会因为该待处理数据因为被数据格式化指标模块处理，而产生其他的影响。更简单的理解为：待处理数据作为一串没有特殊意义的字符串，数据格式化指标模块、加入数据发送队列指标模块、数据发送指标模块分别按照其内部处理字符串的方式对待处理数据形成的字符串进行处理。

本发明实施例提供的数据采集平台中数据处理的模块化方法，根据数据采集指令采集待处理数据，该数据采集指令由服务器生成，且该数据采集指令包含有待处理数据的配置信息，解析该数据采集指令，并获取待处理数据的配置信息，基于该配置信息对待处理数据进行模块化处理，其中，该模块化处理包括：数据格式化、加入数据发送队列、数据发送；与现有技术相比，本发明实施例通过数据采集指令中的配置信息，配置待处理数据，并基于该配置信息对待处理数据进行模块化处理，提高了基于一个数据采集平台添加、修改及删除数据采集指标的灵活性。

进一步的，作为对上述实施例的细化和扩展，在执行步骤103基于所述配置信息对所述待处理数据进行模块化处理时。可以包含但不局限于以下的方法，如图3所示，该方法包括：

301、获取所述待处理数据。

本发明实施例中，所述待处理数据的个数由配置信息决定，所述待处理数据可以为一个，也可以为至少两个，本发明实施例对配置信息中配置待处理数据的具体个数不进行限定。

302、基于所述配置信息对所述待处理数据进行数据格式化处理。

数据格式化指标模块在对待处理数据进行处理之前，首先获取配置信息中的待处理数据的数量及数据类型，并判断获取的配置信息中的待处理数据的数量及数据类型是否与步骤301中获取待处理数据的数量及数据类型一致。若一致，则继续步骤303对获取的待处理数据进行格式化处理；若不一致，则说明步骤301获取的待处理数据是错误的，因此将步骤301获取的待处理数据丢弃。

本发明实施例中，在数据格式化指标模块对待处理数据进行格式化处理时，根据预置规范规则将所述待处理数据进行格式化处理，所述预置规范规则用于规范所述待处理数据的格式；其中，预置规范规则为人为设置的，包括：待处理数据的长度信息、待处理数据的特定格式转换、当存在多个待处理数据时，对该些待处理数据进行拼接时使用的连接符等等。

示例性的，以预置规范规则中的待处理数据的特定格式转换为例进行说明。若待处理数据为视频缓冲时长vido play buffer time＝800毫秒，而预置规范规则中要求待处理数据的单位为秒，则需要将视频缓冲时长vido play buffer time＝800毫秒格式化处理为视频缓冲时长vido play buffer time＝0.8秒，以上仅为示例性的举例，本发明实施例对预置规范规则不进行具体限定。

303、将数据格式化处理后的所述待处理数据执行加入数据发送队列。

本发明实施例最终的目的是将采集到的待处理数据发送至服务器，为了能够确认是否已经将待处理数据发送至服务器，在数据发送指标模块向服务器发送待处理数据之前，加入数据发送队列指标模块将该待处理数据发送执行加入数据发送队列中，该数据发送队列用于存储格式化处理后的待处理数据；该发送等待队列能够控制发送待处理数据的发送时间、监测待处理数据是否发送成功，具体包括：加入数据发送队列指标模块将格式化处理后的待处理数据添加到发送等待队列中，发送等待队列中设置发送待处理数据的间隔时长为10s，即发送等待队列中每隔10s发送一个待处理数据，并监测该待处理数据是否发送成功，若该待处理数据发送成功，则对该待处理数据进行发送成功的标识；若该待处理数据发送失败，则对该待处理数据进行发送失败的标识。本发明实施例中，有关对待处理数据进行发送成功/失败的标识方法请参考现有技术中的相关实现，本发明实施例在此不再进行赘述。需要说明的是，本发明实施例对发送等待队列中发送待处理数据的间隔时长不进行限定。

304、将所述数据发送队列中的所述待处理数据发送至服务器。

在数据发送指标模块向服务器发送待处理数据时，对配置信息进行解析，确定发送待处理数据的数据发送协议，若配置信息中没有指示发送待处理数据的数据发送协议，则使用数据发送指标模块中默认的数据发送协议。本发明实施例中，所述数据发送协议包含但不局限于以下方式，例如，超文本传送协议(Hypertext transfer protocol,HTTP)的GET方法、POST方法以及PUT方法；或者，传输控制协议(Transmission Control Protocol，TCP)；本发明实施例对发送协议的具体内容不进行限定。

根据上述方法实施例，下面提供一种装置实施例，该装置实施例与前述方法实施例对应，为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。

进一步的，本发明实施还一种数据采集平台中数据处理的模块化装置，如图4所示，该装置包括：

接收单元41，用于接收数据采集指令，其中，所述数据采集指令由服务器生成，且所述数据采集指令中包含待处理数据的配置信息，所述配置信息包含：采集待处理数据的数量、类型、数据发送协议；

采集单元42，用于根据所述接收单元41接收的所述数据采集指令采集待处理数据；

解析单元43，用于解析所述接收单元41接收的所述数据采集指令；

获取单元44，用于在所述解析单元43解析所述数据采集指令之后，获取所述待处理数据的所述配置信息；

处理单元45，用于基于所述获取单元44获取的所述配置信息对所述待处理数据进行模块化处理；其中，所述模块化处理包括数据格式化、加入数据发送队列、数据发送。

进一步的，如图5所示，所述处理单元45包括：

获取模块451，用于获取所述待处理数据；

处理模块452，用于基于所述配置信息对所述获取模块451获取的所述待处理数据进行数据格式化处理；

加入模块453，用于将所述处理模块452数据格式化处理后的所述待处理数据执行加入数据发送队列；

发送模块454，用于将所述加入模块453加入数据发送队列中的所述待处理数据发送至服务器。

进一步的，所述处理模块452，还用于根据预置规范规则将所述待处理数据进行格式化处理，所述预置规范规则用于规范所述待处理数据的格式。

进一步的，如图5所示，所述处理单元45还包括：

确定模块455，用于在所述发送模块454将所述数据发送队列中的所述待处理数据发送至服务器之前，确定发送所述待处理数据的数据发送协议；

所述发送模块454，还用于基于所述确定模块455确定的所述数据发送协议将所述数据发送队列中的所述待处理数据发送至所述服务器。

进一步的，在所述处理模块452基于所述配置信息对所述待处理数据进行模块化处理时，执行所述数据格式化、所述加入数据发送队列及所述数据发送之间相互独立。

本发明实施例提供的数据采集平台中数据处理的模块化装置，根据数据采集指令采集待处理数据，该数据采集指令由服务器生成，且该数据采集指令包含有待处理数据的配置信息，解析该数据采集指令，并获取待处理数据的配置信息，基于该配置信息对待处理数据进行模块化处理，其中，该模块化处理包括：数据格式化、加入数据发送队列、数据发送；与现有技术相比，本发明实施例通过数据采集指令中的配置信息，配置待处理数据，并基于该配置信息对待处理数据进行模块化处理，提高了基于一个数据采集平台添加、修改及删除数据采集指标的灵活性。

所述数据采集平台中数据处理的模块化装置包括处理器和存储器，上述采集单元、解析单元、获取单元和处理单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提高数据采集平台中添加、修改及删除数据采集指标的灵活性。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash

RAM)，存储器包括至少一个存储芯片。

本申请还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：(根据数据采集指令采集待处理数据；其中，所述数据采集指令由服务器生成，且所述数据采集指令中包含待处理数据的配置信息，所述配置信息包含：采集待处理数据的数量、数据类型、数据发送协议；解析所述数据采集指令，并获取所述待处理数据的所述配置信息；基于所述配置信息对所述待处理数据进行模块化处理；其中，所述模块化处理包括数据格式化、加入数据发送队列、数据发送。在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flashRAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种数据采集平台中数据处理的模块化方法，其特征在于，包括：

接收数据采集指令，并根据所述数据采集指令采集待处理数据；其中，所述数据采集指令由服务器生成，且所述数据采集指令中包含待处理数据的配置信息，所述配置信息包含：采集待处理数据的数量、数据类型、数据发送协议；

解析所述数据采集指令，并获取所述待处理数据的所述配置信息；

基于所述配置信息对所述待处理数据进行模块化处理；其中，所述模块化处理包括数据格式化、加入数据发送队列、数据发送；

其中，基于所述配置信息对所述待处理数据进行模块化处理包括：

获取所述待处理数据；

判断所述配置信息中的待处理数据的数量及数据类型与所述待处理数据的数量和数据类型是否一致；

在判断结果为一致的情况下，基于所述配置信息中的待处理数据的数量和数据类型对所述待处理数据进行数据格式化处理；

将数据格式化处理后的所述待处理数据执行加入数据发送队列；

将所述数据发送队列中的所述待处理数据发送至服务器；

在判断结果为不一致的情况下，丢弃所述待处理数据。

2.根据权利要求1所述的方法，其特征在于，将所述待处理数据进行数据格式化处理包括：

根据预置规范规则将所述待处理数据进行格式化处理，所述预置规范规则用于规范所述待处理数据的格式。

3.根据权利要求2所述的方法，其特征在于，在将所述数据发送队列中的所述待处理数据发送至服务器之前，所述方法还包括：

确定发送所述待处理数据的数据发送协议；

将所述数据发送队列中的所述待处理数据发送至服务器包括：

基于所述数据发送协议将所述数据发送队列中的所述待处理数据发送至所述服务器。

4.根据权利要求1-3中任一项所述的方法，其特征在于，在基于所述配置信息对所述待处理数据进行模块化处理过程中，所述数据格式化、所述加入数据发送队列及所述数据发送之间相互独立。

5.一种数据采集平台中数据处理的模块化装置，其特征在于，包括：

接收单元，用于接收数据采集指令，其中，所述数据采集指令由服务器生成，且所述数据采集指令中包含待处理数据的配置信息，所述配置信息包含：采集待处理数据的数量、数据类型、数据发送协议；

采集单元，用于根据所述接收单元接收的所述数据采集指令采集待处理数据；

解析单元，用于解析所述接收单元接收的所述数据采集指令；

获取单元，用于在所述解析单元解析所述数据采集指令之后，获取所述待处理数据的所述配置信息；

处理单元，用于基于所述获取单元获取的所述配置信息对所述待处理数据进行模块化处理；其中，所述模块化处理包括数据格式化、加入数据发送队列、数据发送；

所述处理单元包括：

获取模块，用于获取所述待处理数据；

处理模块，用于判断所述配置信息中的待处理数据的数量及数据类型与所述待处理数据的数量和数据类型是否一致；在判断结果为一致的情况下，基于所述配置信息中的待处理数据的数量和数据类型对所述待处理数据进行数据格式化处理；

加入模块，用于将所述处理模块数据格式化处理后的所述待处理数据执行加入数据发送队列；

发送模块，用于将所述加入模块加入数据发送队列中的所述待处理数据发送至服务器；

所述处理模块，还用于在判断结果为不一致的情况下，丢弃所述待处理数据。

6.根据权利要求5所述的装置，其特征在于，所述处理模块，还用于根据预置规范规则将所述待处理数据进行格式化处理，所述预置规范规则用于规范所述待处理数据的格式。

7.根据权利要求6所述的装置，其特征在于，所述处理单元还包括：

确定模块，用于在所述发送模块将所述数据发送队列中的所述待处理数据发送至服务器之前，确定发送所述待处理数据的数据发送协议；

所述发送模块，还用于基于所述确定模块确定的所述数据发送协议将所述数据发送队列中的所述待处理数据发送至所述服务器。

8.根据权利要求5-7中任一项所述的装置，其特征在于，在所述处理模块基于所述配置信息对所述待处理数据进行模块化处理过程中，所述数据格式化、所述加入数据发送队列及所述数据发送之间相互独立。

9.一种存储介质，其特征在于，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行权利要求1至权利要求4中任意一项所述的数据采集平台中数据处理的模块化方法。

10.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至权利要求4中任意一项所述的数据采集平台中数据处理的模块化方法。

Images