CN109345081B - 一种数据采集方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种数据采集方法、装置及电子设备，该方法包括：从预设的数据采集配置策略中获取与所述目标数据的采集需求相匹配的目标数据采集流程；其中，所述目标数据采集流程包括至少一个子步骤及所述至少一个子步骤的执行顺序，且所述至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务；按照所述至少一个子步骤的执行顺序，依次并行执行所述目标数据采集流程中每个子步骤包含的至少一个子任务，以完成目标数据的采集需求。

Description

一种数据采集方法、装置及电子设备

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据采集方法、装置及电子设备。

背景技术

目前，为便于数据需求方的数据采集，开发人员会基于数据需求方的数据采集需求制定一套定制化的数据采集流程。

在上述场景中，每当数据需求方提出一种数据采集需求时，都需要开发人员重新制定一套数据采集流程。

显然，现有技术每次在为数据需求方的数据采集需求制定数据采集流程时，都需要耗费人力资源去开发。

发明内容

本申请实施例提供了一种数据采集方法、装置及电子设备，以解决现有技术中的数据数据采集方法需要耗费大量的人力资源的问题。

为解决上述技术问题，本申请实施例是这样实现的：

第一方面，提出了一种数据采集方法，包括：

从预设的数据采集配置策略中获取与所述目标数据的采集需求相匹配的目标数据采集流程；其中，所述目标数据采集流程包括至少一个子步骤及所述至少一个子步骤的执行顺序，且所述至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务；

按照所述至少一个子步骤的执行顺序，依次并行执行所述目标数据采集流程中每个子步骤包含的至少一个子任务，以完成目标数据的采集需求。

第二方面，提出了一种数据采集装置，包括：

获取单元，从预设的数据采集配置策略中获取与所述目标数据的采集需求相匹配的目标数据采集流程；其中，所述目标数据采集流程包括至少一个子步骤及所述至少一个子步骤的执行顺序，且所述至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务；

执行单元，按照所述至少一个子步骤的执行顺序，依次并行执行所述目标数据采集流程中每个子步骤包含的至少一个子任务，以完成目标数据的采集需求。

第三方面，提出了一种电子设备，该电子设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

从预设的数据采集配置策略中获取与所述目标数据的采集需求相匹配的目标数据采集流程；其中，所述目标数据采集流程包括至少一个子步骤及所述至少一个子步骤的执行顺序，且所述至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务；

按照所述至少一个子步骤的执行顺序，依次并行执行所述目标数据采集流程中每个子步骤包含的至少一个子任务，以完成目标数据的采集需求。

第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：

从预设的数据采集配置策略中获取与所述目标数据的采集需求相匹配的目标数据采集流程；其中，所述目标数据采集流程包括至少一个子步骤及所述至少一个子步骤的执行顺序，且所述至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务；

按照所述至少一个子步骤的执行顺序，依次并行执行所述目标数据采集流程中每个子步骤包含的至少一个子任务，以完成目标数据的采集需求。

本申请实施例采用上述技术方案至少可以达到下述技术效果：

由于能够首先从预设的数据采集配置策略中获取与目标数据的采集需求相匹配的目标数据采集流程，该目标数据采集流程包括至少一个子步骤及至少一个子步骤的执行顺序，且至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务，然后按照至少一个子步骤的执行顺序，依次并行执行目标数据采集流程中每个子步骤包含的至少一个子任务，以完成目标数据的采集需求。

这样当获取到数据需求方提出的目标数据采集需求之后，便可以将该数据采集需求与预设的数据采集配置策略相匹配，获取与该数据采集需求相匹配的数据采集流程，并能够基于该数据采集流程中包含的子步骤以及子步骤包含的子任务，依次并行处理各个子步骤中的子任务，使得整个数据采集过程不需要开发人员花费精力参与，同时并行处理子步骤中的多个子任务也提高了数据采集效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本说明书一个实施例提供的一种数据采集方法的实现流程示意图；

图2为本说明书一个实施例提供的数据采集方法应用在一种实际场景中的实现流程示意图；

图3为本说明书一个实施例提供的一种数据采集装置的结构示意图；

图4为本说明书一个实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图，详细说明本申请各实施例提供的技术方案。

为解决现有技术中的数据数据采集方法需要耗费大量的人力资源的问题，本说明书实施例提供一种数据采集方法。本说明书实施例提供的数据采集方法的执行主体可以但不限于服务器等能够被配置为执行本发明实施例提供的该方法装置中的至少一种。

为便于描述，下文以该方法的执行主体为能够执行该方法的服务器为例，对该方法的实施方式进行介绍。可以理解，该方法的执行主体为服务器只是一种示例性的说明，并不应理解为对该方法的限定。

具体地，本说明书一个或多个实施例提供的一种数据采集方法的实现流程示意图如图1所示，包括：

步骤110，从预设的数据采集配置策略中获取与目标数据的采集需求相匹配的目标数据采集流程；

其中，目标数据采集流程包括至少一个子步骤及至少一个子步骤的执行顺序，且至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务。

现有技术中，当用户某两次或几次的数据采集需求存在一些关联性时，比如第一次的数据采集需求为法人A名下所有公司（比如包括公司a、公司b和公司c）的税务信息，第二次的数据采集需求则是法人A名下所有公司的高管信息，那么现有技术对于第一次的数据采集需求和第二次的数据采集需求则要开发人员分别制定各自的数据采集流程。显然，在制定两次数据采集流程中，都要先获取法人A名下有哪些公司（公司a、公司b和公司c），再获取公司a、公司b和公司c的税务信息，以及公司a、公司b和公司c的高管信息。若分别制定两个数据采集流程，显然第一步，获取法人A名下有哪些公司（公司a、公司b和公司c）是重复的，那么就会存在一些资源的浪费，且数据采集的效率较低。

可选地，为了解决这一问题，本说明书一个或多个实施例在从预设的数据采集配置策略中获取与目标数据的采集需求相匹配的目标数据采集流程之后，还可以确定该目标数据采集流程与历史数据采集流程之间是否存在一些关联性，或者该目标数据是否已被采集过了。具体来说，首先，若目标数据采集流程与历史数据采集流程之间存在关联性，则可以基于关联性，简化目标数据采集流程；然后，基于简化后的目标数据采集流程，对目标数据进行采集，以完成目标数据的采集需求。

可选地，若目标数据采集流程与历史数据采集流程之间存在关联性，则基于关联性，简化目标数据采集流程，具体若目标数据采集流程与历史数据采集流程之间存在关联性，则可以首先从历史数据采集流程中获取与目标数据采集流程存在关联性的子步骤和对应的子任务；然后，基于历史数据采集流程中与目标数据采集流程存在关联性的子步骤和对应的子任务，简化目标数据采集流程。

可选地，基于历史数据采集流程中与目标数据采集流程存在关联性的子步骤和对应的子任务，简化目标数据采集流程，具体可以首先，获取历史数据采集流程中与目标数据采集流程存在关联性的子步骤和对应的子任务的执行结果；基于历史数据采集流程中与目标数据采集流程存在关联性的子步骤和对应的子任务的执行结果，简化目标数据采集流程。

下面以具体实例来详细说明基于关联性，简化目标数据采集流程的实现过程。

假设目标数据的采集需求为采集法人A名下所有公司的高管的学历信息，那么基于这目标数据的采集需求，则可以从预设的数据采集配置策略中获取与该目标数据的采集需求相匹配的目标数据采集流程，假设该目标数据采集流程包括：

子步骤a1，获取法人A名下有哪些公司，那么子步骤a1可以包括一个子任务a11，即以法人A的名字等信息为关键词获取法人A名下有哪些公司；

子步骤a2，基于子步骤a1获取的公司，假设法人A名下的公司有公司a、公司b和公司c，分别获取公司a、公司b和公司c中有哪些高管人员，那么该子步骤a2可以包括3个子任务（子任务a21，获取公司a有哪些高管，子任务a22，获取公司b有哪些高管，子任务a23，获取公司c有哪些高管）；

子步骤a3，基于子步骤a2获取的高管人员，假设高管人员包括高管1~高管12，则分别获取高管1~高管12的学历信息，那么子步骤a3可以包括12个子任务（子任务a31，获取高管1的学历信息，……，子任务a312，获取高管12的学历信息）。

假设历史数据采集需求包括法人A名下所有公司的税务信息，那么对应的历史数据采集流程则包括：

子步骤b1，获取法人A名下有哪些公司，那么子步骤b1可以包括一个子任务b11，即以法人A的名字等信息为关键词获取法人A名下有哪些公司；

子步骤b2，基于子步骤b1获取的公司，假设法人A名下的公司有公司a、公司b和公司c，分别获取公司a、公司b和公司c的税务信息，那么该子步骤b2可以包括3个子任务（子任务b21，获取公司a的税务信息，子任务b22，获取公司b的税务信息，子任务b23，获取公司c的税务信息）。

显然，上述子步骤a1和对应的子任务a11与子步骤b1和对应的子任务b11执行的采集任务是相同的，即上述目标数据采集流程与历史数据采集流程之间存在一些关联性，那么基于该关联性，可以从历史数据采集流程中获取与目标数据采集流程存在关联性的子步骤和对应的子任务，即子步骤b1和对应的子任务b11，然后，可以基于存在关联性的子步骤b1和对应的子任务b11，对目标数据采集流程进行简化。具体可以直接获取历史数据采集流程中与目标数据采集流程存在关联性的子步骤和对应的子任务的执行结果，即子步骤b1和对应的子任务b11的执行结果，然后基于该执行结果，对目标数据采集流程进行简化，即可以在子步骤b1和对应的子任务b11的执行结果的基础上执行子步骤a2和对应的子任务a21~a23、以及子步骤a3和对应的子任务a31~a312，而不必再从步骤a1和对应的子任务a11开始执行。

再假设，若目标数据的采集需求为法人A名下的公司信息，则可以直接调用历史采集的数据，从而极大地节省资源，提高数据采集的效率。

可选地，为便于下次为新的数据采集需求确定与其匹配的数据采集流程，使得确定的数据采集流程中能够较为简化，不包含历史采集过的数据，那么在基于简化后的目标数据采集流程，对目标数据进行采集，以完成目标数据的采集需求之后，还可以将目标数据以及与目标数据采集流程之间存在关联性的历史采集数据流程对应的历史数据进行合并。

继续以上述例子为例，在完成目标数据的采集需求为采集法人A名下所有公司的高管的学历信息之后，则可以将该目标数据的采集结果与历史数据采集结果进行合并，即将采集法人A名下所有公司有哪些高管以及这些高管的学历信息与法人A名下所有公司的税务信息进行合并，具体可以存储在一个文件或数据库中。那么，如果下次再获取到与该法人A相关的其他数据之后，也可以将新获取的数据与这些历史数据进行合并。

可选地，为便于快速确定符合目标数据的采集需求的数据采集流程，本说明书一个或多个实施例可以预先基于大量的历史数据的采集流程制定满足不同数据采集需求的数据采集流程，即预先制定出预设的数据采集配置策略，该预设的数据采集配置策略中包括数据采集需求与数据采集流程的对应关系，其中，数据采集流程中包括至少一个子步骤及至少一个子步骤的执行顺序，且至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务。

步骤120，按照至少一个子步骤的执行顺序，依次并行执行目标数据采集流程中每个子步骤包含的至少一个子任务，以完成目标数据的采集需求。

可选地，为了确定每个子步骤是否已完成其对应的数据采集任务，以便推进整个目标数据采集流程，那么对于目标数据采集流程中的每个子步骤，在并行执行子步骤包含的至少一个子任务之后，还可以首先，获取子步骤包含的至少一个子任务的执行结果；然后，将子步骤包含的至少一个子任务的执行结果进行合并；最后，若基于合并结果，确定完成子步骤的采集任务，则可以执行目标数据采集流程的下一个子步骤。

具体地，可以在制定预设的的数据采集配置策略时，将每种数据采集流程中包含的各个子步骤设定一些采集目标，具体可以以字段的形式来实现，比如不同的数据采集目标对应不同类型的字段，当采集到满足条件的字段时，则可以确定完成了该子步骤的采集目标，即完成了该子步骤的采集任务。

下面以图2为例，详细说明本说明书一个或多个实施例提供的数据采集方法应用在实际场景中的实现流程示意图，如图2所示，包括下述主要步骤：

步骤21，获取目标数据的采集需求；

步骤22，从预设的数据采集配置策略中获取与该目标数据的采集需求相匹配的目标数据采集流程；

其中，目标数据采集流程包括至少一个子步骤及至少一个子步骤的执行顺序，且至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务。

为了提高目标数据的采集效率，简化目标数据的采集流程，在从预设的数据采集配置策略中获取与该目标数据的采集需求相匹配的目标数据采集流程之后，还可以确定该目标数据采集流程与历史采集流程之间是否存在关联性，若目标数据采集流程与历史采集流程之间存在关联性，则可以基于该关联性，简化目标数据采集流程。

在这种情况下，则可以从历史数据采集流程中获取与目标数据采集流程存在关联性的子步骤和对应的子任务，并获取该历史数据采集流程中与目标数据采集流程存在关联性的子步骤和对应的子任务的执行结果，最后可以在该历史数据采集流程中与目标数据采集流程存在关联性的子步骤和对应的子任务的执行结果的基础上对目标数据采集流程进行简化。

步骤23，按照至少一个子步骤的执行顺序，开始并行执行目标数据采集流程中第一个子步骤包含的多个子任务（即子任务11，子任务12，子任务13，…）；

步骤24，将步骤23执行的多个子任务的处理结果进行合并处理；

步骤25，基于步骤24的子任务的合并结果，确定是否完成该子步骤的采集任务，若完成该子步骤的采集任务则执行步骤26，若没有完成该子步骤的采集任务则继续执行步骤23；

步骤26，执行下一个子步骤；

……

步骤27，完成目标数据的采集需求。

在确定完成所有子步骤的采集结果之后，将这些采集结果进行合并，以完成目标数据的采集需求。

由于能够首先从预设的数据采集配置策略中获取与目标数据的采集需求相匹配的目标数据采集流程，该目标数据采集流程包括至少一个子步骤及至少一个子步骤的执行顺序，且至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务，然后按照至少一个子步骤的执行顺序，依次并行执行目标数据采集流程中每个子步骤包含的至少一个子任务，以完成目标数据的采集需求。

这样当获取到数据需求方提出的目标数据采集需求之后，便可以将该数据采集需求与预设的数据采集配置策略相匹配，获取与该数据采集需求相匹配的数据采集流程，并能够基于该数据采集流程中包含的子步骤以及子步骤包含的子任务，依次并行处理各个子步骤中的子任务，使得整个数据采集过程不需要开发人员花费精力参与，同时并行处理子步骤中的多个子任务也提高了数据采集效率。

图3是本说明书提供的数据采集装置300的结构示意图。请参考图3，在一种软件实施方式中，数据采集装置300可包括获取单元301、执行单元302，其中：

获取单元301，从预设的数据采集配置策略中获取与所述目标数据的采集需求相匹配的目标数据采集流程；其中，所述目标数据采集流程包括至少一个子步骤及所述至少一个子步骤的执行顺序，且所述至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务；

执行单元302，按照所述至少一个子步骤的执行顺序，依次并行执行所述目标数据采集流程中每个子步骤包含的至少一个子任务，以完成目标数据的采集需求。

由于获取单元301能够首先从预设的数据采集配置策略中获取与目标数据的采集需求相匹配的目标数据采集流程，该目标数据采集流程包括至少一个子步骤及至少一个子步骤的执行顺序，且至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务，然后执行单元302能够按照至少一个子步骤的执行顺序，依次并行执行目标数据采集流程中每个子步骤包含的至少一个子任务，以完成目标数据的采集需求。

这样当获取到数据需求方提出的目标数据采集需求之后，便可以将该数据采集需求与预设的数据采集配置策略相匹配，获取与该数据采集需求相匹配的数据采集流程，并能够基于该数据采集流程中包含的子步骤以及子步骤包含的子任务，依次并行处理各个子步骤中的子任务，使得整个数据采集过程不需要开发人员花费精力参与，同时并行处理子步骤中的多个子任务也提高了数据采集效率。

可选地，在一种实施方式中，对于所述目标数据采集流程中的每个子步骤，在所述执行单元302并行执行所述子步骤包含的至少一个子任务之后，所述装置还包括：

第一获取单元303，获取所述子步骤包含的至少一个子任务的执行结果；

第一合并单元304，将所述子步骤包含的至少一个子任务的执行结果进行合并；

第一执行单元305，若基于所述合并结果，确定完成所述子步骤的采集任务，则执行所述目标数据采集流程的下一个子步骤。

可选地，在一种实施方式中，在所述获取单元301从预设的数据采集配置策略中获取与所述目标数据的采集需求相匹配的目标数据采集流程之后，所述装置还包括：

简化单元306，若所述目标数据采集流程与历史数据采集流程之间存在关联性，则基于所述关联性，简化所述目标数据采集流程；

采集单元307，基于所述简化后的所述目标数据采集流程，对所述目标数据进行采集，以完成所述目标数据的采集需求。

可选地，在一种实施方式中，所述简化单元306，

若所述目标数据采集流程与历史数据采集流程之间存在关联性，则从所述历史数据采集流程中获取与所述目标数据采集流程存在关联性的子步骤和对应的子任务；

基于所述历史数据采集流程中与所述目标数据采集流程存在关联性的子步骤和对应的子任务，简化所述目标数据采集流程。

可选地，在一种实施方式中，所述简化单元306，

获取所述历史数据采集流程中与所述目标数据采集流程存在关联性的子步骤和对应的子任务的执行结果；

基于所述历史数据采集流程中与所述目标数据采集流程存在关联性的子步骤和对应的子任务的执行结果，简化所述目标数据采集流程。

可选地，在一种实施方式中，在所述简化单元306基于所述简化后的所述目标数据采集流程，对所述目标数据进行采集，以完成所述目标数据的采集需求之后，所述装置还包括：

第二合并单元308，将所述目标数据以及与所述目标数据采集流程之间存在关联性的历史采集数据流程对应的历史数据进行合并。

可选地，在一种实施方式中，所述预设的数据采集配置策略中包括数据采集需求与数据采集流程的对应关系，其中，数据采集流程中包括至少一个子步骤及所述至少一个子步骤的执行顺序，且所述至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务。

数据采集装置300能够实现图1~图2的方法实施例的方法，具体可参考图1~图2所示实施例的数据采集方法，不再赘述。

图4是本说明书的一个实施例提供的电子设备的结构示意图。请参考图4，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器（non-volatile memory），例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构）总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构）总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成数据采集装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

从预设的数据采集配置策略中获取与所述目标数据的采集需求相匹配的目标数据采集流程；其中，所述目标数据采集流程包括至少一个子步骤及所述至少一个子步骤的执行顺序，且所述至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务；

按照所述至少一个子步骤的执行顺序，依次并行执行所述目标数据采集流程中每个子步骤包含的至少一个子任务，以完成目标数据的采集需求。

上述如本说明书图1~图2所示实施例揭示的数据采集方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器（Central Processing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital SignalProcessor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现场可编程门阵列（Field－Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书一个或多个实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书一个或多个实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1~图2的数据采集方法，本说明书在此不再赘述。

当然，除了软件实现方式之外，本说明书的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

总之，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书一个或多个实施例的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书一个或多个实施例的保护范围之内。

上述实施例阐明的***、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

Claims (9)

1.一种数据采集方法，包括：

从预设的数据采集配置策略中获取与目标数据的采集需求相匹配的目标数据采集流程；其中，所述目标数据采集流程包括至少一个子步骤及所述至少一个子步骤的执行顺序，且所述至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务；

按照所述至少一个子步骤的执行顺序，依次并行执行所述目标数据采集流程中每个子步骤包含的至少一个子任务，以完成目标数据的采集需求；

其中，在从预设的数据采集配置策略中获取与所述目标数据的采集需求相匹配的目标数据采集流程之后，所述方法还包括：

若所述目标数据采集流程与历史数据采集流程之间存在关联性，则基于所述关联性，简化所述目标数据采集流程；

基于所述简化后的所述目标数据采集流程，对所述目标数据进行采集，以完成所述目标数据的采集需求。

2.如权利要求1所述的方法，对于所述目标数据采集流程中的每个子步骤，在并行执行所述子步骤包含的至少一个子任务之后，所述方法还包括：

获取所述子步骤包含的至少一个子任务的执行结果；

将所述子步骤包含的至少一个子任务的执行结果进行合并；

若基于合并结果，确定完成所述子步骤的采集任务，则执行所述目标数据采集流程的下一个子步骤。

3.如权利要求1所述的方法，若所述目标数据采集流程与历史数据采集流程之间存在关联性，则基于所述关联性，简化所述目标数据采集流程，包括：

若所述目标数据采集流程与历史数据采集流程之间存在关联性，则从所述历史数据采集流程中获取与所述目标数据采集流程存在关联性的子步骤和对应的子任务；

基于所述历史数据采集流程中与所述目标数据采集流程存在关联性的子步骤和对应的子任务，简化所述目标数据采集流程。

4.如权利要求3所述的方法，基于所述历史数据采集流程中与所述目标数据采集流程存在关联性的子步骤和对应的子任务，简化所述目标数据采集流程，包括：

获取所述历史数据采集流程中与所述目标数据采集流程存在关联性的子步骤和对应的子任务的执行结果；

基于所述历史数据采集流程中与所述目标数据采集流程存在关联性的子步骤和对应的子任务的执行结果，简化所述目标数据采集流程。

5.如权利要求4所述的方法，在基于所述简化后的所述目标数据采集流程，对所述目标数据进行采集，以完成所述目标数据的采集需求之后，所述方法还包括：

将所述目标数据以及与所述目标数据采集流程之间存在关联性的历史采集数据流程对应的历史数据进行合并。

6.如权利要求1~5中任一所述的方法，所述预设的数据采集配置策略中包括数据采集需求与数据采集流程的对应关系，其中，数据采集流程中包括至少一个子步骤及所述至少一个子步骤的执行顺序，且所述至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务。

7.一种数据采集装置，包括：

获取单元，从预设的数据采集配置策略中获取与目标数据的采集需求相匹配的目标数据采集流程；其中，所述目标数据采集流程包括至少一个子步骤及所述至少一个子步骤的执行顺序，且所述至少一个子步骤中至少存在一个子步骤，包含能够并行处理的多个子任务；

执行单元，按照所述至少一个子步骤的执行顺序，依次并行执行所述目标数据采集流程中每个子步骤包含的至少一个子任务，以完成目标数据的采集需求，在从预设的数据采集配置策略中获取与所述目标数据的采集需求相匹配的目标数据采集流程之后，所述执行单元还用于：若所述目标数据采集流程与历史数据采集流程之间存在关联性，则基于所述关联性，简化所述目标数据采集流程；基于所述简化后的所述目标数据采集流程，对所述目标数据进行采集，以完成所述目标数据的采集需求。

8.一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：

获取目标数据的采集需求；

基于所述目标数据的特征，确定所述目标数据与历史采集数据的关联性；

从预设的数据采集配置策略中获取与所述目标数据的采集需求对应的数据采集流程；其中，所述预设的数据采集配置策略包括数据采集需求与数据采集流程的对应关系，在从预设的数据采集配置策略中获取与所述目标数据的采集需求相匹配的目标数据采集流程之后，若所述目标数据采集流程与历史数据采集流程之间存在关联性，则基于所述关联性，简化所述目标数据采集流程；

基于所述简化后的所述目标数据采集流程，对所述目标数据进行采集，以完成所述目标数据的采集需求；

基于所述目标数据与历史采集数据的关联性、以及与所述目标数据的采集需求对应的数据采集流程，确定所述目标数据的数据采集流程。

9.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：

获取目标数据的采集需求；

基于所述目标数据的特征，确定所述目标数据与历史采集数据的关联性；

从预设的数据采集配置策略中获取与所述目标数据的采集需求对应的数据采集流程；其中，所述预设的数据采集配置策略包括数据采集需求与数据采集流程的对应关系；

在从预设的数据采集配置策略中获取与所述目标数据的采集需求相匹配的目标数据采集流程之后，

若所述目标数据采集流程与历史数据采集流程之间存在关联性，则基于所述关联性，简化所述目标数据采集流程；

基于所述简化后的所述目标数据采集流程，对所述目标数据进行采集，以完成所述目标数据的采集需求；

基于所述目标数据与历史采集数据的关联性、以及与所述目标数据的采集需求对应的数据采集流程，确定所述目标数据的数据采集流程。

Images