CN110309391A - 内容抓取任务的调度、处理方法、装置、存储介质和设备 - Google Patents

Abstract

本发明涉及一种内容抓取任务的调度、处理方法、装置、存储介质和计算机设备，该内容抓取任务的调度方法包括：获取目标应用所配置的应用内容类别；分别生成各所述应用内容类别对应的内容抓取任务；为各所述内容抓取任务配置相应的任务配置信息；将各所述内容抓取任务分别调度至对应于空闲状态的移动终端标识；下发各所述内容抓取任务和相应的任务配置信息；下发的内容抓取任务，用于指示调度至的移动终端标识相应的移动终端根据相应的任务配置信息抓取应用内容，所述应用内容属于与下发的内容抓取任务对应的应用内容类别。本申请提供的方案提高了应用内容抓取效率。

Description

内容抓取任务的调度、处理方法、装置、存储介质和设备

技术领域

本发明涉及计算机技术领域，特别是涉及一种内容抓取任务的调度、处理方法、装置、存储介质和设备。

背景技术

随着网络技术的发展，移动终端上可安装的应用越来越多，这些应用所包括的应用内容也越来也丰富。用户在面临众多应用选择时，通常根据应用的测评结果来选择合适的应用进行安装使用。

测评结果通常是根据从应用中抓取的应用内容分析得到，而传统技术中，通常是通过移动终端自行运行应用程序并存储应用内容，再抓取移动终端存储的应用内容来进行应用测评，这样耗时较长，导致应用内容的抓取效率低。

发明内容

基于此，有必要针对内容抓取效率比较低的问题，提供一种内容抓取任务的调度、处理方法、装置、存储介质和设备。

一种内容抓取任务的调度方法，包括：

获取目标应用所配置的应用内容类别；

分别生成各所述应用内容类别对应的内容抓取任务；

为各所述内容抓取任务配置相应的任务配置信息；

将各所述内容抓取任务分别调度至对应于空闲状态的移动终端标识；

下发各所述内容抓取任务和相应的任务配置信息；下发的内容抓取任务，用于指示调度至的移动终端标识相应的移动终端根据相应的任务配置信息抓取应用内容，所述应用内容属于与下发的内容抓取任务对应的应用内容类别。

一种内容抓取任务的调度装置，包括：

获取模块，用于获取目标应用所配置的应用内容类别；

生成模块，用于分别生成各所述应用内容类别对应的内容抓取任务；

配置模块，用于为各所述内容抓取任务配置相应的任务配置信息；

调度模块，用于将各所述内容抓取任务分别调度至对应于空闲状态的移动终端标识；

下发模块，用于下发各所述内容抓取任务和相应的任务配置信息；下发的内容抓取任务，用于指示调度至的移动终端标识相应的移动终端根据相应的任务配置信息抓取应用内容，所述应用内容属于与下发的内容抓取任务对应的应用内容类别。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：

获取目标应用所配置的应用内容类别；

分别生成各所述应用内容类别对应的内容抓取任务；

为各所述内容抓取任务配置相应的任务配置信息；

将各所述内容抓取任务分别调度至对应于空闲状态的移动终端标识；

下发各所述内容抓取任务和相应的任务配置信息；下发的内容抓取任务，用于指示调度至的移动终端标识相应的移动终端根据相应的任务配置信息抓取应用内容，所述应用内容属于与下发的内容抓取任务对应的应用内容类别。

一种计算机设备，包括存储器和处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：

获取目标应用所配置的应用内容类别；

分别生成各所述应用内容类别对应的内容抓取任务；

为各所述内容抓取任务配置相应的任务配置信息；

将各所述内容抓取任务分别调度至对应于空闲状态的移动终端标识；

下发各所述内容抓取任务和相应的任务配置信息；下发的内容抓取任务，用于指示调度至的移动终端标识相应的移动终端根据相应的任务配置信息抓取应用内容，所述应用内容属于与下发的内容抓取任务对应的应用内容类别。

上述内容抓取任务的调度方法、装置、存储介质和计算机设备，对于进行应用内容抓取的目标应用，自动获取该目标应用所配置的应用内容类别，进而分别生成各所述应用内容类别对应的内容抓取任务，再将各内容抓取任务分别调度至对应于空闲状态的移动终端标识，这样便可将某一应用的内容抓取分散为多个任务，通过多个移动终端来协作完成，从而在下发各内容抓取任务和相应的任务配置信息后，各移动终端即可分工合作，分别抓取属于不同应用内容类别的应用内容，极大地提高了应用内容的抓取效率。

一种内容抓取任务的处理方法，包括：

获取对应于应用内容类别生成的内容抓取任务；

确定各所述内容抓取任务各自调度至的移动终端标识；

当所述移动终端标识相应的移动终端与本地连接时，则获取调度至所述移动终端标识的内容抓取任务相应的任务配置信息；

向所述移动终端传输根据所述任务配置信息生成的控制指令；

接收所述移动终端根据所述控制指令抓取并反馈的应用内容；所述应用内容属于与调度至所述移动终端标识的内容抓取任务相应的应用内容类别。

一种内容抓取任务的处理装置，包括：

获取模块，用于获取对应于应用内容类别生成的内容抓取任务；

确定模块，用于确定各所述内容抓取任务各自调度至的移动终端标识；

所述获取模块还用于，当所述移动终端标识相应的移动终端与本地连接时，则获取调度至所述移动终端标识的内容抓取任务相应的任务配置信息；

传输模块，用于向所述移动终端传输根据所述任务配置信息生成的控制指令；

接收模块，用于接收所述移动终端根据所述控制指令抓取并反馈的应用内容；所述应用内容属于与调度至所述移动终端标识的内容抓取任务相应的应用内容类别。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行以下步骤：

获取对应于应用内容类别生成的内容抓取任务；

确定各所述内容抓取任务各自调度至的移动终端标识；

当所述移动终端标识相应的移动终端与本地连接时，则获取调度至所述移动终端标识的内容抓取任务相应的任务配置信息；

向所述移动终端传输根据所述任务配置信息生成的控制指令；

接收所述移动终端根据所述控制指令抓取并反馈的应用内容；所述应用内容属于与调度至所述移动终端标识的内容抓取任务相应的应用内容类别。

一种计算机设备，包括存储器和处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以下步骤：

获取对应于应用内容类别生成的内容抓取任务；

确定各所述内容抓取任务各自调度至的移动终端标识；

当所述移动终端标识相应的移动终端与本地连接时，则获取调度至所述移动终端标识的内容抓取任务相应的任务配置信息；

向所述移动终端传输根据所述任务配置信息生成的控制指令；

接收所述移动终端根据所述控制指令抓取并反馈的应用内容；所述应用内容属于与调度至所述移动终端标识的内容抓取任务相应的应用内容类别。

上述内容抓取任务的处理方法、装置、存储介质和计算机设备，在获取到内容抓取任务后，自动确定各内容抓取任务各自调度至的移动终端标识，进而在确定的移动终端标识相应的移动终端与本地连接时，即获取调度至该移动终端标识的内容抓取任务相应的任务配置信息，这样便可向该移动终端传输根据任务配置信息生成的控制指令，使得该终端根据控制指令抓取应用内容。由于内容抓取任务是对应于应用内容类别生成的，这样便可将某一应用的内容抓取分散为多个任务，通过多个移动终端来协作，分别抓取属于不同应用内容类别的应用内容，极大地提高了应用内容的抓取效率。

附图说明

图1为一个实施例中内容抓取任务的调度方法的应用环境图；

图2为一个实施例中内容抓取任务的调度方法的流程示意图；

图3为一个实施例中任务队列的示意图；

图4为一个实施例中内容抓取任务的处理方法的流程示意图；

图5为一个实施例中移动终端抓取应用内容的界面示意图；

图6为另一个实施例中移动终端抓取应用内容的界面示意图；

图7为一个实施例中移动终端注册的流程框图；

图8为一个实施例中移动终端状态变化的示意图；

图9为一个实施例中任务调度与处理过程中服务器、终端与移动终端间交互的流程框图；

图10为一个实施例中内容抓取任务的调度装置的模块结构图；

图11为另一个实施例中内容抓取任务的调度装置的模块结构图；

图12为一个实施例中内容抓取任务的处理装置的模块结构图；

图13为另一个实施例中内容抓取任务的处理装置的模块结构图；

图14为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1为一个实施例中内容抓取任务的调度方法的应用环境图。参照图1，该应用环境包括服务器110、终端120和移动终端130。服务器110通过网络与终端110连接，终端120与移动终端130连接。其中，终端120可通过通用串行总线、无线网络或者蓝牙等连接方式与移动终端130连接。服务器110用于执行该内容抓取任务的调度方法。服务器110具体可以是独立的服务器，也可以是多个独立的服务器组成的服务器集群。终端120具体可以是台式终端或移动终端，移动终端具体可以平板电脑或者笔记本电脑等。移动终端130具体可以是手机或者电子穿戴设备等。其中，终端120和移动终端130的数量均为多个。

在一个实施例中，内容抓取任务的处理方法也可应用于如图1所示的应用环境中。其中，终端120用于执行该内容抓取任务的处理方法。

图2为一个实施例中内容抓取任务的调度方法的流程示意图。本实施例主要以该方法应用于上述图1中的服务器110来举例说明。参照图2，该内容抓取任务的调度方法具体包括如下步骤：

S202，获取目标应用所配置的应用内容类别。

其中，目标应用是待进行应用内容爬取的应用程序。应用程序(APP，Application)是为了得到某种结果而由计算机等具有信息处理能力的终端执行的代码化指令序列，或者可以被自动转换成代码化指令序列的符号化指令序列或者符号化语句序列。应用程序比如社交应用程序、资讯应用程序、生活服务应用程序或者游戏应用程序等。

应用内容是应用程序所包括的数据。应用内容可包括可视化的应用页面展示数据，比如可在应用页面展示的图片、文本或者音视频等。应用内容也可包括生成应用页面所依据的页面样式代码或者页面结构代码等源代码数据，比如HTML(HyperText MarkupLanguage，超级文本标记语言)源码等。

应用内容类别是将应用内容按照某种分类依据分类得到的分类类别。根据不同的分类依据，可以得到不同的应用内容类别。比如，将应用内容按照数据类型分类，可得到应用内容类别如图片类别、视频类别或者文本类别等。再比如，将应用内容按照内容主题分类，可得到应用内容类别如体育类别、时政类别或者金融类别等。举例说明，腾讯新闻应用程序中包括“要闻”“视频”“两会”“深圳”以及“娱乐”等多个栏目，这些栏目即为将腾讯新闻所配置的应用内容类别。

在一个实施例中，目标应用所配置的应用内容类别可以是根据一种分类依据分类得到的分类类别，也可以是根据多种分类依据分类得到的分类类别。

在一个实施例中，目标应用所配置的应用内容类别，可以是由目标应用的开发者在开发目标应用的过程中配置的；也可以是由服务器在确定实施应用内容抓取时统一配置的；还可以是由服务器在确定实施应用内容抓取时根据目标应用的应用类型分别配置的。

具体地，服务器可获取待进行应用内容爬取的应用程序的应用标识，以确定这些应用标识所对应的目标应用，再获取目标应用所配置的应用内容类别。

在一个具体的实施例中，服务器具体可以是与应用下载应用程序对应的服务器。应用下载应用程序是提供应用下载功能的平台型应用程序，用户可通过移动终端上安装的应用下载应用程序下载上传到该应用下载应用程序的应用程序。应用下载应用程序比如应用宝或者应用商店等。

进一步地，应用开发者可将开发的应用上传到应用下载应用程序，这样用户即可在应用下载应用程序中下载其开发的应用。在本实施例中，服务器则可获取上传到应用下载应用程序的应用作为目标应用，进而获取目标应用所配置的应用内容类别。可以理解的是，在本发明中，并不对目标应用的来源进行限定，未上传到应用下载应用程序的其他应用也可作为目标应用。

S204，分别生成各应用内容类别对应的内容抓取任务。

其中，内容抓取任务是进行应用内容抓取的任务。具体地，服务器在获取目标应用所配置的应用内容类别后，可对于每个应用内容类别各自生成一个内容抓取任务。这样便可将某一应用的应用内容抓取分散为多个子任务，而完成每个子任务只需要抓取到该目标应用属于某个应用内容类别的应用内容即可。

举例说明，腾讯新闻应用程序中包括“要闻”“视频”“两会”“深圳”以及“娱乐”等多个栏目，这些栏目即为将腾讯新闻所配置的应用内容类别。这样服务器就可以“栏目”为维度，将每个栏目的应用内容的爬取作为一个内容爬取任务。

S206，为各内容抓取任务配置相应的任务配置信息。

其中，任务配置信息是对任务执行逻辑进行配置的数据。任务配置信息具体可以包括应用登录数据、应用操作指令或者应用内容获取方式等。应用登录数据具体可为登录应用所依据的账号。需要登录应用才能获取应用内容时，任务配置信息则应当包括应用登录数据，比如社交应用程序的社交应用账号等。应用操作指令是操作应用的代码化指令，比如应用页面滚动指令、页面控件点击指令以及应用页面跳转指令等。应用内容获取方式是获取应用内容的方式，比如页面截图方式或者数据提取方式等。

S208，将各内容抓取任务分别调度至对应于空闲状态的移动终端标识。

其中，空闲状态是可调动有内容抓取任务、且尚未调度有内容抓取任务的状态。也就是说，当移动终端标识对应于空闲状态时，表示可以调度内容抓取任务至该移动终端标识。具体地，服务器可对应于各移动终端标识分别记录状态信息。状态信息即为移动终端标识当前对应的状态。本实施例中，服务器具体可通过设备状态列表来记录移动终端标识对应的状态信息。

具体地，服务器可事先设置任务调度条件，根据任务调度条件来将各内容抓取任务分别调度至对应于空闲状态的移动终端标识。任务调度条件可以包括任务数量的约束条件。任务数量的约束条件，比如每次仅能调度N个(如1个)内容抓取任务至一个移动终端标识。这样可以避免大量内容抓取任务集中于一个移动终端，使得各移动终端都有任务可处理，提高移动终端的利用效率。任务调度条件还可包括任务调度顺序的约束条件，比如按照内容抓取任务的生成时间来依次调度，在先生成的内容抓取任务在先调度，在后生成的内容抓取任务在后调度。这样可以提高任务处理的及时性。

在一个实施例中，对应于空闲状态的移动终端标识的数量可以为一个或者多个。当对应于空闲状态的移动终端标识的数量为一个时，可将预设数量的内容抓取任务调度至该移动终端标识；对于剩余的内容抓取任务，则等待查询到新增的且对应于空闲状态的移动终端标识后再调度。其中，预设数据是移动终端所能调度至的任务数量上限。

当对应于空闲状态的移动终端标识的数量为多个时，可将各内容抓取任务分别调度至这些对应于空闲状态的移动终端标识中的其中一个，且调度至每个移动终端标识的内容抓取任务的数量不超过预设数量。若存在剩余的内容抓取任务，则等待查询到新增的且对应于空闲状态的移动终端标识后再调度。

在一个具体的实施例中，服务器可将各内容抓取任务分别调度至不同的、且对应于空闲状态的移动终端标识。对于剩余的内容抓取任务，则等待查询到新增的且对应于空闲状态的移动终端标识后再调度。

S210，下发各内容抓取任务和相应的任务配置信息；下发的内容抓取任务，用于指示调度至的移动终端标识相应的移动终端根据相应的任务配置信息抓取应用内容，应用内容属于与下发的内容抓取任务对应的应用内容类别。

具体地，任务配置信息可以是移动终端可直接处理的数据，那么服务器可直接将各内容抓取任务和相应的任务配置信息，分别下发至与相应调度至的移动终端标识相应的移动终端。这样各移动终端即可根据下发的任务配置信息抓取应用内容，以执行内容抓取任务。

举例说明，内容抓取任务包括内容抓取任务A、内容抓取任务B和内容抓取任务C；其中内容抓取任务A被调度至移动终端标识a，内容抓取任务B被调度至移动终端标识b，内容抓取任务C被调度至移动终端标识c。那么服务器可直接将内容抓取任务A和相应的任务配置信息下发至移动终端标识a相应的移动终端，将内容抓取任务B和相应的任务配置信息下发至移动终端标识b相应的移动终端，将内容抓取任务C和相应的任务配置信息下发至移动终端标识c相应的移动终端。

在一个实施例中，任务配置信息可以是移动终端无法直接处理的数据，那么服务器可将各内容抓取任务和相应的任务配置信息下发至中间设备，通过中间设备将任务配置信息转化为移动终端可执行的控制指令后下发至移动终端，移动终端再执行该控制指令以抓取应用内容。其中，中间设备是可直接处理任务配置信息的设备。具体可以是图1中所示的终端120。具体地，终端可通过其上安装的调试工具，根据任务配置信息生成控制指令。调试工具比如安卓调试桥(Android Debug Bridge)或者Appium(移动端自动化框架)等。

在一个实施例中，服务器将内容抓取任务和相应的任务配置信息同时下发至中间设备(终端120)，也可以先将内容抓取任务下发至中间设备，在中间设备与下发的内容抓取任务调度至的移动终端标识相应的移动终端标识连接时，再将下发的内容抓取任务相应的任务配置信息下发至中间设备。

上述内容抓取任务的调度方法，对于进行应用内容抓取的目标应用，自动获取该目标应用所配置的应用内容类别，进而分别生成各所述应用内容类别对应的内容抓取任务，再将各内容抓取任务分别调度至对应于空闲状态的移动终端标识，这样便可将某一应用的内容抓取分散为多个任务，通过多个移动终端来协作完成，从而在下发各内容抓取任务和相应的任务配置信息后，各移动终端即可分工合作，分别抓取属于不同应用内容类别的应用内容，极大地提高了应用内容的抓取效率。

在一个实施例中，当目标应用属于开放接入类型应用时，该内容抓取任务的调度方法还包括：获取接入目标应用的公众标识；分别生成各公众标识对应的内容抓取任务；其中，应用内容，属于与下发的内容抓取任务对应的应用内容类别，或者，与下发的内容抓取任务对应的公众标识相对应。

其中，开放接入类型应用是通过开放接口供第三方使用的应用。第三方可通过开放接口注册公众标识，再通过公众标识发布推广内容。可以理解的是，由于该推广内容可在目标应用的应用页面展示，那么该推广内容也属于应用内容。推广内容比如公众文章或者广告消息等。

公众标识可以是公众服务账号，也可以是与公众服务账号相关联的第三方账号。公众标识是唯一标识公众服务账号的字符串。比如，开放接入类型应用可以是微信应用，接入微信应用的公众标识可以是微信公众号；再比如，开放接入类型应用可以是支付宝应用，接入支付宝应用的公众标识可以是生活号。

具体地，服务器还可在确定目标应用时，查看该目标应用是否为开放接入类型应用，在该目标应用不是开放接入类型应用时，则直接执行前述实施例中S202至S210的步骤。在该目标应用是开放接入类型应用时，在获取目标应用所配置的应用内容类别，分别生成各应用内容类别对应的内容抓取任务时，还可以获取接入目标应用的公众标识；分别生成各公众标识对应的内容抓取任务。这样，生成的内容抓取任务可以是对应于应用内容类别的，那么执行该任务获取的应用内容是属于该应用内容类别的应用内容；生成的内容抓取任务也可以是对应于公众标识的，那么执行该任务获取的应用内容是属于该公众标识的应用内容。

可以理解，对于属于开放接入类型应用的目标应用，服务器也可仅获取接入目标应用的公众标识，分别生成各公众标识对应的内容抓取任务；而不再获取目标应用所配置的应用内容类别，分别生成各应用内容类别对应的内容抓取任务。

在本实施例中，在目标应用属于开放接入类型应用时，分别生成各公众标识对应的内容抓取任务，这样便可对每个公众标识生成一个任务，通过多个移动终端来协作完成，各移动终端分别抓取属于不同公众标识的应用内容，极大地提高了应用内容的抓取效率。而且还可以避免属于大量公众标识的应用内容抓取集中于一个移动终端，使得各移动终端都有任务可处理，提高移动终端的利用效率。

在一个实施例中，内容抓取任务的调度方法还包括：将生成的各内容抓取任务，按相应的任务生成时间依次加入任务队列。将各内容抓取任务分别调度至对应于空闲状态的移动终端标识，包括：查询当前对应于空闲状态的移动终端标识；从任务队列的队首依次取出内容抓取任务；将依次取出的内容抓取任务分别调度至查询到的、且不同的移动终端标识。

其中，任务队列是一个单进单出的队列，主要用于缓存内容抓取任务。具体地，服务器可在每生成一个内容抓取任务时，即将该内容抓取任务加入任务队列，以将生成的各内容抓取任务，按相应的任务生成时间依次加入任务队列。

进一步地，服务器可在任务队列不为空、且存在对应于空闲状态的移动终端标识时，从任务队列的队首依次取出内容抓取任务，再将依次取出的内容抓取任务分别调度至查询到的移动终端标识。服务器也可在新增内容抓取任务至空的任务队列、且存在对应于空闲状态的移动终端标识时，从任务队列的队首依次取出内容抓取任务，再将依次取出的内容抓取任务分别调度至查询到的、且不同的移动终端标识。

对于剩余的内容抓取任务，则等待查询到新增的且对应于空闲状态的移动终端标识后再调度。对于剩余的对应于空闲状态的移动终端标识，则等待新增内容抓取任务时，将新增的内容抓取任务调度至这些移动终端标识。

在本实施例中，将各内容抓取任务，按相应的任务生成时间依次加入任务队列，按照任务队列的先进先出原则，在先生成的内容抓取任务在先调度，在后生成的内容抓取任务在后调度，且每次仅调度一个内容抓取任务至一个移动终端标识。也就是说，每个移动终端每次仅分配一个任务，当任务完成后，再分配新的任务，这样提高了任务处理的及时性。

在一个实施例中，下发各内容抓取任务和相应的任务配置信息，包括：接收终端发起的任务拉取请求；根据任务拉取请求，将各内容抓取任务下发至终端；当终端连接至与下发的内容抓取任务调度至的移动终端标识相应的移动终端时，将下发的内容抓取任务相应的任务配置信息下发至终端；其中，下发的任务配置信息，用于指示终端在根据任务配置信息生成控制指令后，通过控制指令控制移动终端根据控制指令抓取应用内容。

其中，任务拉取请求是用于请求获取内容抓取任务的计算机指令。具体地，终端可向服务器发起任务拉取请求，服务器在接收到任务发起请求后，将已调度至对应于空闲状态的移动终端标识的内容抓取任务下发至该终端。任务拉取请求可定时发起或者检测到特定事件时发起。特定事件可以是有新的移动终端连接至该终端。可以理解，这里的新的移动终端可以是未曾连接至终端的移动终端，也可以是曾连接至终端并在断开连接后再次连接到终端的移动终端。

进一步地，终端可查询连接至本地的移动终端的移动终端标识，当下发的内容抓取任务调度至的移动终端标识与查询到的移动终端标识一致时，那么终端可进一步从服务器上获取该内容抓取任务相应的任务配置信息，进而根据任务配置信息生成控制指令，再将控制指令传输至下发的内容抓取任务调度至的移动终端标识相应的移动终端，使得移动终端根据控制指令抓取应用内容。

举例说明，终端查询到的连接至本地的移动终端的移动终端标识为a和b，下发的内容抓取任务B被调度至移动终端标识b，内容抓取任务C被调度至移动终端标识c。那么此时，由于终端与移动终端标识b相应的移动终端连接，则从服务器上获取内容抓取任务B相应的任务配置信息，根据该任务配置信息生成控制指令后，将控制指令传输至移动终端标识b相应的移动终端，使得移动终端标识b相应的移动终端可根据控制指令抓取应用内容。而对于查询到的移动终端标识为a，由于未有内容抓取任务调度至该移动终端标识，则不予处理。对于内容抓取任务C被调度至移动终端标识c，由于终端当前未连接至移动终端标识c相应的移动终端，也不予处理。

更进一步地，终端根据任务配置信息下发生成的控制指令，是用于控制移动终端的指令。在一个实施例中，终端可根据任务配置信息与控制指令的映射关系，查询任务配置信息所映射至的控制指令。控制指令比如：应用安装指令、应用重启指令、跳转指令、点击指令、页面滚动指令、文本输入指令、页面数据获取指令以及源代码获取指令等。

在本实施例中，终端在获取到内容抓取任务后，自动确定各内容抓取任务各自调度至的移动终端标识，进而在确定的移动终端标识相应的移动终端与本地连接时，即获取调度至该移动终端标识的内容抓取任务相应的任务配置信息，这样便可向该移动终端传输根据任务配置信息生成的控制指令，使得该终端根据控制指令抓取应用内容。这样通过终端的中转下发任务，减少了服务器的工作量。

在一个实施例中，内容抓取任务的调度方法还包括：接收终端上报的任务执行结果；任务执行结果对应于与下发的任务配置信息相应的内容抓取任务；当任务执行结果表示任务执行失败时，将与任务执行结果对应的内容抓取任务重新加入任务队列的队尾。

其中，任务执行结果是移动终端执行内容抓取任务的结果。任务执行结果包括任务执行成功、任务执行失败以及任务执行超时。具体地，终端可接收移动终端反馈的任务执行结果，并将该任务执行结果上报至服务器。当服务器接收到的任务执行结果表示任务执行成功时，则判定任务执行结果完成。当服务器接收到的任务执行结果表示任务执行失败时，则判定任务执行结果未完成，将该执行失败的内容抓取任务重新加入任务队列的队尾，以等待再次执行。

可以理解，重新加入任务队列的内容抓取任务可以是原始的内容抓取任务，也可以是重新生成的内容抓取任务。但两者是对应抓取相同应用内容的任务、且均为失败重试的任务。在本实施例中，提供了失败任务的重试途径，提供了任务执行的成功率。

在一个实施例中，内容抓取任务的调度方法还包括：从下发任务配置信息时开始计时；当计时时长达到第一预设时长、且未接收到终端上报的任务执行结果时，则将与下发的任务配置信息相应的内容抓取任务重新加入任务队列的队尾。

其中，第一预设时长是预先设置的超时等待时长。当等待时长超过第一预设时长时，可判定服务器与终端连接超时。具体地，服务器可从下发任务配置信息时开始计时，当计时时长达到第一预设时长时仍未接收到终端上报的任务执行结果时，则判断任务执行超时，将执行超时的内容抓取任务重新加入任务队列的队尾。

可以理解，重新加入任务队列的内容抓取任务可以是原始的内容抓取任务，也可以是重新生成的内容抓取任务。但两者是对应抓取相同应用内容的任务、且为超时重试的任务。在本实施例中，提供了超时任务的重试途径，提供了任务执行的成功率。

图3示出了一个实施例中任务队列的示意图。参考图3，加入任务队列的任务可以包括新增的内容抓取任务、定时更新的内容抓取任务、失败重试的内容抓取任务以及超时重试的内容抓取任务。由于应用内容具有时效性，因此需要定期重新抓取，故包括定时更新的内容抓取任务。这些任务均按照任务生成时间顺序加入任务队列，在任务调度时，遵循先进先出的原则，在有对应于空闲状态的移动终端标识时且任务队列为空时，从队首依次取出内容抓取任务进行分配；或者在队列中新增了内容抓取任务且有对应于空闲状态的移动终端标识时从队首依次取出内容抓取任务进行分配。

可以理解，定时更新的内容抓取任务、失败重试的内容抓取任务以及超时重试的内容抓取任务的任务生成时间不是初始的内容抓取任务的生成时间，而是定时更新的时间、失败重试的时间以及超时重试的时间。

在一个实施例中，内容抓取任务的调度方法还包括：将各内容抓取任务调度至的移动终端标识，由对应于空闲状态更新为对应于忙碌状态；接收对应于下发的内容抓取任务上报的任务执行结果；在接收到任务执行结果时，将任务执行结果对应的内容抓取任务调度至的移动终端标识，由对应于忙碌状态更新为对应于空闲状态。

其中，空闲状态是可调度有内容抓取任务、且尚未调度有内容抓取任务的状态。相应的，忙碌状态是调度有内容抓取任务、且不可调度有内容抓取任务的状态。具体地，服务器可在进行任务调度后，将内容抓取任务调度至的移动终端标识，由对应于空闲状态更新为对应于忙碌状态，以避免重复调度内容抓取任务至同一的移动终端标识。

进一步地，服务器还可接收对应于下发的内容抓取任务上报的任务执行结果；在接收到任务执行结果时，判定执行该内容抓取任务的移动终端已执行完任务(不论成功与否)，可以接收内容抓取任务调度，便将任务执行结果对应的内容抓取任务调度至的移动终端标识，由对应于忙碌状态更新为对应于空闲状态，避免实际空闲的移动终端无任务可处理。

在本实施例中，在执行任务的移动终端被调度任务或者任务执行完后，及时更新该移动终端的移动终端标识对应的状态，避免重复调度内容抓取任务至同一的移动终端标识，或者存在移动终端空闲无任务可处理。

图4为一个实施例中内容抓取任务的处理方法的流程示意图。本实施例主要以该方法应用于上述图1中的终端120来举例说明。参照图4，该内容抓取任务的处理方法具体包括如下步骤：

S402，获取对应于应用内容类别生成的内容抓取任务。

具体地，终端可确定待进行应用内容抓取的目标应用，确定目标应用所配置的应用内容类别，分别生成各应用内容类别对应的内容抓取任务，从而获取到对应于应用内容类别生成的内容抓取任务。

在一个实施例中，终端可向服务器发起任务拉取请求，服务器在接收到任务发起请求后，将已调度至对应于空闲状态的移动终端标识的内容抓取任务下发至该终端。任务拉取请求可定时发起或者检测到特定事件时发起。特定事件可以是有新的移动终端连接至该终端。可以理解，这里的新的移动终端可以是未曾连接至终端的移动终端，也可以是曾连接至终端并在断开连接后再次连接到终端的移动终端。

在一个实施例中，终端还可以在目标应用属于开放接入类型应用时，获取对应于公众标识生成的内容抓取任务。其中，对应于公众标识生成的内容抓取任务可以是终端自身生成的，也可以是从服务器拉取的。

S404，确定各内容抓取任务各自调度至的移动终端标识。

S406，当移动终端标识相应的移动终端与本地连接时，则获取调度至移动终端标识的内容抓取任务相应的任务配置信息。

具体地，终端获取的任务配置信息可以是在向服务器拉取内容抓取任务时，一并拉取并存储在本地的，在需要时，也就是当移动终端标识相应的移动终端与本地连接时，则从存储的任务配置信息中获取调度至移动终端标识的内容抓取任务相应的任务配置信息。

在一个实施例中，终端获取的任务配置信息，也可以是在拉取的内容抓取任务调度至的移动终端标识相应的移动终端与本地连接时，再从服务器拉取的。

S408，向移动终端传输根据任务配置信息生成的控制指令。

S410，接收移动终端根据控制指令抓取并反馈的应用内容；应用内容属于与调度至移动终端标识的内容抓取任务相应的应用内容类别。

具体地，移动终端在接收到控制指令即执行该控制指令，并在执行该指令后抓取目标应用的应用内容，如当前展示的应用页面的页面数据或者源代码数据，再将抓取的应用内容反馈至终端。

在一个实施例中，控制指令可以是一次下发的、且由移动终端执行的代码化指令序列。移动终端每执行代码化指令序列中的一个代码化指令后，即可将当前抓取的应用内容反馈至服务器，也可以在执行完代码化指令序列后，将抓取的全部应用内容统一反馈至服务器。

在一个实施例中，控制指令可以是多次下发的、且由移动终端执行的代码化指令序列。其中，下一次的代码化指令依赖于移动终端根据上一次代码化指令反馈的应用内容。

举例说明，图5示出了一个实施例中移动终端抓取应用内容的界面示意图。假设目标应用为腾讯新闻应用程序，那么对于对应于“要闻”栏目生成的内容抓取任务。终端可根据任务配置信息生成控制指令(应用安装指令→应用启动指令→栏目选取指令→应用内容抓取指令→页面滚动指令(页面跳转指令)→应用内容抓取指令→….→应用退出指令→应用卸载指令)，再下发至移动终端，移动终端则执行该控制指令模拟用户操作应用，并抓取应用内容。参考图5左图，移动终端在安装目标应用后，可模拟用户对目标应用的应用图标510的点击操作启动目标应用，再在启动目标应用后展示的应用页面中选中目标栏目520如图5右图所示。移动终端可再抓取该页面的页面展示数据或者源代码数据，再模拟用户操作进行页面跳转或者页面滚动后，再抓取新页面的页面展示数据或者源代码数据，直至抓取完控制指令指定的应用内容，或者抓取次数达到控制指令指定的次数。可以理解，在移动终端上安装有目标应用时，不再需要重新安装及卸载目标应用。

再比如，图6示出了另一个实施例中移动终端抓取应用内容的界面示意图。假设目标应用为微信应用程序，那么对于对应于公众标识生成的内容抓取任务。终端可根据任务配置信息生成控制指令(文本输入指令)下发至移动终端，移动终端则执行该控制指令模拟用户操作应用如图6左图所示，进入搜索页面，在搜索页面的搜索框610中输入公众标识进行搜索后，抓取应用内容反馈至终端。终端再根据反馈的应用内容生成新的控制指令(发布内容查看指令)并下发。移动终端则执行该控制指令模拟用户操作应用如图6右图所示，查看通过该公众标识发布的发布内容620并抓取发布内容反馈至终端，终端再生成新的控制指令，直至移动终端抓取完控制指令指定的应用内容，或者抓取次数达到控制指令指定的次数。

上述内容抓取任务的处理方法，在获取到内容抓取任务后，自动确定各内容抓取任务各自调度至的移动终端标识，进而在确定的移动终端标识相应的移动终端与本地连接时，即获取调度至该移动终端标识的内容抓取任务相应的任务配置信息，这样便可向该移动终端传输根据任务配置信息生成的控制指令，使得该终端根据控制指令抓取应用内容。由于内容抓取任务是对应于应用内容类别生成的，这样便可将某一应用的内容抓取分散为多个任务，通过多个移动终端来协作，分别抓取属于不同应用内容类别的应用内容，极大地提高了应用内容的抓取效率。

在一个实施例中，获取对应于应用内容类别生成的内容抓取任务，包括：生成任务拉取请求；将任务拉取请求发送至服务器；接收服务器根据任务拉取请求下发的内容抓取任务；内容抓取任务对应于应用内容类别生成，且内容抓取任务由服务器分别调度至对应于空闲状态的移动终端标识。

具体地，终端可向服务器发起任务拉取请求，服务器在接收到任务发起请求后，将已调度至对应于空闲状态的移动终端标识的内容抓取任务下发至该终端。任务拉取请求可定时发起或者检测到特定事件时发起。终端拉取的这些任务拉取请求是由服务器对应于应用内容类别生成，且内容抓取任务由服务器分别调度至对应于空闲状态的移动终端标识。

进一步地，终端可查询连接至本地的移动终端的移动终端标识，当下发的内容抓取任务调度至的移动终端标识与查询到的移动终端标识一致时，那么终端可进一步从服务器上获取该内容抓取任务相应的任务配置信息，进而根据任务配置信息生成控制指令，再将控制指令传输至下发的内容抓取任务调度至的移动终端标识相应的移动终端，使得移动终端根据控制指令抓取应用内容。

在本实施例中，通过终端的中转下发任务，减少了服务器的工作量。

在一个实施例中，内容抓取任务的处理方法还包括：扫描通过通用串行总线新增连接至本地的移动终端；当扫描到通过通用串行总线新增连接至本地的移动终端时，则获取新增连接的移动终端所对应的移动终端设备信息；将移动终端的移动终端标识和移动终端设备信息对应上报至服务器；上报的移动终端设备信息用于指示服务器将移动终端标识对应标记为空闲状态。

其中，通用串行总线(Universal Serial Bus,USB)是连接外部设备的串口。终端与移动终端之间可通过通用串行总线连接，以进行数据传输。移动终端设备信息是反映移动终端配置的基本信息。移动终端设备信息比如移动终端型号、移动终端版本型号、移动终端物理地址以及移动终端序列号等。

具体地，终端可扫描通过通用串行总线新增连接至本地的移动终端，在扫描到新增的移动终端时，则对获取新增的移动终端所对应的移动终端设备信息，以对该移动终端进行注册。在本实施例中，终端具体可通过本地的监控线程定期扫描移动终端标识列表，在发现移动终端标识列表中新增移动终端标识时，即对新增的移动终端标识相应的移动终端进行注册。

进一步地，终端可通过通用串行总线，向新增的移动终端传输设备信息获取指令，移动终端在接收到该设备信息获取指令后，即向终端反馈移动终端设备信息。终端再将新增移动终端的移动终端标识和获取到的移动终端设备信息对应上报至服务器，指示服务器保存该移动终端设备信息，并将该移动终端标识对应标记为空闲状态，以完成该移动终端的注册。在一个实施例中，移动终端标识可以是移动终端设备信息，也可以包括于移动终端设备信息。

这样，服务器在将该移动终端标识对应标记为空闲状态，完成移动终端的注册后，即可调度内容抓取任务至该移动终端。

图7示出了一个实施例中移动终端注册的流程框图。参考图7，移动终端在通过通用串行总线物理连接至终端后，终端即可监控到新增移动终端连接至本地，继而通过设备信息获取指令获取移动终端设备信息，再将获取的移动终端设备信息上报至服务器，服务器则保存该移动终端设备信息，并将新增移动终端的移动终端标识对应标记为空闲状态，以完成该移动终端的注册。

上述实施例中，在终端扫描到新增的移动终端后，即获取该移动终端的移动终端设备信息并上报至服务器进行注册，服务器在注册完成后，即可在进行任务调度时，调度任务至该新增的移动终端。

在一个实施例中，内容抓取任务的处理方法还包括：定期向移动终端发送心跳包；当在第二预设时长内未接收到移动终端对应于心跳包反馈的应答包时，则判定移动终端处于离线状态；将移动终端的移动终端标识和离线状态对应上报至服务器；上报的离线状态用于指示服务器将移动终端标识对应标记为离线状态。

其中，心跳包是终端检测与移动终端的连接状态的自定义数据包。第二预设时长是终端预先设置的接收对应于心跳包的应答包的等待时间。应答包是移动终端向终端通知连接状态的自定义数据包。

具体地，终端可定期向移动终端发送心跳包，并在每次发送心跳包后开始计时。当在第二预设时长内接收到移动终端对应于心跳包反馈的应答包时，则判定终端与移动终端之间的连接被保持，则继续按期发送心跳包，以检测连接状态。若在第二预设时长内未接收到移动终端对应于心跳包反馈的应答包时，则判定终端与移动终端之间的连接断开，移动终端处于离线状态，将移动终端的移动终端标识和离线状态对应上报至服务器，服务器便将移动终端标识对应标记为离线状态，以避免调度内容抓取任务至该移动终端而导致内容抓取任务无法及时被执行。

图8示出了一个实施例中移动终端状态变化的示意图。参考图8，在移动终端通过通用串行总线物理连接至终端时，该移动终端的状态由未连接状态变化为离线状态。此时，终端可将移动终端的移动终端设备信息上报至服务器，完成移动终端的注册，这样移动终端的状态则由离线状态转化为空闲状态，当移动终端处于空闲状态时，即为等待调度任务。服务器可调度任务至处于空闲状态的移动终端，这样该移动终端的状态即变化为忙碌状态。在移动终端完成任务后，该移动终端的状态即变化为空闲状态。其中，当移动终端处于空闲状态或者忙碌状态、且超时为相应终端的心跳包时，则该移动终端的状态即变化为离线状态。处于离线状态的移动终端需要再次注册才能接受任务。

在本实施例中，通过心跳机制实时检测终端与移动终端的连接状态，及时更新终端当前的状态，以保证任务调度和处理的顺利进行，避免了调度任务至离线或者忙碌的移动终端而导致无法及时被执行的情形。

图9示出了一个实施例中任务调度与处理过程中服务器、终端与移动终端间交互的时序图。参考图9，首先，服务器在任务队列不为空或者新增内容抓取任务至空的任务队列中时，查询对应于空闲状态的移动终端标识。从任务队列的队首依次取出内容抓取任务，并分别调度至查询到的移动终端标识，直到每个查询到的移动终端标识分别调度了一个内容抓取任务，或者任务队列中的内容抓取任务均调度完。服务器在完成任务调度后，将各内容抓取任务调度至的移动终端标识，由对应于空闲状态更新为对应于忙碌状态。

进一步地，多个终端均从服务器拉取内容抓取任务。对应每个终端，该终端判断拉取的内容抓取任务中对否有调度至本地连接的移动终端执行的内容抓取任务。若有，则将根据该内容抓取任务相应的任务配置信息生成控制指令下发至调度至的移动终端，指示移动终端根据控制指令抓取应用内容完成内容抓取任务。若有，则等待下一次从服务器拉取内容抓取任务。

进一步地，移动终端在执行完内容抓取任务后，及向移动终端反馈任务执行结果。终端再将任务执行结果上报至服务器，服务器在接收到任务执行结果时，将任务执行结果对应的内容抓取任务调度至的移动终端标识，由对应于忙碌状态更新为对应于空闲状态。

进一步地，服务器在任务执行结果表示任务执行失败时，将该任务执行结果相应的内容抓取任务重新加入任务队列的队尾，以等待再次调度。而且，服务器在终端拉取任务后，且下发相应的终端配置文件后，若未接收到终端上报的任务执行结果时，则将与下发的任务配置信息相应的内容抓取任务重新加入任务队列的队尾，以等待再次调度。

应该理解的是，虽然上述各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

如图10所示，在一个实施例中，提供了一种内容抓取任务的调度装置1000。参照图10，该内容抓取任务的调度装置1000包括：获取模块1001、生成模块1002、配置模块1003、调度模块1004和下发模块1005。

获取模块1001，用于获取目标应用所配置的应用内容类别。

生成模块1002，用于分别生成各应用内容类别对应的内容抓取任务。

配置模块1003，用于为各内容抓取任务配置相应的任务配置信息。

调度模块1004，用于将各内容抓取任务分别调度至对应于空闲状态的移动终端标识。

下发模块1005，用于下发各内容抓取任务和相应的任务配置信息；下发的内容抓取任务，用于指示调度至的移动终端标识相应的移动终端根据相应的任务配置信息抓取应用内容，应用内容属于与下发的内容抓取任务对应的应用内容类别。

在一个实施例中，当目标应用属于开放接入类型应用时，获取模块1001还用于获取接入目标应用的公众标识。生成模块1002还用于分别生成各公众标识对应的内容抓取任务。其中，应用内容，属于与下发的内容抓取任务对应的应用内容类别，或者，与下发的内容抓取任务对应的公众标识相对应。

在一个实施例中，生成模块1002还用于将生成的各内容抓取任务，按相应的任务生成时间依次加入任务队列。调度模块1004还用于查询当前对应于空闲状态的移动终端标识；从任务队列的队首依次取出内容抓取任务；将依次取出的内容抓取任务分别调度至查询到的移动终端标识。

在一个实施例中，下发模块1005还用于接收终端发起的任务拉取请求；根据任务拉取请求，将各内容抓取任务下发至终端；当终端连接至与下发的内容抓取任务调度至的移动终端标识相应的移动终端时，将下发的内容抓取任务相应的任务配置信息下发至终端；其中，下发的任务配置信息，用于指示终端在根据任务配置信息生成控制指令后，通过控制指令控制移动终端根据控制指令抓取应用内容。

如图11所示，在一个实施例中，内容抓取任务的调度装置1000还包括：处理模块1006，用于接收终端上报的任务执行结果；任务执行结果对应于与下发的任务配置信息相应的内容抓取任务；当任务执行结果表示任务执行失败时，将与下发的任务配置信息相应的内容抓取任务重新加入任务队列的队尾。

在一个实施例中，处理模块1006还用于从下发任务配置信息时开始计时；当计时时长达到第一预设时长、且未接收到终端上报的任务执行结果时，则将与下发的任务配置信息相应的内容抓取任务重新加入任务队列的队尾。

在一个实施例中，调度模块1004还用于将各内容抓取任务调度至的移动终端标识，由对应于空闲状态更新为对应于忙碌状态。内容抓取任务的调度装置1000还包括：处理模块1006用于接收对应于下发的内容抓取任务上报的任务执行结果；在接收到任务执行结果时，将任务执行结果对应的内容抓取任务调度至的移动终端标识，由对应于忙碌状态更新为对应于空闲状态。

如图12所示，在一个实施例中，提供了一种内容抓取任务的处理装置1200。参照图12，该内容抓取任务的处理装置1200包括：获取模块1201、确定模块1202、传输模块1203和接收模块1204。

获取模块1201，用于获取对应于应用内容类别生成的内容抓取任务。

确定模块1202，用于确定各内容抓取任务各自调度至的移动终端标识。

获取模块1201还用于在移动终端标识相应的移动终端与本地连接时，则获取调度至移动终端标识的内容抓取任务相应的任务配置信息。

传输模块1203，用于向移动终端传输根据任务配置信息生成的控制指令。

接收模块1204，用于接收移动终端根据控制指令抓取并反馈的应用内容；应用内容属于与调度至移动终端标识的内容抓取任务相应的应用内容类别。

在一个实施例中，获取模块1201还用于生成任务拉取请求；将任务拉取请求发送至服务器；接收服务器根据任务拉取请求下发的内容抓取任务；内容抓取任务对应于应用内容类别生成，且内容抓取任务由服务器分别调度至对应于空闲状态的移动终端标识。

在一个实施例中，内容抓取任务的处理装置1200还包括：注册模块1205，用于扫描通过通用串行总线新增连接至本地的移动终端；当扫描到通过通用串行总线新增连接至本地的移动终端时，则获取新增连接的移动终端所对应的移动终端设备信息；将移动终端的移动终端标识和移动终端设备信息对应上报至服务器；上报的移动终端设备信息用于指示服务器将移动终端标识对应标记为空闲状态。

如图13所示，在一个实施例中，内容抓取任务的处理装置1200还包括：注册模块1205和上报模块1206。

上报模块1206，用于定期向移动终端发送心跳包；当在第二预设时长内未接收到移动终端对应于心跳包反馈的应答包时，则判定移动终端处于离线状态；将移动终端的移动终端标识和离线状态对应上报至服务器；上报的离线状态用于指示服务器将移动终端标识对应标记为离线状态。

图14示出了一个实施例中计算机设备的内部结构图。该计算机设备具体可以是图1中的服务器110或者终端120。如图14所示，该计算机设备包括通过***总线连接的处理器、存储器和网络接口。其中，存储器包括非易失性存储介质和内存储器。该计算机设备的非易失性存储介质存储有操作***，还可存储有计算机程序，该计算机程序被处理器执行时，可使得处理器内容抓取任务的调度方法或者内容抓取任务的处理方法。该内存储器中也可储存有计算机程序，该计算机程序被处理器执行时，可使得处理器执行内容抓取任务的调度方法或者内容抓取任务的处理方法。本领域技术人员可以理解，图14中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在一个实施例中，当计算机设备为终端120时，该计算机设备还可以包括通过***总线连接的通用串行总线接口。该通用串行总线接口用于与移动终端建立物理连接。

在一个实施例中，本申请提供的内容抓取任务的调度装置和内容抓取任务的处理装置均可以实现为一种计算机程序的形式，计算机程序可在如图14所示的计算机设备上运行，计算机设备的非易失性存储介质可存储组成内容抓取任务的调度装置或者内容抓取任务的处理装置的各个程序模块，比如，图10所示的获取模块1001、生成模块1002、配置模块1003、调度模块1004和下发模块1005等，或者图12所示的获取模块1201、确定模块1202、传输模块1203和接收模块1204等。各个程序模块组成的计算机程序使得处理器执行本说明书中描述的本申请各个实施例的内容抓取任务的调度方法或者内容抓取任务的处理方法中的步骤。

例如，图14所示的计算机设备可以通过如图10所示的内容抓取任务的调度装置1000中的获取模块1001获取目标应用所配置的应用内容类别。通过生成模块1002分别生成各应用内容类别对应的内容抓取任务。通过配置模块1003为各内容抓取任务配置相应的任务配置信息。通过调度模块1004将各内容抓取任务分别调度至对应于空闲状态的移动终端标识。通过下发模块1005下发各内容抓取任务和相应的任务配置信息；下发的内容抓取任务，用于指示调度至的移动终端标识相应的移动终端根据相应的任务配置信息抓取应用内容，应用内容属于与下发的内容抓取任务对应的应用内容类别。

再例如，图14所示的计算机设备可以通过如图12所示的内容抓取任务的处理装置1200中的获取模块1201获取对应于应用内容类别生成的内容抓取任务。通过确定模块1202确定各内容抓取任务各自调度至的移动终端标识。再通过获取模块1201在移动终端标识相应的移动终端与本地连接时，获取调度至移动终端标识的内容抓取任务相应的任务配置信息。通过传输模块1203向移动终端传输根据任务配置信息生成的控制指令。通过接收模块1204接收移动终端根据控制指令抓取并反馈的应用内容；应用内容属于与调度至移动终端标识的内容抓取任务相应的应用内容类别。

在一个实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时，使得处理器执行以下步骤：获取目标应用所配置的应用内容类别；分别生成各应用内容类别对应的内容抓取任务；为各内容抓取任务配置相应的任务配置信息；将各内容抓取任务分别调度至对应于空闲状态的移动终端标识；下发各内容抓取任务和相应的任务配置信息；下发的内容抓取任务，用于指示调度至的移动终端标识相应的移动终端根据相应的任务配置信息抓取应用内容，应用内容属于与下发的内容抓取任务对应的应用内容类别。

在一个实施例中，当目标应用属于开放接入类型应用时，计算机程序还使得处理器执行以下步骤：获取接入目标应用的公众标识；分别生成各公众标识对应的内容抓取任务；其中，应用内容，属于与下发的内容抓取任务对应的应用内容类别，或者，与下发的内容抓取任务对应的公众标识相对应。

在一个实施例中，计算机程序还使得处理器执行以下步骤：将生成的各内容抓取任务，按相应的任务生成时间依次加入任务队列。将各内容抓取任务分别调度至对应于空闲状态的移动终端标识，包括：查询当前对应于空闲状态的移动终端标识；从任务队列的队首依次取出内容抓取任务；将依次取出的内容抓取任务分别调度至查询到的移动终端标识。

在一个实施例中，下发各内容抓取任务和相应的任务配置信息，包括：接收终端发起的任务拉取请求；根据任务拉取请求，将各内容抓取任务下发至终端；当终端连接至与下发的内容抓取任务调度至的移动终端标识相应的移动终端时，将下发的内容抓取任务相应的任务配置信息下发至终端；其中，下发的任务配置信息，用于指示终端在根据任务配置信息生成控制指令后，通过控制指令控制移动终端根据控制指令抓取应用内容。

在一个实施例中，计算机程序还使得处理器执行以下步骤：接收终端上报的任务执行结果；任务执行结果对应于与下发的任务配置信息相应的内容抓取任务；当任务执行结果表示任务执行失败时，将与任务执行结果对应的内容抓取任务重新加入任务队列的队尾。

在一个实施例中，计算机程序还使得处理器执行以下步骤：从下发任务配置信息时开始计时；当计时时长达到第一预设时长、且未接收到终端上报的任务执行结果时，则将与下发的任务配置信息相应的内容抓取任务重新加入任务队列的队尾。

在一个实施例中，计算机程序还使得处理器执行以下步骤：将各内容抓取任务调度至的移动终端标识，由对应于空闲状态更新为对应于忙碌状态；接收对应于下发的内容抓取任务上报的任务执行结果；在接收到任务执行结果时，将任务执行结果对应的内容抓取任务调度至的移动终端标识，由对应于忙碌状态更新为对应于空闲状态。

在一个实施例中，提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时，使得处理器执行以下步骤：获取对应于应用内容类别生成的内容抓取任务；确定各内容抓取任务各自调度至的移动终端标识；当移动终端标识相应的移动终端与本地连接时，则获取调度至移动终端标识的内容抓取任务相应的任务配置信息；向移动终端传输根据任务配置信息生成的控制指令；接收移动终端根据控制指令抓取并反馈的应用内容；应用内容属于与调度至移动终端标识的内容抓取任务相应的应用内容类别。

在一个实施例中，获取对应于应用内容类别生成的内容抓取任务，包括：生成任务拉取请求；将任务拉取请求发送至服务器；接收服务器根据任务拉取请求下发的内容抓取任务；内容抓取任务对应于应用内容类别生成，且内容抓取任务由服务器分别调度至对应于空闲状态的移动终端标识。

在一个实施例中，计算机程序还使得处理器执行以下步骤：扫描通过通用串行总线新增连接至本地的移动终端；当扫描到通过通用串行总线新增连接至本地的移动终端时，则获取新增连接的移动终端所对应的移动终端设备信息；将移动终端的移动终端标识和移动终端设备信息对应上报至服务器；上报的移动终端设备信息用于指示服务器将移动终端标识对应标记为空闲状态。

在一个实施例中，计算机程序还使得处理器执行以下步骤：定期向移动终端发送心跳包；当在第二预设时长内未接收到移动终端对应于心跳包反馈的应答包时，则判定移动终端处于离线状态；将移动终端的移动终端标识和离线状态对应上报至服务器；上报的离线状态用于指示服务器将移动终端标识对应标记为离线状态。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中储存有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：获取目标应用所配置的应用内容类别；分别生成各应用内容类别对应的内容抓取任务；为各内容抓取任务配置相应的任务配置信息；将各内容抓取任务分别调度至对应于空闲状态的移动终端标识；下发各内容抓取任务和相应的任务配置信息；下发的内容抓取任务，用于指示调度至的移动终端标识相应的移动终端根据相应的任务配置信息抓取应用内容，应用内容属于与下发的内容抓取任务对应的应用内容类别。

在一个实施例中，当目标应用属于开放接入类型应用时，计算机程序还使得处理器执行以下步骤：获取接入目标应用的公众标识；分别生成各公众标识对应的内容抓取任务；其中，应用内容，属于与下发的内容抓取任务对应的应用内容类别，或者，与下发的内容抓取任务对应的公众标识相对应。

在一个实施例中，计算机程序还使得处理器执行以下步骤：将生成的各内容抓取任务，按相应的任务生成时间依次加入任务队列。将各内容抓取任务分别调度至对应于空闲状态的移动终端标识，包括：查询当前对应于空闲状态的移动终端标识；从任务队列的队首依次取出内容抓取任务；将依次取出的内容抓取任务分别调度至查询到的移动终端标识。

在一个实施例中，下发各内容抓取任务和相应的任务配置信息，包括：接收终端发起的任务拉取请求；根据任务拉取请求，将各内容抓取任务下发至终端；当终端连接至与下发的内容抓取任务调度至的移动终端标识相应的移动终端时，将下发的内容抓取任务相应的任务配置信息下发至终端；其中，下发的任务配置信息，用于指示终端在根据任务配置信息生成控制指令后，通过控制指令控制移动终端根据控制指令抓取应用内容。

在一个实施例中，计算机程序还使得处理器执行以下步骤：接收终端上报的任务执行结果；任务执行结果对应于与下发的任务配置信息相应的内容抓取任务；当任务执行结果表示任务执行失败时，将与任务执行结果对应的内容抓取任务重新加入任务队列的队尾。

在一个实施例中，计算机程序还使得处理器执行以下步骤：从下发任务配置信息时开始计时；当计时时长达到第一预设时长、且未接收到终端上报的任务执行结果时，则将与下发的任务配置信息相应的内容抓取任务重新加入任务队列的队尾。

在一个实施例中，计算机程序还使得处理器执行以下步骤：将各内容抓取任务调度至的移动终端标识，由对应于空闲状态更新为对应于忙碌状态；接收对应于下发的内容抓取任务上报的任务执行结果；在接收到任务执行结果时，将任务执行结果对应的内容抓取任务调度至的移动终端标识，由对应于忙碌状态更新为对应于空闲状态。

在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中储存有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：获取对应于应用内容类别生成的内容抓取任务；确定各内容抓取任务各自调度至的移动终端标识；当移动终端标识相应的移动终端与本地连接时，则获取调度至移动终端标识的内容抓取任务相应的任务配置信息；向移动终端传输根据任务配置信息生成的控制指令；接收移动终端根据控制指令抓取并反馈的应用内容；应用内容属于与调度至移动终端标识的内容抓取任务相应的应用内容类别。

在一个实施例中，获取对应于应用内容类别生成的内容抓取任务，包括：生成任务拉取请求；将任务拉取请求发送至服务器；接收服务器根据任务拉取请求下发的内容抓取任务；内容抓取任务对应于应用内容类别生成，且内容抓取任务由服务器分别调度至对应于空闲状态的移动终端标识。

在一个实施例中，计算机程序还使得处理器执行以下步骤：扫描通过通用串行总线新增连接至本地的移动终端；当扫描到通过通用串行总线新增连接至本地的移动终端时，则获取新增连接的移动终端所对应的移动终端设备信息；将移动终端的移动终端标识和移动终端设备信息对应上报至服务器；上报的移动终端设备信息用于指示服务器将移动终端标识对应标记为空闲状态。

在一个实施例中，计算机程序还使得处理器执行以下步骤：定期向移动终端发送心跳包；当在第二预设时长内未接收到移动终端对应于心跳包反馈的应答包时，则判定移动终端处于离线状态；将移动终端的移动终端标识和离线状态对应上报至服务器；上报的离线状态用于指示服务器将移动终端标识对应标记为离线状态。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种内容抓取任务的调度方法，包括：

获取目标应用所配置的应用内容类别；

分别生成各所述应用内容类别对应的内容抓取任务；

为各所述内容抓取任务配置相应的任务配置信息；

将各所述内容抓取任务分别调度至对应于空闲状态的移动终端标识；

下发各所述内容抓取任务和相应的任务配置信息；下发的内容抓取任务，用于指示调度至的移动终端标识相应的移动终端根据相应的任务配置信息抓取应用内容，所述应用内容属于与下发的内容抓取任务对应的应用内容类别。

2.根据权利要求1所述的方法，其特征在于，当所述目标应用属于开放接入类型应用时，所述方法还包括：

获取接入所述目标应用的公众标识；

分别生成各所述公众标识对应的内容抓取任务；

其中，所述应用内容，属于与下发的内容抓取任务对应的应用内容类别，或者，与下发的内容抓取任务对应的公众标识相对应。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将生成的各所述内容抓取任务，按相应的任务生成时间依次加入任务队列；

所述将各所述内容抓取任务分别调度至对应于空闲状态的移动终端标识，包括：

查询当前对应于空闲状态的移动终端标识；

从所述任务队列的队首依次取出内容抓取任务；

将依次取出的内容抓取任务分别调度至查询到的、且不同的移动终端标识。

4.根据权利要求3所述的方法，其特征在于，所述下发各所述内容抓取任务和相应的任务配置信息，包括：

接收终端发起的任务拉取请求；

根据所述任务拉取请求，将各所述内容抓取任务下发至所述终端；

当所述终端连接至与下发的内容抓取任务调度至的移动终端标识相应的移动终端时，将下发的内容抓取任务相应的任务配置信息下发至所述终端；

其中，下发的任务配置信息，用于指示所述终端在根据任务配置信息生成控制指令后，通过所述控制指令控制移动终端根据所述控制指令抓取应用内容。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

接收所述终端上报的任务执行结果；所述任务执行结果对应于与下发的任务配置信息相应的内容抓取任务；

当所述任务执行结果表示任务执行失败时，将与所述任务执行结果对应的内容抓取任务重新加入所述任务队列的队尾。

6.根据权利要求4所述的方法，其特征在于，所述方法还包括：

从下发任务配置信息时开始计时；

当计时时长达到第一预设时长、且未接收到所述终端上报的任务执行结果时，则将与下发的任务配置信息相应的内容抓取任务重新加入任务队列的队尾。

7.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：

将各所述内容抓取任务调度至的移动终端标识，由对应于空闲状态更新为对应于忙碌状态；

接收对应于下发的所述内容抓取任务上报的任务执行结果；

在接收到任务执行结果时，将与所述任务执行结果对应的内容抓取任务调度至的移动终端标识，由对应于忙碌状态更新为对应于空闲状态。

8.一种内容抓取任务的处理方法，包括：

获取对应于应用内容类别生成的内容抓取任务；

确定各所述内容抓取任务各自调度至的移动终端标识；

当所述移动终端标识相应的移动终端与本地连接时，则获取调度至所述移动终端标识的内容抓取任务相应的任务配置信息；

向所述移动终端传输根据所述任务配置信息生成的控制指令；

接收所述移动终端根据所述控制指令抓取并反馈的应用内容；所述应用内容属于与调度至所述移动终端标识的内容抓取任务相应的应用内容类别。

9.根据权利要求8所述的方法，其特征在于，所述获取对应于应用内容类别生成的内容抓取任务，包括：

生成任务拉取请求；

将所述任务拉取请求发送至服务器；

接收所述服务器根据所述任务拉取请求下发的内容抓取任务；所述内容抓取任务对应于应用内容类别生成，且所述内容抓取任务由所述服务器分别调度至对应于空闲状态的移动终端标识。

10.根据权利要求9所述的方法，其特征在于，所述方法还包括：

扫描通过通用串行总线新增连接至本地的移动终端；

当扫描到通过通用串行总线新增连接至本地的移动终端时，则获取新增连接的所述移动终端所对应的移动终端设备信息；

将所述移动终端的移动终端标识和所述移动终端设备信息对应上报至服务器；上报的移动终端设备信息，用于指示所述服务器将所述移动终端标识对应标记为空闲状态。

11.根据权利要求9所述的方法，其特征在于，所述方法还包括：

定期向所述移动终端发送心跳包；

当在第二预设时长内未接收到所述移动终端对应于所述心跳包反馈的应答包时，则判定所述移动终端处于离线状态；

将所述移动终端的移动终端标识和离线状态对应上报至服务器；上报的离线状态用于指示所述服务器将所述移动终端标识对应标记为离线状态。

12.一种内容抓取任务的调度装置，包括：

获取模块，用于获取目标应用所配置的应用内容类别；

生成模块，用于分别生成各所述应用内容类别对应的内容抓取任务；

配置模块，用于为各所述内容抓取任务配置相应的任务配置信息；

调度模块，用于将各所述内容抓取任务分别调度至对应于空闲状态的移动终端标识；

下发模块，用于下发各所述内容抓取任务和相应的任务配置信息；下发的内容抓取任务，用于指示调度至的移动终端标识相应的移动终端根据相应的任务配置信息抓取应用内容，所述应用内容属于与下发的内容抓取任务对应的应用内容类别。

13.一种内容抓取任务的处理装置，包括：

获取模块，用于获取对应于应用内容类别生成的内容抓取任务；

确定模块，用于确定各所述内容抓取任务各自调度至的移动终端标识；

所述获取模块还用于，当所述移动终端标识相应的移动终端与本地连接时，则获取调度至所述移动终端标识的内容抓取任务相应的任务配置信息；

传输模块，用于向所述移动终端传输根据所述任务配置信息生成的控制指令；

接收模块，用于接收所述移动终端根据所述控制指令抓取并反馈的应用内容；所述应用内容属于与调度至所述移动终端标识的内容抓取任务相应的应用内容类别。

14.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1至11中任一项所述的方法的步骤。

15.一种计算机设备，包括存储器和处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1至11中任一项所述的方法的步骤。