CN110825985B - 数据采集***、方法、装置、控制设备及代理设备 - Google Patents

Abstract

本申请实施例提供一种数据采集***、方法、装置、控制设备及代理设备。其中，数据采集***包括控制设备、代理设备及至少一个采集设备；其中，所述采集设备运行至少一个应用程序；所述控制设备用于确定目标应用程序及目标采集设备；按照所述目标应用程序对应的设备控制脚本，控制所述目标采集设备对所述目标应用程序执行交互操作；所述目标应用程序用于响应所述交互操作，生成网络请求；向应用服务器发送所述网络请求；所述代理设备用于拦截所述网络请求及所述应用服务器响应所述网络请求返回的网络数据；从所述网络数据中获得目标采集数据。本申请实施例提供的技术方案实现了对应用程序的数据采集。

Description

数据采集***、方法、装置、控制设备及代理设备

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种数据采集***、一种数据采集方法、一种数据采集装置、一种控制设备及一种代理设备。

背景技术

移动互联网时代的到来，促进了APP(application，应用程序)的发展，移动互联网每天产生的数以亿万的网络数据大部分都是通过移动端的应用程序承载。

在很多实际应用场景中，存在采集应用程序的网络数据的需求，例如对应用程序测试场景，即需要根据应用程序的网络数据，判断应用程序是否可以正常运行等。

而由于目前应用程序通常基于移动设备的本地操作***并使用原生程式开发，例如使用原生组件绘制UI(User Interface，用户界面)等，应用程序和后端服务器的网络请求往往只能在应用程序中打开，因此，无法按照传统的通过获取URL(Uniform ResourceLocator，统一资源定位符)地址的方式来采集网络数据。

发明内容

本申请实施例提供一种数据采集***、方法、装置、控制设备及代理设备，用以解决现有技术中无法对应用程序进行数据采集的技术问题。

第一方面，本申请实施例中提供了一种数据采集***，包括控制设备、代理设备及至少一个采集设备；其中，所述采集设备运行至少一个应用程序；

所述控制设备用于确定目标应用程序及目标采集设备；按照所述目标应用程序对应的设备控制脚本，控制所述目标采集设备对所述目标应用程序执行交互操作；

所述目标应用程序用于响应所述交互操作，生成网络请求；向应用服务器发送所述网络请求；

所述代理设备用于拦截所述网络请求及所述应用服务器响应所述网络请求返回的网络数据；从所述网络数据中获得目标采集数据。

第二方面，本申请实施例中提供了一种数据采集方法，包括：

确定目标应用程序以及目标采集设备；

按照所述目标应用程序对应的设备控制脚本，控制所述目标采集设备对所述目标应用程序执行交互操作，以便于所述目标应用程序响应所述交互操作，生成网络请求，并向应用服务器发送所述网络请求；其中，所述网络请求对应的网络数据由代理设备拦截并从中获得目标采集数据。

第三方面，本申请实施例中提供了一种数据采集方法，包括：

拦截目标应用程序发送的网络请求；其中，所述网络请求为所述目标应用程序响应交互操作而生成；所述交互操作为按照设备控制脚本，控制目标采集设备对所述目标应用程序执行的；所述目标应用程序运行在所述目标采集设备中；

拦截所述应用服务器响应所述网络请求返回的网络数据；

从所述网络数据中获得目标采集数据。

第四方面，本申请实施例中提供了一种数据采集装置，包括：

确定模块，用于确定目标应用程序以及目标采集设备；

操作模拟模块，用于按照所述目标应用程序对应的设备控制脚本，控制所述目标采集设备对所述目标应用程序执行交互操作，以便于所述目标应用程序响应所述交互操作，生成网络请求，并向应用服务器发送所述网络请求；其中，所述网络请求对应的网络数据由代理设备拦截并从中获得目标采集数据。

第五方面，本申请实施例中提供了一种数据采集装置，包括：

请求拦截模块，用于拦截目标应用程序发送的网络请求；其中，所述网络请求为所述目标应用程序响应交互操作而生成；所述交互操作为按照设备控制脚本，控制目标采集设备对所述目标应用程序执行的；所述目标应用程序运行在所述目标采集设备中；

数据拦截模块，用于拦截所述应用服务器响应所述网络请求返回的网络数据；

数据获取模块，用于从所述网络数据中获得目标采集数据。

第六方面，本申请实施例中提供了一种控制设备，包括处理组件以及存储组件；

所述存储组件存储一个或多个计算机指令；所述一个或多个计算机指令用以被所述处理组件调用执行；

所述处理组件用于：

确定目标应用程序以及目标采集设备；

按照所述目标应用程序对应的设备控制脚本，控制所述目标采集设备对所述目标应用程序执行交互操作，以便于所述目标应用程序响应所述交互操作，生成网络请求，并向应用服务器发送所述网络请求；其中，所述网络请求对应的网络数据由代理设备拦截并从中获得目标采集数据。

第七方面，本申请实施例中提供了一种代理设备，包括处理组件以及存储组件；

所述存储组件存储一个或多个计算机指令；所述一个或多个计算机指令用以被所述处理组件调用执行；

所述处理组件用于：

拦截目标应用程序发送的网络请求；其中，所述网络请求为所述目标应用程序响应交互操作而生成；所述交互操作为按照设备控制脚本，控制目标采集设备对所述目标应用程序执行的；所述目标应用程序运行在所述目标采集设备中；

拦截所述应用服务器响应所述网络请求返回的网络数据；

从所述网络数据中获得目标采集数据。

本申请实施例中的数据采集***由控制设备、代理设备以及运行应用程序的至少一个采集设备构成，控制设备确定目标应用程序及目标采集设备之后，即按照所述目标应用程序对应的设备控制脚本，控制所述目标采集设备对所述目标应用程序执行交互操作；目标应用程序用于响应所述交互操作，生成网络请求；向应用服务器发送所述网络请求；从而代理设备拦截所述网络请求及所述应用服务器响应所述网络请求返回的网络数据，从所述网络数据中即可以获得目标采集数据。本申请实施例实现了对应用程序的数据采集。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请提供的一种数据采集***一个实施例的结构示意图；

图2示出了本申请提供的一种数据采集***又一个实施例的结构示意图；

图3示出了本申请提供的一种数据采集方法一个实施例的流程图；

图4示出了本申请提供的一种数据采集方法又一个实施例的流程图；

图5示出了本申请提供的一种数据采集装置一个实施例的结构示意图；

图6示出了本申请提供的一种控制设备一个实施例的结构示意图；

图7示出了本申请提供的一种数据采集装置又一个实施例的结构示意图；

图8示出了本申请提供的一种代理设备又一个实施例的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

在本申请的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

本申请实施例的技术方案适用于需要对应用程序(Application，APP)进行数据采集的应用场景中，例如应用程序测试场景等。

由于目前应用程序通常基于移动设备的本地操作***且使用原生程式开发，其大量UI(User Interface，用户界面)展现方式都是通过后端数据接口获取数据，然后通过本地操作***的原生组件拼装成界面展示，而不是采用传统HTML(HyperText MarkupLanguage，超文本标记语言)页面形式，其中，原生组件是指本地操作***提供的可编程界面绘制模块，不同操作***提供的界面框架完全不同且互不兼容。应用程序和应用服务器的HTTP(HyperText Transfer Protocol，超文本传输协议)请求往往只能应用程序自己打开，其对应的URL(Uniform Resource Locator，统一资源定位符)地址包括验证信息，如果采用普通浏览器打开或重放时会验证失败，也就是说每一个URL地址只能用一次，不能重放，所以在这种情况下，传统通过URL地址抓取数据的采集方式无法采集到应用程序的网络数据。

为了采集应用程序的网络数据，发明人经过一系列研究提出了本申请的技术方案，在本申请实施例中，数据采集***由控制设备、代理设备以及至少一个采集设备构成，其中，每一个采集设备安装并运行至少一个应用程序。控制设备可以控制采集设备模拟用户操作行为，实现对采集设备中的应用程序执行交互操作，从而采集设备中的应用程序响应该交互操作，可以生成对应的网络请求并发送至应用服务器，而代理设备可以对网络请求进行拦截，从而可以拦截获得应用服务器响应网络请求而返回的网络数据，从网络数据中即可以获得目标采集数据。本申请实施例通过模拟应用程序的真实操作行为，自动化控制应用程序，并且通过代理设备拦截应用程序对应的后端应用服务器返回的网络数据，从网络数据中即可以获得目标采集数据，实现了对应用程序的网络数据采集的目的。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的一种数据采集***一个实施例的结构示意图，该***可以包括控制设备101、代理设备102以及至少一个采集设备103，其中，每个采集设备103中可以安装并运行至少一个应用程序。

所述控制设备101用于确定目标应用程序及对应目标采集设备103；按照所述目标应用程序对应的设备控制脚本，控制所述目标采集设备103对所述目标应用程序执行交互操作；

所述目标应用程序用于响应所述交互操作，生成网络请求，并向应用服务器发送所述网络请求；

所述代理设备用102于拦截所述网络请求及所述应用服务器响应所述网络请求返回的网络数据，并从所述网络数据中获得目标采集数据。

在实际应用中，本申请实施例中应用程序可以是指安装并运行在移动设备中的客户端应用等。应用程序可以基于移动设备的移动操作***而开发获得，通过原生组件绘制UI界面等。对于移动设备而言，移动操作***例如可以包括Android、iOS、windows等。当然，本申请并不仅限定与此类应用程序，对于采用HTML页面展示网络数据的web-app(网页应用程序)或者Hybrid–App(混合模式应用程序)，也可以适用于本申请实施例数据数据***。

本申请实施例中的采集设备可以是指配置有移动操作***的移动设备或者运行所述移动操作***对应模拟器的计算设备。

配置有移动操作***的移动设备可以是指真实的手机、平板电脑等实体设备。

而由于某些应用程序不与移动设备的硬件绑定，可以通过移动操作***的模拟器来运行，对于移动操作***为Android***，模拟器比如可以使用Google官方提供的模拟器，或者第三方提供的模拟器如Genymotion等，以避免搭建实体设备所需的硬件采购成本，而模拟可以运行在如Linux、Mac、Windows等平台上，而且一个主机可以运行多个模拟器，因此可以复用现有的服务器，以降低实体设备采购成本。

因此，本申请实施例的至少一个采集设备中既可以包括配置有移动操作***的移动设备或者运行所述移动操作***对应模拟器的计算设备。

其中，控制设备101作为综合控制平台，其可以实现对至少一个采集设备103的远程管理。为了实现远程管理，控制设备101可以通过调试工具实现对至少一个采集设备103的控制，例如采集设备为Android设备时，该调试工具可以为ADB(Android Debug Bridge，安卓故障调试)工具。

在某些实施例中，该数据采集***可以包括一个采集设备，也即目标采集设备，该目标采集设备安装并运行该目标应用程序。该数据采集***用于实现对目标应用程序的数据采集。

此外，为了降低***搭建成本，在实际应用中可能存在对多个不同应用程序进行数据采集的需求，或者同时对多个不同或相同应用程序进行数据采集的需求，因此该数据采集***可以包括多个采集设备，该多个采集设备形成采集集群，每一个采集设备中可以安装并运行至少一个应用程序，对于采集设备为计算设备时，其可以运行多个模拟器，每一个模拟器均可以运行一个应用程序。因此，作为又一个实施例，该目标应用程序可以是当前待处理的任一个应用程序，该目标采集设备可以是指安装并运行该目标应用程序的任一个采集设备。当然，控制设备可以同时实现对多个目标应用程序控制操作，控制过程相同，因此本文中部分描述均以一个应用程序为例进行介绍。

其中，设备控制脚本可以为shell批处理脚本或者bat批处理脚本等，控制设备可以通过调试工具远程控制目标采集设备模拟对目标应用程序的用户操作，也即对目标应用程序执行交互操作，以自动触发应用程序发起网络请求。该交互操作例如可以包括启动、关闭、按钮点击、翻页等。目标应用程序响应这些交互操作，即可以生成对应的网络请求，并请求发送至应用程序对应的应用服务器。

其中，代理设备作为中间代理层，其可以实现对网络请求的拦截，网络请求会先到达代理设备，代理设备记录该网络请求，再由代理设备转发至应用服务器，从而应用服务器响应网络请求返回的网络数据，也会由代理设备拦截，由代理设备将网络数据返回给应用程序，并获得网络数据的副本数据，具体从网络数据的副本数据中筛选获得目标采集数据。其中，拦截技术与现有技术相同，在此不再赘述。

本申请实施例中，通过模拟目标应用程序的真实操作行为，自动化控制目标应用程序，并且通过代理设备拦截目标应用程序对应的应用服务器返回的网络数据，从网络数据中即可以获得目标采集数据，实现了网络数据采集的目的。

图2为本申请实施例的数据采集***在一个实际应用中的实体结构图，控制设备可以由一个或多个服务器构成，至少一个采集设备中可以包括真实的移动设备或者运行模式器的计算设备等，代理设备可以由一个或代理服务器构成。

在一个实际应用中，该至少一个采集设备可以为Android设备，也即操作***为Android，每个采集设备运行的应用程序也即为基于Android***开发的，控制设备可以通过ADB实现对至少一个采集设备的控制操作。

当然，本申请实施例并不仅限于基于Android***开发的应用程序的数据采集，基于其它移动操作***开发的应用程序同样适用。

在某些实施例中，该目标应用程序对应的设备控制脚本可以用于控制对目标应用程序执行所有可能的交互操作，以触发多种网路请求。

为了获得目标采集数据，代理设备可以对拦截的网络请求进行筛选，以确定符合过滤规则的网络请求。

因此，所述代理设备还可以用于按照所述目标应用程序对应的过滤规则对所述网络请求进行筛选，确定符合过滤规则的网络请求；

所述代理设备从所述网络数据中获得目标采集数据具体是从所述网络数据中获取符合所述过滤规则的网络请求对应的目标采集数据。

其中，该过滤规则可以根据采集业务需求进行设定，可以按照正则表达式，采集设备名称，URL参数等多种方式编写过滤规则。

该过滤规则可以由控制设备配置并下发至代理设备，由控制设备对过滤规则进行管理。

因此，在某些实施例中，所述控制设备还可以用于基于规则配置请求，配置所述目标应用程序的过滤规则；将所述过滤规则下发至所述代理设备。

此外，在某些实施例中，所述控制设备还可以用于基于规则更新请求，更新所述目标应用程序的过滤规则；将更新之后的过滤规则下发至代理设备。

其中，该规则配置请求或者规则更新请求为用户针对目标应用程序而触发的。

此外，通过控制设备还可以为不同应用程序设置任务触发条件，如果任一个应用程序满足任务触发条件，即可以触发采集任务。

因此，在某些实施例中，所述控制设备确定目标应用程序及目标采集设备可以是根据不同应用程序的任务触发条件，触发满足其任务触发条件的采集任务；确定所述采集任务对应的目标应用程序及目标采集设备。

该任务触发条件例如可以是指触发时间，不同应用程序的采集任务可以周期性触发，因此该任务触发条件即可以是指触发周期等。如果任一应用程序满足其任务触发条件则可以触发其采集任务，该满足任务触发条件的应用程序即为目标应用程序。该采集任务中也规定了目标应用程序以及运行该目标应用程序的目标采集设备。

可选地，在某些实施例中，控制设备按照所述目标应用程序对应的设备控制脚本，控制所述目标采集设备对所述目标应用程序执行交互操作即可以包括：执行所述采集任务，获取所述采集任务对应的设备控制脚本；

按照所述设备控制脚本，控制所述目标采集设备对所述目标应用程序执行交互操作。

其中，如果满足任务触发条件的采集任务包括多个，针对每一个采集任务均可以本申请实施例的技术方案执行。

当然，还可以按照采集任务优先级，选择优先级高的采集任务优先执行。

因此，所述控制设备根据不同应用程序的任务触发条件，触发采集任务可以具体是指根据不同应用程序的任务触发条件，确定满足各自任务触发条件的至少一个采集任务，触发所述至少一个采集任务中优先级最高的采集任务。

其中，采集任务优先级可以根据不同应用程序的业务需求确定，比如在应用程序测试场景中，测试成功的应用程序即可以发布，采集任务优先级可以按照发布时间先后进行设定等。

其中，该设备控制脚本可以实现针对目标应用程序的所有交互操作，当然也可以根据目标采集数据的采集需求设定该设备控制脚本。

由于应用程序的网络请求往往与上下文相关，因此，可选地，该设备控制脚本可以实现目标应用程序的所有交互操作，由代理设备再基于过滤规则从中筛选获得符合过滤规则的网络请求，进而即可以获得目标采集数据，因此该过滤规则可以是根据采集需求所需采集的目标采集数据进行设置等。

该设备控制脚本可以为shell批处理脚本，通过调试工具基于该设备控制脚本即可以远程控制目标应用程序的各种交互操作，为了便于理解，下面列举一个设备控制脚本的实现样例：

需要说明的是，该实现样例仅是为了方便理解设备控制脚本，实际应用中的设备控制脚本可能比该实现样例更复杂，且在该实现样例中仅列举了几种可能的交互操作，例如清理应用程序、启动应用程序、打开搜索界面、清单表单内容、切换输入法、输入关键字、搜索、恢复输入法、关闭应用程序等，该实现样例不应作为对本申请实施例的设备控制脚本的限制。

其中，不同应用程序的任务触发条件以及对应设备控制脚本可以预先设置，并且可以更新。

因此，在某些实施例中，所述控制设备还可以基于任务配置请求，设置所述目标应用程序的任务触发条件；该任务配置请求中由用户触发，可以包括应用标识以及该任务触发条件等。

该控制设备还可以基于脚本配置请求，确定所述目标应用程序的设备控制脚本等。该脚本配置请求由用户触发，可以包括应用标识以及该设备控制脚本等。

该控制设备还可以基于任务更新请求，更新所述目标应用程序的任务触发条件；该任务更新请求由用户触发，可以包括应用标识以及任务更新要求或者更新之后的任务触发条件等。

该控制设备还可以基于脚本更新请求，更新所述目标应用程序的设备控制脚本等。该脚本更新请求由用户触发，可以包括应用标识以及脚本更新要求或者更新之后的设备控制脚本等。

此外，为了方便监控目标采集设备的设备状态，提高运维效率，在某些实施例中，该控制设备还可以用于监控所述目标采集设备的设备状态，并输出所述设备状态。

其中，设备状态可以包括但不限于目标采集设备的硬件状态如磁盘空间、电量等，软件***状态如应用程序安装数量等、目标应用程序状态如是否正常启动、是否正常运行等。

获得设备状态之后，即可以输出该设备状态，使得用户可以基于设备状态确认是否存在设备故障以及故障原因等，从而可以及时进行维修等，提高运维效率。

该设备状态可以以可视化的图表或者图例等方式输出，本申请对此不进行具体限制。

可选地，在某些实施例中，该控制设备还可以用于监控所述目标采集设备的设备状态；基于所述设备状态判断所述目标采集设备是否出现故障；如果所述目标采集设备出现故障，则输出故障提示信息，从而用户可以根据故障提示信息来对采集设备进行维护处理等。

其中，控制设备输出设备状态可以是将设备状态发送至用户设备，以便于用户查看。

当然，该控制设备还可以配置有显示组件，用以显示设备状态，以便于用户查看。

由于采集设备往往处于远端，用户无法现场查找交互效果，因此为了方便用户进行调试处理，在某些实施例中，所述控制设备还可以用于获取所述目标采集设备的可视化界面数据，并展示所述可视化界面数据。

通过该可视化界面数据，用户即可以查找目标采集设备中目标应用程序响应交互操作而产生的交互效果。

该控制设备可以具体是在其显示组件展示可视化界面数据，

此外，控制设备还可以对采集设备实现其它远程控制。

在某些实施例中，该控制设备还用于在所述目标采集设备中安装所述目标应用程序。

其中，控制设备可以是在确定采集任务对应的目标应用程序以及目标采集设备之后，在所述目标采集设备中安装所述目标应用程序。

其中，该目标采集设备可以结合不同采集设备的空闲资源确定，可以选择空闲资源多的任一采集设备作为目标采集设备，用以安装该目标应用程序。

当然，控制设备也可以是基于安装请求，预先将目标应用程序安装在目标采集设备中，目标应用程序与目标采集设备对应关系预先建立。

此外，所述控制设备还用于在所述目标采集设备中卸载所述目标应用程序；

可选地，所述控制设备可以是基于卸载请求，从所述目标采集设备中卸载所述目标应用程序。

其中，控制设备可以通过调试工具实现对目标采集设备的远程控制，控制目标采集设备安装或卸载目标应用程序。

此外，在某些实施例中，所述控制设备还用于设置所述目标采集设备的网络配置信息；

可选地，所述控制设备可以是在目标采集设备中安装所述目标应用程序之后，设置所述目标采集设备的网络配置信息，以使得目标应用程序可以正常运行。

该网络配置信息例如可以包括IP地址、子网掩码、网关地址等等，以使得目标采集设备可以连接网络。

此外，在某些实施例中，所述控制设备还可以重启所述目标采集设备的操作***，以实现对目标采集设备的远程控制。

在某些实施例中，所述代理设备还可以用于将所述目标采集数据进行数据清洗之后发送至处理端。

其中，对所述目标采集数据进行数据清洗例如可以是指保留目标采集数据中的特定字段数据等。

对应图1或图2所述的数据采集***，本申请实施例还提供的一种数据采集方法，如图3中所示，所述方法可以包括以下几个步骤：

301：确定目标应用程序以及目标采集设备。

其中，本实施例的技术方案由数据采集***的控制设备执行。

302：按照所述目标应用程序对应的设备控制脚本，控制所述目标采集设备对所述目标应用程序执行交互操作，以便于所述目标应用程序响应所述交互操作，生成网络请求，并向应用服务器发送所述网络请求；其中，所述网络请求对应的网络数据由代理设备拦截并从中获得目标采集数据。

其中，对目标采集设备的控制操作可以通过调试工具实现，例如目标采集设备为Android设备时，该调试工具即可以为ADB，通过ADB即可以实现对目标采集设备的控制，包括目标应用程序的安装、卸载、开启、开闭、模拟点击操作以及网络配置等。

本申请实施例中，通过模拟目标应用程序的真实操作行为，自动化控制目标应用程序，通过代理设备即可以拦截目标应用程序对应的应用服务器返回的网络数据，从网络数据中即可以获得目标采集数据，实现了网络数据采集的目的。

在某些实施例中，所述确定目标应用程序以及目标采集设备之前，所述方法还可以包括：

基于规则配置请求，配置所述目标应用程序的过滤规则；

将所述过滤规则下发至所述代理设备，以便于所述代理设备基于所述过滤规则对所述目标应用程序发送的网络请求进行筛选。

在某些实施例中，所述方法还可以包括：

基于规则更新请求，更新所述目标应用程序的过滤规则；

将更新之后的过滤规则下发至代理设备。

其中，该规则配置请求或者规则更新请求为用户针对目标应用程序而触发的。

在某些实施例中，所述确定目标应用程序及目标采集设备可以包括：

根据不同应用程序的任务触发条件，触发满足其任务触发条件的采集任务；

确定所述采集任务对应的目标应用程序及目标采集设备。

在某些实施例中，所述根据不同应用程序的任务触发条件，触发满足其任务触发条件的采集任务包括：

根据不同应用程序的任务触发条件，确定满足各自任务触发条件的至少一个采集任务；

触发所述至少一个采集任务中优先级最高的采集任务。

该任务触发条件例如可以是指触发时间，如果到达任一个应用程序对应的触发时间，则即可以触发采集任务。

在某些实施例中，所述按照所述目标应用程序对应的设备控制脚本，控制所述目标采集设备对所述目标应用程序执行交互操作可以包括：

执行所述采集任务，获取所述采集任务对应的设备控制脚本；

按照所述设备控制脚本，控制所述目标采集设备对所述目标应用程序执行交互操作。

其中，不同应用程序的任务触发条件以及对应设备控制脚本可以预先设置，并且可以更新。

因此，在某些实施例中，所述方法还可以包括：

基于任务配置请求，设置所述目标应用程序的任务触发条件；该任务配置请求中由用户触发，可以包括应用标识以及该任务触发条件等。

基于脚本配置请求，确定所述目标应用程序的设备控制脚本等。该脚本配置请求由用户触发，可以包括应用标识以及该设备控制脚本等。

此外，还可以基于任务更新请求，更新所述目标应用程序的任务触发条件；该任务更新请求由用户触发，可以包括应用标识以及任务更新要求或者更新之后的任务触发条件等。

此外，还可以基于脚本更新请求，更新所述目标应用程序的设备控制脚本等。该脚本更新请求由用户触发，可以包括应用标识以及脚本更新要求或者更新之后的设备控制脚本等。

此外，为了方便监控目标采集设备的设备状态，提高运维效率，在某些实施例中，所述方法还可以包括：

监控所述目标采集设备的设备状态，并输出所述设备状态。

其中，设备状态可以包括但不限于目标采集设备的硬件状态如磁盘空间、电量等，软件***状态如应用程序安装数量等、目标应用程序状态如是否正常启动、是否正常运行等。

由于采集设备往往处于远端，用户无法现场查找交互效果，因此为了方便用户进行调试处理，在某些实施例中，所述方法还可以包括：

获取所述目标采集设备的可视化界面数据；

展示所述可视化界面数据。

在某些实施例中，所述确定目标应用程序以及目标采集设备之后，所述方法还包括：

在所述目标采集设备中安装所述目标应用程序；

设置所述目标采集设备的网络配置信息，以运行所述目标应用程序。

可选地，可以结合不同采集设备的空闲资源确定目标采集设备，可以选择空闲资源多的任一采集设备作为目标采集设备，用以安装该目标应用程序。

由于目标应用程序需要与应用服务器建立网络连接，因此通过设置网络配置信息，使得目标采集设备接入网络，从而可以包括目标应用程序的正常运行等。

此外，还可以控制目标采集设备卸载所述目标应用程序等。

图4为本申请实施例提供的一种数据采集方法又一个实施例的流程图，本实施例技术方案由数据采集***中的代理设备执行，所述方法可以包括以下几个步骤：

401：拦截目标应用程序发送的网络请求。

其中，所述网络请求为所述目标应用程序响应交互操作而生成；所述交互操作为按照设备控制脚本，控制目标采集设备对所述目标应用程序执行的；所述目标应用程序运行在所述目标采集设备中。

402：拦截所述应用服务器响应所述网络请求返回的网络数据。

403：从所述网络数据中获得目标采集数据。

拦截网络请求之后，再由代理设备将网络请求发送至应用服务器。从而应用服务器响应网络请求返回的网络数据，也会现有代理设备拦截，由代理设备将网络数据返回给应用程序，并获得网络数据的副本数据，具体从网络数据的副本数据中筛选获得目标采集数据。

在某些实施例中，所述拦截目标应用程序发送的网络请求之后，所述方法还可以包括：

按照所述目标应用程序对应的过滤规则对所述网络请求进行筛选，确定符合过滤规则的网络请求；其中，该过滤规则由控制设备配置并下发至代理设备。

所述从所述网络数据中获得目标采集数据可以包括：

从所述网络数据中获取符合所述过滤规则的网络请求对应的目标采集数据。

其中，该过滤规则具体可以根据采集业务需求进行设定。

在某些实施例中，所述方法还可以包括：

将所述目标采集数据进行数据清洗之后发送至处理端。

其中，对所述目标采集数据进行数据清洗例如可以是指保留目标采集数据中的特定字段数据、或者对所述目标采集数据进行数据校验等保留校验成功的特定数据等，将保留数据再发送至处理端。

图5为本申请实施例提供的一种数据采集装置一个实施例的结构示意图，该装置可以包括：

确定模块501，用于确定目标应用程序以及目标采集设备；

操作模拟模块502，用于按照所述目标应用程序对应的设备控制脚本，控制所述目标采集设备对所述目标应用程序执行交互操作，以便于所述目标应用程序响应所述交互操作，生成网络请求，并向应用服务器发送所述网络请求；其中，所述网络请求对应的网络数据由代理设备拦截并从中获得目标采集数据。

在某些实施例中，所述确定模块可以具体用于根据不同应用程序的任务触发条件，触发满足其任务触发条件的采集任务；

确定所述采集任务对应的目标应用程序及目标采集设备。

在某些实施例中，所述确定模块根据不同应用程序的任务触发条件，触发满足其任务触发条件的采集任务可以具体是根据不同应用程序的任务触发条件，确定满足各自任务触发条件的至少一个采集任务；触发所述至少一个采集任务中优先级最高的采集任务。

在某些实施例中，所述操作模拟模块具体用于执行所述采集任务，获取所述采集任务对应的设备控制脚本；按照所述设备控制脚本，控制所述目标采集设备对所述目标应用程序执行交互操作。

在某些实施例中，该装置还可以包括：

监控模块，用于监控所述目标采集设备的设备状态，并输出所述设备状态。

在某些实施例中，该装置还可以包括：

界面同步模块，用于获取所述目标采集设备的可视化界面数据；展示所述可视化界面数据。

在某些实施例中，该装置还可以包括：

规则配置模块，用于基于规则配置请求，配置所述目标应用程序的过滤规则；将所述过滤规则下发至所述代理设备，以便于所述代理设备基于所述过滤规则对所述目标应用程序发送的网络请求进行筛选。

在某些实施例中，该规则配置模块还用于基于规则更新请求，更新所述目标应用程序的过滤规则；将更新之后的过滤规则下发至代理设备。

在某些实施例中，该装置还可以包括：

远程控制模块，用于在所述目标采集设备中安装所述目标应用程序；设置所述目标采集设备的网络配置信息，以使得所述目标应用程序与应用服务器建立网络连接。

可选地，所述远程控制模块还可以用于在所述目标采集设备中卸载所述目标应用程序。

图5所述的数据采集装置可以执行图3所示实施例所述的数据采集方法，图5所示的数据采集装置可以配置在图1或图2所示的控制设备中，其实现原理和技术效果不再赘述。

在一个可能的设计中，图5所示实施例的数据采集装置可以实现为控制设备，如图1或图2所示控制设备，如图6所示，该控制设备可以包括存储组件601以及处理组件602；

所述存储组件601一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理组件602调用执行。

所述处理组件602用于：

确定目标应用程序以及目标采集设备；

按照所述目标应用程序对应的设备控制脚本，控制所述目标采集设备对所述目标应用程序执行交互操作，以便于所述目标应用程序响应所述交互操作，生成网络请求，并向应用服务器发送所述网络请求；其中，所述网络请求对应的网络数据由代理设备拦截并从中获得目标采集数据。

其中，处理组件602可以包括一个或多个处理器来执行计算机指令，以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

存储组件601被配置为存储各种类型的数据以支持在终端的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

此外，该控制设备还可以包括显示组件；

处理组件还可以监控所述目标采集设备的设备状态，并通过显示组件中输出所述设备状态。

此外，处理组件还可以获取所述目标采集设备的可视化界面数据；并通过所述显示组件展示所述可视化界面数据。

显示组件可以为电致发光(EL)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。

当然，控制设备必然还可以包括其他部件，例如输入/输出接口、通信组件等。

输入/输出接口为处理组件和***接口模块之间提供接口，上述***接口模块可以是输出设备、输入设备等。

通信组件被配置为便于控制设备和其他设备之间有线或无线方式的通信等。

本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被计算机执行时可以实现上述图3所示实施例的数据采集方法。

图7为本申请实施例提供的一种数据采集装置又一个实施例的结构示意图，该装置可以包括：

请求拦截模块701，用于拦截目标应用程序发送的网络请求；其中，所述网络请求为所述目标应用程序响应交互操作而生成；所述交互操作为按照设备控制脚本，控制目标采集设备对所述目标应用程序执行的；所述目标应用程序运行在所述目标采集设备中；

数据拦截模块702，用于拦截所述应用服务器响应所述网络请求返回的网络数据；

数据获取模块703，用于从所述网络数据中获得目标采集数据。

在某些实施例中，该装置还可以包括：

请求过滤模块，用于按照所述目标应用程序对应的过滤规则对所述网络请求进行筛选，确定符合过滤规则的网络请求；

所述从数据获取模块具体用于从所述网络数据中获取符合所述过滤规则的网络请求对应的目标采集数据。

在某些实施例中，该装置还可以包括：

数据发送模块，用于将所述目标采集数据进行数据清洗之后发送至处理端。

图7所述的数据采集装置可以执行图4所示实施例所述的数据采集方法，图7所示的数据采集装置可以配置在图1或图2所示的代理设备中，其实现原理和技术效果不再赘述。

在一个可能的设计中，图7所示实施例的数据采集装置可以实现为控制设备，如图1或图2中所示的代理设备，如图8所示，该代理设备可以包括存储组件801以及处理组件802；

所述存储组件801一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理组件802调用执行。

所述处理组件802用于：

拦截目标应用程序发送的网络请求；其中，所述网络请求为所述目标应用程序响应交互操作而生成；所述交互操作为按照设备控制脚本，控制目标采集设备对所述目标应用程序执行的；所述目标应用程序运行在所述目标采集设备中；

拦截所述应用服务器响应所述网络请求返回的网络数据；

从所述网络数据中获得目标采集数据。

其中，处理组件802可以包括一个或多个处理器来执行计算机指令，以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

存储组件801被配置为存储各种类型的数据以支持在终端的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

当然，代理设备必然还可以包括其他部件，例如输入/输出接口、通信组件等。

输入/输出接口为处理组件和***接口模块之间提供接口，上述***接口模块可以是输出设备、输入设备等。

通信组件被配置为便于控制设备和其他设备之间有线或无线方式的通信等。

本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被计算机执行时可以实现上述图4所示实施例的数据采集方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (17)

1.一种数据采集***，其特征在于，包括控制设备、代理设备及至少一个采集设备；其中，所述采集设备运行至少一个应用程序；

所述控制设备用于确定目标应用程序及目标采集设备；按照所述目标应用程序对应的设备控制脚本，控制所述目标采集设备对所述目标应用程序执行交互操作；

所述目标应用程序用于响应所述交互操作，生成网络请求；向应用服务器发送所述网络请求；

所述代理设备用于拦截所述网络请求及所述应用服务器响应所述网络请求返回的网络数据；从所述网络数据中获得目标采集数据；

所述控制设备确定目标应用程序及目标采集设备包括：根据不同应用程序的任务触发条件，触发满足其任务触发条件的采集任务；确定所述采集任务对应的目标应用程序及目标采集设备。

2.根据权利要求1所述的***，其特征在于，所述代理设备还用于按照所述目标应用程序对应的过滤规则对所述网络请求进行筛选，确定符合过滤规则的网络请求；

所述代理设备从所述网络数据中获得目标采集数据具体是：从所述网络数据中获取符合所述过滤规则的网络请求对应的目标采集数据。

3.根据权利要求1所述的***，其特征在于，所述采集设备为配置移动操作***的移动设备或者运行所述移动操作***对应模拟器的计算设备。

4.一种数据采集方法，其特征在于，包括：

确定目标应用程序以及目标采集设备；

按照所述目标应用程序对应的设备控制脚本，控制所述目标采集设备对所述目标应用程序执行交互操作，以便于所述目标应用程序响应所述交互操作，生成网络请求，并向应用服务器发送所述网络请求；其中，所述网络请求对应的网络数据由代理设备拦截并从中获得目标采集数据；

所述确定目标应用程序及目标采集设备包括：根据不同应用程序的任务触发条件，触发满足其任务触发条件的采集任务；确定所述采集任务对应的目标应用程序及目标采集设备。

5.根据权利要求4所述的方法，其特征在于，所述根据不同应用程序的任务触发条件，触发满足其任务触发条件的采集任务包括：

根据不同应用程序的任务触发条件，确定满足各自任务触发条件的至少一个采集任务；

触发所述至少一个采集任务中优先级最高的采集任务。

6.根据权利要求4所述的方法，其特征在于，所述按照所述目标应用程序对应的设备控制脚本，控制所述目标采集设备对所述目标应用程序执行交互操作包括：

执行所述采集任务，获取所述采集任务对应的设备控制脚本；

按照所述设备控制脚本，控制所述目标采集设备对所述目标应用程序执行交互操作。

7.根据权利要求4所述的方法，其特征在于，还包括：

监控所述目标采集设备的设备状态，并输出所述设备状态。

8.根据权利要求4所述的方法，其特征在于，还包括：

获取所述目标采集设备的可视化界面数据；

展示所述可视化界面数据。

9.根据权利要求4所述的方法，其特征在于，所述确定目标应用程序以及目标采集设备之后，所述方法还包括：

在所述目标采集设备中安装所述目标应用程序；

设置所述目标采集设备的网络配置信息。

10.根据权利要求4所述的方法，其特征在于，所述确定目标应用程序以及目标采集设备之前，所述方法还包括：

基于规则配置请求，配置所述目标应用程序的过滤规则；

将所述过滤规则下发至所述代理设备，以便于所述代理设备基于所述过滤规则对所述目标应用程序发送的网络请求进行筛选。

11.根据权利要求10所述方法，其特征在于，还包括：

基于规则更新请求，更新所述目标应用程序的过滤规则；

将更新之后的过滤规则下发至代理设备。

12.一种数据采集方法，其特征在于，包括：

拦截目标应用程序发送的网络请求；其中，所述网络请求为所述目标应用程序响应交互操作而生成；所述交互操作为控制设备按照设备控制脚本，控制目标采集设备对所述目标应用程序执行的；所述目标应用程序运行在所述目标采集设备中；所述目标应用程序及所述目标采集设备是由所述控制设备确定，所述控制设备确定所述目标应用程序及所述目标采集设备包括：根据不同应用程序的任务触发条件，触发满足其任务触发条件的采集任务；确定所述采集任务对应的目标应用程序及目标采集设备；

拦截应用服务器响应所述网络请求返回的网络数据；

从所述网络数据中获得目标采集数据。

13.根据权利要求12所述的方法，其特征在于，所述拦截目标应用程序发送的网络请求之后，所述方法还包括：

按照所述目标应用程序对应的过滤规则对所述网络请求进行筛选，确定符合过滤规则的网络请求；

所述从所述网络数据中获得目标采集数据包括：

从所述网络数据中获取符合所述过滤规则的网络请求对应的目标采集数据。

14.一种数据采集装置，其特征在于，包括：

确定模块，用于确定目标应用程序以及目标采集设备；

操作模拟模块，用于按照所述目标应用程序对应的设备控制脚本，控制所述目标采集设备对所述目标应用程序执行交互操作，以便于所述目标应用程序响应所述交互操作，生成网络请求，并向应用服务器发送所述网络请求；其中，所述网络请求对应的网络数据由代理设备拦截并从中获得目标采集数据；

所述确定模块，具体用于根据不同应用程序的任务触发条件，触发满足其任务触发条件的采集任务，确定所述采集任务对应的目标应用程序及目标采集设备。

15.一种数据采集装置，其特征在于，包括：

请求拦截模块，用于拦截目标应用程序发送的网络请求；其中，所述网络请求为所述目标应用程序响应交互操作而生成；所述交互操作为控制设备按照设备控制脚本，控制目标采集设备对所述目标应用程序执行的；所述目标应用程序运行在所述目标采集设备中；所述目标应用程序及所述目标采集设备是由所述控制设备确定，所述控制设备确定所述目标应用程序及所述目标采集设备包括：根据不同应用程序的任务触发条件，触发满足其任务触发条件的采集任务；确定所述采集任务对应的目标应用程序及目标采集设备；

数据拦截模块，用于拦截应用服务器响应所述网络请求返回的网络数据；

数据获取模块，用于从所述网络数据中获得目标采集数据。

16.一种控制设备，其特征在于，包括处理组件以及存储组件；

所述存储组件存储一个或多个计算机指令；所述一个或多个计算机指令用以被所述处理组件调用执行；

所述处理组件用于：

确定目标应用程序以及目标采集设备；

按照所述目标应用程序对应的设备控制脚本，控制所述目标采集设备对所述目标应用程序执行交互操作，以便于所述目标应用程序响应所述交互操作，生成网络请求，并向应用服务器发送所述网络请求；其中，所述网络请求对应的网络数据由代理设备拦截并从中获得目标采集数据；

确定目标应用程序以及目标采集设备包括：根据不同应用程序的任务触发条件，触发满足其任务触发条件的采集任务；确定所述采集任务对应的目标应用程序及目标采集设备。

17.一种代理设备，其特征在于，包括处理组件以及存储组件；

所述存储组件存储一个或多个计算机指令；所述一个或多个计算机指令用以被所述处理组件调用执行；

所述处理组件用于：

拦截目标应用程序发送的网络请求；其中，所述网络请求为所述目标应用程序响应交互操作而生成；所述交互操作为控制设备按照设备控制脚本，控制目标采集设备对所述目标应用程序执行的；所述目标应用程序运行在所述目标采集设备中；所述目标应用程序及所述目标采集设备是由所述控制设备确定，所述控制设备确定所述目标应用程序及所述目标采集设备包括：根据不同应用程序的任务触发条件，触发满足其任务触发条件的采集任务；确定所述采集任务对应的目标应用程序及目标采集设备；

拦截应用服务器响应所述网络请求返回的网络数据；

从所述网络数据中获得目标采集数据。

Images