CN110569416B - 基于数据爬取的app控件的处理方法及相关产品 - Google Patents

Abstract

本发明实施例公开了一种基于数据爬取的APP控件的处理方法及相关产品，包括：获取APP应用界面中第一信息块的不同控件的元素属性分别对应的数据；根据所述第一信息块的不同控件的元素属性分别对应的数据获取所述APP应用界面中其他信息块的不同控件的元素属性分别对应的数据；接收终端发送的数据爬取请求，所述数据爬取请求携带第一信息，所述数据爬取请求用于指示获取与所述第一信息匹配的APP应用界面；根据所述不同信息块的不同数据调整所述不同信息块的排布以得到与所述第一信息匹配的APP应用界面。采用上述手段，通过根据第一信息块的数据信息进而获取其他信息块的数据，十分便利，爬取效率更高，操作难度较低，大大降低了数据爬取的技术要求。

Description

基于数据爬取的APP控件的处理方法及相关产品

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于数据爬取的APP控件的处理方法及相关产品。

背景技术

数据爬取：是指通过一定的规则，自动大规模地获取网络数据的方法。

展示层：即UI层，指APP架构中给用户呈现数据的部分。包括但不限于界面布局、屏幕适配、文字大小、颜色、图片资源、提示信息、动画等。

APP控件：APP控件是指APP开发中为了完成特定的展示或特定页面/窗体的技术功能。例如按钮、弹窗、输入框等。

控件元素属性：控件元素指APP控件的ID、文本名称、类型、大小、是否可操作等属性信息。

现有技术中一般采用Web爬虫法来获取界面数据，其中通过遍历访问网站来获取被嵌入在网站的结构和样式中的数据。一种是从网站HTML代码中爬取文本信息；另一种是通过网站请求链接获取json文件。然而Web爬虫法仅适用于网站上的数据爬取，而网站有各自的限制规定和反爬虫策略，且爬取网站数据可能会被封禁IP，甚至遭到法律诉讼。

现有技术中还有采用手机APP的API爬虫法，首先通过网络代理工具模拟APP发出和接收的网络请求，从而捕获网络请求过程中的包含所需数据包的API接口，然后更改API接口参数，多次发送请求，来获取更多的数据。然而由于安卓***有限制代理访问的机制，被识别的代理请求不会返回数据，且手机APP的API爬虫技能要求高，需要熟悉网络传输协议和熟练运用网络代理工具；同时耗时较长，一个动作会返回多个接口，寻找和验证接口的过程需要较长时间；且由于大部分APP会对数据进行私钥加密，没有私钥很难对爬取到的数据进行解密，因此数据解密难度大。

发明内容

本申请实施例提供一种基于数据爬取的APP控件的处理方法及相关产品，能够提高数据爬取的效率，且操作难度降低。

本申请实施例的第一方面提供了一种基于数据爬取的APP控件的处理方法，包括：

获取APP应用界面中第一信息块的不同控件的元素属性分别对应的数据；

根据所述第一信息块的不同控件的元素属性分别对应的数据获取所述APP应用界面中其他信息块的不同控件的元素属性分别对应的数据；

接收终端发送的数据爬取请求，所述数据爬取请求携带第一信息，所述数据爬取请求用于指示获取与所述第一信息匹配的APP应用界面；

根据所述不同信息块的不同数据调整所述不同信息块的排布以得到与所述第一信息匹配的APP应用界面。

可选的，所述第一信息块至少包括第一控件，所述获取APP应用界面中第一信息块的不同控件的元素属性分别对应的数据，包括：

获取与所述APP应用界面对应的展示层；

获取所述展示层中对应第一信息块的数据以及所述第一信息块的数据位于所述展示层中的位置；

从所述第一信息块的数据中获取所述第一控件的元素属性对应的数据，并获取所述第一控件的元素属性位于所述第一信息块的数据中的位置。

可选的，所述APP应用界面还至少包括第二信息块，所述第二信息块至少包括第二控件，所述根据所述第一信息块的不同控件的元素属性分别对应的数据获取所述APP应用界面中其他信息块的不同控件的元素属性分别对应的数据，包括：

根据所述第一信息块的数据位于所述展示层中的位置获取所述第二信息块的数据；

根据所述第一控件的元素属性位于所述第一信息块的数据中的位置，从所述第二信息块的数据中获取所述第二控件的元素属性对应的数据。

可选的，所述根据所述第一信息块的不同控件的元素属性分别对应的数据获取所述APP应用界面中其他信息块的不同控件的元素属性分别对应的数据之后，所述根据所述不同信息块的不同数据调整所述不同信息块的排布以得到与所述第一信息匹配的APP应用界面之前，包括：

确认所述APP应用界面中所有信息块是否均获取完毕；

若所述APP应用界面中所有信息块均获取完毕，则触发执行根据所述不同信息块的不同数据调整所述不同信息块的排布以得到与所述第一信息匹配的APP应用界面。

可选的，所述确认所述APP应用界面中所有信息块是否均获取完毕，包括：

确认与所述APP应用界面对应的展示层是否有结束标记；

若存在，则根据所述结束标记的位置确认所述APP应用界面中所有信息块均获取完毕。

可选的，若所述APP应用界面对应的展示层没有结束标记，所述确认所述APP应用界面中所有信息块是否均获取完毕，包括：

获取与所述APP应用界面对应的展示层中的第一数据；

执行滑屏程序，以获取与所述APP应用界面对应的展示层中的第二数据；

确认所述第一数据和所述第二数据是否一致；

若一致，则确认所述APP应用界面中所有信息块均获取完毕。

可选的，所述根据所述不同信息块的不同数据调整所述不同信息块的排布以得到与所述第一信息匹配的APP应用界面，包括：

分别获取不同信息块中与所述第一信息相关的数据；

将所述数据按照从高到低的顺序进行排序以得到排序后的数据；

获取与所述排序后的数据分别对应的信息块；

将与所述排序后的数据分别对应的信息块展示至APP应用界面。

本申请实施例的第二方面提供了一种基于数据爬取的APP控件的处理***，包括：

第一获取模块，用于获取APP应用界面中第一信息块的不同控件的元素属性分别对应的数据；

第二获取模块，用于根据所述第一信息块的不同控件的元素属性分别对应的数据获取所述APP应用界面中其他信息块的不同控件的元素属性分别对应的数据；

接收请求模块，用于接收终端发送的数据爬取请求，所述数据爬取请求携带第一信息，所述数据爬取请求用于指示获取与所述第一信息匹配的APP应用界面；

数据处理模块，用于根据所述不同信息块的不同数据调整所述不同信息块的排布以得到与所述第一信息匹配的APP应用界面。

本申请实施例的第三方面提供了一种服务器，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行所述的方法。

本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现所述的方法。

实施本申请实施例，至少具有如下有益效果：

通过本申请实施例，通过获取APP应用界面中第一信息块的不同控件的元素属性分别对应的数据，根据所述第一信息块的不同控件的元素属性分别对应的数据获取所述APP应用界面中其他信息块的不同控件的元素属性分别对应的数据；然后调整所述不同信息块的排布以得到与用户需求匹配的APP应用界面。采用上述手段，通过根据第一信息块的数据信息进而获取其他信息块的数据，十分便利，爬取效率更高，操作难度较低，大大降低了数据爬取的技术要求。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

其中：

图1为本发明实施例提供的一种网络架构示意图；

图2是本发明实施例提供的一种基于数据爬取的APP控件的处理方法的场景示意图；

图3是本发明实施例提供的一种基于数据爬取的APP控件的处理方法的流程示意图；

图4是本发明实施例提供的一种基于数据爬取的APP控件的处理方法的流程示意图；

图5a是本发明实施例提供的一种基于数据爬取的APP控件的滑屏终止判断的示意图；

图5b是本发明实施例提供的一种基于数据爬取的APP控件的滑屏终止判断的另一示意图；

图6是本发明实施例提供的一种基于数据爬取的APP控件的处理方法的示意图；

图7是本发明实施例提供的一种服务器的结构示意图；

图8是本发明实施例提供的一种基于数据爬取的APP控件的处理***的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。

参照图1，图1为本发明实施例提供的一种网络架构示意图。该网络架构可以包括多个服务器以及多个终端设备，如图1所示，具体包括终端设备100a、终端设备100b、终端设备100c、服务器200a，服务器200a可以通过网络与每个终端设备进行数据传输，每个终端设备均可以安装不同APP应用，服务器200a可以为基于数据爬取的APP控件的处理服务器，因此，每个终端设备均可以与服务器200a进行数据传输，如服务器200a可以向每个终端设备发送数据爬取后的APP应用界面的更新信息。终端设备可以包括手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internet device,MID)、可穿戴设备(例如智能手表、智能手环等)。每个终端设备都可以接收服务器200a发送的数据爬取后的APP应用界面的更新信息。

其中，每个终端设备中显示的APP应用界面的更新信息可以是不同的，其具体更新信息可以由终端设备对应的用户请求来确定，根据不同的用户请求其对应的APP应用界面的更新信息是不同的。具体请一并参见图2，是本发明实施例提供的一种基于数据爬取的APP控件的处理方法的场景示意图。如图2所示，该场景以图1所对应实施例中的终端设备100a为例，服务器200可包括图1所对应实施例中的服务器200a，终端设备100a在打开如美团应用界面后，首先在终端显示界面中可以显示美团应用的默认首页，在该首页中，可以显示若干功能选项，如分别表示为“美食”选项、“附近”选项、“智能排序”选项，当用户选择“美食”选项400时，可以跳转到“美食”选项400对应的展示页面，当用户选择“智能排序”选项401时，终端设备100a可以响应用户针对“智能排序”选项401的选择操作，向服务器200发送请求，以请求获取数据爬取后的APP应用界面的更新信息。服务器200可以根据该请求获取当前应用界面的数据信息，然后根据请求对应的信息将上述数据信息进行排序进而得到所述APP应用界面的更新信息，然后服务器200将该更新信息发送给终端设备100a进行显示。具体地，服务器200从展示层数据库先获取终端设备100a中美团应用界面第一信息块210的不同控件的元素属性分别对应的数据，其中，不同控件的元素属性分别包括店铺名称，月均人气数，位置，以及优惠信息等。展示层主要是指与用户交互的界面，其用于接收用户输入的数据和显示处理后用户需要的数据。其中，服务器200获取与所述APP应用界面对应的展示层；然后获取所述展示层中对应第一信息块的数据以及所述第一信息块的数据位于所述展示层中的位置；从所述第一信息块的数据中获取所述第一控件的元素属性对应的数据，并获取所述第一控件的元素属性位于所述第一信息块的数据中的位置。然后再获取其他信息块的数据，如第二信息块和第三信息块，其中，根据所述第一信息块的数据位于所述展示层中的位置获取所述第二信息块以及第三信息块的数据；根据所述第一控件的元素属性位于所述第一信息块的数据中的位置，从所述第二信息块的数据中获取所述第二控件的元素属性对应的数据，并从所述第三信息块的数据中获取第三控件的元素属性对应的数据。然后基于终端设备100a发送的智能排序请求，将上述获取的数据按照排序请求进行信息块的排序，以得到更新的应用界面。本方案可用于获取APP内线上商家数据、电商商品数据、平台入驻用户数据等公开数据，可进一步运用这些数据进行竞品分析、销售评估、内容分类、地区分布等各种场景的数据分析。上述仅作为一种数据处理的方法，并不做具体限制。在典型的应用场景如团购APP线上商家数据的获取中，本方案可获取APP中商家的店铺名称、地址、联系方式、人均消费、人气、优惠活动、线上服务、线上支付方式、用户评价、推荐商品等数据。进而可进一步使用这些数据做销售额评估、支付等线上服务布局、地区分布等多种分析。通过本申请实施例，通过获取APP应用界面中第一信息块的不同控件的元素属性分别对应的数据，根据所述第一信息块的不同控件的元素属性分别对应的数据获取所述APP应用界面中其他信息块的不同控件的元素属性分别对应的数据；然后调整所述不同信息块的排布以得到与用户需求匹配的APP应用界面。采用上述手段，通过根据第一信息块的数据信息进而获取其他信息块的数据，十分便利，爬取效率更高，操作难度较低，大大降低了数据爬取的技术要求。

其中，本方案中涉及的存储数据均可以存储至区块链中，如上述展示层数据，其可以置于区块链中；APP应用界面的数据也可存储在区块链中等等。其中，区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层。

区块链底层平台可以包括用户管理、基础服务、智能合约以及运营监控等处理模块。其中，用户管理模块负责所有区块链参与者的身份信息管理，包括维护公私钥生成(账户管理)、密钥管理以及用户真实身份和区块链地址对应关系维护(权限管理)等，并且在授权的情况下，监管和审计某些真实身份的交易情况，提供风险控制的规则配置(风控审计)；基础服务模块部署在所有区块链节点设备上，用来验证业务请求的有效性，并对有效请求完成共识后记录到存储上，对于一个新的业务请求，基础服务先对接口适配解析和鉴权处理(接口适配)，然后通过共识算法将业务信息加密(共识管理)，在加密之后完整一致的传输至共享账本上(网络通信)，并进行记录存储；智能合约模块负责合约的注册发行以及合约触发和合约执行，开发人员可以通过某种编程语言定义合约逻辑，发布到区块链上(合约注册)，根据合约条款的逻辑，调用密钥或者其它的事件触发执行，完成合约逻辑，同时还提供对合约升级注销的功能；运营监控模块主要负责产品发布过程中的部署、配置的修改、合约设置、云适配以及产品运行中的实时状态的可视化输出，例如：告警、监控网络情况、监控节点设备健康状态等。

平台产品服务层提供典型应用的基本能力和实现框架，开发人员可以基于这些基本能力，叠加业务的特性，完成业务逻辑的区块链实现。应用服务层提供基于区块链方案的应用服务给业务参与方进行使用。

具体地，如当服务器获取APP应用界面中第一信息块的不同控件的元素属性分别对应的数据时，服务器向区块链发送请求，区块链可对该请求进行评估，通过获取服务器的对应标识信息以确认其是否有权限获取该数据，若具备，则区块链通过查询存储该数据的对应节点信息然后获取信息，并将信息发送给该服务器。其中，所述服务器根据所述第一信息块的不同控件的元素属性分别对应的数据获取所述APP应用界面中其他信息块的不同控件的元素属性分别对应的数据之后，可将数据存储在预设的区块链中。当服务器接收终端发送的数据爬取请求时，所述服务器从区块链中获取如对应上述APP应用界面的数据，然后根据所述不同信息块的不同数据调整所述不同信息块的排布以得到与所述第一信息匹配的APP应用界面。采用该手段，使得数据管理更加有序，且降低数据风险，提高数据安全性。

参照图3，图3是本发明实施例提供的一种基于数据爬取的APP控件的处理方法的流程示意图。如图3所示，所述方法包括步骤301-304，具体如下：

301、服务器获取APP应用界面中第一信息块的不同控件的元素属性分别对应的数据；

其中，APP应用可以是任意应用。可选的，本方案可通过在安卓自动化测试框架uiautomator下，探查APP控件及其元素，并通过触发控件来自动化操作终端如手机，用以模拟用户浏览APP的行为，同时获取APP展示层控件元素中的文本数据。其中，进行数据获取前需将终端与服务器进行连接，如分为网络连接和USB线连接两种。其中，网络连接是服务器如PC端与移动端手机处于同一局域网的情况下，通过移动端网络的IP地址与PC端中自动化测试工具连接。另一种为USB线连接，是通过USB数据线连接PC端和移动端，但需要移动端开启“USB调试”功能，并允许连接的PC端调试移动端；这种情况下通过移动端设备的DEVICE_ID连接PC端中自动测试工具。在移动端打开APP后，采用服务器端自动化测试工具中的控件查看功能，识别APP中数据展示层的控件及其元素。

其中，上述第一信息块可以是应用界面中列表排列的位于第一个位置的信息块。如美团应用中第一个店铺的所有信息构成第一信息块，以此类推，下面依次为第二信息块、第三信息块···上述仅为一种示例，此处并不做具体限定。

其中，如图2所示，第一信息块的不同控件的元素属性可以是第一信息块的店铺名字，也可以是第一信息块的月均人气数等。示例性的如表一所示为图2中第一信息块的数据。

表一

ID	X	Y	Text
				1	25	30	汕头八合里牛肉火锅
2	25	40	月均人气90
				3	25	50	南头90km
4	25	60	买单每满100元减12元

具体地，步骤301可包括：

获取与所述APP应用界面对应的展示层；

获取所述展示层中对应第一信息块的数据以及所述第一信息块的数据位于所述展示层中的位置；

上述位置可以是位于展示层的第几层。

从所述第一信息块的数据中获取所述第一控件的元素属性对应的数据，并获取所述第一控件的元素属性位于所述第一信息块的数据中的位置。

302、所述服务器根据所述第一信息块的不同控件的元素属性分别对应的数据获取所述APP应用界面中其他信息块的不同控件的元素属性分别对应的数据；

其中，上述第一信息块的不同控件的元素属性分别对应的数据可从与所述APP应用界面对应的展示层中获取。其中，该展示层包含了该APP应用界面的所有数据信息，且该展示层可基于树状结构将上述数据信息进行分布。其中，对于不同的信息块位于不同的分支，且对于不同信息块中相同控件的元素属性分别所处的层级相同，如第一信息块中第一控件为店铺名字，其所处层级为第一信息块数据中的第五层，则第二信息块中店铺名字在展示层中所处的层级同样也为第五层。上述仅为一种示例，此处并不限制具体形式。

其中，所述APP应用界面还至少包括第二信息块，所述第二信息块至少包括第二控件，所述根据所述第一信息块的不同控件的元素属性分别对应的数据获取所述APP应用界面中其他信息块的不同控件的元素属性分别对应的数据，包括：

根据所述第一信息块的数据位于所述展示层中的位置获取所述第二信息块的数据；

根据所述第一控件的元素属性位于所述第一信息块的数据中的位置，从所述第二信息块的数据中获取所述第二控件的元素属性对应的数据。

以此类推，以得到所有信息块的不同控件的元素属性对应的数据。

303、所述服务器接收终端发送的数据爬取请求，所述数据爬取请求携带第一信息，所述数据爬取请求用于指示获取与所述第一信息匹配的APP应用界面；

其中，步骤303与步骤301的顺序可以调整，此处不做限制。服务器可以在检测到对应的终端应用界面时自动进行当前界面的数据信息获取，并将获取的数据信息进行保存，以便满足用户需求。

可选的，也可以在接收到用户的请求后，再进行数据信息的获取。

上述第一信息可以是针对某一控件的元素属性的获取请求，或者是当前界面中针对某一控件的元素属性的排布信息。如可以是人气最高的店，或者是距离最近的店等。

304、所述服务器根据所述不同信息块的不同数据调整所述不同信息块的排布以得到与所述第一信息匹配的APP应用界面。

其中，步骤304可包括：

分别获取不同信息块中与所述第一信息相关的数据；

将所述数据按照从高到低的顺序进行排序以得到排序后的数据；

其中，此处并不限制从高到低，从大到小，从小到大等排序规则。

获取与所述排序后的数据分别对应的信息块；

将与所述排序后的数据分别对应的信息块展示至APP应用界面。

上述并不限制获取的是进行排序后的完整信息，也可以是选取其中仅一个进行展示。

如用户想要获取优惠最多的店铺的名字，则从获取的上述所有数据信息中获取各信息块的优惠信息数据，并将各信息块分别对应的优惠信息数据按照从高到低或者从大到小的顺序进行排序，进而可得到更新后的各信息块的排布，即得到与上述优惠信息匹配的APP应用界面；或者，也可仅展示优惠力度最大的第一家店的信息。

通过本申请实施例，通过获取APP应用界面中第一信息块的不同控件的元素属性分别对应的数据，根据所述第一信息块的不同控件的元素属性分别对应的数据获取所述APP应用界面中其他信息块的不同控件的元素属性分别对应的数据；然后调整所述不同信息块的排布以得到与用户需求匹配的APP应用界面。采用上述手段，通过根据第一信息块的数据信息进而获取其他信息块的数据，十分便利，爬取效率更高，操作难度较低，大大降低了数据爬取的技术要求。

本方案通过模拟用户浏览APP数据的行为，遍历所有目标数据，同时通过获取APP数据展示层的控件元素来爬取数据。本方案可以规避现有爬取数据过程中的数据加密和反爬虫手段，降低操作难度。本方案通过借助控件元素，直接从APP数据展示层爬取数据，并且得到的数据可以直接使用；不需要刺探API接口和对爬取的数据解密。其有效规避法律风险和反爬虫策略，无爬虫风险问题。本发明是通过模拟用户正常浏览行为，并不触及APP开发者的数据访问限制。且突破数据加解密限制，直接从APP展示层爬取数据，直接得到的未加密数据。同时无需进行API接口刺探和数据解密操作，不需要掌握专业的网络传输知识。另一方面，其缩短数据爬取时间。在APP相应界面看到的数据，即可从相应界面爬取数据，且得到的数据可直接阅读；相比API爬虫而言缩短了爬取预研时间和数据处理时间。

请参阅图4，图4为本申请实施例提供了一种基于数据爬取的APP控件的处理方法的流程示意图。如图4所示，其可包括步骤401-405，具体如下：

401、获取APP应用界面中第一信息块的不同控件的元素属性分别对应的数据；

其中，上述第一信息块可以是应用界面中列表排列的位于第一个位置的信息块。如美团应用中第一个店铺的所有信息构成第一信息块，以此类推，下面依次为第二信息块、第三信息块···

其中，获取与所述APP应用界面对应的展示层；获取所述展示层中对应第一信息块的数据以及所述第一信息块的数据位于所述展示层中的位置；从所述第一信息块的数据中获取所述第一控件的元素属性对应的数据，并获取所述第一控件的元素属性位于所述第一信息块的数据中的位置。

402、根据所述第一信息块的不同控件的元素属性分别对应的数据获取所述APP应用界面中其他信息块的不同控件的元素属性分别对应的数据；

具体地，根据所述第一信息块的数据位于所述展示层中的位置获取所述第二信息块的数据；根据所述第一控件的元素属性位于所述第一信息块的数据中的位置，从所述第二信息块的数据中获取所述第二控件的元素属性对应的数据。以此类推，以得到所有信息块的不同控件的元素属性对应的数据

403、接收终端发送的数据爬取请求，所述数据爬取请求携带第一信息，所述数据爬取请求用于指示获取与所述第一信息匹配的APP应用界面；

上述第一信息可以是针对某一控件的元素属性的获取请求，或者是当前界面中针对某一控件的元素属性的排布信息。如可以是人气最高的店，或者是距离最近的店等。

404、确认所述APP应用界面中所有信息块是否均获取完毕；

其中，APP中数据一般不像网站中有翻页功能，而是向下滑动就会展示更多数据。通过自动滑屏可以将APP中数据全部展示出来，从而达到遍历数据的目的，以达到所述APP应用界面中所有信息块均获取完毕。

如图5a和图5b所示，其分别是本发明实施例提供的一种基于数据爬取的APP控件的滑屏终止判断的示意图。可选的，在APP中数据全部展示完毕后，滑屏程序需终止。服务器执行滑屏程序以确认APP中数据全部展示完毕。

其中，判断数据是否展示完毕的方法如下：

确认与所述APP应用界面对应的展示层是否有结束标记；

若存在，则根据所述结束标记的位置确认所述APP应用界面中所有信息块均获取完毕。

其中，部分APP数据展示完成后会在展示层有提示用户没有更多数据的标记，可根据此标记来判断全部数据是否展示完成。如临近所述结束标记的位置靠上的信息块默认为最后一个信息块，当获取到所述结束标记，则可确认所述APP应用界面中所有信息块均获取完毕。

对于没有结束标记的APP展示层，可以通过对比滑屏前后数据是否重复来判断全部数据是否展示完成。

具体地，若所述APP应用界面对应的展示层没有结束标记，所述确认所述APP应用界面中所有信息块是否均获取完毕，包括：

获取与所述APP应用界面对应的展示层中的第一数据；

执行滑屏程序，以获取与所述APP应用界面对应的展示层中的第二数据；

确认所述第一数据和所述第二数据是否一致；

若一致，则确认所述APP应用界面中所有信息块均获取完毕。

若不一致，则继续执行滑屏程序，并不断判断，直到获取到存在重复数据位置。

其中，APP中数据是需要通过展示层的控件来承载的，每一条文本数据都会在APP当前页面展示时存储在展示层控件的控件元素中。通过在滑屏展示数据的过程中，同步调用控件的元素属性，并存储其中文本数据，达到获取和存储APP信息的目的。

405、若所述APP应用界面中所有信息块均获取完毕，则根据所述不同信息块的不同数据调整所述不同信息块的排布以得到与所述第一信息匹配的APP应用界面。

其中，本实施例中步骤403可与401-402的顺序进行调整，且可以仅获取与步骤403所携带的信息一致的控件的元素属性的数据，以进一步提高数据爬取的效率。

本方案通过模拟用户浏览APP数据的行为，遍历所有目标数据，同时通过获取APP数据展示层的控件元素来爬取数据。本方案可以规避现有爬取数据过程中的数据加密和反爬虫手段，降低操作难度。

进一步，本方案还可探查数据展示控件与编写程序的过程，优化为可视化操作工具，后台根据用户操作示例自动生成爬取代码，从而不要求数据爬取者具备程序编码能力，让非程序员也可以自己爬取数据。具体地，如图6所示，其中，基于APP应用界面，通过人工演示基础操作，同时后台记录人工操作的步骤，然后根据记录生成模拟操作代码。基于上述演示，根据指定的目标数据，通过发出开始指令进行爬取目标数据，当完成后则自动存储并发出。

与上述实施例一致的，请参阅图7，图7为本申请实施例提供的一种服务器的结构示意图，如图所示，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，上述程序包括用于执行以下步骤的指令；

获取APP应用界面中第一信息块的不同控件的元素属性分别对应的数据；

根据所述第一信息块的不同控件的元素属性分别对应的数据获取所述APP应用界面中其他信息块的不同控件的元素属性分别对应的数据；

接收终端发送的数据爬取请求，所述数据爬取请求携带第一信息，所述数据爬取请求用于指示获取与所述第一信息匹配的APP应用界面；

根据所述不同信息块的不同数据调整所述不同信息块的排布以得到与所述第一信息匹配的APP应用界面。

通过本申请实施例，通过获取APP应用界面中第一信息块的不同控件的元素属性分别对应的数据，根据所述第一信息块的不同控件的元素属性分别对应的数据获取所述APP应用界面中其他信息块的不同控件的元素属性分别对应的数据；然后调整所述不同信息块的排布以得到与用户需求匹配的APP应用界面。采用上述手段，通过根据第一信息块的数据信息进而获取其他信息块的数据，十分便利，爬取效率更高，操作难度较低，大大降低了数据爬取的技术要求。

上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是，终端为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所提供的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法示例对终端进行功能单元的划分，例如，可以对应各个功能划分各个功能单元，也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。需要说明的是，本申请实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

与上述一致的，请参阅图8，图8为本申请实施例提供了一种基于数据爬取的APP控件的处理装置的结构示意图。其包括第一获取模块801、第二获取模块802、接收请求模块803和数据处理模块804，具体地：

第一获取模块801，用于获取APP应用界面中第一信息块的不同控件的元素属性分别对应的数据；

第二获取模块802，用于根据所述第一信息块的不同控件的元素属性分别对应的数据获取所述APP应用界面中其他信息块的不同控件的元素属性分别对应的数据；

接收请求模块803，用于接收终端发送的数据爬取请求，所述数据爬取请求携带第一信息，所述数据爬取请求用于指示获取与所述第一信息匹配的APP应用界面；

数据处理模块804，用于根据所述不同信息块的不同数据调整所述不同信息块的排布以得到与所述第一信息匹配的APP应用界面。

可以看出，通过本申请实施例，通过获取APP应用界面中第一信息块的不同控件的元素属性分别对应的数据，根据所述第一信息块的不同控件的元素属性分别对应的数据获取所述APP应用界面中其他信息块的不同控件的元素属性分别对应的数据；然后调整所述不同信息块的排布以得到与用户需求匹配的APP应用界面。采用上述手段，通过根据第一信息块的数据信息进而获取其他信息块的数据，十分便利，爬取效率更高，操作难度较低，大大降低了数据爬取的技术要求。

其中，所述第一获取模块801，用于获取与所述APP应用界面对应的展示层；获取所述展示层中对应第一信息块的数据以及所述第一信息块的数据位于所述展示层中的位置；从所述第一信息块的数据中获取所述第一控件的元素属性对应的数据，并获取所述第一控件的元素属性位于所述第一信息块的数据中的位置。

所述第二获取模块802，用于根据所述第一信息块的数据位于所述展示层中的位置获取所述第二信息块的数据；根据所述第一控件的元素属性位于所述第一信息块的数据中的位置，从所述第二信息块的数据中获取所述第二控件的元素属性对应的数据。

还包括：确认模块，用于确认所述APP应用界面中所有信息块是否均获取完毕；若所述APP应用界面中所有信息块均获取完毕，则触发执行根据所述不同信息块的不同数据调整所述不同信息块的排布以得到与所述第一信息匹配的APP应用界面。

所述确认模块，用于确认与所述APP应用界面对应的展示层是否有结束标记；若存在，则根据所述结束标记的位置确认所述APP应用界面中所有信息块均获取完毕。

所述确认模块，还用于若所述APP应用界面对应的展示层没有结束标记，获取与所述APP应用界面对应的展示层中的第一数据；执行滑屏程序，以获取与所述APP应用界面对应的展示层中的第二数据；确认所述第一数据和所述第二数据是否一致；若一致，则确认所述APP应用界面中所有信息块均获取完毕。

所述数据处理模块804，用于分别获取不同信息块中与所述第一信息相关的数据；将所述数据按照从高到低的顺序进行排序以得到排序后的数据；获取与所述排序后的数据分别对应的信息块；将与所述排序后的数据分别对应的信息块展示至APP应用界面。

本申请实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种基于数据爬取的APP控件的处理方法的部分或全部步骤。

本申请实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种基于数据爬取的APP控件的处理方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在申请明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。

所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储器包括：U盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器、随机存取器、磁盘或光盘等。

以上对本申请实施例进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (8)

1.一种基于数据爬取的APP控件的处理方法，其特征在于，包括：

获取与所述APP应用界面对应的展示层；

获取所述展示层中对应第一信息块的数据以及所述第一信息块的数据位于所述展示层中的位置；所述第一信息块至少包括第一控件；

从所述第一信息块的数据中获取所述第一控件的元素属性对应的数据，并获取所述第一控件的元素属性位于所述第一信息块的数据中的位置；所述APP应用界面还至少包括第二信息块，所述第二信息块至少包括第二控件；

根据所述第一信息块的数据位于所述展示层中的位置获取所述第二信息块的数据；

根据所述第一控件的元素属性位于所述第一信息块的数据中的位置，从所述第二信息块的数据中获取所述第二控件的元素属性对应的数据；

接收终端发送的数据爬取请求，所述数据爬取请求携带第一信息，所述数据爬取请求用于指示获取与所述第一信息匹配的APP应用界面；

根据不同信息块的不同数据调整所述不同信息块的排布以得到与所述第一信息匹配的APP应用界面。

2.根据权利要求1所述的方法，其特征在于，所述根据所述第一信息块的不同控件的元素属性分别对应的数据获取所述APP应用界面中其他信息块的不同控件的元素属性分别对应的数据之后，所述根据所述不同信息块的不同数据调整所述不同信息块的排布以得到与所述第一信息匹配的APP应用界面之前，包括：

确认所述APP应用界面中所有信息块是否均获取完毕；

若所述APP应用界面中所有信息块均获取完毕，则触发执行根据所述不同信息块的不同数据调整所述不同信息块的排布以得到与所述第一信息匹配的APP应用界面。

3.根据权利要求2所述的方法，其特征在于，所述确认所述APP应用界面中所有信息块是否均获取完毕，包括：

确认与所述APP应用界面对应的展示层是否有结束标记；

若存在，则根据所述结束标记的位置确认所述APP应用界面中所有信息块均获取完毕。

4.根据权利要求3所述的方法，其特征在于，若所述APP应用界面对应的展示层没有结束标记，所述确认所述APP应用界面中所有信息块是否均获取完毕，包括：

获取与所述APP应用界面对应的展示层中的第一数据；

执行滑屏程序，以获取与所述APP应用界面对应的展示层中的第二数据；

确认所述第一数据和所述第二数据是否一致；

若一致，则确认所述APP应用界面中所有信息块均获取完毕。

5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述不同信息块的不同数据调整所述不同信息块的排布以得到与所述第一信息匹配的APP应用界面，包括：

分别获取不同信息块中与所述第一信息相关的数据；

将所述数据按照从高到低的顺序进行排序以得到排序后的数据；

获取与所述排序后的数据分别对应的信息块；

将与所述排序后的数据分别对应的信息块展示至APP应用界面。

6.一种基于数据爬取的APP控件的处理***，其特征在于，包括：

第一获取模块，用于获取与所述APP应用界面对应的展示层，获取所述展示层中对应第一信息块的数据以及所述第一信息块的数据位于所述展示层中的位置；所述第一信息块至少包括第一控件；

所述第一获取模块，还用于从所述第一信息块的数据中获取所述第一控件的元素属性对应的数据，并获取所述第一控件的元素属性位于所述第一信息块的数据中的位置；所述APP应用界面还至少包括第二信息块，所述第二信息块至少包括第二控件；

第二获取模块，用于根据所述第一信息块的数据位于所述展示层中的位置获取所述第二信息块的数据，根据所述第一控件的元素属性位于所述第一信息块的数据中的位置，从所述第二信息块的数据中获取所述第二控件的元素属性对应的数据；

接收请求模块，用于接收终端发送的数据爬取请求，所述数据爬取请求携带第一信息，所述数据爬取请求用于指示获取与所述第一信息匹配的APP应用界面；

数据处理模块，用于根据不同信息块的不同数据调整所述不同信息块的排布以得到与所述第一信息匹配的APP应用界面。

7.一种服务器，其特征在于，包括处理器、输入设备、输出设备和存储器，所述处理器、输入设备、输出设备和存储器相互连接，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述程序指令，执行如权利要求1至5任一项所述的方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行以实现权利要求1至5任意一项所述的方法。