CN106598991A

CN106598991A - 一种使用会话方式实现与网站交互表单自动提取的网络爬虫***

Info

Publication number: CN106598991A
Application number: CN201510675362.5A
Authority: CN
Inventors: 不公告发明人
Original assignee: SHANGHAI INTPLE TECHNOLOGY CO LTD
Current assignee: SHANGHAI INTPLE TECHNOLOGY CO LTD
Priority date: 2015-10-19
Filing date: 2015-10-19
Publication date: 2017-04-26

Abstract

一种使用会话方式实现与网站交互表单自动提取的网络爬虫***。互联网上有相当多的信息需要使用账户登录方式，通过特定的鼠标点击及键盘输入操作步骤，才能获取到。传统的网络爬虫开发技术是使用浏览器开发工具，监控人工操作时浏览器与服务器端交互的请求和应答，对截取的请求和应答内容人工分析，再开发代码实现。本发明提供一套经过验证可行的***，将上述构造爬虫交互信息的工作接近于完全自动化的方式实现。这个***由三个要素构成：一个HTML解析器，用于从HTML网页中解析出表单(〈FORM/〉)、链接(〈A/〉)等标签；一个脚本录制引擎，它通过代理的方式，为用户提供对目标网站的访问，记录浏览器与服务器端的数据交互；一个脚本运行模拟器，以解释方式运行上一步录制的脚本，播放脚本即可实现爬虫与网站的交互以及信息的抓取。

Description

一种使用会话方式实现与网站交互表单自动提取的网络爬虫***

本发明提供一套经过验证可行的***，将上述构造爬虫交互信息的工作接近于完全自动化的方式实现。这个***由三个要素构成：

1，一个HTML解析器，用于从HTML网页中解析出表单(<FORM/>)和链接(<A/>)标签；

2，一个脚本录制引擎，它通过代理的方式，为用户提供对目标网站的访问，用户浏览器与服务器端的任何数据交互都被记录下来；

3，一个脚本运行模拟器，以解释方式运行上一步录制好的脚本，播放脚本即可实现爬虫与网站的交互以及信息的抓取。

***有如下工作状态：

1，录制脚本；

2，脚本参数化，这是一个人工过程，由人工控制需要设定和获取的参数值；

3，播放脚本，实现爬虫功能；

第2点在对脚本做参数化时，还可以做一些简单的修改来实现一些原本需要开发代码才能完成的工作。例如，使用累计变量控制循环的流程控制，调用外置的函数实现对图片验证码的自动识别，等等。

附图说明

图1为本发明的结构图及工作流程示意图。

图2为自动生成并人工参数化后的脚本样例。

具体实施方式

以下将叙述上文所述的三个要素的构成内容和工作方式。

HTML解析器用来解析HTML网页内容，生成一个DOM(Document of Model)树。对于分析爬虫与服务器交互这一任务来说，只关心DOM树中的表单标签 <FORM/>和链接标签<A/>。

HTML解析器在本发明所述的***中，有两个作用。其一，为了完成脚本录制引擎的任务，HTML解析器需要替换原网页中的<FORM/>和<A/>标签的指向链接，将表单提交地址或链接指向改为脚本录制引擎的服务器地址所对应的URL。其二，HTML解析器负责解析网页，作为下一次爬虫交互操作的变量，或作为最终需要抓取的内容返回结果。前者如提取网页中的下拉框中的选项名称及选项值，后者如提取网页文章中的点击数、点赞数等。

脚本录制引擎是实现与网站交互表单自动提取的关键部件。它有一个类似搜索引擎的WEB界面，在输入框中可以输入网站地址。

在用户提交网站地址后，录制引擎会连接网站获取网页。对返回的网页做如下处理：

a)对网页添加<base href＝’${URL)’/>代码，其中${URL)是网站地址。这强制浏览器对网页上的相对链接按指定的网址相对定位，从而可以正常显示图片等相关资源；

b)对<A href＝”${URL}”/>、<FORM action＝”${URL}”/>、<FRAME src＝”${URL}”/>、<IFRAME sre＝”${URL}”/>标签，需要篡改属性中的链接地址${URL}。将${URL}替换为引擎自身的地址，并在此地址上携带原${URL}的值；

现在，用户在录制引擎上所做的表单提交或点击链接操作，都将指示浏览器向引擎发送GET/POST请求，而不是直接发送到原始网站上。这样，浏览器与原网站的请求和响应系列都被录制引擎记录下来了。

录制引擎记录下请求和响应的交互数据后，将其翻译为脚本源码，类似于“GET http：//…Param1＝Value1|Param2＝Value2|…|ParamN＝ValueN {ControlBits}”这样的代码。其中，{ControlBits}用于记录一些辅助信息，如，区分GET/POST请求，是否清除Cookie，等等。Param1＝Value1则是POST方式时提交的表单参数。

录制引擎生成的脚本可以人工进一步参数化。比如上文所述的Param1＝Value1和Param2＝Value2表征用户名和密码，一般形如username＝jackey和password＝123456这样，那么可以把jackey和123456替换成运行时可以设定的参数。还可以进一步的添加流程控制，例如添加一个循环和循环计数器，结合运行时可以设定的参数变更，可以完成批量操作。

脚本参数化完成后，就可以通过脚本运行模拟器“播放”这段脚本，实现爬虫的实际运行。模拟器主要要完成三种类型的工作：

a)解释执行“GET http：//…Param1＝${Value1}|Param2＝${Value1}|… |ParamN＝${ValueN}{ControlBits}”脚本，将${Value1}、${Value1}、${ValueN}替换为运行时的值，向网站发送请求并接受响应；

b)解释执行“FIND…”脚本：调用HTML解析器，解析网页，作为下一次爬虫交互操作的变量，或作为最终需要抓取的内容返回结果。

c)流程控制：处理脚本中包含的流程控制命令。

Claims

1.一种使用会话方式实现与网站交互表单自动提取的网络爬虫***，其特征在于：

1)***包含三个主要构成部分：一个HTML解析器；一个脚本录制引擎；一个脚本运行模拟器。

2)***有三个工作状态：一，录制脚本；二，可人工介入的脚本参数化；三，播放脚本实现爬虫功能。

2.如权利1所述的使用会话方式实现与网站交互表单自动提取的网络爬虫***的构成部分“HTML解析器”，其特征在于：HTML解析器用来解析HTML网页内容，生成一个DOM树。

3.如权利1所述的使用会话方式实现与网站交互表单自动提取的网络爬虫***的构成部分“脚本录制引擎”，其特征在于：有一个类似搜索引擎的WEB界面，在输入框中可以输入网站地址；录制引擎会连接网站获取网页；用户在录制引擎上所做的表单提交或点击链接操作，录制引擎记录下请求和响应的交互数据后，将其翻译为脚本源码。

4.如权利1所述的使用会话方式实现与网站交互表单自动提取的网络爬虫***的构成部分“脚本运行模拟器”，其特征在于：可以“播放”权利3所述的脚本源码，完成网络爬虫的功能。