CN103870329A - 基于加权轮叫算法的分布式爬虫任务调度方法 - Google Patents
基于加权轮叫算法的分布式爬虫任务调度方法 Download PDFInfo
- Publication number
- CN103870329A CN103870329A CN201410073829.4A CN201410073829A CN103870329A CN 103870329 A CN103870329 A CN 103870329A CN 201410073829 A CN201410073829 A CN 201410073829A CN 103870329 A CN103870329 A CN 103870329A
- Authority
- CN
- China
- Prior art keywords
- node
- reptile
- distributed
- crawler
- url
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
一种基于加权轮叫算法的分布式爬虫任务调度方法,包括1)根据规模不同,将网络爬虫分为单机多线程、同构集中式、异构集中式、小型分布式和大型分布式五类爬虫;2)主从式架构部署;3)当爬虫节点第一次连接到主控节点时,主控节点给予它初始权值;4)主控节点根据基于加权轮叫的调度算法,不断选择出一个爬虫节点,将一个待爬取的URL任务分配给它;5)每当爬虫节点爬取完一个URL任务时,将结果返回给主控节点,主控节点更新该爬虫节点的权值;等等。本发明提出的基于加权轮叫算法的分布式爬虫调度策略,是针对小型分布式爬虫而进行设计的,能够使各爬虫节点负载平衡,并使爬虫节点拥有灵活的可扩展性及容错性。
Description
技术领域
本发明涉及网络搜索技术领域。
背景技术
一个搜索引擎可以分成爬虫、索引器、检索器和用户接口等几个部分。其中,爬虫负责对互联网中的信息不断进行查找和搜集,在搜索引擎中扮演着重要的角色。随着网络的急速发展,信息更是飞速增长,传统简单的单机网络爬虫及集中式网络爬虫的爬取能力已经不能跟上互联网上信息的增长速度。而在分布式的概念越来越多被提及的今天,分布式爬虫也自然而然成为了解决大数据量问题的方案。分布式爬虫由多个分散在广域网中部署的节点组成,能够并行的进行爬取工作,满足人们对爬虫能力的需要。由于各节点的爬取能力不同,一个良好的调度策略是必不可少的。针对不同规模的爬虫有着不同的调度算法,其中,比较主流的调度算法有:
(1)哈希调度
常见的哈希函数是一种映射关系,通过这种映射关系,将原本的字符串、数或其它信息转换为一个索引值。其实早期的爬虫***大多都是采用的这种方式,它将URL作为哈希的输入,根据哈希函数得到的值就作为调度的输出。这样的调度策略不仅非常容易计算,而且***开销也很小;与此同时,由于哈希函数数学上的随机性,正好保证了爬虫节点间任务分配的均匀性。
(2)集中式负载调度
以大规模改进后的北大天网爬虫为例,它是集中式控制的模式,它的总体框架是一个总控节点与若干个爬虫节点进行协同工作。其任务调度采用的调度模式是:总控节点负责分发URL,而爬虫节点负责爬取URL。每一个站点由一个爬虫程序负责,该站点上的所有URL都由该爬虫程序进行爬取。一个爬虫节点可以有多个爬虫程序,但每个爬虫程序必定在一个爬虫节点上运行。总控节点从种子URL出发进行分配,对每一个所在站点还没有启动爬虫程序的URL,会根据一定的负载平衡原则找到一个爬虫节点,将URL传输过去,并要求它开启一个新的爬虫程序。接下来所有该站点地URL都会分发到该爬虫节点,并由该爬虫程序进行爬取工作。
(3)根据网络位置进行调度
在大型的搜索引擎中,由于爬虫节点被部署在全球各地,因此网络位置的计算是相当重要的。在这样的爬虫中,其基本的调度策略的思想就是利用诸如GNP算法,通过测量较少事先确定的几组网站与爬虫节点之间的网络距离,估算其它大量的节点间的网络距离,最后利用预测得到网络距离再来计算爬虫节点爬取URL对应网页所需要时间,并将最少时间开销的爬虫节点设定为对应URL的调度对象。这样的调度方案有效地按照网络距离对爬虫任务进行了调度,而且也减少了大规模网络测量的时间开销。
发明内容
本发明提出的基于加权轮叫算法的分布式爬虫调度策略,是针对小型分布式爬虫而进行设计的,因思想与集中式负载调度策略相思,也同时适用于异构集中式爬虫,能够使各爬虫节点负载平衡,并使爬虫节点拥有灵活的可扩展性及容错性。
本发明方法技术方案表征为:
一种基于加权轮叫算法的分布式爬虫任务调度方法,其特征在于,依次按照如下步骤实施:
1)根据规模不同,本发明将网络爬虫分为单机多线程、同构集中式、异构集中式、小型分布式和大型分布式五类爬虫,本爬虫任务调度方法是针对小型分布式的爬虫任务调度方法。小型分布式爬虫是指各个节点虽然是分布式部署,但仍部署在一个小的物理区域之中,因此各节点在互联网上的网络时延相差并不大,不过各个节点间的传输并不一定在局域网环境中进行,因此传输可能是不可靠的,传输时延也必须进行考虑。
2)主从式架构部署,即一个主控节点和若干个分布式部署并且能和主控节点互通的爬虫节点,保证所有爬虫节点能够连至互联网。主控节点负责爬虫任务的调度工作,即一个待爬取的URL该分配给哪一个爬虫节点完成,以及去重工作,即将一个爬虫节点返回的一条URL得到的外链去重后当中新的待爬取的URL。爬虫节点则负责具体的爬虫工作,对每一条主控节点分配给它的URL去互联网上爬取它的整个HTML,并解析出这个页面中包含的外链,将这些信息返回给主控节点。
3)当爬虫节点第一次连接到主控节点时,主控节点给予它一个经验值作为初始权值。
4)主控节点根据本发明提出的基于加权轮叫的调度算法,不断选择出一个爬虫节点,将一个待爬取的URL任务分配给它。该调度算法的主体是传统的加权轮叫调度算法,即设置一个当前调度权值,每当它减为非正数时重新初始化为当前所有节点权值的最大值,然后对每个节点依次询问,看其权值是否不小于当前调度权值,若是则得到调度,当所有节点询问完毕后,当前调度权值自减一个步长,再开始对每个节点依次询问,如此不断往复。在传统的加权轮叫调度算法中,步长为所有权值的最小公约数,也就是说在有很多权值的情况下可以认为是1。而本发明提出的调度算法则根据本方法设定的权值计算方法和大量实验将其步长设定为4。
5)每当爬虫节点爬取完一个URL任务时,将结果返回给主控节点,主控节点根据本发明提出的根据最近任务完成时间和未完成的任务数的权值计算方法更新该爬虫节点的权值。
6)当一个爬虫节点的权值随着任务数的增加降为零时,主控节点将不再分配给其任务。直到它的权值重新恢复为正数时,才会重新得到分配。
7)这样主控节点不断将URL分配给爬虫节点,爬虫节点则不断将URL爬取得到其HTML和外链返回给主控节点,主控节点将外链去重后再重新分配出去。根据互联网的实际情况,这样整个***就会永无止境的运行下去,不断爬取得到新的网页,直至人工根据实际情况手动停止。
8)拥有错误恢复机制,主控节点可以检测到爬虫节点的异常情况,并将其权值置零。
9)拥有良好的扩展性,新的节点可以随时加入***,旧的节点也可以随时从***中移除。
根据规模不同,本发明将网络爬虫分为五类:
(1)单机多线程爬虫
单机多线程爬虫是最传统的爬虫形式,它的负载平衡体现在任务尽可能均匀的分配到各个线程上。各类的哈希算法都是适合调度算法。
(2)同构集中式爬虫
同构集中式爬虫和单机多线程爬虫类似,各个节点就相当于单机多线程中的各个线程,只不过规模稍大,能力稍强而已。因此,各类的哈希算法仍是适合该类爬虫的调度算法。
(3)异构集中式爬虫
异构集中式爬虫和前两类不同的在于,各个节点的性能等指标不同,因此各个节点的爬取能力并不相同。能力强的节点应该分配到更多的任务,而能力差的节点应该分配到更少的任务。集中式负载调度可以对此类爬虫有一个好的调度。
(4)小型分布式爬虫
小型分布式爬虫是指各个节点虽然是分布式部署,但仍部署在一个小的区域,各节点在互联网上的网络时延相差并不大,它与异构集中式爬虫比较相似,但是各个节点间的传输并不一定在局域网内进行,因此传输可以认为是不可靠的,传输时延也必须进行考虑。此类爬虫目前没有较好的针对性调度算法,集中式负载调度可以对此类爬虫进行一定程度的调度,但好的调度策略应该是在集中式负载调度的基础上做出一些改变,以更好的契合该类爬虫。
(5)大型分布式爬虫
大型分布式爬虫就是现今各类大型商用搜索引擎采用的爬虫形式,各个节点分布在世界各地,网络时延相差很大,因此根据网络位置进行调度的策略就是为该类爬虫量身打造。
本发明提出的基于加权轮叫算法的分布式爬虫调度策略,按上述分类即是针对小型分布式爬虫进行设计的。
本发明设计了一个基于各爬虫节点当前爬取效率的权值计算公式,其主要功能是保证了***的负载平衡。而基于加权轮叫算法的分布式爬虫任务调度算法则是基于这个权值计算公式具体负责URL的任务调度。另外本发明设计的错误恢复机制则是保证了***的稳定性。
附图说明
图1调度流程图。
图2基于加权轮叫算法流程图。
具体实施方式
本发明采用主从式的爬虫架构,在主控节点,存在一张节点表、三个URL队列以及调度模块和爬虫反馈模块。节点表记录着各个爬虫节点的信息,包括节点号、权值等。它必须动态更新以保持和实际的爬虫节点情况一致。它动态更新的时机可以是每一次爬虫节点进行了一次URL任务的反馈,也可以是每一定时间进行一次,可以根据具体情况设置。调度模块先从待爬取的URL队列中取出一条URL,再从节点表中取出各节点信息,并从中选择一个爬虫节点进行调度,将该URL分配给该爬虫节点,并将该URL存入已分配的URL队列中。而当一个爬虫节点完成一条URL的爬取工作后,爬虫反馈模块将该URL去已分配的URL队列中查询,若存在则从中删除,并存入已爬取的URL队列中,最后该URL爬取出的外链可以送入去重模块后输出至待爬取的URL队列,这里只考虑调度过程,而忽略该过程。调度流程图如图1所示.
一般来说,可以考虑的负载均衡因素有CPU性能、CPU使用率、内存使用率、传输时延等,但它们归更到底还是体现在时间上,因此我们采用时间这一指标作为负载均衡的衡量标准,即确定权值的因素。我们根据一个爬虫节点之前的运行情况去判断之后它可能的状况,以此确定权值。
具体来说,对于一个爬虫节点,假设它已完成的任务数是n个,一共花费的总时间是t毫秒(这里的时间包括从主控节点分配出任务至该节点直至该节点进行反馈为止,在主控节点而不是爬虫节点计算权值的原因是为了将传输时延考虑在内),那么这个爬虫节点平均完成一个任务需要花费的时间为:
T的值越大,也就意味着它完成剩余任务需要的时间越多,那么主控节点就应该给该节点分配更少的任务,也就是权值W应该越小,因此,对T取倒数,得到:
将(2)代入(3)中,得到:
其中,随着不断爬取,n值和t值都会不断变大,但当节点空闲时,值就会为零,因此为了让分母不为零,使用m+1替换m,这样代入到(4)中,得到:
注意到,t值和n值一直记录着从第1个任务开始直至目前的情况,那么随着t值和n值的不断变大,会趋向稳定。然而,这并不是我们所期望的,因为此时无论该节点的爬取过程中遇到任何问题,都无法从公式中体现出来,我们希望权值应该能够反映该节点的当前情况。因此,本***借鉴了滑动窗口的概念,对权值进行了修改。只考虑并计算最近的k个任务的完成情况,假设ti为最近第i个任务完成的时间,那么权值W就应该为:
其中,k值取多少合适,本发明在实现时根据爬取情况取为100,该值可以在实际使用过程中对不同的爬虫取合适的值。
本发明提出了一种基于加权轮叫算法的调度策略,选用加权轮叫算法作为调度策略的基础主要考虑一下方面:
(1)简单高效
除了每个爬虫节点对应一个权值外,算法只需储存两个简单变量(j和c),可以在O(x)时间内完成一次调度,这里的x指爬虫节点数。
(2)支持权值动态变化
所有算法中取的权值都可以从节点表中直接取得,这意味着每次取得的权值都是当前最新的值,因此无论反馈模块如何异步的改变节点表中爬虫节点的对应权值,算法都能按照***当前的节点状况完成调度工作。
(3)可以预估权值的变化趋势
算法中门槛权值的变化趋势与各爬虫节点对应的权值变化趋势相匹配。这意味着即使爬虫节点出现任何暂时性的问题没有及时反馈以更新权值,算法也能较准确的预测其权值的变化,合理的分配任务。
(4)低权值的爬虫节点不会饿死
算法中每一次门槛权值从当前所有节点最大权值减少到零(或小于零)的一轮分配过程中,不论权值高低,都会得到调度的机会,这使得在权值更新不及时时,低权值的爬虫节点也不会饿死。
假设节点表N={N0,N1,...,Nx1},W(Nj)表示节点Nj的权值,变量j表示上一次被选中的节点,变量c表示当前调度的权值,max(N)表示N中所有节点中最大的权值,s表示每一次c减少的值,此值我们需要对原算法进行改动,以和本发明设计的权值所匹配,最终经过实验我们将s的值设为4。变量j和c的初值为0。基于加权轮叫算法的流程图如图2所示.
注意到,这里的W(Nj)是由公式(6)得来的,而它是一个在(0,1)区间的小数,还并不能适用于加权轮叫算法,因此必须将其改变。首先让它乘以一个系数a,接着对它进行取整操作,这样权值W就会在0到一个正整数的区间内进行变化。这样,权值W为:
其中,根据爬虫的情况,可以将a设定为合适的值。这里我们将a设定为300,000,当m为零时,W在120左右浮动。
本发明的错误恢复机制可以分为两个部分,分别为针对节点的错误恢复机制和针对URL的错误恢复机制。
当一个节点突然宕机时,主控节点也应该能实时捕捉到这一情况,并对这个***出现的错误进行恢复。一般可以考虑的方案是心跳机制。不过我们在实现时采用了socket的方式,直接捕捉socket抛出的IO异常就能捕捉到节点断开连接的情况,接着我们查找出已分配的URL队列中所有分配给该爬虫节点的URL,并将它们重新进行分配。这样针对节点的错误恢复机制就完成了。
另外,我们监控已分配的URL队列,当一条URL长时间没有反馈的情况时,我们认为该URL出现了问题,比如在传输过程中被丢失了,应该对其重新分发。这就是针对URL的错误恢复机制。
本发明技术方案的创新点及其有益效果:
1、将爬虫按照规模进行了细化的分类,方便不同规模的爬虫选用不同的调度策略。
2、设计了基于各爬虫节点当前爬取效率的权值计算公式,能够较好的反映各爬虫节点的当前状况,使得基于本权值的调度策略能够负载均衡。
3、设计了基于加权轮叫算法的调度算法,主要是根据实验结果修改了步长,使得该调度算法配合本发明提出的各爬虫节点权值计算公式,能够让整个爬虫***实现很好的负载均衡。
4、错误恢复机制能够让爬虫***具有相当的容错性,使得整个***的稳定性良好。
Claims (1)
1.一种基于加权轮叫算法的分布式爬虫任务调度方法,其特征在于,依次按照如下步骤实施:
1)根据规模不同,本发明将网络爬虫分为单机多线程、同构集中式、异构集中式、小型分布式和大型分布式五类爬虫,针对小型分布式的爬虫任务调度,小型分布式爬虫是指各个节点是分布式部署,部署在一个小的物理区域之中;
2)主从式架构部署,即一个主控节点和若干个分布式部署并且能和主控节点互通的爬虫节点,保证所有爬虫节点能够连至互联网;主控节点负责爬虫任务的调度工作,即一个待爬取的URL该分配给哪一个爬虫节点完成,以及去重工作,即将一个爬虫节点返回的一条URL得到的外链去重后当中新的待爬取的URL;爬虫节点则负责具体的爬虫工作,对每一条主控节点分配给它的URL去互联网上爬取它的整个HTML,并解析出这个页面中包含的外链,将这些信息返回给主控节点;
3)当爬虫节点第一次连接到主控节点时,主控节点给予它一个经验值作为初始权值;
4)主控节点根据基于加权轮叫的调度算法,不断选择出一个爬虫节点,将一个待爬取的URL任务分配给它;该调度算法,即设置一个当前调度权值,每当它减为非正数时重新初始化为当前所有节点权值的最大值,然后对每个节点依次询问,看其权值是否不小于当前调度权值,若是则得到调度,当所有节点询问完毕后,当前调度权值自减一个步长,再开始对每个节点依次询问,如此不断往复;而本发明提出的调度算法则根据本方法设定的权值计算方法和大量实验将其步长设定为4;
5)每当爬虫节点爬取完一个URL任务时,将结果返回给主控节点,主控节点根据本发明提出的根据最近任务完成时间和未完成的任务数的权值计算方法更新该爬虫节点的权值;
6)当一个爬虫节点的权值随着任务数的增加降为零时,主控节点将不再分配给其任务,直到它的权值重新恢复为正数时,才会重新得到分配;
7)这样主控节点不断将URL分配给爬虫节点,爬虫节点则不断将URL爬取得到其HTML和外链返回给主控节点,主控节点将外链去重后再重新分配出去;根据互联网的实际情况,这样整个***就会永无止境的运行下去,不断爬取得到新的网页,直至人工根据实际情况手动停止;
8)拥有错误恢复机制,主控节点可以检测到爬虫节点的异常情况,并将其权值置零。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410073829.4A CN103870329B (zh) | 2014-03-03 | 2014-03-03 | 基于加权轮叫算法的分布式爬虫任务调度方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410073829.4A CN103870329B (zh) | 2014-03-03 | 2014-03-03 | 基于加权轮叫算法的分布式爬虫任务调度方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103870329A true CN103870329A (zh) | 2014-06-18 |
CN103870329B CN103870329B (zh) | 2017-01-18 |
Family
ID=50908893
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410073829.4A Active CN103870329B (zh) | 2014-03-03 | 2014-03-03 | 基于加权轮叫算法的分布式爬虫任务调度方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103870329B (zh) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104376063A (zh) * | 2014-11-11 | 2015-02-25 | 南京邮电大学 | 基于分类管理的多线程网络爬虫方法和信息实时更新*** |
CN105989151A (zh) * | 2015-03-02 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 网页抓取方法及装置 |
CN106021608A (zh) * | 2016-06-22 | 2016-10-12 | 广东亿迅科技有限公司 | 一种分布式爬虫***及其实现方法 |
WO2016173200A1 (zh) * | 2015-04-30 | 2016-11-03 | 安一恒通(北京)科技有限公司 | 用于检测恶意网址的方法和*** |
CN106897129A (zh) * | 2017-01-24 | 2017-06-27 | 浙江工商大学 | 一种基于区域的多智能体互联网数据采集任务调度方法 |
CN107122246A (zh) * | 2017-04-27 | 2017-09-01 | 中国海洋石油总公司 | 智能数值模拟作业管理与反馈方法 |
CN107590188A (zh) * | 2017-08-08 | 2018-01-16 | 杭州灵皓科技有限公司 | 一种自动化垂直细分领域的爬虫爬取方法及其管理*** |
CN108712503A (zh) * | 2018-05-30 | 2018-10-26 | 南京邮电大学 | 一种网络负载均衡的多代理分布式爬虫***和方法 |
WO2019079966A1 (zh) * | 2017-10-24 | 2019-05-02 | 麦格创科技(深圳)有限公司 | 分布式爬虫任务分配方法及*** |
CN110020066A (zh) * | 2017-07-31 | 2019-07-16 | 北京国双科技有限公司 | 一种往爬虫平台注任务的方法及装置 |
CN111092921A (zh) * | 2018-10-24 | 2020-05-01 | 北大方正集团有限公司 | 数据采集方法、装置及存储介质 |
CN111125487A (zh) * | 2019-12-24 | 2020-05-08 | 个体化细胞治疗技术国家地方联合工程实验室(深圳) | 一种网络爬虫的爬行方法及装置 |
CN111158892A (zh) * | 2020-04-02 | 2020-05-15 | 支付宝(杭州)信息技术有限公司 | 一种任务队列生成方法、装置及设备 |
CN112231534A (zh) * | 2020-10-14 | 2021-01-15 | 上海蜜度信息技术有限公司 | 一种配置爬虫的方法与设备 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8042112B1 (en) * | 2003-07-03 | 2011-10-18 | Google Inc. | Scheduler for search engine crawler |
CN102968465A (zh) * | 2012-11-09 | 2013-03-13 | 同济大学 | 网络信息服务平台及其基于该平台的搜索服务方法 |
CN103514301A (zh) * | 2013-10-24 | 2014-01-15 | 深圳市同洲电子股份有限公司 | 分布式网络爬虫任务调度的方法及*** |
CN103559258A (zh) * | 2013-11-04 | 2014-02-05 | 同济大学 | 基于云计算的网页排序方法 |
CN103605764A (zh) * | 2013-11-26 | 2014-02-26 | Tcl集团股份有限公司 | 一种网络爬虫***及网络爬虫多任务执行和调度方法 |
-
2014
- 2014-03-03 CN CN201410073829.4A patent/CN103870329B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8042112B1 (en) * | 2003-07-03 | 2011-10-18 | Google Inc. | Scheduler for search engine crawler |
CN102968465A (zh) * | 2012-11-09 | 2013-03-13 | 同济大学 | 网络信息服务平台及其基于该平台的搜索服务方法 |
CN103514301A (zh) * | 2013-10-24 | 2014-01-15 | 深圳市同洲电子股份有限公司 | 分布式网络爬虫任务调度的方法及*** |
CN103559258A (zh) * | 2013-11-04 | 2014-02-05 | 同济大学 | 基于云计算的网页排序方法 |
CN103605764A (zh) * | 2013-11-26 | 2014-02-26 | Tcl集团股份有限公司 | 一种网络爬虫***及网络爬虫多任务执行和调度方法 |
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104376063A (zh) * | 2014-11-11 | 2015-02-25 | 南京邮电大学 | 基于分类管理的多线程网络爬虫方法和信息实时更新*** |
CN104376063B (zh) * | 2014-11-11 | 2019-02-19 | 南京邮电大学 | 基于分类管理的多线程网络爬虫方法和信息实时更新*** |
CN105989151A (zh) * | 2015-03-02 | 2016-10-05 | 阿里巴巴集团控股有限公司 | 网页抓取方法及装置 |
CN105989151B (zh) * | 2015-03-02 | 2019-09-06 | 阿里巴巴集团控股有限公司 | 网页抓取方法及装置 |
WO2016173200A1 (zh) * | 2015-04-30 | 2016-11-03 | 安一恒通(北京)科技有限公司 | 用于检测恶意网址的方法和*** |
US10567407B2 (en) | 2015-04-30 | 2020-02-18 | Iyuntian Co., Ltd. | Method and system for detecting malicious web addresses |
CN106021608A (zh) * | 2016-06-22 | 2016-10-12 | 广东亿迅科技有限公司 | 一种分布式爬虫***及其实现方法 |
CN106897129B (zh) * | 2017-01-24 | 2019-07-23 | 浙江工商大学 | 一种基于区域的多智能体互联网数据采集任务调度方法 |
CN106897129A (zh) * | 2017-01-24 | 2017-06-27 | 浙江工商大学 | 一种基于区域的多智能体互联网数据采集任务调度方法 |
CN107122246B (zh) * | 2017-04-27 | 2020-05-19 | 中国海洋石油集团有限公司 | 智能数值模拟作业管理与反馈方法 |
CN107122246A (zh) * | 2017-04-27 | 2017-09-01 | 中国海洋石油总公司 | 智能数值模拟作业管理与反馈方法 |
CN110020066A (zh) * | 2017-07-31 | 2019-07-16 | 北京国双科技有限公司 | 一种往爬虫平台注任务的方法及装置 |
CN110020066B (zh) * | 2017-07-31 | 2021-09-07 | 北京国双科技有限公司 | 一种往爬虫平台注任务的方法及装置 |
CN107590188B (zh) * | 2017-08-08 | 2020-02-14 | 杭州灵皓科技有限公司 | 一种自动化垂直细分领域的爬虫爬取方法及其管理*** |
CN107590188A (zh) * | 2017-08-08 | 2018-01-16 | 杭州灵皓科技有限公司 | 一种自动化垂直细分领域的爬虫爬取方法及其管理*** |
WO2019079966A1 (zh) * | 2017-10-24 | 2019-05-02 | 麦格创科技(深圳)有限公司 | 分布式爬虫任务分配方法及*** |
CN108712503B (zh) * | 2018-05-30 | 2021-06-22 | 南京邮电大学 | 一种网络负载均衡的多代理分布式爬虫***和方法 |
CN108712503A (zh) * | 2018-05-30 | 2018-10-26 | 南京邮电大学 | 一种网络负载均衡的多代理分布式爬虫***和方法 |
CN111092921A (zh) * | 2018-10-24 | 2020-05-01 | 北大方正集团有限公司 | 数据采集方法、装置及存储介质 |
CN111092921B (zh) * | 2018-10-24 | 2022-05-10 | 北大方正集团有限公司 | 数据采集方法、装置及存储介质 |
CN111125487A (zh) * | 2019-12-24 | 2020-05-08 | 个体化细胞治疗技术国家地方联合工程实验室(深圳) | 一种网络爬虫的爬行方法及装置 |
CN111158892B (zh) * | 2020-04-02 | 2020-10-02 | 支付宝(杭州)信息技术有限公司 | 一种任务队列生成方法、装置及设备 |
WO2021197392A1 (zh) * | 2020-04-02 | 2021-10-07 | 支付宝(杭州)信息技术有限公司 | 任务队列生成 |
CN111158892A (zh) * | 2020-04-02 | 2020-05-15 | 支付宝(杭州)信息技术有限公司 | 一种任务队列生成方法、装置及设备 |
CN112231534A (zh) * | 2020-10-14 | 2021-01-15 | 上海蜜度信息技术有限公司 | 一种配置爬虫的方法与设备 |
Also Published As
Publication number | Publication date |
---|---|
CN103870329B (zh) | 2017-01-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103870329A (zh) | 基于加权轮叫算法的分布式爬虫任务调度方法 | |
Li et al. | Parameter estimation for chaotic systems by hybrid differential evolution algorithm and artificial bee colony algorithm | |
Deelman et al. | Dynamic load balancing in parallel discrete event simulation for spatially explicit problems | |
CN107679192A (zh) | 多集群协同数据处理方法、***、存储介质及设备 | |
CN101408900B (zh) | 一种网格计算环境下的分布式空间数据查询优化方法 | |
CN103716381A (zh) | 一种分布式***的控制方法,及管理节点 | |
CN103336808A (zh) | 一种基于bsp模型的实时图数据处理***及方法 | |
CN104145281A (zh) | 神经网络计算装置和***及其方法 | |
Watkins et al. | Evaluating the performance of individual-based animal movement models in novel environments | |
CN108985709A (zh) | 面向多卫星数据中心协同遥感产品生产的工作流管理方法 | |
CN104239555B (zh) | 基于mpp的并行数据挖掘***及其实现方法 | |
Arivudainambi et al. | Cuckoo search algorithm for target coverage and sensor scheduling with adjustable sensing range in wireless sensor network | |
CN113157694A (zh) | 一种基于强化学习的数据库索引生成方法 | |
Laredo et al. | The sandpile scheduler: How self-organized criticality may lead to dynamic load-balancing | |
Mostafa et al. | An intelligent dynamic replica selection model within grid systems | |
Xie et al. | Multi-objective optimization of data deployment and scheduling based on the minimum cost in geo-distributed cloud | |
CN108134851B (zh) | 数据传输的服务质量控制方法及装置 | |
Hung et al. | Scalable scheduling in parallel processors | |
Dixit et al. | A mathematical model for crawler revisit frequency | |
CN109102211A (zh) | 改进布谷鸟搜索的高端装备批处理机调度方法及*** | |
Maashi et al. | Elevating Survivability in Next-Gen IoT-Fog-Cloud Networks: Scheduling Optimization With the Metaheuristic Mountain Gazelle Algorithm | |
CN112818198A (zh) | 一种高度解耦可动态管理爬虫的方法 | |
Tosun | Distributed database design: A case study | |
Nasonov et al. | Metaheuristic coevolution workflow scheduling in cloud environment | |
Santana-Santana et al. | Load balancing algorithms with partial information management for the dlml library |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |