CN104714875A - 一种分布式的自动化采集的方法 - Google Patents
一种分布式的自动化采集的方法 Download PDFInfo
- Publication number
- CN104714875A CN104714875A CN201510106013.1A CN201510106013A CN104714875A CN 104714875 A CN104714875 A CN 104714875A CN 201510106013 A CN201510106013 A CN 201510106013A CN 104714875 A CN104714875 A CN 104714875A
- Authority
- CN
- China
- Prior art keywords
- server
- management server
- collecting
- collection
- servers
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Computer And Data Communications (AREA)
Abstract
本发明公开了一种分布式的自动化采集的方法,该方法的步骤如下:将单机采集程序部署到各个服务器上;将其中一台服务器做为控制其它服务器的管理服务器,配置其它服务器地址;将要采集的地址,放入管理服务器数据库中,进行任务分配;管理服务器通过爬虫技术操作采集服务器的采集程序,采集什么类型的数据,都由管理服务器进行控制;将每月固定时间采集的工作,配置到管理服务器的数据库中,并设置定时任务;通过监控服务器***,判断服务器的采集情况,将非正常采集的服务器信息发送给管理员,并将采集任务平均分配到其它空闲服务器。本发明可以避免整个***崩溃的危险;减少了人力维护,并通过监控服务器***,判断子节点的采集情况。
Description
技术领域
本发明涉及计算机数据处理技术领域,具体地说是一种分布式的自动化采集的方法。
背景技术
现实中,每时每刻都产生大量的数据,有些需要分析,有些需要存储,所有的这些需要处理的数据数量是庞大,具有相似性的,所以需要对这些大数据进行分析处理,提取需要的数据。
数据采集需要数据是有相似性的,以便可以根据他们的规律提取相应的数据,采集的数据还要有采集提取的价值或用途。数据采集要具备采集的方法或方案,可以有计划和步骤进行采集,要具备采集的条件,比如设备和技术。
面对几十台、上百台的服务器,如果采集人员每次都要进入服务器进行配置采集任务,操作采集程序,会面临很多问题:
1)维护量大,远程连接、重复性的配置,采集等。
2)浪费服务器资源,不能充分利用每台服务器资源,由于人工不能及时发现服务器采集是否完成,所以不能及时执行下一步程序。
3)错误率增加,由于人工需要大量的操作,配置信息的错误率也会增加。
4)数据量大,采集类型、采集配置各不相同。不同的网站的数据显示方式不同,需要不同的配置方法。
发明内容
本发明的技术任务是提供一种分布式的自动化采集的方法。
本发明的技术任务是按以下方式实现的,该方法的步骤如下:
步骤1:将单机采集程序部署到各个服务器上;
步骤2:将其中一台服务器做为控制其它服务器的管理服务器,配置其它服务器地址;
步骤3: 将要采集的地址,放入管理服务器数据库中,进行任务分配;
步骤4:管理服务器通过爬虫技术操作采集服务器的采集程序,采集什么类型的数据,什么时候采集,什么时候结束,都由管理服务器进行控制;
步骤5:将每月固定时间采集的工作,配置到管理服务器的数据库中,并设置定时任务;
步骤6:通过监控服务器***,判断服务器的采集情况,将非正常采集的服务器信息发送给管理员,并将采集任务平均分配到其它空闲服务器。
所述的步骤3中,进行任务分配是通过管理服务器根据各个服务器的采集速度决定的。
所述的步骤6中将非正常采集的服务器信息通过邮件方式发送给管理员。
本发明的一种分布式的自动化采集的方法和现有技术相比,能够平衡每台服务器的采集压力,提高效率。可以避免由于单个节点失效而使整个***崩溃的危险。减少了人力维护,将配置好的采集内容由管理服务器分配任务,并通过监控服务器***,判断子节点的采集情况。
附图说明
附图1为一种分布式的自动化采集的方法的流程框图。
具体实施方式
实施例1:
该方法的步骤如下:
步骤1:将单机采集程序部署到各个服务器上;
步骤2:将其中一台服务器做为控制其它服务器的管理服务器,配置其它服务器地址;
步骤3:将要采集的地址,放入管理服务器数据库中,由管理服务器根据各个服务器采集速度,进行任务分配;
步骤4:管理服务器通过爬虫技术操作采集服务器的采集程序,采集什么类型的数据,什么时候采集,什么时候结束,都由管理服务器进行控制;
步骤5:将每月固定时间采集的工作,配置到管理服务器的数据库中,并设置定时任务;
步骤6:通过监控服务器***,判断服务器的采集情况,将非正常采集的服务器信息通过邮件方式发送给管理员,并将采集任务平均分配到其它空闲服务器。
实施例2:
每次的采集任务不一样,采集时间不一样,子节点地址的变化;通过以下步骤搭建平台:
1)将单机采集程序部署到子节点上,启动采集程序。
2)在管理服务器上配置好采集节点的地址,并测试通过。
3)调用监控服务器***的接口。
4)部署数据节点。
5)配置采集任务,测试通过。
将部署在多台服务器上的单机采集程序进行统一管理,通过发送/接收消息的方式,分配和接收采集任务。平衡每台服务器的采集压力,将负载由单个节点转移到多个,从而提高效率。可以避免由于单个节点失效而使整个***崩溃的危险。减少了人力维护,将配置好的采集内容由管理服务器分配任务,并通过监控服务器***,判断子节点的采集情况。采用观察者模式,通过后台的管理,服务器根据后台设置的方案进行数据采集任务,并反馈给后台服务器的状态,实现对服务器的管理。
通过上面具体实施方式,所述技术领域的技术人员可容易的实现本发明。但是应当理解,本发明并不限于上述的几种具体实施方式。在公开的实施方式的基础上,所述技术领域的技术人员可任意组合不同的技术特征,从而实现不同的技术方案。
Claims (3)
1.一种分布式的自动化采集的方法,其特征在于,该方法的步骤如下:
步骤1:将单机采集程序部署到各个服务器上;
步骤2:将其中一台服务器做为控制其它服务器的管理服务器,配置其它服务器地址;
步骤3: 将要采集的地址,放入管理服务器数据库中,进行任务分配;
步骤4:管理服务器通过爬虫技术操作采集服务器的采集程序,采集什么类型的数据,什么时候采集,什么时候结束,都由管理服务器进行控制;
步骤5:将每月固定时间采集的工作,配置到管理服务器的数据库中,并设置定时任务;
步骤6:通过监控服务器***,判断服务器的采集情况,将非正常采集的服务器信息发送给管理员,并将采集任务平均分配到其它空闲服务器。
2.述的步骤3中,进行任务分配是通过管理服务器根据各个服务器的采集速度决定的。
3.根据权利要求1所述的一种分布式的自动化采集的方法,其特征在于,所述的步骤6中将非正常采集的服务器信息通过邮件方式发送给管理员。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510106013.1A CN104714875A (zh) | 2015-03-11 | 2015-03-11 | 一种分布式的自动化采集的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510106013.1A CN104714875A (zh) | 2015-03-11 | 2015-03-11 | 一种分布式的自动化采集的方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN104714875A true CN104714875A (zh) | 2015-06-17 |
Family
ID=53414234
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510106013.1A Pending CN104714875A (zh) | 2015-03-11 | 2015-03-11 | 一种分布式的自动化采集的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104714875A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107222564A (zh) * | 2017-07-04 | 2017-09-29 | 贵州数据宝网络科技有限公司 | 数据采集方法及装置 |
CN109522183A (zh) * | 2018-10-23 | 2019-03-26 | 东软集团股份有限公司 | 工作状态监控方法及***,采集器,服务器及存储介质 |
CN110968755A (zh) * | 2018-09-29 | 2020-04-07 | 北京国双科技有限公司 | 一种爬取数据的方法及装置 |
CN111130900A (zh) * | 2019-12-30 | 2020-05-08 | 智慧神州(北京)科技有限公司 | 基于协调服务的分布式互联的数据采集方法与装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007156946A (ja) * | 2005-12-07 | 2007-06-21 | Nec Engineering Ltd | 分散型プログラムのトレース装置 |
CN101370024A (zh) * | 2007-08-15 | 2009-02-18 | 北京灵图软件技术有限公司 | 信息的分布式采集方法及*** |
CN101867226A (zh) * | 2010-06-07 | 2010-10-20 | 国电南瑞科技股份有限公司 | 调度自动化***广域分布式数据采集方法 |
CN102508709A (zh) * | 2011-11-30 | 2012-06-20 | 国电南瑞科技股份有限公司 | 购供售一体化电能量采集与监控***中基于分布式缓存的采集任务调度方法 |
CN103246592A (zh) * | 2013-05-13 | 2013-08-14 | 北京搜狐新媒体信息技术有限公司 | 一种监控采集***及方法 |
CN103856565A (zh) * | 2014-03-18 | 2014-06-11 | 浪潮集团有限公司 | 一种电子商务税源管理云采集监控方法 |
CN104036025A (zh) * | 2014-06-27 | 2014-09-10 | 蓝盾信息安全技术有限公司 | 一种基于分布式的海量日志采集*** |
CN104158878A (zh) * | 2014-08-18 | 2014-11-19 | 浪潮(北京)电子信息产业有限公司 | 一种自适应调度的分布式监控数据采集方法和*** |
-
2015
- 2015-03-11 CN CN201510106013.1A patent/CN104714875A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007156946A (ja) * | 2005-12-07 | 2007-06-21 | Nec Engineering Ltd | 分散型プログラムのトレース装置 |
CN101370024A (zh) * | 2007-08-15 | 2009-02-18 | 北京灵图软件技术有限公司 | 信息的分布式采集方法及*** |
CN101867226A (zh) * | 2010-06-07 | 2010-10-20 | 国电南瑞科技股份有限公司 | 调度自动化***广域分布式数据采集方法 |
CN102508709A (zh) * | 2011-11-30 | 2012-06-20 | 国电南瑞科技股份有限公司 | 购供售一体化电能量采集与监控***中基于分布式缓存的采集任务调度方法 |
CN103246592A (zh) * | 2013-05-13 | 2013-08-14 | 北京搜狐新媒体信息技术有限公司 | 一种监控采集***及方法 |
CN103856565A (zh) * | 2014-03-18 | 2014-06-11 | 浪潮集团有限公司 | 一种电子商务税源管理云采集监控方法 |
CN104036025A (zh) * | 2014-06-27 | 2014-09-10 | 蓝盾信息安全技术有限公司 | 一种基于分布式的海量日志采集*** |
CN104158878A (zh) * | 2014-08-18 | 2014-11-19 | 浪潮(北京)电子信息产业有限公司 | 一种自适应调度的分布式监控数据采集方法和*** |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107222564A (zh) * | 2017-07-04 | 2017-09-29 | 贵州数据宝网络科技有限公司 | 数据采集方法及装置 |
CN110968755A (zh) * | 2018-09-29 | 2020-04-07 | 北京国双科技有限公司 | 一种爬取数据的方法及装置 |
CN109522183A (zh) * | 2018-10-23 | 2019-03-26 | 东软集团股份有限公司 | 工作状态监控方法及***,采集器,服务器及存储介质 |
CN109522183B (zh) * | 2018-10-23 | 2022-04-12 | 东软集团股份有限公司 | 工作状态监控方法及***,采集器,服务器及存储介质 |
CN111130900A (zh) * | 2019-12-30 | 2020-05-08 | 智慧神州(北京)科技有限公司 | 基于协调服务的分布式互联的数据采集方法与装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104915259A (zh) | 一种应用于分布式采集***的任务调度方法 | |
CN108769121A (zh) | 智能工业装备物联网数据采集***及采集数据的上传方法 | |
CN110311990B (zh) | 一种可配置物联网数据采集***及配置方法 | |
CN102955977A (zh) | 一种基于云技术的能效服务方法及其能效服务平台 | |
CN103699063B (zh) | 一种制造执行***mes中离线数据的采集装置和方法 | |
CN104714875A (zh) | 一种分布式的自动化采集的方法 | |
CN106302017B (zh) | 高并发小流量网络测速***及方法 | |
CN104298194B (zh) | 电梯远程监控***中采集及传输数据的数据量压缩方法 | |
CN104699736A (zh) | 一种分布式的基于可移动设备的大规模数据采集***及方法 | |
CN107959620B (zh) | 综采设备识别方法、装置、***、网关及存储介质 | |
CN107992392A (zh) | 一种用于云渲染***的自动监控修复***和方法 | |
CN103795575A (zh) | 一种面向多数据中心的***监控方法 | |
CN102222112A (zh) | 资源管理装置和资源管理方法 | |
CN105163277A (zh) | 一种基于位置信息的大数据任务的管理***及方法 | |
CN105553685A (zh) | 一种监控网络设备是否在线的***和方法 | |
CN109672731A (zh) | 一种分布式节点信息监测方法、***及应用 | |
CN105790978A (zh) | 一种网管通讯报文的处理方法、装置、服务器及主控板 | |
CN104283958B (zh) | 一种***任务调度方法 | |
CN105187490B (zh) | 一种物联网数据的中转处理方法 | |
CN102480369A (zh) | 一种网络管理***及性能采集的方法 | |
CN105743676B (zh) | 一种多数据源综合采集装置及方法 | |
CN105490879A (zh) | 一种大规模集成级网络的自动化分布式性能测试*** | |
CN110837242A (zh) | 一种基于物联网的热水供应设备运行状态监控*** | |
CN202385116U (zh) | 一种分布式运维数据采集装置 | |
CN106707859A (zh) | 基于树莓派的灌浆现场信息处理***及方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20150617 |
|
WD01 | Invention patent application deemed withdrawn after publication |