CN112100495A - 一种基于分布式的一站式采集方法及采集*** - Google Patents

一种基于分布式的一站式采集方法及采集*** Download PDF

Info

Publication number
CN112100495A
CN112100495A CN202010960596.5A CN202010960596A CN112100495A CN 112100495 A CN112100495 A CN 112100495A CN 202010960596 A CN202010960596 A CN 202010960596A CN 112100495 A CN112100495 A CN 112100495A
Authority
CN
China
Prior art keywords
acquisition
cluster
list page
distributed
rule
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010960596.5A
Other languages
English (en)
Other versions
CN112100495B (zh
Inventor
李钊
孙露
孙浩
杨春
魏静
胡传会
陈通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Ecloud Information Technology Co ltd
Original Assignee
Shandong Ecloud Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Ecloud Information Technology Co ltd filed Critical Shandong Ecloud Information Technology Co ltd
Priority to CN202010960596.5A priority Critical patent/CN112100495B/zh
Publication of CN112100495A publication Critical patent/CN112100495A/zh
Application granted granted Critical
Publication of CN112100495B publication Critical patent/CN112100495B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/955—Retrieval from the web using information identifiers, e.g. uniform resource locators [URL]
    • G06F16/9566—URL specific, e.g. using aliases, detecting broken or misspelled links
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806—Task transfer initiation or dispatching
    • G06F9/4843—Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system
    • G06F9/4881—Scheduling strategies for dispatcher, e.g. round robin, multi-level priority queues

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开提出了一种基于分布式的一站式采集方法及***，包括：分布式采集集群构建：将集群服务器添加到采集集群中，并添加采集应用至集群服务器中；全网采集：集群服务器接收所需采集的网站，进行全网数据采集，并对网站中的列表页数据进行过滤；解析：对过滤后的列表页进行解析，获取列表页网站规则以及列表页中详情页的规则；采集任务配置：配置增量采集和全量采集所需的采集应用，然后启动增量采集和全量采集。用户可根据采集需求自定义分配采集资源，采集任务结束后自动释放采集资源，有效的提高了采集效率。

Description

一种基于分布式的一站式采集方法及采集***
技术领域
本公开属于数据采集技术领域，尤其涉及一种基于基于分布式的一站式采集方法及采集***。
背景技术
本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。
现在越来越多的企业和政府都意识到了数据的重要性，而互联网数据可以政府和企业提供底层数据信息。为了满足政府和企业对海量数据的需求，就需要专业的分布式互联网数据采集技术实现大规模的数据采集。
网页数据类型多样，展现形式也各有不同。传统的数据采集技术可以实现对单一网站编写特定的采集脚本、配置专属该网页的页面解析规则，这导致采集成本很高，很难实现大规模的数据采集。而且实现使用门槛较高，普通用户很难上手使用。在对采集任务监控中，对于不同的采集需求不能灵活设置采集周期采集、采集频率，不能对不同的采集任务进行实时监控。
现在市面上也有一些数据采集工具，用户可通过软件界面配置目标网站的采集规则和采集计划，并支持将数据保存和发布到Mysql/Oracle等数据库中。但是这种工具多为客户端软件，无法进行分布式部署，采集性能也受到客户端所在的物理机器的性能限制，同时需要人工配置网站规则，具有使用门槛，一些分布式爬虫***，部署繁琐，尤其是在***扩容时需要在新增的节点机器上单独部署采集***，并进行相关配置，***扩容成本较高，也较繁琐，而且，各个机器节点相对独立，运维压力较高，不支持可视化用户界面，对于使用人员的技术要求较高。
发明内容
为克服上述现有技术的不足，本公开提供了一种基于基于分布式的一站式采集方法，该***兼容多种网站数据类型，并支持大规模数据采集解决上述问题。
为实现上述目的，本公开的一个或多个实施例提供了如下技术方案：
第一方面，公开了一种基于分布式的一站式采集方法，包括：
分布式采集集群构建：将集群服务器添加到采集集群中，并添加采集应用至集群服务器中；
全网采集：集群服务器接收所需采集的网站，进行全网数据采集，并对网站中的列表页数据进行过滤；
解析：对过滤后的列表页进行解析，获取列表页网站规则以及列表页中详情页的规则；
采集任务配置：配置增量采集和全量采集所需的采集应用，然后启动增量采集和全量采集。
第二方面，公开了一种基于分布式的一站式采集***，包括：
分布式采集集群构建模块，被配置为：将集群服务器添加到采集集群中，并添加采集应用至集群服务器中；
全网采集模块，被配置为：集群服务器接收所需采集的网站，进行全网数据采集，并对网站中的列表页数据进行过滤；
解析模块，被配置为：对过滤后的列表页进行解析，获取列表页网站规则以及列表页中详情页的规则；
采集任务配置模块，被配置为：配置增量采集和全量采集所需的采集应用，然后启动增量采集和全量采集。
第三方面，公开了一种采集***，包括：
集群监控管理平台、任务调度管理平台及数据采集平台；
所述集群监控管理平台被配置为：将集群服务器添加到采集集群中，并添加采集应用至集群服务器中；
所述任务调度管理平台分别发送调度信息至集群监控管理平台及数据采集平台，进行任务调度；
所述数据采集平台被配置为：对过滤后的列表页进行解析，获取列表页网站规则以及列表页中详情页的规则；
配置增量采集和全量采集所需的采集应用，然后启动增量采集和全量采集。
以上一个或多个技术方案存在以下有益效果：
本公开提供的一种基于分布式的一站式采集方法和***，用户只需输入待采集网站首页，即可自动获取网站中的列表页，并调用人工智能算法模型对列表页规则和详情页规则进行智能解析，避免人工配置页面Xpath规则，降低平台使用门槛。同时，本方法支持数据采集集群的一键扩容采集资源自定义分配。用户可根据采集需求自定义分配采集资源，采集任务结束后自动释放采集资源，有效的提高了采集效率。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本公开，并不构成对本公开的不当限定。
图1为本公开实施例基于分布式的一站式采集方法流程图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本公开提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本公开的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。
实施例一
参见附图1所示，本实施例公开了一种基于分布式的一站式采集方法，包括以下步骤：
步骤1：集群管理。通过集群管理中通过输入服务器IP、服务器用户名和密码可将服务器添加到采集集群中，通过此方法可以充分利用闲置机器启动采集任务。
集群是由多服务器组成，在启动采集任务时可以指定多台服务器、多个应用，从而实现分布式采集。
步骤2:应用管理，在集群服务器中直接添加采集应用。通过集群监控管理平台监控采集集群中服务器的资源使用情况，从而限制添加采集集群的数量。
集群监控管理是在开源项目普罗米修斯的基础上进行了改造，利用监控界面。点击进入之后就能看到集群中所有服务器的资源使用情况。
步骤3:全网采集。通过手动录入或者批量导入方式添加网站，选择所需采集的网站，然后进行全网数据采集，并对网站中的列表页数据进行智能化过滤。
具体的，使用分类构建了一个是否是列表页的分类模型，通过这个模型实现对列表页的智能化过滤。
步骤4:智能解析。调用人工智能算法模型对步骤3中获取的列表页进行智能解析，获取列表页网站规则以及列表页中详情页的规则。
人工智能算法模型包括列表规则解析模型和详情页规则解析模型。通过列表规则解析模型获取列表页中标题、发文时间的xpath规则。通过详情页规则解析模型获取内容详情页的xpath规则。通过这两个模型代替人工手动点选获取xpath规则。
步骤5：采集任务配置。选择步骤4中智能配置成功的列表页生成采集任务，并配置采集任务所需采集应用。其中，采集应用为步骤2中配置的采集应用，配置增量采集和全量采集所需的采集应用。使用时，点击”开启“按钮，则启动“增量采集”和“全量采集”。然后根据启动增量采集和全量采集。
步骤4的智能解析是在后台调用，前台自动调用模型，没有配置，点击智能解析按钮就会自动调用模型，实现对网页的智能解析。
配置采集任务所需采集应用：选择解析成功后的列表页，生成采集任务之后，会进入一个列表。在列表的操作列要配置采集任务所需的采集应用(采集应用为步骤2中配置好的)。然后在采集任务列表中有“增量采集”和“全量采集”两种任务类型，可勾选是否启动“增量采集”和“全量采集”，点击启动后任务会进入任务管理模块。
”增量采集“：每日采集新增的数据。“全量采集”：采集现有的全部数据。这两种采集方法已经在程序中设定好。
步骤6:任务管理及监控。步骤5中启动的全量采集或者增量采集进入数据任务管理中，用户可根据需求立即启动任务还是启动定时任务。运行中的任务可在任务监控中查看任务状态、运行次数以及任务运行日志。
人工智能算法模型包括列表规则解析模型和详情页规则解析模型。通过列表规则解析模型获取列表页中标题、发文时间的xpath规则。通过详情页规则解析模型获取内容详情页的xpath规则。通过这两个模型代替人工手动点选获取xpath规则。
在步骤1集群管理中通过输入服务器IP、服务器用户名和密码可将服务器添加到采集集群中，实现一键扩容。同时在步骤2的应用管理中可自定义启动的应用数量。
在步骤2的应用管理中可自定义启动的应用数量，采集任务结束后自动释放资源。
实施例二
本实施例的目的是提供一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现实施例子一中的具体步骤。
实施例三
本实施例的目的是提供一种计算机可读存储介质。
一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时执行实施例子一中的具体步骤。
实施例四
本实施例的目的是提供一种基于分布式的一站式采集***，包括：
分布式采集集群构建模块，被配置为：将集群服务器添加到采集集群中，并添加采集应用至集群服务器中；
全网采集模块，被配置为：集群服务器接收所需采集的网站，进行全网数据采集，并对网站中的列表页数据进行过滤；
解析模块，被配置为：对过滤后的列表页进行解析，获取列表页网站规则以及列表页中详情页的规则；
采集任务配置模块，被配置为：配置增量采集和全量采集所需的采集应用，然后启动增量采集和全量采集。
实施例五
再次参见附图1所示，本实施例的目的是提供一种采集***，包括：
集群监控管理平台、任务调度管理平台及数据采集平台；
所述集群监控管理平台被配置为：将集群服务器添加到采集集群中，并添加采集应用至集群服务器中；
所述任务调度管理平台分别发送调度信息至集群监控管理平台及数据采集平台，进行任务调度；
所述数据采集平台被配置为：对过滤后的列表页进行解析，获取列表页网站规则以及列表页中详情页的规则；
配置增量采集和全量采集所需的采集应用，然后启动增量采集和全量采集。
在数据采集平台包括数据采集服务器，添加采集应用、配置采集服务、启动采集服务。
集群监控管理平台包括监控服务器，是监控采集任务运行期间服务器的资源使用情况。
任务调度管理平台包括调度服务器是为了监控采集任务的运行状态，以及控制采集任务的启停操作。
数据采集平台上的采集任务会提交到任务调度管理平台，任务调度管理平台会控制任务的启动、停止，自定义任务的启动时间及周期。任务启动后会监控任务的运行状态。
以上实施例的装置中涉及的各步骤与方法实施例一相对应，具体实施方式可参见实施例一的相关说明部分。术语“计算机可读存储介质”应该理解为包括一个或多个指令集的单个介质或多个介质；还应当被理解为包括任何介质，所述任何介质能够存储、编码或承载用于由处理器执行的指令集并使处理器执行本公开中的任一方法。
本领域技术人员应该明白，上述本公开的各模块或各步骤可以用通用的计算机装置来实现，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。本公开不限制于任何特定的硬件和软件的结合。
以上所述仅为本公开的优选实施例而已，并不用于限制本公开，对于本领域的技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。
上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。

Claims (10)

1.一种基于分布式的一站式采集方法，其特征是，包括：
分布式采集集群构建：将集群服务器添加到采集集群中，并添加采集应用至集群服务器中；
全网采集：集群服务器接收所需采集的网站，进行全网数据采集，并对网站中的列表页数据进行过滤；
解析：对过滤后的列表页进行解析，获取列表页网站规则以及列表页中详情页的规则；
采集任务配置：配置增量采集和全量采集所需的采集应用，然后启动增量采集和全量采集。
2.如权利要求1所述的一种基于分布式的一站式采集方法，其特征是，调用人工智能算法模型对列表页规则和详情页规则进行智能解析，人工智能算法模型包括列表规则解析模型和详情页规则解析模型，通过列表规则解析模型获取列表页中标题、发文时间的xpath规则，通过详情页规则解析模型获取内容详情页的xpath规则，通过这两个模型代替人工手动点选获取xpath规则。
3.如权利要求1所述的一种基于分布式的一站式采集方法，其特征是，所述将集群服务器添加到采集集群中：通过输入服务器IP、服务器用户名和密码可将服务器添加到采集集群中，实现一键扩容。
4.如权利要求1所述的一种基于分布式的一站式采集方法，其特征是，添加采集应用至集群服务器中时，可自定义启动的应用数量。
5.如权利要求4所述的一种基于分布式的一站式采集方法，其特征是，应用管理中可自定义启动的应用数量，采集任务结束后自动释放资源。
6.如权利要求4所述的一种基于分布式的一站式采集方法，其特征是，”所述增量采集：每日采集新增的数据，所述全量采集：采集现有的全部数据。
7.一种基于分布式的一站式采集***，其特征是，包括：
分布式采集集群构建模块，被配置为：将集群服务器添加到采集集群中，并添加采集应用至集群服务器中；
全网采集模块，被配置为：集群服务器接收所需采集的网站，进行全网数据采集，并对网站中的列表页数据进行过滤；
解析模块，被配置为：对过滤后的列表页进行解析，获取列表页网站规则以及列表页中详情页的规则；
采集任务配置模块，被配置为：配置增量采集和全量采集所需的采集应用，然后启动增量采集和全量采集。
8.一种采集***，其特征是，包括：
集群监控管理平台、任务调度管理平台及数据采集平台；
所述集群监控管理平台被配置为：将集群服务器添加到采集集群中，并添加采集应用至集群服务器中；
所述任务调度管理平台分别发送调度信息至集群监控管理平台及数据采集平台，进行任务调度；
所述数据采集平台被配置为：对过滤后的列表页进行解析，获取列表页网站规则以及列表页中详情页的规则；
配置增量采集和全量采集所需的采集应用，然后启动增量采集和全量采集。
9.一种计算装置,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征是，所述处理器执行所述程序时实现权利要求1-6任一所述的方法中的具体步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征是，该程序被处理器执行时执行权利要求1-6任一所述的方法中的具体步骤。
CN202010960596.5A 2020-09-14 2020-09-14 一种基于分布式的一站式采集方法及采集*** Active CN112100495B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010960596.5A CN112100495B (zh) 2020-09-14 2020-09-14 一种基于分布式的一站式采集方法及采集***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010960596.5A CN112100495B (zh) 2020-09-14 2020-09-14 一种基于分布式的一站式采集方法及采集***

Publications (2)

Publication Number Publication Date
CN112100495A true CN112100495A (zh) 2020-12-18
CN112100495B CN112100495B (zh) 2024-04-16

Family

ID=73752558

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010960596.5A Active CN112100495B (zh) 2020-09-14 2020-09-14 一种基于分布式的一站式采集方法及采集***

Country Status (1)

Country Link
CN (1) CN112100495B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103188714A (zh) * 2011-12-29 2013-07-03 中兴通讯股份有限公司 实时数据采集方法、***和采集网元
CN106484828A (zh) * 2016-09-29 2017-03-08 西南科技大学 一种分布式互联网数据快速采集***及采集方法
CN107256274A (zh) * 2017-06-29 2017-10-17 麦格创科技（深圳）有限公司 网页的智能采集方法及***
WO2020015067A1 (zh) * 2018-07-19 2020-01-23 平安科技（深圳）有限公司 数据采集方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103188714A (zh) * 2011-12-29 2013-07-03 中兴通讯股份有限公司 实时数据采集方法、***和采集网元
CN106484828A (zh) * 2016-09-29 2017-03-08 西南科技大学 一种分布式互联网数据快速采集***及采集方法
CN107256274A (zh) * 2017-06-29 2017-10-17 麦格创科技（深圳）有限公司 网页的智能采集方法及***
WO2020015067A1 (zh) * 2018-07-19 2020-01-23 平安科技（深圳）有限公司 数据采集方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN112100495B (zh) 2024-04-16

Similar Documents

Publication Publication Date Title
CN109495308B (zh) 一种基于管理信息***的自动化运维***
CN102880503B (zh) 数据分析***及数据分析方法
CN107317724B (zh) 基于云计算技术的数据采集***及方法
CN107508722B (zh) 一种业务监控方法和装置
Trihinas et al. Monitoring elastically adaptive multi-cloud services
CN113448812A (zh) 微服务场景下的监控告警方法及装置
CN101556586A (zh) 一种自动采集数据的方法、***和装置
Petrov et al. Adaptive performance model for dynamic scaling Apache Spark Streaming
Kalim et al. Henge: Intent-driven multi-tenant stream processing
Michael et al. Cloudperf: A performance test framework for distributed and dynamic multi-tenant environments
Demirbaga et al. Autodiagn: An automated real-time diagnosis framework for big data systems
US9922539B1 (en) System and method of telecommunication network infrastructure alarms queuing and multi-threading
CN114356714A (zh) 基于Kubernetes智能板卡集群的资源集成监控与调度装置
KR101686919B1 (ko) 빅데이터에 기반한 추론 엔진을 관리하는 방법 및 장치
CN109446441A (zh) 一种通用的网络社区可信分布式采集存储***
CN109063040A (zh) 客户端程序数据采集方法及***
CN113760677A (zh) 异常链路分析方法、装置、设备及存储介质
WO2020211351A1 (zh) 使用爬虫获取外部数据的方法及装置
CN112100495B (zh) 一种基于分布式的一站式采集方法及采集***
CN112685370B (zh) 一种日志采集方法、装置、设备和介质
EP4024761A1 (en) Communication method and apparatus for multiple management domains
CN113722135A (zh) 一种错误日志采集***、方法、设备及介质
CN111782363A (zh) 一种支持多业务场景调用的方法和流程***
CN105515815A (zh) 一种基于Heritrix爬虫的分布式采集方法及***
CN117076508B (zh) 一种流数据处理***支持批数据处理的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address

Address after: Floor 12, Building 3, Shuntai Plaza, No. 2000 Shunhua Road, High tech Industrial Development Zone, Jinan City, Shandong Province, 250101

Patentee after: SHANDONG ECLOUD INFORMATION TECHNOLOGY CO.,LTD.

Country or region after: China

Address before: 250014 3rd floor, block B, Yinhe building, 2008 Xinluo street, high tech Zone, Jinan City, Shandong Province

Patentee before: SHANDONG ECLOUD INFORMATION TECHNOLOGY CO.,LTD.

Country or region before: China

CP03 Change of name, title or address