CN114357272A - 一种基于网络爬虫技术的舆情处置决策方法 - Google Patents
一种基于网络爬虫技术的舆情处置决策方法 Download PDFInfo
- Publication number
- CN114357272A CN114357272A CN202210045934.1A CN202210045934A CN114357272A CN 114357272 A CN114357272 A CN 114357272A CN 202210045934 A CN202210045934 A CN 202210045934A CN 114357272 A CN114357272 A CN 114357272A
- Authority
- CN
- China
- Prior art keywords
- management
- url
- task
- crawler technology
- web crawler
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000005516 engineering process Methods 0.000 title claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 7
- 230000008520 organization Effects 0.000 claims description 6
- 238000012216 screening Methods 0.000 abstract description 3
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012217 deletion Methods 0.000 description 3
- 230000037430 deletion Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于网络爬虫技术的舆情处置决策方法，包括有以下步骤：S1，通过网络爬虫技术抓取URL；S2，络爬虫技术从数据库中提取规则和关键字；S3，判定URL是否满足规则和关键；S4，抓取有效目标URL，并存储于数据库中；S5，目标URL通过应用层进行舆情处置决策的综合管理，本发明涉及企业管理技术领域。本发明，解决企业工作人员获取商机还是以传统的人工查找筛选的方式进行，耗时耗力且无法做到商机的及时发现及对应处理的问题。
Description
技术领域
本发明涉及企业管理技术领域，特别是涉及一种基于网络爬虫技术的舆情处置决策方法。
背景技术
随着信息化时代的到来，信息技术正以其迅猛态度渗透于社会的方方面面，信息***作用也越来越大，在一定程度上大大的去节省人力、物力、财力。
现有技术中，企业工作人员获取商机还是以传统的人工查找筛选的方式进行，耗时耗力且无法做到商机的及时发现及对应处理，所以我们提出了一种基于网络爬虫技术的舆情处置决策方法。
发明内容
为了解决企业工作人员获取商机还是以传统的人工查找筛选的方式进行，耗时耗力且无法做到商机的及时发现及对应处理的问题，本发明的目的是提供一种基于网络爬虫技术的舆情处置决策方法。
为了实现上述目的，本发明采用如下技术方案：一种基于网络爬虫技术的舆情处置决策方法，包括有以下步骤：
S1，通过网络爬虫技术抓取URL；
S2，络爬虫技术从数据库中提取规则和关键字；
S3，判定URL是否满足规则和关键；
S4，抓取有效目标URL，并存储于数据库中；
S5，目标URL通过应用层进行舆情处置决策的综合管理。
优选的，所述S1中，网络爬虫技术根据初始URL列队，获取网页，从网页中获取新的URL入列队。
优选的，所述S2中，规则为储存于数据库中的算法，关键字为目标项目关键字。
优选的，所述S3中，根据规则和关键字对URL中的数据进行分析和过滤，得出判定结果。
优选的，所述应用层包括***管理、目标URL管理、任务管理。
优选的，所述***管理中设置有组织机构管理、用户管理、角色管理、日志管理、区域管理。
优选的，所述目标URL管理中设置有网站管理、规则管理、目标项目关键字管理、各地市任务查看。
优选的，所述任务管理中设置有任务新建、任务执行、执行结果人工处理、历史任务管理何任务自动执行管理。
与现有技术相比，本发明实现的有益效果：本发明，实现目标URL商机的抓取及智能分析，极大限度的减少人力资源成本的投入；本发明，提高信息统计和分析的水平，为工作人员提供准确、实时的预测和决策的辅助支持；本发明，提供可自定义的数据统计、分析功能，为工作更好的开展和企业决策提供数据支持。
附图说明
以下结合附图和具体实施方式来进一步详细说明本发明：
图1为本发明的流程的示意图；
图2为本发明的应用层的结构示意图。
具体实施方式
以下由特定的具体实施例说明本发明的实施方式，熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本发明的其他优点及功效。
请参阅图1至图2。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明可实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容得能涵盖的范围内。同时，本说明书中所引用的如“上”、“下”、“左”、“右”、“中间”及“一”等的用语，亦仅为便于叙述的明了，而非用以限定本发明可实施的范围，其相对关系的改变或调整，在无实质变更技术内容下，当亦视为本发明可实施的范畴。
实施例1，
一种基于网络爬虫技术的舆情处置决策方法，包括有以下步骤：
S1，通过网络爬虫技术抓取URL；
S2，络爬虫技术从数据库中提取规则和关键字；
S3，判定URL是否满足规则和关键；
S4，抓取有效目标URL，并存储于数据库中；
S5，目标URL通过应用层进行舆情处置决策的综合管理。
所述S1中，网络爬虫技术根据初始URL列队，获取网页，从网页中获取新的URL入列队。
所述S2中，规则为储存于数据库中的算法，关键字为目标项目关键字。
所述S3中，根据规则和关键字对URL中的数据进行分析和过滤，得出判定结果。
所述应用层包括***管理、目标URL管理、任务管理。
所述***管理中设置有组织机构管理、用户管理、角色管理、日志管理、区域管理。
所述目标URL管理中设置有网站管理、规则管理、目标项目关键字管理、各地市任务查看。
所述任务管理中设置有任务新建、任务执行、执行结果人工处理、历史任务管理何任务自动执行管理。
实施例2，
所述应用层包括***管理、目标URL管理、任务管理。
所述***管理中设置有组织机构管理、用户管理、角色管理、日志管理、区域管理：
所述组织机构管理是配置***组织机构，树结构展现，可随意调整上下级，主要包括机构的添加、修改、删除等操作；所述用户管理是***操作者，是各功能模块的使用者，该功能主要完成***用户配置，主要包括用户的添加、修改、删除等操作；所述角色管理根据***不同的用户不同的职责设置不同的角色对其赋予相应的权限，角色是各种基本权限的集合，***应提供定义角色功能，以方便授权及修改权限，***管理员有权对所有角色进行增加、修改、删除，可通过组合各种基本权限，设定新角色的权限，使用者的权限由一个或多个角色和一组基本权限组成；所述日志管理是为后期***维护及发生故障时有***运行日志，分析报告可查，以便维护人员快速、准确定位及问题解决；所述区域管理是区域的管理，如对各地市的管理。
所述目标URL管理中设置有网站管理、规则管理、目标项目关键字管理、各地市任务查看：
所述网站管理是对网站的管理，展示网站的列表，工作人员可对网站进行新增、修改、删除管理，网站属性包括网站名、网站访问地址、备注等；所述规则管理中，若要精确抓取商机信息并提取工作人员所需要的字段信息，需要进行精确抓取，若要精确抓取商机信息则需工作人员在对该网站爬取之前配置对应的网站规则；所述目标项目关键字管理，根据已知的众多大项目信息，对其进行关键字提炼，该功能主要是对大项目关键字进行新增、修改、删除管理，工作人员在根据自己所填写的关键字进行商机获取的同时，***自动根据大项目关键字进行额外抓取；所述各地市任务查看中，管理人员可对各地市的使用情况，商机抓取情况、商机处理情况进行实时查看。
所述任务管理中设置有任务新建、任务执行、执行结果人工处理、历史任务管理何任务自动执行管理：
所述任务新建中，工作人员新建商机抓取任务，填写关键字，勾选要抓取的目标网站，填写排他性关键字，任务新建完成后保存入库；所述任务执行中新建的任务，工作人员可点击开始执行，或者设置预执行时间，***自动执行；所述执行结果人工处理对于任务的执行结果，需人工处理进行筛选删除操作，同时提供导出功能，对于之前的结果中只显示删除后留下的记录信息，删除的记录单独生成一个表格；所述历史任务管理是对执行的任务历史数据进行管理，可查询当时的执行情况；所述任务自动执行管理是对任务设置自动执行功能，提前预设值任务执行时间或者任务执行周期，***自动进行商机抓取。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
Claims (8)
1.一种基于网络爬虫技术的舆情处置决策方法，其特征在于，包括有以下步骤：
S1，通过网络爬虫技术抓取URL；
S2，络爬虫技术从数据库中提取规则和关键字；
S3，判定URL是否满足规则和关键；
S4，抓取有效目标URL，并存储于数据库中；
S5，目标URL通过应用层进行舆情处置决策的综合管理。
2.根据权利要求1所述的一种基于网络爬虫技术的舆情处置决策方法，其特征在于：所述S1中，网络爬虫技术根据初始URL列队，获取网页，从网页中获取新的URL入列队。
3.根据权利要求1所述的一种基于网络爬虫技术的舆情处置决策方法，其特征在于：所述S2中，规则为储存于数据库中的算法，关键字为目标项目关键字。
4.根据权利要求1所述的一种基于网络爬虫技术的舆情处置决策方法，其特征在于：所述S3中，根据规则和关键字对URL中的数据进行分析和过滤，得出判定结果。
5.根据权利要求1所述的一种基于网络爬虫技术的舆情处置决策方法，其特征在于：所述应用层包括***管理、目标URL管理、任务管理。
6.根据权利要求5所述的一种基于网络爬虫技术的舆情处置决策方法，其特征在于：所述***管理中设置有组织机构管理、用户管理、角色管理、日志管理、区域管理。
7.根据权利要求5所述的一种基于网络爬虫技术的舆情处置决策方法，其特征在于：所述目标URL管理中设置有网站管理、规则管理、目标项目关键字管理、各地市任务查看。
8.根据权利要求5所述的一种基于网络爬虫技术的舆情处置决策方法，其特征在于：所述任务管理中设置有任务新建、任务执行、执行结果人工处理、历史任务管理何任务自动执行管理。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210045934.1A CN114357272A (zh) | 2022-01-17 | 2022-01-17 | 一种基于网络爬虫技术的舆情处置决策方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210045934.1A CN114357272A (zh) | 2022-01-17 | 2022-01-17 | 一种基于网络爬虫技术的舆情处置决策方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114357272A true CN114357272A (zh) | 2022-04-15 |
Family
ID=81090964
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210045934.1A Pending CN114357272A (zh) | 2022-01-17 | 2022-01-17 | 一种基于网络爬虫技术的舆情处置决策方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114357272A (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101751458A (zh) * | 2009-12-31 | 2010-06-23 | 暨南大学 | 一种网络舆情监控***及方法 |
| US20140222621A1 (en) * | 2011-07-06 | 2014-08-07 | Hirenkumar Nathalal Kanani | Method of a web based product crawler for products offering |
| US20160125462A1 (en) * | 2014-10-31 | 2016-05-05 | Informite Inc. | Systems and methods for semantic keyword analysis for paid search |
| CN106960063A (zh) * | 2017-04-20 | 2017-07-18 | 广州优亚信息技术有限公司 | 一种针对招商引资领域的互联网情报抓取和推荐*** |
| CN109460922A (zh) * | 2018-11-13 | 2019-03-12 | 电子科技大学 | 一种具有电力行业特征的网络舆情分析与辅助决策*** |
| CN113065050A (zh) * | 2021-03-26 | 2021-07-02 | 深圳供电局有限公司 | 一种电价政策文档采集方法及其*** |
| WO2021184527A1 (zh) * | 2020-03-19 | 2021-09-23 | 南京莱斯网信技术研究院有限公司 | 一种舆情信息中敏感信息的智能挖掘*** |
-
2022
- 2022-01-17 CN CN202210045934.1A patent/CN114357272A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101751458A (zh) * | 2009-12-31 | 2010-06-23 | 暨南大学 | 一种网络舆情监控***及方法 |
| US20140222621A1 (en) * | 2011-07-06 | 2014-08-07 | Hirenkumar Nathalal Kanani | Method of a web based product crawler for products offering |
| US20160125462A1 (en) * | 2014-10-31 | 2016-05-05 | Informite Inc. | Systems and methods for semantic keyword analysis for paid search |
| CN106960063A (zh) * | 2017-04-20 | 2017-07-18 | 广州优亚信息技术有限公司 | 一种针对招商引资领域的互联网情报抓取和推荐*** |
| CN109460922A (zh) * | 2018-11-13 | 2019-03-12 | 电子科技大学 | 一种具有电力行业特征的网络舆情分析与辅助决策*** |
| WO2021184527A1 (zh) * | 2020-03-19 | 2021-09-23 | 南京莱斯网信技术研究院有限公司 | 一种舆情信息中敏感信息的智能挖掘*** |
| CN113065050A (zh) * | 2021-03-26 | 2021-07-02 | 深圳供电局有限公司 | 一种电价政策文档采集方法及其*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20230041672A1 (en) | Enterprise data processing | |
| CN108764610B (zh) | 基于大数据的标准工艺工程项目施工管理方法、存储介质 | |
| US7051046B2 (en) | System for managing environmental audit information | |
| CN105574657A (zh) | 智能警务实战综合应用平台 | |
| CN101136087A (zh) | 用于在项目管理中进行活动管理的***和方法 | |
| JP7134286B2 (ja) | 土木・建設現場における工事作業に対する危険予知活動の分析支援システム及び連絡配布支援システム | |
| CN113626411B (zh) | 一种森林资源一张图成果质检方法、***及云平台 | |
| CN112115314A (zh) | 一种政务通用大数据聚合检索***及构建方法 | |
| CN107239563A (zh) | 舆情信息动态监控方法 | |
| CN110826974A (zh) | 一种科技成果转化/孵化大数据云平台互联网+*** | |
| CN105426307A (zh) | 一种局域网产品测试资源共享方法及*** | |
| CN106982251A (zh) | 基于移动设备的勘查项目野外工作数据上报方法及*** | |
| CN109829841A (zh) | 一种政府采购评审专家管理***的设计方法 | |
| CN115481308A (zh) | 一种股权结构信息自动采集方法 | |
| Schulz et al. | On the relevance of reports—Integrating an automated archiving component into a business intelligence system | |
| US20060218174A1 (en) | Method for coordinating schema and data access objects | |
| CN114357272A (zh) | 一种基于网络爬虫技术的舆情处置决策方法 | |
| US20080313175A1 (en) | Method and system for interaction-based expertise reporting | |
| KR100956142B1 (ko) | 도식 형태 표시를 기반으로 하는 지식 재산권 관리 시스템 및 방법 | |
| Baron et al. | Fuel types misrepresent forest structure and composition in interior British Columbia: a way forward | |
| CN106528590A (zh) | 一种查询方法及设备 | |
| CN111984947A (zh) | 一种基于智慧法制平台的综合管理方法及*** | |
| CN110351113A (zh) | 网络安全应急信息汇集分析*** | |
| CN116739355B (zh) | 城市运行风险预警的分析方法及*** | |
| CN115907467A (zh) | 一种行政风险信息展示方法及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |