CN107516279B - 一种网络舆情自动预警的方法 - Google Patents
一种网络舆情自动预警的方法 Download PDFInfo
- Publication number
- CN107516279B CN107516279B CN201710698802.8A CN201710698802A CN107516279B CN 107516279 B CN107516279 B CN 107516279B CN 201710698802 A CN201710698802 A CN 201710698802A CN 107516279 B CN107516279 B CN 107516279B
- Authority
- CN
- China
- Prior art keywords
- early warning
- public sentiment
- model
- event
- network public
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 30
- 230000008451 emotion Effects 0.000 claims abstract description 25
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 claims abstract description 24
- 238000007689 inspection Methods 0.000 claims description 9
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 238000011161 development Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Strategic Management (AREA)
- Economics (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Entrepreneurship & Innovation (AREA)
- General Engineering & Computer Science (AREA)
- Operations Research (AREA)
- Game Theory and Decision Science (AREA)
- Data Mining & Analysis (AREA)
- Development Economics (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明属于计算机网络预警技术领域,具体涉及一种网络舆情自动预警的方法,包括:S1,应用网络爬虫获取事件的相关网页文本信息;S2,对所述文本信息进行情感分析,并得到情感分析结果,所述情感分析结果包括负面情感;S3,对所述负面情感的事件重点跟踪,建立ARIMA模型对事件的网络舆情进行不断预测,获取动态阈值;S4,对超过所述动态阈值的网络舆情进行预警。根据ARIMA模型对网络舆情进行不断预测,获取动态阈值,根据动态阈值进行预警,相对于固定设置阈值的模型预测,本发明能更准确的反应舆情情况,并能进行自动预警。
Description
技术领域
本发明属于计算机网络预警技术领域,具体涉及一种网络舆情自动预警的方法。
背景技术
随着互联网的发展,互联网络作为社会舆论的工具,具有反映和引导社会舆论的功能。因此一个良好的预警方法是必要的。在舆情危机预警方面,现有的做法是通过对某个突发事件相关主题在不同时间段的访问量、评论量等关注度进行跟踪,之后以舆情分析报告等方式提交给舆情工作者,然后由人工来作预警判断。如:基于Web挖掘的突发事件网络舆情预警研究(现代情报,2014年第2期),基于AHP-模糊综合分析的移动社交网络舆情预警模型研究(现代情报,2017年第1期)等。
现有的网络预警方法仍需要人工干预,无法实现自动化预警,且现有的网络预警应用的模型采用固定阈值,其预警的准确度还有待提高。
发明内容
针对以上问题的不足,本发明提供了一种网络舆情自动预警的方法,根据ARIMA模型对网络舆情进行不断预测,获取动态阈值,根据动态阈值进行预警,相对于固定设置阈值的模型预测,本发明能更准确的反应舆情情况,并能进行自动预警。
为实现上述目的,本发明提供的一种网络舆情自动预警的方法,包括:
S1,应用网络爬虫获取事件的相关网页文本信息;
S2,对所述文本信息进行情感分析,并得到情感分析结果,所述情感分析结果包括负面情感;
S3,对所述负面情感的事件重点跟踪,建立ARIMA模型对事件的网络舆情进行不断预测,获取动态阈值;
S4,对超过所述动态阈值的网络舆情进行预警。
优选地,所述S3中建立ARIMA模型对事件的网络舆情进行不断的预测的具体方法为:
S31,获取事件的数据,根据所述数据建立ARIMA模型;
S32,所述ARIMA模型开始预测,并计算动态置信区间;
S32,将所述动态置信区间设置为动态阈值,返回步骤S31。
优选地,所述S31中建立ARIMA模型的具体方法为:
对数据进行预处理,得到平稳非白噪声序列;
根据所述平稳非白噪声序列,计算自相关系数和偏相关系数,并初步得到多个初模型;
根据BIC准则来检验每个所述初模型,从多个所述初模型中选出最优模型,此最优模型即为ARIMA模型。
优选地,所述对数据进行预处理的具体方法为:
对所述数据进行序列图检验和单位根检验,得到非平稳序列;
对所述非平稳序列进行差分处理,得到平稳序列;
对所述平稳序列进行白噪声检验,得到平稳非白噪声序列。
6、优选地,所述BIC准则的计算公式为:BIC=kln(n)-2ln(L),其中k为模型参数个数,n为样本数量,L为似然函数。
优选地,所述S32中计算置信区间的具体方法为:
由上述方案可知,本发明的有益效果为:根据ARIMA模型对网络舆情进行不断预测,产生动态置信区间,将动态置信区间设置为动态阈值,对超过动态阈值的网络舆情进行预警,相对于固定设置阈值的模型预测,本发明能更准确的反应舆情情况,并能进行自动预警。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中,类似的元件或部分一般由类似的附图标记标识。附图中,各元件或部分并不一定按照实际的比例绘制。
图1为本实施例中网络舆情自动预警的方法流程图;
图2为本实施例中建立模型对网络舆情进行预测的方法流程图。
具体实施方式
下面将结合附图对本发明的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的产品,因此只是作为示例,而不能以此来限制本发明的保护范围。
实施例:
本发明的实施例提供了一种网络舆情自动预警的方法,如图1所示,包括:
S1,应用网络爬虫获取事件的相关网页文本信息;
S2,对所述文本信息进行情感分析,并得到情感分析结果,所述情感分析结果包括负面情感;
S3,对所述负面情感的事件重点跟踪,建立ARIMA模型对事件的网络舆情进行不断预测,获取动态阈值;
S4,对超过所述动态阈值的网络舆情进行预警。
其中,如图2所示,所述S3中建立ARIMA模型对事件的网络舆情进行不断预测的具体方法为:
S31,获取事件的数据,根据所述数据建立ARIMA模型;
S32,所述ARIMA模型开始预测,并计算动态置信区间;
S32,将所述动态置信区间设置为动态阈值,返回步骤S31。
其中,所述S31中建立ARIMA模型的具体方法为:
对数据进行预处理,得到平稳非白噪声序列;
根据所述平稳非白噪声序列,计算自相关系数和偏相关系数,并初步得到多个初模型;
根据BIC准则来检验每个所述初模型,从多个所述初模型中选出最优模型,此最优模型即为ARIMA模型,所述BIC准则的计算公式为:BIC=kln(n)-2ln(L),其中k为模型参数个数,n为样本数量,L为似然函数。
其中,所述对数据进行预处理的具体方法为:
对所述数据进行序列图检验和单位根检验,得到非平稳序列;
对所述非平稳序列进行差分处理,得到平稳序列;
对所述平稳序列进行白噪声检验,得到平稳非白噪声序列。
其中,所述S32中计算置信区间的具体方法为:
本实施例中的ARIMA模型又称自回归移动平均模型,将预测对象随时问推移而形成的数据序列视为—个随机序列,以时间序列的自相关分析为基础,用一定的数学模型来近似描述这个序列。置信区间是指由样本统计量所构造的总体参数的估计区间,展现的是这个参数的真实值有一定概率落在测量结果的周围的程度,给出的是被测量参数的测量值的可信程度。
本实施例中的序列是将某一指标在不同时间上的观测数值,按时间先后排列而成的数列。这种数列由于受到各种偶然因素的影响,往往表现出某种随机性,彼此之间存在统计上的依赖关系。对序列的分析就是在不需要考虑预测变量的相关因素及其关系的情况下,利用事物发展的延续性,建立模型来预测未来的变化。
网络舆情是由于各种事件的刺激而产生的通过互联网传播的人们对该事件的所有认知、态度、情感和行为倾向的集合,由于网络舆情反映了民情民意,影响着社会发展,存在引发社会问题的风险,因此对网络舆情进行未来舆情进行预警就格外重要,现有的网络舆情预警还需要人工干预,且现有网络舆情预警且应用的模型采用固定阈值,对舆情情况的分析结果不够准确。本实施例利用ARIMA模型,不仅可以进行自动预警,且根据ARIMA模型对网络舆情的不断预测,产生动态置信区间,将动态置信区间设置为动态阈值,对超过动态阈值的网络舆情进行预警,相对于固定设置阈值的模型预测,本发明能更准确的反应舆情情况。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围,其均应涵盖在本发明的权利要求和说明书的范围当中。
Claims (4)
1.一种网络舆情自动预警的方法,其特征在于,包括:
S1,应用网络爬虫获取事件的相关网页文本信息;
S2,对所述文本信息进行情感分析,并得到情感分析结果,所述情感分析结果包括负面情感;
S3,对所述负面情感的事件重点跟踪,建立ARIMA模型对事件的网络舆情进行不断预测,获取动态阈值;
S4,对超过所述动态阈值的网络舆情进行预警;
所述S3中建立ARIMA模型对事件的网络舆情进行不断的预测的具体方法为:
S31,获取事件的数据,根据所述数据建立ARIMA模型;
S32,所述ARIMA模型开始预测,并计算动态置信区间;
S32,将所述动态置信区间设置为动态阈值,返回步骤S31。
2.根据权利要求1所述的一种网络舆情自动预警的方法,其特征在于,所述S31中建立ARIMA模型的具体方法为:
对数据进行预处理,得到平稳非白噪声序列;
根据所述平稳非白噪声序列,计算自相关系数和偏相关系数,并初步得到多个初模型;
根据BIC准则来检验每个所述初模型,从多个所述初模型中选出最优模型,此最优模型即为ARIMA模型。
3.根据权利要求2所述的一种网络舆情自动预警的方法,其特征在于,所述对数据进行预处理的具体方法为:
对所述数据进行序列图检验和单位根检验,得到非平稳序列;
对所述非平稳序列进行差分处理,得到平稳序列;
对所述平稳序列进行白噪声检验,得到平稳非白噪声序列。
4.根据权利要求2所述的一种网络舆情自动预警的方法,其特征在于,所述BIC准则的计算公式为:BIC=kln(n)-2ln(L),其中k为模型参数个数,n为样本数量,L为似然函数。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710698802.8A CN107516279B (zh) | 2017-08-15 | 2017-08-15 | 一种网络舆情自动预警的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710698802.8A CN107516279B (zh) | 2017-08-15 | 2017-08-15 | 一种网络舆情自动预警的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107516279A CN107516279A (zh) | 2017-12-26 |
CN107516279B true CN107516279B (zh) | 2021-04-20 |
Family
ID=60723161
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710698802.8A Active CN107516279B (zh) | 2017-08-15 | 2017-08-15 | 一种网络舆情自动预警的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107516279B (zh) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109145215B (zh) * | 2018-08-29 | 2023-11-07 | 中国平安保险(集团)股份有限公司 | 网络舆情分析方法、装置及存储介质 |
CN109299258B (zh) * | 2018-09-18 | 2023-07-21 | 平安科技(深圳)有限公司 | 一种舆情事件检测方法、装置及设备 |
CN110457474A (zh) * | 2019-07-25 | 2019-11-15 | 阿里巴巴集团控股有限公司 | 舆情预警方法和装置 |
CN110889556B (zh) * | 2019-11-28 | 2022-08-12 | 福建亿榕信息技术有限公司 | 一种企业经营风险特征数据信息提取方法和提取*** |
CN112711651A (zh) * | 2020-12-30 | 2021-04-27 | 上海金仕达软件科技有限公司 | 一种舆情监测方法及*** |
CN113011656B (zh) * | 2021-03-22 | 2022-08-02 | 内蒙古电力(集团)有限责任公司内蒙古电力科学研究院分公司 | 一种电站辅机故障预警方法及*** |
CN113392185B (zh) * | 2021-06-10 | 2023-06-23 | 中国联合网络通信集团有限公司 | 舆情预警方法、装置、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1337913A4 (en) * | 2000-11-09 | 2006-03-22 | Spss Inc | SYSTEM AND METHOD FOR BUILDING A TIME SERIES MODEL |
CN102708153A (zh) * | 2012-04-18 | 2012-10-03 | 中国信息安全测评中心 | 自适应在线社交网络热点话题发现预测方法及*** |
CN105608200A (zh) * | 2015-12-28 | 2016-05-25 | 湖南蚁坊软件有限公司 | 一种网络舆论趋势预测分析方法 |
CN106599487A (zh) * | 2016-12-16 | 2017-04-26 | 天津大学 | 基于arima模型和用户调控的动态方差实时报警方法 |
-
2017
- 2017-08-15 CN CN201710698802.8A patent/CN107516279B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1337913A4 (en) * | 2000-11-09 | 2006-03-22 | Spss Inc | SYSTEM AND METHOD FOR BUILDING A TIME SERIES MODEL |
CN102708153A (zh) * | 2012-04-18 | 2012-10-03 | 中国信息安全测评中心 | 自适应在线社交网络热点话题发现预测方法及*** |
CN105608200A (zh) * | 2015-12-28 | 2016-05-25 | 湖南蚁坊软件有限公司 | 一种网络舆论趋势预测分析方法 |
CN106599487A (zh) * | 2016-12-16 | 2017-04-26 | 天津大学 | 基于arima模型和用户调控的动态方差实时报警方法 |
Also Published As
Publication number | Publication date |
---|---|
CN107516279A (zh) | 2017-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107516279B (zh) | 一种网络舆情自动预警的方法 | |
CN107153874B (zh) | 水质预测方法及*** | |
RU2672394C1 (ru) | Способы и системы для оценки обучающих объектов посредством алгоритма машинного обучения | |
CN107992968B (zh) | 基于集成时间序列分析技术的电能表计量误差预测方法 | |
CN106354995A (zh) | 一种基于拉格朗日插值与时间序列的预测方法 | |
Yu | Machine health prognostics using the Bayesian-inference-based probabilistic indication and high-order particle filtering framework | |
Havrylenko et al. | Economic and mathematical modeling of industrial enterprise business model financial efficiency estimation | |
CA3053894A1 (en) | Defect prediction using historical inspection data | |
CN111950577A (zh) | 一种点检方法及装置 | |
Wang | An imperfect software debugging model considering irregular fluctuation of fault introduction rate | |
Peng et al. | An aero-engine RUL prediction method based on VAE-GAN | |
Saghir | Phase-I design scheme for-chart based on posterior distribution | |
CN113987027A (zh) | 一种基于故障预测的设备状态确定方法、装置及介质 | |
CN114201328A (zh) | 基于人工智能的故障处理方法、装置、电子设备及介质 | |
WO2024065776A1 (en) | Method for data processing, apparatus for data processing, electronic device, and storage medium | |
CN116206764A (zh) | 风险分级方法、装置、电子设备及存储介质 | |
CN116467606A (zh) | 一种决策建议信息的确定方法、装置、设备及介质 | |
CN114692987A (zh) | 一种时序数据分析方法、装置、设备及存储介质 | |
CN111027680B (zh) | 基于变分自编码器的监控量不确定性预测方法及*** | |
CN113688120A (zh) | 数据仓库的质量检测方法、装置和电子设备 | |
Yuan et al. | Issues of intelligent data acquisition and quality for manufacturing decision-support in an Industry 4.0 context | |
CN111523826A (zh) | 一种数据采集方法、装置及设备 | |
CN112256974B (zh) | 一种舆情信息的处理方法及装置 | |
CN110781281A (zh) | 新兴主题的探测方法、装置、计算机设备及存储介质 | |
Guo et al. | A novel approach to bearing prognostics based on impulse-driven measures, improved morphological filter and practical health indicator construction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |