CN105224608B - 基于微博数据分析的热点新闻预测方法及*** - Google Patents

Abstract

本发明公开了一种基于微博数据分析的热点新闻预测方法及***，所述方法包括：从主流新闻网站采集新闻报道及其在微博上引起的微博用户反应信息；对微博文本进行分词和词频统计，计算词的TF‑IDF值，并转换为使用向量空间描述一个微博话题；对微博话题进行分类，并统计描述微博话题的各个量化指标，计算新闻的各个热度指标；采用多元线性回归算法对样本数据进行学习，建立热点新闻预测模型，并判断之后的新闻是否会成为热点；所述***包括数据采集模块、文本分析处理模块、数据统计分析模块和热点新闻预测模块。本发明对媒体报道的新闻在微博话题中的趋势进行全面分析，预测新闻是否会成为舆情热点，能够很好地解决热点新闻早期预测问题。

Description

基于微博数据分析的热点新闻预测方法及***

技术领域

本发明涉及一种热点新闻预测方法及***，尤其是一种基于微博数据分析的热点新闻预测方法及***，属于政府舆情监控中的热点新闻自动预测领域。

背景技术

随着互联网技术的快速发展，网络舆情越来越影响社会的稳定发展，监控网络舆情是政府维护社会安定的一个重要环节。作为舆情监控其中的一个环节，热点新闻的预测显得尤其关键。微博以其独特的传播特性和实时交互特性改变着传统新闻信息的传播方式。尤其微博和移动终端的的结合，使微博信息能够更加快速的被转发或评论，微博平台上大量的用户评论和交流信息能够快速汇集为观点，从而形成一定的舆论走向。微博天然的开放性、实时性、交互性、海量性和易检性，构成了热点新闻预测的基础。通过综合分析新闻在微博平台的话题量判断新闻的热度。

传统的舆情热点话题仅仅是通过点击数、转发数、评论数等数据进行判断，但这种热点话题预测技术并不能够全面分析热点话题的特征，无法发现潜在成为热点的话题。

发明内容

本发明的目的是为了解决上述现有技术的缺陷，提供了一种基于微博数据分析的热点新闻预测方法，该方法对媒体报道的新闻在微博话题中的趋势进行全面分析，预测新闻是否会成为舆情热点，能够很好地解决热点新闻早期预测问题。

本发明的另一目的在于提供一种基于微博数据分析的热点新闻预测***。

本发明的目的可以通过采取如下技术方案达到：

基于微博数据分析的热点新闻预测方法，所述方法包括以下步骤：

S1、从主流新闻网站采集新闻报道及其在微博上引起的微博用户反应信息；

S2、对微博文本进行分词和词频统计，计算词的TF-IDF值，并转换为使用向量空间描述一个微博话题；

S3、对微博话题进行分类，并统计描述微博话题的各个量化指标，计算新闻的各个热度指标；

S4、采用多元线性回归算法对样本数据进行学习，建立热点新闻预测模型，并根据热点新闻预测模型判断之后的新闻是否会成为热点。

作为一种实施方案，步骤S3中，所述对微博话题进行分类，具体包括：

1)统计社会热点，计算各社会热点的关注度；

2)根据社会热点对微博话题进行分类，计算微博话题的社会关注度。

作为一种实施方案，步骤S3中，所述统计描述微博话题的各个量化指标，具体为：提取描述微博话题的三个特征维度作为量化指标，分别为微博话题的公众响应力、微博话题的核心响应力和微博话题的传播力度。

作为一种实施方案，步骤S3中，所述计算新闻的各个热度指标，具体为：根据描述微博话题的量化指标从多个角度对新闻的热度进行全面分析，新闻的三个热度指标分别为新闻关注度、新闻影响力和新闻传播度。

作为一种实施方案，步骤S4中，所述采用多元线性回归算法对样本数据进行学习，建立热点新闻预测模型，具体包括：

1)变量选择：选择新闻热度作为因变量，新闻的三个热度指标作为自变量，根据定义有新闻的各个热度指标与新闻热度值之间存在且服从线性关系；

2)模型设定：根据所研究的热点新闻预测问题，设定多元线性回归模型；

3)参数估计：使用样本数据学习步骤2)设定的多元线性回归模型的参数，建立热点新闻预测模型；

4)模型检验：热点新闻预测模型建立后，采用F检验和R检验分别对模型的拟合度、显著性进行检验；

5)模型运用：将建立的热点新闻预测模型应用于预测热点新闻。

作为一种实施方案，所述多元线性回归模型，如下式：

其中，R表示新闻热度，N_foc、N_inf和N_trans表示新闻的三个热度指标，θ₁、θ₂、θ₃分别是与新闻的三个热度指标无关的未知参数，∈是整体回归函数的随机干扰项。

本发明的另一目的可以通过采取如下技术方案达到：

基于微博数据分析的热点新闻预测***，所述***包括，

数据采集模块，用于从主流网站采集新闻报道及其在微博上引起的微博用户反应信息；

文本分析处理模块，用于对微博文本进行分词和词频统计，计算词的TF-IDF值，并转换为使用向量空间描述一个微博话题；

数据统计分析模块，用于对微博话题进行分类，以及统计描述微博话题的各个量化指标，计算新闻的各个热度指标；

热点新闻预测模块，用于使用多元线性回归算法对样本数据进行学习，建立热点新闻预测模型，并根据热点新闻预测模型判断之后的新闻是否会成为热点。

本发明相对于现有技术具有如下的有益效果：

1、本发明对媒体报道的新闻在微博话题中的趋势进行全面分析，预测新闻是否会成为舆情热点，能够很好地解决热点新闻早期预测问题。

2、本发明对微博话题的描述定义了多个(优选为三个)量化指标，以及根据描述微博话题的量化指标，定义了多个(优选为三个)新闻的热度指标，并设计了一种自适应算法，多元线性回归算法，将其成功运用于热点新闻预测。

3、本发明为增强算法的实践性，设计实现了基于微博数据分析的热点新闻预测***，将提出的算法运用于实际的舆情热点发现。

附图说明

图1为本发明实施例1的基于微博数据分析的热点新闻预测方法的流程图。

图2为本发明实施例1中描述微博话题的量化指标、新闻的热度指标和新闻热度之间的关系图。

图3为本发明实施例2的基于微博数据分析的热点新闻预测***的结构框图。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1：

如图1和图2所示，本实施例的基于微博数据分析的热点新闻预测方法，包括以下步骤：

S1、从主流新闻网站采集新闻报道及其在微博上引起的微博用户反应信息，所述新闻报道包括标题和正文，所述微博用户反应信息是以新闻标题作为关键词在微博搜索的结果集，所述的微博结果集包括微博用户信息、微博正文、发文时间，但不包括新闻媒体在微博中的新闻报道；

S2、对微博文本进行分词和词频统计，计算词的TF-IDF(term frequency-inversedocument frequency)值，并转换为使用向量空间描述一个微博话题；

S3、对微博话题进行分类，并描述微博话题的三个量化指标，计算新闻的三个热度指标；

所述对微博话题进行分类，具体包括：

1)统计社会热点(可通过人工进行统计)，计算各社会热点的关注度；

2)根据社会热点对微博话题进行分类，并计算微博话题的社会关注度F。

所述统计描述微博话题的三个量化指标，即为提取描述微博话题的三个特征维度作为量化指标，分别为微博话题的公众响应力、微博话题的核心响应力、微博话题的传播力度，三个量化指标具体解释如下：

a、微博话题的公众响应力，指微博话题发生后在短时间内引起微博普通用户的响应程度，可以使用微博话题发生后短时间内关于此话题的普通用户的微博总量衡量，其表示如下式：

I_p＝(N_P-P_min)/P_ave

其中，N_P是话题发生后短时间内关于此话题的普通用户的微博总量，P_min、P_ave分别是事先统计的热点话题发生后短时间内关于此话题的普通用户的最小微博量和平均微博量；

b、微博话题的核心响应力，指微博话题发生后短时间内引起微博认证用户的响应程度，可以使用微博话题发生后短时间内关于此话题的认证用户的微博总量衡量，其表示如下式：

I_v＝(N_V-V_min)/V_ave

其中，N_V是话题发生后短时间内关于此话题的微博认证用户的微博总量，V_min、V_ave分别是事先统计的热点话题发生后短时间内关于此话题的认证用户的最小微博量和平均微博量；

c、微博话题的传播力度，指微博话题发生后关注此话题的微博用户所在地区的分布情况，根据经济发展程度和人口特征全国自动划分为东北、华北、华中、华南、西部五个地区，计算每个地区关于此话题的微博量占全国微博用户微博量的比重，然后引进Gini指数刻画微博话题的传播力度，其表示如下式：

其中，D_EN、D_N、D_C、D_S和D_W分别是话题发生后东北、华北、华中、华南和西部五个地区关于此话题的微博量占全国微博总量的比重；

所述计算新闻的各个热度指标，即为根据描述微博话题的量化指标从多个角度对新闻的热度进行全面分析，新闻的三个热度指标分别为新闻关注度、新闻影响力、新闻传播力度，新闻的三个热度指标具体解释如下：

a、新闻关注度，指新闻是否是当今公众关注的热点，使用微博话题的社会关注度衡量，其表示如下式：

其中，F是微博话题的社会关注度，I_p、I_v分别是微博话题的公众响应力和核心响应力，N_foc越大说明越容易受到公众的关注，成为热点新闻的可能性越大；

b、新闻影响力，指新闻能够持续影响社会关注的能力，使用微博话题的公众响应力的潜在的持续增量表示，其表示如下式：

其中，I_p、I_v分别是微博话题的公众响应力和核心响应力，α是微博话题核心响应力的影响参数、β是微博话题的核心影响力对公众影响力的影响参数，N_inf越大说明话题能够持续影响公众的关注，成为热点新闻的可能性越大；

c、新闻传播度，指新闻在各地区形成舆论的平均分布情况，使用微博话题的传播力度衡量，其表示如下式：

N_trans＝G

其中，G是微博话题的传播力度，N_trans越大说明新闻在各地区形成舆论中心的分布越均匀，成为热点新闻的可能性越大；

S4、采用多元线性回归算法对样本数据进行学习，建立热点新闻预测模型，并根据热点新闻预测模型判断之后的新闻是否会成为热点。

所述采用多元线性回归算法对样本数据进行学习，即新闻的热度值作为因变量，新闻的三个热度指标作为自变量，建立多元线性回归模型，具体包括：

1)变量选择，选择新闻的热度值R作为因变量，新闻的三个热度指标作为自变量，根据定义有每个新闻的热度指标与新闻的热度值之间存在且服从线性关系；

2)模型设定，根据所研究的热点新闻预测问题，设定多元线性回归模型：

其中，R表示新闻热度，N_foc、N_inf和N_trans表示新闻的三个热度指标，θ₁、θ₂、θ₃分别是与新闻的三个热度指标无关的未知参数，∈是整体回归函数的随机干扰项；

3)参数估计，使用样本数据学习步骤2)设定的多元线性回归模型的参数，建立热点新闻预测模型；

4)模型检验，热点新闻预测模型建立后，采用F检验和R检验分别对模型的拟合度、显著性进行检验；

5)模型运用，将建立的热点新闻预测模型应用于预测热点新闻。

实施例2：

如图3所示，本实施例的基于微博数据分析的热点新闻预测***，所述***包括：

数据采集模块，用于从主流网站采集新闻报道及其在微博上引起的微博用户反应信息；

文本分析处理模块，用于对微博文本进行分词和词频统计，计算词的TF-IDF值，并转换为使用向量空间描述一个微博话题；

数据统计分析模块，用于对微博话题进行分类，并统计描述微博话题的各个量化指标，计算新闻的各个热度指标；

热点新闻预测模块，用于使用多元线性回归算法对样本数据进行学习，建立热点新闻预测模型，并根据热点新闻预测模型判断之后的新闻是否会成为热点。

上述数据统计分析模块和热点新闻预测模块具体实现过程同实施例1。

综上所述，本发明对媒体报道的新闻在微博话题中的趋势进行全面分析，预测新闻是否成为舆情热点，能够很好地解决热点新闻早期预测问题。

以上所述，仅为本发明专利优选的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (3)

1.基于微博数据分析的热点新闻预测方法，其特征在于：所述方法包括以下步骤：

S1、从主流新闻网站采集新闻报道及其在微博上引起的微博用户反应信息；

S2、对微博文本进行分词和词频统计，计算词的TF-IDF值，并转换为使用向量空间描述一个微博话题；

S3、对微博话题进行分类，并统计描述微博话题的各个量化指标，计算新闻的各个热度指标，具体为：提取描述微博话题的三个特征维度作为量化指标，分别为微博话题的公众响应力、微博话题的核心响应力和微博话题的传播力度，根据描述微博话题的量化指标从多个角度对新闻的热度进行全面分析，新闻的三个热度指标分别为新闻关注度、新闻影响力和新闻传播度；

所述微博话题的公众响应力、微博话题的核心响应力和微博话题的传播力度的具体解释如下：

a、微博话题的公众响应力，指微博话题发生后在短时间内引起微博普通用户的响应程度，使用微博话题发生后短时间内关于此话题的普通用户的微博总量衡量，其表示如下式：

I_p＝(N_P-P_min)/P_ave

其中，N_p是话题发生后短时间内关于此话题的普通用户的微博总量，P_min、P_ave分别是事先统计的热点话题发生后短时间内关于此话题的普通用户的最小微博量和平均微博量；

b、微博话题的核心响应力，指微博话题发生后短时间内引起微博认证用户的响应程度，使用微博话题发生后短时间内关于此话题的认证用户的微博总量衡量，其表示如下式：

I_v＝(N_V-V_min)/V_ave

其中，N_V是话题发生后短时间内关于此话题的微博认证用户的微博总量，V_min、V_ave分别是事先统计的热点话题发生后短时间内关于此话题的认证用户的最小微博量和平均微博量；

c、微博话题的传播力度，指微博话题发生后关注此话题的微博用户所在地区的分布情况，根据经济发展程度和人口特征全国自动划分为东北、华北、华中、华南、西部五个地区，计算每个地区关于此话题的微博量占全国微博用户微博量的比重，然后引进Gini指数刻画微博话题的传播力度，其表示如下式：

其中，D_EN、D_N、D_C、D_S和D_ｗ分别是话题发生后东北、华北、华中、华南和西部五个地区关于此话题的微博量占全国微博总量的比重；

所述新闻关注度、新闻影响力和新闻传播度的具体解释如下：

a、新闻关注度，指新闻是否是当今公众关注的热点，使用微博话题的社会关注度衡量，其表示如下式：

其中，F是微博话题的社会关注度，I_p、I_v分别是微博话题的公众响应力和核心响应力，N_foｃ越大说明越容易受到公众的关注，成为热点新闻的可能性越大；

b、新闻影响力，指新闻能够持续影响社会关注的能力，使用微博话题的公众响应力的潜在的持续增量表示，其表示如下式：

其中，I_p、I_v分别是微博话题的公众响应力和核心响应力，α是微博话题核心响应力的影响参数、β是微博话题的核心影响力对公众影响力的影响参数，N_inf越大说明话题能够持续影响公众的关注，成为热点新闻的可能性越大；

c、新闻传播度，指新闻在各地区形成舆论的平均分布情况，使用微博话题的传播力度衡量，其表示如下式：

N_trans＝G

其中，G是微博话题的传播力度，N_tranｓ越大说明新闻在各地区形成舆论中心的分布越均匀，成为热点新闻的可能性越大；

S4、采用多元线性回归算法对样本数据进行学习，建立热点新闻预测模型，并根据热点新闻预测模型判断之后的新闻是否会成为热点；

所述采用多元线性回归算法对样本数据进行学习，建立热点新闻预测模型，具体包括：

1)变量选择：选择新闻热度作为因变量，新闻的三个热度指标作为自变量，根据定义有新闻的各个热度指标与新闻热度值之间存在且服从线性关系；

2)模型设定：根据所研究的热点新闻预测问题，设定多元线性回归模型；

3)参数估计：使用样本数据学习步骤2)设定的多元线性回归模型的参数，建立热点新闻预测模型；

4)模型检验：热点新闻预测模型建立后，采用F检验和R检验分别对模型的拟合度、显著性进行检验；

5)模型运用：将建立的热点新闻预测模型应用于预测热点新闻；

所述多元线性回归模型，如下式：

其中，R表示新闻热度，N_foｃ、N_inf和N_tranｓ表示新闻的三个热度指标，θ₁、θ₂、θ₃分别是与新闻的三个热度指标无关的未知参数，∈是整体回归函数的随机干扰项。

2.根据权利要求1所述的基于微博数据分析的热点新闻预测方法，其特征在于：步骤S3中，所述对微博话题进行分类，具体包括：

1)统计社会热点，计算各社会热点的关注度；

2)根据社会热点对微博话题进行分类，计算微博话题的社会关注度。

3.基于微博数据分析的热点新闻预测***，其特征在于：所述***包括，

数据采集模块，用于从主流网站采集新闻报道及其在微博上引起的微博用户反应信息；

文本分析处理模块，用于对微博文本进行分词和词频统计，计算词的TF-IDF值，并转换为使用向量空间描述一个微博话题；

数据统计分析模块，用于对微博话题进行分类，以及统计描述微博话题的各个量化指标，计算新闻的各个热度指标，具体为：提取描述微博话题的三个特征维度作为量化指标，分别为微博话题的公众响应力、微博话题的核心响应力和微博话题的传播力度，根据描述微博话题的量化指标从多个角度对新闻的热度进行全面分析，新闻的三个热度指标分别为新闻关注度、新闻影响力和新闻传播度；

所述微博话题的公众响应力、微博话题的核心响应力和微博话题的传播力度的具体解释如下：

a、微博话题的公众响应力，指微博话题发生后在短时间内引起微博普通用户的响应程度，使用微博话题发生后短时间内关于此话题的普通用户的微博总量衡量，其表示如下式：

I_p＝(N_P-P_min)/P_ave

其中，N_p是话题发生后短时间内关于此话题的普通用户的微博总量，P_min、P_ave分别是事先统计的热点话题发生后短时间内关于此话题的普通用户的最小微博量和平均微博量；

b、微博话题的核心响应力，指微博话题发生后短时间内引起微博认证用户的响应程度，使用微博话题发生后短时间内关于此话题的认证用户的微博总量衡量，其表示如下式：

I_v＝(N_V-V_min)/V_ave

其中，N_V是话题发生后短时间内关于此话题的微博认证用户的微博总量，V_min、V_ave分别是事先统计的热点话题发生后短时间内关于此话题的认证用户的最小微博量和平均微博量；

c、微博话题的传播力度，指微博话题发生后关注此话题的微博用户所在地区的分布情况，根据经济发展程度和人口特征全国自动划分为东北、华北、华中、华南、西部五个地区，计算每个地区关于此话题的微博量占全国微博用户微博量的比重，然后引进Gini指数刻画微博话题的传播力度，其表示如下式：

其中，D_EN、D_N、D_C、D_S和D_W分别是话题发生后东北、华北、华中、华南和西部五个地区关于此话题的微博量占全国微博总量的比重；

所述新闻关注度、新闻影响力和新闻传播度的具体解释如下：

a、新闻关注度，指新闻是否是当今公众关注的热点，使用微博话题的社会关注度衡量，其表示如下式：

其中，F是微博话题的社会关注度，I_p、I_v分别是微博话题的公众响应力和核心响应力，N_foc越大说明越容易受到公众的关注，成为热点新闻的可能性越大；

b、新闻影响力，指新闻能够持续影响社会关注的能力，使用微博话题的公众响应力的潜在的持续增量表示，其表示如下式：

其中，I_p、I_v分别是微博话题的公众响应力和核心响应力，α是微博话题核心响应力的影响参数、β是微博话题的核心影响力对公众影响力的影响参数，N_inf越大说明话题能够持续影响公众的关注，成为热点新闻的可能性越大；

c、新闻传播度，指新闻在各地区形成舆论的平均分布情况，使用微博话题的传播力度衡量，其表示如下式：

N_trans＝G

其中，G是微博话题的传播力度，N_trans越大说明新闻在各地区形成舆论中心的分布越均匀，成为热点新闻的可能性越大；

热点新闻预测模块，用于使用多元线性回归算法对样本数据进行学习，建立热点新闻预测模型，并根据热点新闻预测模型判断之后的新闻是否会成为热点；

所述采用多元线性回归算法对样本数据进行学习，建立热点新闻预测模型，具体以包括：

1)变量选择：选择新闻热度作为因变量，新闻的三个热度指标作为自变量，根据定义有新闻的各个热度指标与新闻热度值之间存在且服从线性关系；

2)模型设定：根据所研究的热点新闻预测问题，设定多元线性回归模型；

3)参数估计：使用样本数据学习步骤2)设定的多元线性回归模型的参数，建立热点新闻预测模型；

4)模型检验：热点新闻预测模型建立后，采用F检验和R检验分别对模型的拟合度、显著性进行检验；

5)模型运用：将建立的热点新闻预测模型应用于预测热点新闻；

所述多元线性回归模型，如下式：

其中，R表示新闻热度，N_foc、N_inf和N_trans表示新闻的三个热度指标，θ₁、θ₂、θ₃分别是与新闻的三个热度指标无关的未知参数，∈是整体回归函数的随机干扰项。