CN105868185A - 一种购物评论情感分析中基于词性标注的词典构建方法 - Google Patents

Abstract

本发明公开了一种购物评论情感分析中基于词性标注的词典构建方法，包括：对购物评论的文本数据进行预处理，即对评论文本进行分割、分词、过滤停用词、划分购物领域；构建基础情感词典与网络流行语情感词典；以购物评论语料库为数据集，对数据集进行词性标注，抽取词性为习用词、副词、形容词的词语作为候选词，通过计算候选词的PTF‑IDF值选取新的情感词作为领域情感词，加入领域情感词典。采用上述领域情感词典，与基础情感词典、网络流行语情感词典相结合，对购物评论进行情感特征筛选和提取，研究购物评论的情感分类。实验表明，本发明所提出方案具有很高的准确率，且不受购物领域限制，更适于实际应用。

Description

一种购物评论情感分析中基于词性标注的词典构建方法

技术领域

本发明涉及适用于特定功能的数据处理方法中的自然语言的处理或转换领域，尤其涉及一种购物评论情感分析中基于词性标注的词典构建方法。

背景技术

随着互联网的蓬勃发展，电子商务的兴起吸引了越来越多的用户开始在网上购物，体验网上购物所带来的“足不出户”和“物廉价美”。与此同时，用户也通过在网上商城对购买的商品进行评论，表达对商品的主观看法和意见。然而，由于网上购物没有地域的限制，在为用户带来便利的同时也导致用户无法直接触摸和具体了解商品的质量，可能造成网上商城对商品的描述与实际有区别，为用户带来不便。用户只有通过了解已购顾客对商品的评论，做出相对可靠的决策。因此，为了使用户能更加方便快捷的找出富有价值的评论，浏览自己想要的信息，为了促进商家提高用户对网上购物服务的满意度，对购物评论进行情感分类就显得十分重要。

对购物评论进行情感分类，就是按照评论文本所表达的情感倾向进行分析、处理、归纳和推理，判别评论中用户想要表达的观点、喜好、感受以及对商品或者商家服务的态度，进而为用户提供更加有效和更加可靠地商品信息，辅助用户做出合理的决策，提高网上购物效率和服务质量。目前，针对评论文本情感分类的研究主要是将购物评论分为两类，即正向情感评论和负向情感评论。也有部分研究是将其分为三类，即正向情感评论、负向情感评论和中性情感评论。购物评论的情感分类研究属于文本情感分类研究的一个分支。

目前，文本情感分析作为自然语言处理(Natural Language Processing,NLP)领域中热门的研究方向，引发了学者的广泛研究分析。在对评论文本进行情感倾向性分析方面，国内外研究采用的技术主要分为以下两大类：一是基于机器学习的方法，二是基于情感词典或者语义知识的方法。其中，使用情感词典的方法是通过借助情感词典查找并统计待分类评论文本中正面情感词和负面情感词用来作为情感判别的主要依据，即根据情感词来决策待分类评论文本的情感倾向性，若所得值为正则判定为正面情感，反之为负即为负面情感，若所得值等于零则视为中性情感。基于情感词典的方法能取得较好的分类准确性，但其局限性在于过多地依赖于现有词典，无法识别未登录词语，一旦文本中不存在情感词典中的词语就无法判断该文本的感情倾向与情感强度。

而采用机器学习的方法则是将语料标注为训练语料和测试语料，通过使用最大熵、支持向量机、朴素贝叶斯等分类器对评论文本进行情感倾向性分类。该方法中使用的算法复杂度较高，在训练情感特征分类器时需要大量适当的且带标签的语料库。

公开号为CN104731923A、名称为"互联网商品评论挖掘本体词库的构建方法"的发明专利存在的不足主要是：一，未采用通用停用词表，而是通过计算实验数据中特征频率和文档频率，取数值高的词语作为停用词，在该过程中易产生偏差，丢失具有情感倾向的词语，影响实验；二，在其进行词库构建的过程中，未考虑除名词外，其它词性词语对商品评论分析的影响。

公开号为CN103207855A、名称为"针对产品评论信息的细粒度情感分析***及方法"的发明专利存在的不足主要为：一，需大量带标注的文本训练该情感分析***，且要定期进行更新，增加了大量人力和时间上的消耗；二，未考虑停用词、网络流行语对情感分析的影响；三，过于依赖数据库中的搭配组合词典，使计算过程复杂，且并未考虑不同词性词语在评论文本中的情感倾向。

综上所述，现有的面向购物评论的情感分类研究，其判别的准确性不足以满足实际应用的需求。

发明内容

本发明所要解决的技术问题是如何高效地结合基础情感词典和机器学习对购物评论的情感进行有效划分，从而使最终分类结果具有高准确率，而且不受购物领域限制，更适于实际应用。

为了解决上述技术问题，本发明提出一种购物评论情感分析中基于词性标注的词典构建方法，包括如下步骤：

步骤1：对购物评论文本进行数据预处理；

步骤2：构建基础情感词典；

步骤3：构建网络流行语情感词典。

步骤4：使用PTF-IDF(Part of speech Tag Frequency-Inverse Document Frequency)方法提取购物评论数据集的情感特征，构建领域情感词典；

步骤5：利用所述领域情感词典、基础情感词典与网络流行语情感词典，对购物评论进行情感分类。

进一步，上述数据预处理包括评论文本的分割、分词、过滤停用词。

而且，评论文本的分割、分词、过滤停用词具体包括如下步骤：

步骤1：读取每条评论，采用Jieba分词工具将所述评论切分为独立的词语；

步骤2：对切分后的词语使用停用词表进行过滤。

进一步，上述网络流行语情感词典是从具有代表性的大型中文网站(比如从搜狐、网易、新浪及腾讯)中人工抽取了若干个使用频率较高并含有较明显情感倾向性的网络流行语，组成网络流行语情感词典。

进一步，前述基础情感词典的构建，具体包括如下步骤：

步骤1：从现有的代表性情感词典中，挑选出包含“的”“地”“得”后缀的词与前面的词语合并，并从中删除有歧义或者不常用的词语，组成候选基础情感词典；

步骤2：对候选基础情感词典中的每个词语利用阈值法依照从一个检索引擎返回的点击数量从大到小排序，去除点击数量相对较低的词语，组成基础情感词典。

进一步，前述使用PTF-IDF方法提取购物评论数据集的情感特征，具体包括如下步骤：

步骤1：采用词性标注(Part of Speech Tag)方法，抽取评论文本中词性为习用词、副词、形容词的词语作为候选词；

步骤2：计算所述每个候选词的PTF-IDF值，IDF表示所述候选词在购物评论语料库中的逆向文件频率，具体计算公式如下：

${\mathrm{PTF}}_{x,j}=\frac{{\mathrm{word}}_{x,j}}{{\mathrm{\Σ}}_k{\mathrm{word}}_{k,j}}$

其中，PTF_x,j表示词性标注后所挑选得到的候选词word_x在购物评论语料库j中的词频；分子word_x,_j表示候选词word_x在评论语料库j中出现次数，分母表示分词后评论语料库j中所有词语出现的总数；

${\mathrm{IDF}}_x={\log }_2\frac{\left|\mathrm{Re}views\right|}{\left|\left\{j:{\mathrm{word}}_x\∈{\mathrm{Review}}_j\right\}\right|+1}$

其中，IDF_x表示所述候选词word_x在购物评论语料库j中的逆向文件频率，分子|Reviews|表示在评论语料库j中评论的总数，分母|{j:word_x∈Review_j}|表示评论语料库j中包含候选词word_x的评论个数，如果候选词word_x不存在于评论语料库中，则会导致该公式的分母为零，为了防止影响计算出现差错，采用分母+1的方法，最后计算：

PTF-IDF(word_x)＝PTF(word_x)×IDF(word_x)

得到各候选词的PTF-IDF值；

步骤3：在所述评论的领域，根据PTF-IDF值采用阈值法选取大于阈值的候选词作为候选领域情感词；

步骤4：计算上述候选领域情感词在正面评论语料中出现的次数与负面评论语料中出现的次数之间的差值，若该差值为正，则候选领域情感词为正面领域情感词；反之，若该差值为负，则候选领域情感词为负面领域情感词；若差值为零，则该候选领域情感词不具有情感倾向，不加入领域情感词典。

作为优选，上述采用阈值法选取大于阈值的候选词时，阈值选择0.005。

进一步，作为基于词性标注的词典构建方法中的最后一步骤的情感分类，具体包括如下步骤：

步骤1：读取每条评论，利用所属领域情感词典、基础情感词典与网络流行语情感词典选取情感特征；

步骤2：计算每条评论中正面情感特征加权和，负面情感特征加权和；

步骤3：计算该条评论正面情感特征加权和与负面情感特征加权和之差；

步骤3：若差值为正，则该条评论属于正面情感；若差值为负，则该条评论属于负面情感；若为零，则该条评论属于中性，具体计算公式如下：

购物评论的情感倾向＝Σ该评论中正面情感特征-Σ该评论中负面情感特征。

与现有技术相比，本发明具有如下有益效果：

1、本发明提出的一种购物评论情感分析中基于词性标注的词典构建方法，有效提高了购物评论情感分类的准确率；

2、本发明所提出的根据相关购物领域评论基于词性标注而构建的领域情感词典，对评论分类得到的准确率明显高于使用基础情感词典所能达到的准确率。

附图说明

图1为本发明的一个实施例的流程示意图。

图2为图1中步骤B的具体流程示意图。

图3为本发明所提出方法中结合领域情感词典、基础情感词典和网络流行语情感词典，与基于传统情感词典的对比试验结果图。

图4为三个购物领域的测试结果示例图。

具体实施方式

下面结合附图以及实施例对本发明的具体实施作进一步详细的说明。本发明中所描述的实施例，仅仅是本发明一部分实施例，而不是全部的实施例。

图1是本发明提出的一种购物评论情感分析中基于词性标注的词典构建方法的一个实施例的流程示意图，包括如下步骤：

A、分别对酒店、图书、电脑领域购物评论数据进行预处理，包括评论分割、分词、过滤停用词。

具体的，如图2所示，步骤A包括步骤：

A1、读取每条评论，采用Jieba分词工具将所述评论切分为独立的词语；

A2、对切分后的词语使用停用词表进行过滤；

B、构建基础情感词典。

B1、从现有的《知网》情感词典中，删掉有歧义和不常用的词语，挑选出包含“的”“地”“得”后缀的词与前面的词语合并，并从中删除有歧义或者不常用的词语，组成候选基础情感词典；

B2、对候选基础情感词典中的每个词语利用阈值法依照Google返回的Hits值从大到小排序，去除Hits值相对较低的词语，组成基础情感词典；

C、构建网络流行语情感词典。

C1、从搜狐、网易、新浪及腾讯这四个较为流行的大型中文微博服务网站中人工抽取了约50个使用频率较高并含有较明显情感倾向性的网络流行语，组成网络流行语情感词典。

D、面向不同领域构建领域情感词典。

具体的，步骤D包括步骤：

D1、分别读取酒店、图书、电脑领域购物评论语料库中的每条评论，对分词、停用词过滤后的词语，采用词性标注方法，抽取评论中词性为习用词、副词、形容词的词语作为候选词；

其中，词性标注后购物评论中具体包括以下28种词性的词语，如表1所示。

表1 中文词性标注

D2、根据所提取的具有习用词、副词、形容词词性的候选词，计算所述每个候选词的PTF-IDF值，其中PTF-IDF＝PTF*IDF，式中，PTF表示所述候选词经词性标注后在该领域购物评论语料库中的出现次数，IDF表示所述候选词在购物评论语料库中的逆向文件频率；

D3、计算所述购物领域评论经过分词后，所有词语出现的总数；计算所述各候选词在该领域评论中出现的次数；通过公式(1)计算后得到各候选词的PTF值；

D4、计算所述购物领域中评论的总数；计算在该领域评论中包含各候选词的评论个数，通过公式(2)计算后得到各候选词的IDF值；

D5、通过公式(3)计算后得到各候选词的PTF-IDF值；

D6、在所述评论的领域，根据各候选词的PTF-IDF值采用阈值法选取符合条件的候选词作为领域情感词，组成领域情感词典。

D7、计算候选领域情感词在正面评论语料中出现的次数与负面评论语料中出现的次数之间的差值，若该差值为正，则候选领域情感词为正面领域情感词；反之，若该差值为负，则候选领域情感词为负面领域情感词；若差值为零，则该候选领域情感词不具有情感倾向，不加入领域情感词典。

E、利用所述领域情感词典，结合基础情感词典、网络流行语情感词典，对购物评论进行情感分类。

具体的，步骤E包括步骤：

E1、读取每条评论，利用所述领域情感词典、基础情感词典与网络流行语情感词典选取情感特征；

E2、计算每条评论中正面情感特征加权和，负面情感特征加权和；

E3、计算该条评论正面情感特征加权和与负面情感特征加权和之差；

E4、若差值为正，则该条评论属于正面情感；若差值为负，则该条评论属于负面情感；若为零，则该条评论属于中性。

对本发明用python进行编译测试，得到的准确率与基于传统情感词典的分类算法进行对比，实验结果如表2所示。

表2 实验结果

领域	基于基础情感词典的算法	本发明的算法
			酒店	0.631	0.894
图书	0.641	0.851
			电脑	0.655	0.852

显然，基于本发明算法的分类效果明显好于基于传统情感词典的分类效果，在三个领域：酒店、图书、电脑领域，分别提高了26.3％，21％，19.7％。

如图4所示，将所述三个领域，即酒店、图书、电脑领域，细分为六类评论，其中横轴表示购物评论的领域，纵轴表示分类准确率。通过结果可以表明，本发明提出的一种购物评论情感分析中基于词性标注的词典构建方法对购物评论情感分类能取得较好的效果。

需要说明的是，本发明所提供的实施例仅具有示意性，实施例中所阐述的方法也可以通过其它编译方式实现。例如，所述购物评论领域的划分，仅仅是一种基于逻辑功能的划分，在实际实现过程中可以有其他的划分方式；还可以在具体实施过程中，结合本发明中的多个步骤，对某些特征忽略或不执行。

Claims (8)

1.一种购物评论情感分析中基于词性标注的词典构建方法，其特征在于包括如下步骤：

步骤1：对购物评论文本进行数据预处理；

步骤2：构建基础情感词典；

步骤3：构建网络流行语情感词典；

步骤4：使用PTF-IDF方法提取购物评论数据集的情感特征，构建领域情感词典；

步骤5：利用所述领域情感词典、基础情感词典与网络流行语情感词典，对购物评论进行情感分类。

2.根据权利要求1所述的一种购物评论情感分析中基于词性标注的词典构建方法，其特征在于所述数据预处理包括评论文本的分割、分词、过滤停用词。

3.根据权利要求2所述的一种购物评论情感分析中基于词性标注的词典构建方法，其特征在于，所述评论文本的分割、分词、过滤停用词具体包括如下步骤：

步骤1：读取每条评论，采用Jieba分词工具将所述评论切分为独立的词语；

步骤2：对切分后的词语使用停用词表进行过滤。

4.根据权利要求1所述的一种购物评论情感分析中基于词性标注的词典构建方法，其特征在于所述网络流行语情感词典是从具有代表性的大型中文网站中人工抽取了若干个使用频率较高并含有较明显情感倾向性的网络流行语，组成网络流行语情感词典。

5.根据权利要求1所述的一种购物评论情感分析中基于词性标注的词典构建方法，其特征在于，所述基础情感词典的构建，具体包括如下步骤：

步骤1：从现有的代表性情感词典中，挑选出包含“的”“地”“得”后缀的词与前面的词语合并，并从中删除有歧义或者不常用的词语，组成候选基础情感词典；

步骤2：对候选基础情感词典中的每个词语利用阈值法依照从一个检索引擎返回的点击数量从大到小排序，去除点击数量相对较低的词语，组成基础情感词典。

6.根据权利要求1所述的一种购物评论情感分析中基于词性标注的词典构建方法，其特征在于，所述使用PTF-IDF方法提取购物评论数据集的情感特征，具体包括如下步骤：

步骤1：采用词性标注方法，抽取评论文本中词性为习用词、副词、形容词的词语作为候选词；

步骤2：计算所述每个候选词的PTF-IDF值，IDF表示所述候选词在购物评论语料库中的逆向文件频率，具体计算公式如下：

${\mathrm{PTF}}_{x,j}=\frac{{\mathrm{word}}_{x,j}}{{\mathrm{\Σ}}_k{\mathrm{word}}_{k,j}}$

其中，PTF_x,j表示词性标注后所挑选得到的候选词word_x在购物评论语料库j中的词频；分子word_x,_j表示候选词word_x在评论语料库j中出现次数，分母表示分词后评论语料库j中所有词语出现的总数；

${\mathrm{IDF}}_x={\log }_2\frac{\left|\mathrm{Re}views\right|}{\left|\right\{j:{\mathrm{word}}_x\∈{\mathrm{Review}}_j\left\}\right|+1}$

其中，IDF_x表示所述候选词word_x在购物评论语料库j中的逆向文件频率，分子|Reviews|表示在评论语料库j中评论的总数，分母|{j:word_x∈Review_j}|表示评论语料库j中包含候选词word_x的评论个数，如果候选词word_x不存在于评论语料库中，则会导致该公式的分母为零，为了防止影响计算出现差错，采用分母+1的方法，最后计算：

PTF-IDF(word_x)＝PTF(word_x)×IDF(word_x)

得到各候选词的PTF-IDF值；

步骤3：在所述评论的领域，根据PTF-IDF值采用阈值法选取大于阈值的候选词作为候选领域情感词；

步骤4：计算上述候选领域情感词在正面评论语料中出现的次数与负面评论语料中出现的次数之间的差值，若该差值为正，则候选领域情感词为正面领域情感词；反之，若该差值为负，则候选领域情感词为负面领域情感词；若差值为零，则该候选领域情感词不具有情感倾向，不加入领域情感词典。

7.根据权利要求6所述的一种购物评论情感分析中基于词性标注的词典构建方法，其特征在于所述阈值为0.005。

8.根据权利要求1所述的一种购物评论情感分析中基于词性标注的词典构建方法，其特征在于，所述情感分类，具体包括如下步骤：

步骤1：读取每条评论，利用所属领域情感词典、基础情感词典与网络流行语情感词典选取情感特征；

步骤2：计算每条评论中正面情感特征加权和，负面情感特征加权和；

步骤3：计算该条评论正面情感特征加权和与负面情感特征加权和之差；

步骤3：若差值为正，则该条评论属于正面情感；若差值为负，则该条评论属于负面情感；若为零，则该条评论属于中性，具体计算公式如下：

购物评论的情感倾向＝Σ该评论中正面情感特征-Σ该评论中负面情感特征。