CN110706028A - 基于属性特征的商品评价情感分析*** - Google Patents

Abstract

本发明涉及大数据技术领域，公开了一种基于属性特征的商品评价情感分析***，用于获得消费者对于特定商品和商品不同属性的情感倾向，以便于购买评价为后续产品研发销售提供参考。本发明包括：用户交互模块，用于认证用户身份，接收用户输入的目标商品的网址；评价语句获取模块，用于抓取消费者评价数据；数据预处理模块，用于数据进行预处理；提取模块，用于从预处理后的数据中提取商品的属性特征和属性权重，得到属性特征‑情感词对；算法处理模块，用于将提取的属性特征‑情感词对输入到算法模型中进行计算分析，实现基于属性特征的情感分析算法并输出商品评价情感量化值；结果展示模块，用于展示分析结果。本发明适用于商品评价情感分析。

Description

基于属性特征的商品评价情感分析***

技术领域

本发明涉及大数据技术领域，特别涉及基于属性特征的商品评价情感分析***。

背景技术

商品评价是消费者使用商品的主观感受，能够表达消费者的情感倾向，与商家自身的商品信息相比，消费人群的体验范围更广、体验人数更多。由于电子商务的崛起，消费者足不出户就能够买到自己心仪的商品，Web2.0的普及使得消费者购买商品后在网络上发表商品评价成为一种习惯，网络中各种非结构化的文本内容呈***式增长，在此基础上，基于自然语言处理(Natural Language Processing，NLP)技术的有关评价文本情感倾向分析的研究应运而生。

面对日益复杂的文本数据和日益增长的文本情感分析需求，现有的文本情感分析***体现出以下几点不足之处：

(1)获取、处理与分析过程相互独立，没有实现全阶段的整合；

(2)数据集来源平台单一，且获取数据工作量大、重复性高；

(3)情感分析的结果往往缺乏统一量化的标准，需要用户自行对分析结果进行进一步的处理，以获得可以进行对比的数据结果和统计图表；

(4)在已有的在线评价情感研究中，学者们往往将在线评论当作是原子对象，对评价情感的研究停留在单一产品层面，而缺少更细粒度的、对同一产品不同属性评价情感的考量。对于少量基于商品属性的情感研究，往往人为设定属性和属性权重，难以保证评价结果的客观公正性。

发明内容

本发明要解决的技术问题是：提供一种基于属性特征的商品评价情感分析***，用于获得消费者对于特定商品和商品不同属性的情感倾向，以便于购买评价为后续产品研发销售提供参考。

为解决上述问题，本发明采用的技术方案是：基于属性特征的商品评价情感分析***，包括如下模块：

用户交互模块：用于认证用户身份，接收用户输入的目标商品的网址，并传递给***后台，

评价语句获取模块：利用爬虫技术从目标商品的网址抓取商品详情和消费者评价数据；

数据预处理模块：用于对评价语句获取模块抓取的数据进行预处理；

提取模块：用于从预处理后的数据中提取商品的属性特征和属性权重，并通过语义关系计算、分词和词性标注方法，从消费者评价数据中得到与属性特征匹配的情感词，从而得到属性特征-情感词对；

算法处理模块：用于将提取的属性特征-情感词对输入到算法模型中进行计算分析，实现基于属性特征的情感分析算法并输出商品评价情感量化值；

结果展示模块：展示分析结果。

进一步的，数据预处理模块的预处理操作可包括：分词、过滤、词性标注和词频统计。

进一步的，提取模块提取商品的属性特征包括显式属性特征和隐式属性特征，提取属性特征的具体步骤包括：

根据商品详情和消费者评价信息确定商品的显式属性特征；

通过统计词频筛选出评论集中的所有名词和名词性短语作为候选词集；

通过点互信息计算，识别出候选词集中与显式属性特征互信息值高的名词或名词性短语，并将其作为隐式属性特征，最终显式属性特征和隐式属性特征共同形成商品的属性特征集。

进一步的，点互信息计算的公式可如下：

其中，PMI(F_i,ph)为显式属性特征F_i与名词或名词性短语ph的互信息值，ph为评论集中的名词或名词性短语,p(F_i,ph)为评论集中显式属性特征F_i和名词或名词性短语ph共同出现的概率，p(F_i)为评论集中显式属性特征F_i出现的概率，p(ph)为评论集中候选属性词出现的概率。

进一步的，提取模块可根据词频统计结果，得到商品的属性权重。

进一步的，算法处理模块实现基于属性特征的情感分析算法的方式可如下：

将单组属性特征-情感词对<Feature(i),Opinion(j)>的情感极性基础得分Sen_score_ij定义为:

则某一商品单个属性特征的情感得分算法如下：

单个商品的情感得分如公式如下：

其中，m表示单个商品所包含的属性特征的个数，n为该属性特征中出现的情感词个数，为每个情感词前出现的程度副词强烈级别，φ_Degree表示相应程度副词强烈级别所对应的系数值，f为该情感词前含否定词的个数，μ表示该情感词的否定词得分值，class1-class4分别为划分的四种程度副词强烈级别，α_i为属性特征的权重系数，i为属性特征编号，i∈{1,2,3,……,m}，β_ij为第i个属性特征的第j个情感词的情感极性基础得分，β_ij取值范围为[-1,1]，其中，正负分别对应积极与消极情感。

进一步的，结果展示模块展示的分析结果可包括：商品各属性评分、商品各属性评分雷达图、基于属性权重的商品总评分以及***的运行状况。

本发明的有益效果：本发明可以有效地采集并处理来自不同平台的商品评价信息，可帮助商家快速广泛地收集消费者对产品的反馈，包括竞品消费者的使用体验，有助于商家以消费者使用体验为依据调整研发生产方向。

附图说明

图1为本发明提供的基于属性特征的商品评价情感分析***流程图；

图2为本发明提供的***后台模块流程图；

图3为本发明构建的组合情感词典结构图。

具体实施方式

为了在保证效率和准确率的前提下，通过处理大量非结构化的商品评价数据，获得消费者对于特定商品和商品不同属性的情感倾向，以便于购买评价最大限度地为后续产品研发销售提供参考。

本发明提供了一种基于属性特征的商品评价情感分析***，其结构如图1所示，包括以下***模块:

模块一：即用户交互模块。用户交互模块用于①在登录过程中认证用户身份，对不同身份的用户分配不同权限，使不同的身份的用户进入各自的界面中，得到自己需要的界面呈现；②接收用户输入的商品网址，传递给***后台。本发明不局限于单一商品或单一平台，可适用于绝大多数线上购物或预订平台的各品类商品，包括手机等实体商品以及酒店娱乐等线上消费产品。

模块二：即评价语句获取模块。用于自动获取情感分析所需的商品评价数据集。本发明在***中嵌入爬虫技术，接收用户输入的商品网址后可自动进行商品评价数据集的爬取，用户不需要先从其他途径获得评价数据，再进行上传。

模块三：即数据预处理模块。评价文本中存在较多影响文本分析效率的停用词，如“的”、“吗”等无实义助词，以及与文本内容分析无关的‘@’、‘//’、‘#’等功能性符号。除此之外，商品评价数据集还包括结构固定化且不具有文本内容分析实际意义的评价，如用户购买商品后，长时间未做出对相关商品的评价，京东商城会默认评价为：“此用户未填写评价内容”。因此，需要将部分停用词和无意义的评价文本过滤，以节约存储空间，提升文本处理效率保证处理结果的准确性。准确抽取评价文本中的属性词和情感情是模块四所述的属性特征-情感词对提取的基础，所以数据预处理模块还包括对分词结果进行词性标注。为使模块六中的展示结果更加具体、全面，在数据预处理模块中还需要生成包括数据集大小、词频统计、评价文本词云图等描述性统计。

模块四：即商品属性特征与情感词对提取模块，模块四可根据爬取到的产品详情和用户评价信息确定商品的属性特征集。在部分商品评价文本中，消费者间接表达了评价者对某一属性的满意程度，这类评价缺乏明显的属性词，但包含着丰富的消费者情感信息，所以较之现有的仅对显示属性进行分析研究的情感分析***而言，本发明中对属性词的抽取还包括对商品隐式属性的提取。

模块四提取显式属性特征和隐式属性特征的具体步骤可如下：

1)显式属性特征提取。

由于模块三已经对消费者评价信息进行了词性标注和词频统计，因此在确定商品的显式属性特征时，可选取所标注的词频较高的名词加入显式属性特征，再加上在商品详情页面本来就已介绍的属性，便可形成最终的显式属性特征；

2)隐式属性的提取。

首先通过统计词频筛选出评论集中的所有名词和名词性短语作为候选词集，再通过点互信息(PMI)计算，识别出候选词集中与显式属性特征互信息值高的名词或名词性短语，并将其作为隐式属性特征。点互信息计算公式如公式(1)所示：

其中，PMI(F_i,ph)为显式属性特征F_i与名词或名词性短语ph的互信息值，ph为评论集中的名词或名词性短语,p(F_i,ph)为评论集中显式属性特征F_i和名词或名词性短语ph共同出现的概率，p(F_i)为评论集中显式属性特征F_i出现的概率，p(ph)为评论集中候选属性词出现的概率。每条评论中候选词出现一次或多次均记为一次。PMI值越高，则越有把握将候选词集归入属性集。

3)以上步骤1)和2)得到的显式属性特征和隐式属性特征即可共同形成商品的属性特征集。为了完善属性特征集，对于属性特征集，后续还可结合人工判定、同义词林等进行扩充。

考虑到评论对象的属性特征重要性差异，本发明引入属性权重影响因子，简称为属性权重。由于在线评论都为短文本，传统长文本的特征权重方法不再适用。本发明设计属性权重计算方法采用的依据为：如果属性词词频越大，且包含该属性词的评价条数越多，则该属性词重要程度越高。根据数据预处理的词频统计结果，将计算出的属性权重系数记为α_i，其中i(i∈{1,2,3,……,m})为属性特征编号。

非结构化的评价文本不具有分析打分的可行性，因此属性特征与情感词在匹配过程中，将产品数学特征标注为F(Feature)，情感词标注为O(Opinion，包含情感形容词，及修饰该形容词的否定词和程度副词)，模块四通过语义关系计算、分词和词性标注方法，从消费者评价数据中得到与属性特征匹配的情感词，最终得到属性特征-情感词对<Feature,Opinion>。

模块五：即算法处理模块，内含算法模型，用于将结构化的属性特征-情感词对输入到算法模型中进行计算分析，实现基于属性特征的情感分析算法并输出评论集情感量化值。文本情感值的计算规则是文本情感分析得分的核心要素，结合已存在的常规文本分析规则与商品评价信息的特征，本发明构建情感强烈得分值计算规则如下：

提取<Feature(i),Opinion(j)>中Opinion中作为情感词的形容词，对该形容词所包含的情感极性进行打分记为β_ij，即针对第i个属性特征的第j个情感词的情感极性基础得分，取值范围为[-1,1]，其中，正负分别对应积极与消极情感，情感越强烈则绝对值越大。

同时，该情感词基础得分乘以修饰情感的程度副词相应的情感强烈程度权重；若该情感词前存在否定词，统计全部否定词出现的次数，若为奇数则在该情感词的情感极性基础得分前乘以-1。可将情感值的计算规则最终构建为：

设单个商品的属性特征集中包含了商品的m个属性特征，每个属性特征中出现了与组合情感词典相匹配的n个情感词，本发明的组合情感词典如图3所示，每个情感词前出现的程度副词强烈级别为

φ_Degree表示相应程度副词强烈级别所对应的系数值，f为该情感词前含否定词的个数，μ表示该情感词的否定词得分值，class1-class4分别为划分的四种程度副词强烈级别，如“非常”、“很”、“太”、“有些”这类副词，每个副词都会对应相应的副词强烈程度等级。

根据上述构建情感词的计算规则，本发明将单组<Feature(i),Opinion(j)>的情感极性基础得分Sen_score_ij定义为公式(2):

其中

将单个属性特征的全部情感词情感极性基础得分相加，并除以评价数据集中有关属性特征F_i情感词出现的总次数n(F_i)，得到单个属性特征的情感值算法如公式(5)：

单个商品的最终情感值不仅需要考虑该商品单个属性的情感值，还要考虑不同属性在重要程度上所存在的差异，所以计算单个商品的最终情感值时，应将单个属性的情感值乘以该属性的权重系数，再进行加总，如公式(6)所示：

模块六：即结果展示模块，用于向用户展示当前生成的计算分析结果(例如商品各属性评分、商品各属性评分雷达图或基于属性权重的商品总评分)以及***运行状况。现有的情感分析***的分析结果往往缺乏统一量化的标准，并且需要用户自行对分析结果进行进一步的处理，以获得可以进行对比的数据结果和统计图表。本发明将这一过程整合入***，简化用户的操作过程。

综合以上各模块的功能说明，本发明的具体工作流程可如图2所示。

实施例

下面将结合附图更详细地描述本发明的示例性实施例。

实施例提供的基于属性特征的商品评价情感分析***，结合如图1所示的***结构以及图2所示的工作流程，实施例的工作原理如下:

1.用户交互与评价数据获取

用户登入***后，输入单个目标商品在其所在平台上所对应的网址(本实例中以京东商城中某款手机产品为例)，***获得该网址并传递给后台模块。***后台利用爬虫技术爬取不同的购物平台上的消费者评价数据，并将数据存入Mongodb数据库。其中，所述平台包括购物类平台和点评预订类平台，具体包括淘宝、天猫、京东、美团和大众点评等。

2.数据预处理

数据预处理模块，需要按序进行如下步骤：无意义文本过滤、分词、去除停用词、词性标注、词频统计和评价文本词云图生成。

3.提取商品属性特征与情感词对

根据爬取到的产品详情和用户评价信息确定属性类集。以手机商品为例，爬取到的用户评价信息汇总结果中包括如下属性:内存、外观、价格、屏幕、运行速度，商品详情包含:内存、续航、屏幕等商品概述,可将该商品属性集确定为包含以下6个显式属性特征性的属性集:{内存、外观、价格、续航、屏幕、运行速度}。

对属性词的抽取还包括对商品隐式属性的提取。举例，如某一手机商品的评价为“游戏不卡顿，背壳颜色好看，但前置摄像头的位置太丑了”，该评价前一个分句实则是消费者对手机产品“运行速度”这一属性的描述，后两个分句皆隐含了消费者对于手机外观的评价，其隐式属性为属性集的中的第2个属性特征“外观”，记为F₂。

通过模块三的词频统计，筛选出评论集中的所有名词和名词性短语作为候选词集，如{游戏，背壳，前置摄像头，……}，计算PMI值：

根据PMI值高低，判断是否将候选词集作为隐式属性特征来归入属性特征集，最终由评价数据中所包含的显式属性特征和隐式属性特征共同组成该商品的属性特征集。

实施例以属性词词频为依据确定属性权重，根据数据预处理的词频统计结果，将计算出的属性权重系数记为α_i(i∈{1,2,3,……,6})：

最后，结合语义关系计算、分词和词性标注，从消费者评价数据中得到与属性特征匹配的情感词，从而提取评价数据中的属性特征-情感词对<Feature(i),Opinion(j)>，存入数据库。

4.评价文本情感分析算法

以上述手机产品评价“背壳颜色好看，但前置摄像头的位置太丑了”为例，通过对隐式属性的提取，可以得到3组属性特征-情感词对，即<运行速度,不卡顿>、<外观,好看>、<外观,太丑了>。对每组属性特征-情感词对中的情感词逐个进行打分记为Sen_score_ij。

第一组属性特征-情感词对中包含属性特征集中的第6个属性特征“运行速度”，对情感词中的形容词“卡顿”的情感极性进行打分记为β₆₁，该情感词中不包含修饰形容词情感的程度副词，但包含一个否定词，否定词的个数f为奇数，对应该情感词的否定词得分值μ为-1。最终该组属性特征-情感词对的基础得分的计算方式为Sen_score₆₁＝(-1)×β₆₁。第二组属性特征-情感词对中包含属性集中的第2个属性“外观”，对情感词中的形容词“好看”的情感极性进行打分记为β₂₁，该情感词中不包含修饰形容词情感的程度副词和否定词，情感词中的形容词情感极性得分β₂₁即为该组属性特征-情感词对的基础得分Sen_score₂₁。第三组属性特征-情感词对中包含属性集中的第2个属性“外观”，对情感词中的形容词“好看”的情感极性进行打分记为β₂₂，该情感词中不包含否定词但包含修饰形容词的程度副词“太”，对应程度级别的系数φ_Degree，则该组属性特征-情感词对的基础得分计算方式为Sen_score₂₁＝φ_Degree×β₂₂。

以“外观”属性，即F₂为例，将该属性的全部情感词情感极性基础得分相加，除以评价数据集中有关属性F₂情感词出现的总次数n(F₂)，得到“外观”属性的情感值Sen_score(F₂)。

得到全部属性的情感值后，将单个属性的情感值Sen_score(F_i)乘以该属性对应的的权重系数α_i，再进行加总，得到该手机产品基于属性权重的商品总评分。

5.分析结果展示

所展示的分析结果包括模块三所生成的包括数据集大小、词频统计、评价文本词云图等描述性统计和模块五计算得到的商品各属性评分、商品各属性评分雷达图、基于属性权重的商品总评分以及***的运行状况。

Claims (7)

1.基于属性特征的商品评价情感分析***，其特征在于，包括如下模块：

用户交互模块：用于认证用户身份，接收用户输入的目标商品的网址；

评价语句获取模块：利用爬虫技术从目标商品的网址抓取商品详情和消费者评价数据；

数据预处理模块：用于对评价语句获取模块抓取的数据进行预处理；

提取模块：用于从预处理后的数据中提取商品的属性特征和属性权重，并通过语义关系计算、分词和词性标注方法，从消费者评价数据中得到与属性特征匹配的情感词，从而得到属性特征-情感词对；

算法处理模块：用于将提取的属性特征-情感词对输入到算法模型中进行计算分析，实现基于属性特征的情感分析算法并输出商品评价情感量化值；

结果展示模块：用于展示分析结果。

2.如权利要求1所述的基于属性特征的商品评价情感分析***，其特征在于，数据预处理模块的预处理操作包括：分词、过滤、词性标注和词频统计。

3.如权利要求2所述的基于属性特征的商品评价情感分析***，其特征在于，提取模块提取商品的属性特征包括显式属性特征和隐式属性特征，提取属性特征的具体步骤包括：

根据商品详情和消费者评价信息确定商品的显式属性特征；

通过统计词频筛选出评论集中的所有名词和名词性短语作为候选词集；

通过点互信息计算，识别出候选词集中与显式属性特征互信息值高的名词或名词性短语，并将其作为隐式属性特征。

4.如权利要求3所述的基于属性特征的商品评价情感分析***，其特征在于，点互信息计算的公式如下：

其中，PMI(F_i,ph)为显式属性特征F_i与名词或名词性短语ph的互信息值，ph为评论集中的名词或名词性短语,p(F_i,ph)为评论集中显式属性特征F_i和名词或名词性短语ph共同出现的概率，p(F_i)为评论集中显式属性特征F_i出现的概率，p(ph)为评论集中候选属性词出现的概率。

5.如权利要求2所述的基于属性特征的商品评价情感分析***，其特征在于，提取模块根据词频统计结果，得到商品的属性权重。

6.如权利要求1所述的基于属性特征的商品评价情感分析***，其特征在于，算法处理模块实现基于属性特征的情感分析算法的方式如下：

将单组属性特征-情感词对<Feature(i),Opinion(j)>的情感极性基础得分Sen_score_ij定义为:

则某一商品单个属性特征的情感得分算法如下：

单个商品的情感得分如公式如下：

其中，m表示单个商品所包含的属性特征的个数，n为该属性特征中出现的情感词个数，

为每个情感词前出现的程度副词强烈级别，φ_Degree表示相应程度副词强烈级别所对应的系数值，f为该情感词前含否定词的个数，μ表示该情感词的否定词得分值，class1-class4分别为划分的四种程度副词强烈级别，α_i为属性特征的权重系数，i为属性特征编号，i∈{1,2,3,……,m}，β_ij为第i个属性特征的第j个情感词的情感极性基础得分，β_ij取值范围为[-1,1]，其中，正负分别对应积极与消极情感。

7.如权利要求1所述的基于属性特征的商品评价情感分析***，其特征在于，结果展示模块展示的分析结果包括：商品各属性评分、商品各属性评分雷达图、基于属性权重的商品总评分以及***的运行状况。

Images