CN103970864B - 基于微博文本的情绪分类和情绪成分分析方法及*** - Google Patents
基于微博文本的情绪分类和情绪成分分析方法及*** Download PDFInfo
- Publication number
- CN103970864B CN103970864B CN201410193638.1A CN201410193638A CN103970864B CN 103970864 B CN103970864 B CN 103970864B CN 201410193638 A CN201410193638 A CN 201410193638A CN 103970864 B CN103970864 B CN 103970864B
- Authority
- CN
- China
- Prior art keywords
- mrow
- mood
- msub
- classification
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000036651 mood Effects 0.000 title claims abstract description 271
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000004458 analytical method Methods 0.000 claims abstract description 41
- 239000000203 mixture Substances 0.000 claims abstract description 18
- 238000000921 elemental analysis Methods 0.000 claims abstract description 8
- 238000000605 extraction Methods 0.000 claims description 11
- 238000012549 training Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 11
- 239000000284 extract Substances 0.000 description 10
- 239000000470 constituent Substances 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 241000590419 Polygonia interrogationis Species 0.000 description 6
- 238000001514 detection method Methods 0.000 description 6
- 230000008451 emotion Effects 0.000 description 6
- 235000019580 granularity Nutrition 0.000 description 6
- 230000002996 emotional effect Effects 0.000 description 5
- 244000097202 Rathbunia alamosensis Species 0.000 description 4
- 235000009776 Rathbunia alamosensis Nutrition 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 238000005192 partition Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000000546 chi-square test Methods 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000009412 basement excavation Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 230000008140 language development Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 210000003733 optic disk Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于微博文本的情绪分类和情绪成分分析方法，包括以下步骤：从互联网上获取多条用户发布的微博文本；对多条微博文本进行分词，以根据每个词的词性得到多个词；从多个词中提取多个特征词；根据多个特征词训练情绪分类体系中每个节点的分类器，以构建情绪分类体系，并通过情绪分类体系实现情绪分类；根据分类结果对微博文本情绪成分进行分析。本发明实施例的方法，通过提取多个特征词构建情绪分类体系，实现情绪分类，并根据分类结果对微博文本情绪成分进行分析，不但节省了时间，提高了分类速度和分类效果，还能快速分析情绪成分，更好地满足用户的使用需求。本发明还公开了一种基于微博文本的情绪分类和情绪成分分析***。
Description
技术领域
本发明涉及计算机应用与互联网技术领域，特别涉及一种基于微博文本的情绪分类和情绪成分分析方法及***。
背景技术
随着网络与Web2.0的不断发展，微博已经成为了人们日常生活中不可或缺的获得信息和发布信息的重要渠道。在微博上，用户可以记录自己的生活，也可以对当下热点发表自己的看法，表达自己的意见，而这一类微博往往含有发布者的情绪。因此，通过对用户发布的微博文本进行分析，从而推断出用户的情绪，以实现从微博上挖掘单个用户和所有用户对于某些热点事件的情绪状况，以为今后的决策提供数据支持。然而，以新浪微博为例，新浪微博共有约5亿注册用户，每天有超过2亿条新微博被发布，如果这些微博全由人工处理，则非常得费时费力，浪费时间资源，不能很好地满足用户的使用需求。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的一个目的在于提出一种不但能节省时间，提高分类速度和分类效果，还能快速分析情绪成分的基于微博文本的情绪分类和情绪成分分析方法。
本发明的另一个目的在于提出一种基于微博文本的情绪分类和情绪成分分析***。
为达到上述目的，本发明一方面实施例提出了一种基于微博文本的情绪分类和情绪成分分析方法，包括以下步骤：从互联网上获取多条用户发布的微博文本；对所述多条微博文本进行分词，以根据每个词的词性得到多个词；从所述多个词中提取多个特征词；根据所述多个特征词训练情绪分类体系中每个节点的分类器，以构建所述情绪分类体系，并通过所述情绪分类体系实现情绪分类；以及根据分类结果对微博文本情绪成分进行分析。
根据本发明实施例的基于微博文本的情绪分类和情绪成分分析方法，通过对微博文本进行分词得到多个词，并从多个词中提取多个特征词，以根据多个特征词训练情绪分类体系中每个节点的分类器，完成构建情绪分类体系，且通过情绪分类体系实现情绪分类，并根据分类结果快速对微博文本情绪成分进行分析，检测文本中最主要的情绪，不但节省时间，提高了分类速度，还提升了分类效果，更好地满足用户的使用需求。
另外，根据本发明上述实施例的基于微博文本的情绪分类和情绪成分分析方法还可以具有如下附加的技术特征：
在本发明的一个实施例中，从所述多个词中提取所述多个特征词，具体包括：判断每个词是否为高频词；如果判断词为所述高频词，则计算所述词的相关度；以及如果判断所述词为低频词，则计算所述词的PMI值。
进一步地，在本发明的一个实施例中，根据以下公式计算所述词的相关度：
其中，t为计算的词，c为类别，N为文档数，A表示文档属于类别c不包含词t，B表示所述文档不属于所述类别c包含所述词t，C表示所述文档属于所述类别c不包含所述词t，D表示所述文档不属于所述类别c不包含所述词t。
进一步地，在本发明的一个实施例中，根据以下公式计算所述词的PMI(PointwiseMutual Information，点互式信息)值：
其中，p(t，c)表示所述文档包含所述词t且属于所述类别c的概率，p(t)表示所述文档包含所述词t的概率，p(c)表示所述文档属于所述类别c的概率。
进一步地，在本发明的一个实施例中，该基于微博文本的情绪分类和情绪成分分析方法还包括：如果所述词的相关度大于第一预设阈值，则作为特征词进行提取；如果所述词的PMI值大于第二预设阈值，则作为所述特征词进行提取。
进一步地，在本发明的一个实施例中，根据所述分类结果对所述微博文本情绪成分进行分析，进一步包括：获取所述微博文本在所述情绪度分类体系中每种情绪的回归值；根据所述每种情绪的回归值计算所述每种情绪的得分，以选取预设数值的情绪，并计算所述预设数值的情绪的比例。
进一步地，在本发明的一个实施例中，根据以下公式计算所述每种情绪的得分：
其中，Si表示第i种情绪的得分，Vi,3表示所述第i种情绪的第三层回归值，Vi,4表示所述第i种情绪的第四层回归值；根据以下公式计算所述预设数值的情绪的比例：
其中，Pi表示所述第i种情绪的比例，K表示共有K种情绪。
本发明另一方面实施例提出了一种基于微博文本的情绪分类和情绪成分分析***，包括：获取模块，用于从互联网上获取多条用户发布的微博文本；分词模块，用于对所述多条微博文本进行分词，以根据每个词的词性得到多个词；提取模块，用于从所述多个词中提取多个特征词；创建模块，用于根据所述多个特征词训练情绪分类体系中每个节点的分类器，以构建所述情绪分类体系进行情绪分类，并通过所述情绪分类体系实现情绪分类；以及分析模块，用于根据分类结果对微博文本情绪成分进行分析。
根据本发明实施例的基于微博文本的情绪分类和情绪成分分析***，通过对微博文本进行分词得到多个词，并从多个词中提取多个特征词，以根据多个特征词训练情绪分类体系中每个节点的分类器，完成构建情绪分类体系，且通过情绪分类体系实现情绪分类，并根据分类结果快速对微博文本情绪成分进行分析，检测文本中最主要的情绪，不但节省时间，提高了分类速度，还提升了分类效果，更好地满足用户的使用需求。
另外，根据本发明上述实施例的基于微博文本的情绪分类和情绪成分分析***还可以具有如下附加的技术特征：
在本发明的一个实施例中，所述提取模块还用于：判断每个词是否为高频词；如果判断词为所述高频词，则计算所述词的相关度；以及如果判断所述词为低频词，则计算所述词的PMI值。
进一步地，在本发明的一个实施例中，根据以下公式计算所述词的相关度：
其中，t为计算的词，c为类别，N为文档数，A表示文档属于类别c不包含词t，B表示所述文档不属于所述类别c包含所述词t，C表示所述文档属于所述类别c不包含所述词t，D表示所述文档不属于所述类别c不包含所述词t。
进一步地，在本发明的一个实施例中，根据以下公式计算所述词的PMI值：
其中，p(t，c)表示所述文档包含所述词t且属于所述类别c的概率，p(t)表示所述文档包含所述词t的概率，p(c)表示所述文档属于所述类别c的概率。
进一步地，在本发明的一个实施例中，所述提取模块还用于：如果所述词的相关度大于第一预设阈值，则作为特征词进行提取；如果所述词的PMI值大于第二预设阈值，则作为所述特征词进行提取。
进一步地，在本发明的一个实施例中，所述分析模块还用于：获取所述微博文本在所述情绪度分类体系中每种情绪的回归值；根据所述每种情绪的回归值计算所述每种情绪的得分，以选取预设数值的情绪，并计算所述预设数值的情绪的比例。
进一步地，在本发明的一个实施例中，根据以下公式计算所述每种情绪的得分：
其中，Si表示第i种情绪的得分，Vi,3表示所述第i种情绪的第三层回归值，Vi,4表示所述第i种情绪的第四层回归值；根据以下公式计算所述预设数值的情绪的比例：
其中，Pi表示所述第i种情绪的比例，K表示共有K种情绪。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的基于微博文本的情绪分类和情绪成分分析方法的流程图；
图2为根据本发明一个具体实施例的基于微博文本的情绪分类和情绪成分分析方法的流程图；
图3为根据本发明一个实施例的四层细粒度情绪分类体系；
图4为根据本发明一个实施例的基于微博文本的情绪分类和情绪成分分析***的结构示意图；以及
图5为根据本发明一个具体实施例的基于微博文本的情绪分类和情绪成分分析***的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本发明。此外，本发明可以在不同例子中重复参考数字和/或字母。这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施例和/或设置之间的关系。此外，本发明提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的可应用于性和/或其他材料的使用。另外，以下描述的第一特征在第二特征之“上”的结构可以包括第一和第二特征形成为直接接触的实施例，也可以包括另外的特征形成在第一和第二特征之间的实施例，这样第一和第二特征可能不是直接接触。
在本发明的描述中，需要说明的是，除非另有规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
下面参照附图描述根据本发明实施例提出的基于微博文本的情绪分类和情绪成分分析方法及***，首先将参照附图描述根据本发明实施例提出的基于微博文本的情绪分类和情绪成分分析方法。参照图1所示，该基于微博文本的情绪分类和情绪成分分析方法(以下简称分析方法)包括以下步骤：
S101，从互联网上获取多条用户发布的微博文本。
在本发明的一个实施例中，参照图2所示，本发明实施例主要从互联网上获取原创的微博文本，以便进行情绪分类和情绪成分分析。本发明实施例的数据主要基于微博的API(Application Programming Interface，应用程序编程接口)通过网络爬虫从微博上爬取，并保存到相应数据库。进一步的，抓取的数据一般为微博文本，如果要对某一事件的相关微博进行分析，可以使用相应的API抓取数据。
S102，对多条微博文本进行分词，以根据每个词的词性得到多个词。
在本发明的一个实施例中，本发明实施例优选为通过使用中科院ICTCLAS分词***对微博文本进行分词，分词后保留以下词性的词：名词(n)、字符串(x)、数词(m)、量词(q)、动词(v)、形容词(a)、状态词(z)、区别词(b)、副词(d)、未知词性(un)、疑问代词(ry)、问号(ww)、叹号(wt)、左括号(wkz)和右括号(wky)。
进一步的，在本发明的一个实施例中，为了更好地提取需要保留的词性的词，以得到多个词，从而构成特征空间，实现提取出特征词，本发明实施例还加入两条处理规则。第一条：连续重复标点规则。例如为了区别多个问号(叹号)与单个问号(叹号)，又为了统一特征，本发明将连续多个问号(叹号)统一用两个问号(叹号)来表示；第二条：否定词规则。例如当出现带否定的短语，如“不太高兴”时，分词***会将否定词分开为“不/d太/d高兴/a”，而这样不符合需求和实际语义。所以当否定词后三个词内出现形容词，就将这几个词一起作为一个词来处理，于是分词结果为“不太高兴/a”。
S103，从多个词中提取多个特征词。
在本发明的一个实施例中，从多个词中提取多个特征词，具体包括：判断每个词是否为高频词；如果判断词为高频词，则计算词的相关度；如果判断词为低频词，则计算词的PMI值。
具体地，在本发明的一个实施例中，本发明实施例提出的特征选择算法将要选择的目标特征词集合即多个特征词分为高频词集和低频词集两部分。其中，高频词可以指在采样文本中出现频率较高的，低频词可以指在采样文本中出现频率较低的，具体地可以根据实际情况决定预设频率，当词的频率高于预设频率时，判断词为高频词；当词的频率低于预设频率时，判断词为低频词。另外，需要说明的是，以下过程中涉及到的阈值都由迭代确定。
具体地，对于高频词集合，采用卡方测试与比值比(Odds Ratios)结合的方法。卡方测试算法如下：设要计算的词为t，类别为c，共有N个文档即N条微博文本，如表1所示，根据是否包含t和是否属于c将文档分为以下4类：
表1
| 属于类别c | 不属于类别c | |
| 包含词t | A | B |
| 不包含词t | C | D |
进一步地，在本发明的一个实施例中，根据以下公式计算词的相关度：
其中，t为计算的词，c为类别，N为文档数，A表示文档属于类别c不包含词t，B表示文档不属于类别c包含词t，C表示文档属于类别c不包含词t，D表示文档不属于类别c不包含词t。
进一步地，在本发明的一个实施例中，根据以下公式计算词的PMI值：
其中，p(t，c)表示文档包含词t且属于类别c的概率，p(t)表示文档包含词t的概率，p(c)表示文档属于类别c的概率。
进一步地，在本发明的一个实施例中，上述分析方法还包括：如果词的相关度大于第一预设阈值，则作为特征词进行提取；如果词的PMI值大于第二预设阈值，则作为特征词进行提取。
具体地，在本发明的一个实施例中，对于高频词集合，在挑选高频词时，由高到低遍历每一个词，如果其比值比即相关度大于设定的阈值，就将该词选中，直至没有词可选或词数达到阈值。对于低频词集合，在挑选低频词时，本发明实施例采用PMI来挑选。其中，对于每一个词，如果其正PMI或负PMI高于设定的阈值，就将该词选中。最后融合高频词集合和低频词集合，作为最终保留的特征词集合。
S104，根据多个特征词训练情绪分类体系中每个节点的分类器，以构建情绪度分类体系，并通过情绪分类体系实现情绪分类。
进一步地，在本发明的一个实施例中，SVM(Support Vector Machine，支持向量机)是一种机器学习算法，用来处理线性可分的数据。当数据线性不可分时，SVM会将数据映射到高维空间中使其线性可分。同时，为了避免高维空间中的运算复杂性，SVM会使用核函数(Kernel Function)来计算结果。本发明实施例使用的分类器是SVR(SupporVectorRegression，支持向量回归)，SVR是SVM的一个分支。具体地，与SVM直接给出分类结果不同，SVR给出的是每一个样例的回归值，这样可以更灵活地调节分类阈值。对于涉及到多分类的情况，SVR首先计算出每一个类的回归值，然后计算回归值与阈值之间的差值，选差值最大的作为最终的类别。换言之，本发明实施例根据多个特征词训练情绪分类体系中每个节点的SVR，以构建四层细粒度情绪分类体系。需要说明的是，在实际应用中，还可根据数据特点灵活调整每一层的特征选择算法，即可选用与本发明不同的算法来构建情绪分类体系。本发明实施例的分析方法不但能提升情绪分类效果，还能提高情绪分类速度。
优选地，在本发明的一个实施例中，参照图3所示，情绪分类体系优选为四层的细粒度的情绪分类体系。具体地，以往的情绪分类算法一般使用3层，共7种情绪的分类体系，本发明实施例采用的情绪分类体系再原来基础上增加一层，共有19种细粒度的基本情绪，能更细致地刻画情绪。
在本发明的实施例中，本发明实施例根据多个特征词训练分类器。其中，多个特征词被分为训练集和测试集。分类器在训练集上训练，在测试集上检验效果。其中，效果评价指标采用准确率(Precision)、召回率(Recall)和F1值(F1-Score)来评价。在本发明一个具体实施例中，分类结果如表1所示，所用数据都是从新浪微博抓取的原创微博文本，共9960条。根据表2所示，本发明实施例提高了情绪分类的精准度和覆盖率，更好地对微博文本进行情绪分类。
表2
| 情绪 | 准确率 | 召回率 | F1值 |
| 悲伤 | 0.398 | 0.412 | 0.415 |
| 内疚 | 0.333 | 0.130 | 0.188 |
| 失望 | 0.327 | 0.358 | 0.341 |
| 思念 | 0.446 | 0.465 | 0.455 |
| 惊奇 | 0.417 | 0.312 | 0.357 |
| 慌 | 0.529 | 0.429 | 0.474 |
| 恐惧 | 0.500 | 0.583 | 0.538 |
| 羞 | 0.267 | 0.267 | 0.267 |
| 愤怒 | 0.750 | 0.493 | 0.595 |
| 贬责 | 0.284 | 0.338 | 0.309 |
| 烦闷 | 0.300 | 0.401 | 0.344 |
| 怀疑 | 0.188 | 0.115 | 0.143 |
| 憎恶 | 0.514 | 0.463 | 0.487 |
| 喜爱 | 0.273 | 0.185 | 0.220 |
| 相信 | 0.467 | 0.389 | 0.424 |
| 赞扬 | 0.111 | 0.070 | 0.086 |
| 祝愿 | 0.606 | 0.680 | 0.641 |
| 安心 | 0.294 | 0.294 | 0.294 |
| 快乐 | 0.578 | 0.585 | 0.581 |
S105，根据分类结果对微博文本情绪成分进行分析。
进一步地，在本发明的一个实施例中，根据分类结果对微博文本情绪成分进行分析，进一步包括：获取微博文本在情绪度分类体系中每种情绪的回归值；根据每种情绪的回归值计算每种情绪的得分，以选取预设数值的情绪，并计算所述预设数值的情绪的比例。
进一步地，在本发明的一个实施例中，根据以下公式计算每种情绪的得分：其中，Si表示第i种情绪的得分，Vi,3表示第i种情绪的第三层回归值，Vi，4表示第i种情绪的第四层回归值。根据以下公式计算预设数值的情绪的比例：其中，Pi表示第i种情绪的比例，K表示共有K种情绪。
具体地，情绪成分分析依赖于情绪分类结果，检测当前文本中最主要的情绪。其中，主要是基于当前文本在情绪分类体系的第三层和第四层上的回归值来计算得分，选出得分最高的预设数值例如4种情绪。例如对于第i种基本情绪，其得分为：其中Vi,3和Vi,4分别是第三层和第四层情绪i的回归值。进一步地，通过Si选出得分最高的4种情绪，并计算每种情绪的比例，完成对微博文本情绪成分的分析。其中，比例计算方法为：本发明实施例由计算机自动地对微博中的情绪进行识别，并检测出最主要的4种情绪，并计算比例，且将结果动态展示。
本发明实施例的分析方法具有如下几个主要特点：1)节省时间。当前的微博文本不需要人工分析，就可以快速地得到微博文本的情绪类别和主要情绪。2)适用范围广。该方法可以由厂商或主管部门使用，分析用户整体的情绪趋势，也可以由单个用户自己使用，分析自己和他人的情绪状况。3)情绪粒度细。以往的情绪分类算法一般使用3层，共7种情绪的分类体系，本发明实施例采用的情绪分类体系再原来基础上增加一层，共有19种细粒度的基本情绪，能更细致地刻画情绪。
根据本发明实施例的基于微博文本的情绪分类和情绪成分分析方法，通过对微博文本进行分词得到多个词，并从多个词中提取多个特征词，以根据多个特征词训练情绪分类体系中每个节点的分类器，完成构建情绪分类体系，且通过情绪分类体系实现情绪分类，并根据分类结果快速对微博文本情绪成分进行分析，检测文本中最主要的情绪，不但节省时间，提高了分类速度，还提升了分类效果，更好地满足用户的使用需求。
图4为根据本发明实施例的基于微博文本的情绪分类和情绪成分分析***的结构示意图。参照图4所示，根据本发明实施例的基于微博文本的情绪分类和情绪成分分析***(以下简称分析***100)包括：获取模块10、分词模块20、提取模块30、创建模块40和分析模块50。
其中，获取模块10用于从互联网上获取多条用户发布的微博文本。分词模块20用于对多条微博文本进行分词，以根据每个词的词性得到多个词。提取模块30用于从多个词中提取多个特征词。创建模块40用于根据多个特征词训练情绪分类体系中每个节点的分类器，以构建情绪分类体系进行情绪分类，并通过情绪分类体系实现情绪分类。分析模块50用于根据分类结果对微博文本情绪成分进行分析。
在本发明的一个实施例中，参照图2所示，本发明实施例主要从互联网上获取原创的微博文本，以便进行情绪分类和情绪成分分析。本发明实施例的数据主要基于微博的API通过网络爬虫从微博上爬取，并保存到数据库80。进一步的，抓取的数据一般为微博文本，如果要对某一事件的相关微博进行分析，可以使用相应的API抓取数据。
优选地，在本发明的一个实施例中，本发明实施例优选为通过使用中科院ICTCLAS分词***对微博文本进行分词，分词后保留以下词性的词：名词(n)、字符串(x)、数词(m)、量词(q)、动词(v)、形容词(a)、状态词(z)、区别词(b)、副词(d)、未知词性(un)、疑问代词(ry)、问号(ww)、叹号(wt)、左括号(wkz)和右括号(wky)。
进一步的，在本发明的一个实施例中，为了更好地提取需要保留的词性的词，以得到多个词，从而构成特征空间，实现提取出特征词，本发明实施例还加入两条处理规则。第一条：连续重复标点规则。例如为了区别多个问号(叹号)与单个问号(叹号)，又为了统一特征，本发明将连续多个问号(叹号)统一用两个问号(叹号)来表示；第二条：否定词规则。例如当出现带否定的短语，如“不太高兴”时，分词***会将否定词分开为“不/d太/d高兴/a”，而这样不符合需求和实际语义。所以当否定词后三个词内出现形容词，就将这几个词一起作为一个词来处理，于是分词结果为“不太高兴/a”。
进一步地，在本发明的一个实施例中，提取模块30还用于判断每个词是否为高频词；如果判断词为高频词，则计算词的相关度；如果判断词为低频词，则计算词的PMI值。
具体地，在本发明的一个实施例中，本发明实施例提出的特征选择算法将要选择的目标特征词集合即多个特征词分为高频词集和低频词集两部分。其中，高频词可以指在采样文本中出现频率较高的，低频词可以指在采样文本中出现频率较低的，具体地可以根据实际情况决定预设频率，当词的频率高于预设频率时，判断词为高频词；当词的频率低于预设频率时，判断词为低频词。另外，需要说明的是，以下过程中涉及到的阈值都由迭代确定。
具体地，对于高频词集合，采用卡方测试与比值比(Odds Ratios)结合的方法。卡方测试算法如下：设要计算的词为t，类别为c，共有N个文档即N条微博文本，如表1所示，根据是否包含t和是否属于c将文档分为4类。
进一步地，在本发明的一个实施例中，根据以下公式计算词的相关度：
其中，t为计算的词，c为类别，N为文档数，A表示文档属于类别c不包含词t，B表示文档不属于类别c包含词t，C表示文档属于类别c不包含词t，D表示文档不属于类别c不包含词t。
进一步地，在本发明的一个实施例中，根据以下公式计算词的PMI值：
其中，p(t，c)表示文档包含词t且属于类别c的概率，p(t)表示文档包含词t的概率，p(c)表示文档属于类别c的概率。
进一步地，在本发明的一个实施例中，提取模块30还用于如果词的相关度大于第一预设阈值，则作为特征词进行提取；如果词的PMI值大于第二预设阈值，则作为特征词进行提取。
具体地，在本发明的一个实施例中，对于高频词集合，在挑选高频词时，由高到低遍历每一个词，如果其比值比即相关度大于设定的阈值，就将该词选中，直至没有词可选或词数达到阈值。对于低频词集合，在挑选低频词时，本发明实施例采用PMI来挑选。其中，对于每一个词，如果其正PMI或负PMI高于设定的阈值，就将该词选中。最后融合高频词集合和低频词集合，作为最终保留的特征词集合。
进一步地，在本发明的一个实施例中，SVM是一种机器学习算法，用来处理线性可分的数据。当数据线性不可分时，SVM会将数据映射到高维空间中使其线性可分。同时，为了避免高维空间中的运算复杂性，SVM会使用核函数(Kernel Function)来计算结果。本发明实施例使用的分类器是SVR，SVR是SVM的一个分支。具体地，与SVM直接给出分类结果不同，SVR给出的是每一个样例的回归值，这样可以更灵活地调节分类阈值。对于涉及到多分类的情况，SVR首先计算出每一个类的回归值，然后计算回归值与阈值之间的差值，选差值最大的作为最终的类别。换言之，本发明实施例根据多个特征词训练情绪分类体系中每个节点的SVR，以构建四层细粒度情绪分类体系。需要说明的是，在实际应用中，还可根据数据特点灵活调整每一层的特征选择算法，即可选用与本发明不同的算法来构建情绪分类体系。本发明实施例的分析方法不但能提升情绪分类效果，还能提高情绪分类速度。
优选地，在本发明的一个实施例中，参照图3所示，情绪分类体系优选为四层的细粒度的情绪分类体系。具体地，以往的情绪分类算法一般使用3层，共7种情绪的分类体系，本发明实施例采用的情绪分类体系再原来基础上增加一层，共有19种细粒度的基本情绪，能更细致地刻画情绪。
在本发明的实施例中，本发明实施例根据多个特征词训练分类器。其中，多个特征词被分为训练集和测试集。分类器在训练集上训练，在测试集上检验效果。其中，效果评价指标采用准确率(Precision)、召回率(Recall)和F1值(F1-Score)来评价。在本发明一个具体实施例中，分类结果如表1所示，所用数据都是从新浪微博抓取的原创微博文本，共9960条。根据表2所示，本发明实施例提高了情绪分类的精准度和覆盖率，更好地对微博文本进行情绪分类。
进一步地，在本发明的一个实施例中，分析模块50还用于获取微博文本在情绪度分类体系中每种情绪的回归值；根据每种情绪的回归值计算每种情绪的得分，以选取预设数值的情绪，并计算所述预设数值的情绪的比例。
进一步地，在本发明的一个实施例中，根据以下公式计算每种情绪的得分：其中，Si表示第i种情绪的得分，Vi,3表示第i种情绪的第三层回归值，Vi,4表示第i种情绪的第四层回归值。根据以下公式计算预设数值的情绪的比例：其中，Pi表示第i种情绪的比例，K表示共有K种情绪。
具体地，情绪成分分析依赖于情绪分类结果，检测当前文本中最主要的情绪。其中，主要是基于当前文本在情绪分类体系的第三层和第四层上的回归值来计算得分，选出得分最高的预设数值例如4种情绪。例如对于第i种基本情绪，其得分为：其中Vi,3和Vi,4分别是第三层和第四层情绪i的回归值。进一步地，通过Si选出得分最高的4种情绪，并计算每种情绪的比例，完成对微博文本情绪成分的分析。其中，比例计算方法为：本发明实施例由计算机自动地对微博中的情绪进行识别，并检测出最主要的4种情绪，并计算比例，且将结果动态展示。
进一步地，在本发明的一个实施例中，参照图5所示，上述的分析***100还可以包括：用户界面模块60和数据库接口模块70.
其中，用户界面模块60用于给分析***100的使用者即用户提供一个图形化的友好的用户操作界面，以方便用户浏览自己和他人的情绪状况。数据库接口模块70用于提供了整个***的数据库80读写接口，方便其它各个不同的功能模块进行数据的I/O操作。
进一步地，在本发明的一个实施例中，该分析***100的获取模块10、分词模块20、提取模块30、创建模块40、分析模块50、用户界面模块60和数据库接口模块70均在Windows下用java、Python和JSP语言开发实现。进一步地，基于上述开发平台，该分析***100的部署运行需要如下几个层次运行环境的支撑。首先在操作***层，分析***100需要在Windows XP或其兼容的操作***平台之上运行，同时还需要程序运行支撑环境，也就是Java和Python运行支撑环境。当具备了上述支撑环境时，该分析***100才能可正常运行。而用户只需要通过网页浏览器访问***就能浏览自己和他人的情绪状况。
本发明实施例的分析***100具有如下几个主要特点：1)节省时间。当前的微博文本不需要人工分析，就可以快速地得到微博文本的情绪类别和主要情绪。2)适用范围广。该***可以由厂商或主管部门使用，分析用户整体的情绪趋势，也可以由单个用户自己使用，分析自己和他人的情绪状况。3)情绪粒度细。以往的情绪分类算法一般使用3层，共7种情绪的分类体系，本发明实施例采用的情绪分类体系再原来基础上增加一层，共有19种细粒度的基本情绪，能更细致地刻画情绪。
根据本发明实施例的基于微博文本的情绪分类和情绪成分分析***，通过对微博文本进行分词得到多个词，并从多个词中提取多个特征词，以根据多个特征词训练情绪分类体系中每个节点的分类器，完成构建情绪分类体系，且通过情绪分类体系实现情绪分类，并根据分类结果快速对微博文本情绪成分进行分析，检测文本中最主要的情绪，不但节省时间，提高了分类速度，还提升了分类效果，更好地满足用户的使用需求。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。另外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同限定。
Claims (10)
1.一种基于微博文本的情绪分类和情绪成分分析方法，其特征在于，包括以下步骤：
从互联网上获取多条用户发布的微博文本；
对所述多条微博文本进行分词，以根据每个词的词性得到多个词；
从所述多个词中提取多个特征词；
根据所述多个特征词训练情绪分类体系中每个节点的分类器，以构建所述情绪分类体系，并通过所述情绪分类体系实现情绪分类；以及
根据分类结果对微博文本情绪成分进行分析，其中，根据所述分类结果对所述微博文本情绪成分进行分析，进一步包括：获取所述微博文本在所述情绪度分类体系中每种情绪的回归值；根据所述每种情绪的回归值计算所述每种情绪的得分，以选取预设数值的情绪，并计算所述预设数值的情绪的比例，并且根据以下公式计算所述每种情绪的得分：
<mrow>
<msub>
<mi>S</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msup>
<mi>e</mi>
<mrow>
<msub>
<mi>V</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mn>3</mn>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>V</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mn>4</mn>
</mrow>
</msub>
</mrow>
</msup>
</mrow>
其中，Si表示第i种情绪的得分，Vi,3表示所述第i种情绪的第三层回归值，Vi,4表示所述第i种情绪的第四层回归值；
根据以下公式计算所述预设数值的情绪的比例：
<mrow>
<msub>
<mi>P</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mfrac>
<msup>
<mi>e</mi>
<mrow>
<msub>
<mi>V</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mn>3</mn>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>V</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mn>4</mn>
</mrow>
</msub>
</mrow>
</msup>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>4</mn>
</msubsup>
<msup>
<mi>e</mi>
<mrow>
<msub>
<mi>V</mi>
<mrow>
<mi>k</mi>
<mo>,</mo>
<mn>3</mn>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>V</mi>
<mrow>
<mi>k</mi>
<mo>,</mo>
<mn>4</mn>
</mrow>
</msub>
</mrow>
</msup>
</mrow>
</mfrac>
</mrow>
其中，Pi表示所述第i种情绪的比例，K表示共有K种情绪。
2.根据权利要求1所述的方法，其特征在于，从所述多个词中提取所述多个特征词，具体包括：
判断每个词是否为高频词；
如果判断词为所述高频词，则计算所述词的相关度；以及
如果判断所述词为低频词，则计算所述词的PMI值。
3.根据权利要求2所述的方法，其特征在于，根据以下公式计算所述词的相关度：
<mrow>
<msup>
<mi>&chi;</mi>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>,</mo>
<mi>c</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>N</mi>
<msup>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mi>D</mi>
<mo>-</mo>
<mi>B</mi>
<mi>C</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>+</mo>
<mi>C</mi>
<mo>)</mo>
<mo>(</mo>
<mi>A</mi>
<mo>+</mo>
<mi>B</mi>
<mo>)</mo>
<mo>(</mo>
<mi>B</mi>
<mo>+</mo>
<mi>D</mi>
<mo>)</mo>
<mo>(</mo>
<mi>C</mi>
<mo>+</mo>
<mi>D</mi>
<mo>)</mo>
</mrow>
</mfrac>
</mrow>
其中，t为计算的词，c为类别，N为文档数，A表示文档属于类别c不包含词t，B表示所述文档不属于所述类别c包含所述词t，C表示所述文档属于所述类别c不包含所述词t，D表示所述文档不属于所述类别c不包含所述词t。
4.根据权利要求3所述的方法，其特征在于，根据以下公式计算所述词的PMI值：
<mrow>
<mi>P</mi>
<mi>M</mi>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>,</mo>
<mi>c</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mfrac>
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>,</mo>
<mi>c</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>c</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
其中，p(t，c)表示所述文档包含所述词t且属于所述类别c的概率，p(t)表示所述文档包含所述词t的概率，p(c)表示所述文档属于所述类别c的概率。
5.根据权利要求2-4任一项所述的方法，其特征在于，还包括：
如果所述词的相关度大于第一预设阈值，则作为特征词进行提取；
如果所述词的PMI值大于第二预设阈值，则作为所述特征词进行提取。
6.一种基于微博文本的情绪分类和情绪成分分析***，其特征在于，包括：
获取模块，用于从互联网上获取多条用户发布的微博文本；
分词模块，用于对所述多条微博文本进行分词，以根据每个词的词性得到多个词；
提取模块，用于从所述多个词中提取多个特征词；
创建模块，用于根据所述多个特征词训练情绪分类体系中每个节点的分类器，以构建所述情绪分类体系进行情绪分类，并通过所述情绪分类体系实现情绪分类；以及分析模块，用于根据分类结果对微博文本情绪成分进行分析，其中，所述分析模块还用于：获取所述微博文本在所述情绪度分类体系中每种情绪的回归值；根据所述每种情绪的回归值计算所述每种情绪的得分，以选取预设数值的情绪，并计算所述预设数值的情绪的比例，并且根据以下公式计算所述每种情绪的得分：
<mrow>
<msub>
<mi>S</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<msup>
<mi>e</mi>
<mrow>
<msub>
<mi>V</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mn>3</mn>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>V</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mn>4</mn>
</mrow>
</msub>
</mrow>
</msup>
</mrow>
其中，Si表示第i种情绪的得分，Vi,3表示所述第i种情绪的第三层回归值，Vi,4表示所述第i种情绪的第四层回归值；
根据以下公式计算所述预设数值的情绪的比例：
<mrow>
<msub>
<mi>P</mi>
<mi>i</mi>
</msub>
<mo>=</mo>
<mfrac>
<msup>
<mi>e</mi>
<mrow>
<msub>
<mi>V</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mn>3</mn>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>V</mi>
<mrow>
<mi>i</mi>
<mo>,</mo>
<mn>4</mn>
</mrow>
</msub>
</mrow>
</msup>
<mrow>
<msubsup>
<mi>&Sigma;</mi>
<mrow>
<mi>k</mi>
<mo>=</mo>
<mn>1</mn>
</mrow>
<mn>4</mn>
</msubsup>
<msup>
<mi>e</mi>
<mrow>
<msub>
<mi>V</mi>
<mrow>
<mi>k</mi>
<mo>,</mo>
<mn>3</mn>
</mrow>
</msub>
<mo>+</mo>
<msub>
<mi>V</mi>
<mrow>
<mi>k</mi>
<mo>,</mo>
<mn>4</mn>
</mrow>
</msub>
</mrow>
</msup>
</mrow>
</mfrac>
</mrow>
其中，Pi表示所述第i种情绪的比例，K表示共有K种情绪。
7.根据权利要求6所述的***，其特征在于，所述提取模块还用于：
判断每个词是否为高频词；
如果判断词为所述高频词，则计算所述词的相关度；以及
如果判断所述词为低频词，则计算所述词的PMI值。
8.根据权利要求7所述的***，其特征在于，根据以下公式计算所述词的相关度：
<mrow>
<msup>
<mi>&chi;</mi>
<mn>2</mn>
</msup>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>,</mo>
<mi>c</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfrac>
<mrow>
<mi>N</mi>
<msup>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mi>D</mi>
<mo>-</mo>
<mi>B</mi>
<mi>C</mi>
<mo>)</mo>
</mrow>
<mn>2</mn>
</msup>
</mrow>
<mrow>
<mo>(</mo>
<mi>A</mi>
<mo>+</mo>
<mi>C</mi>
<mo>)</mo>
<mo>(</mo>
<mi>A</mi>
<mo>+</mo>
<mi>B</mi>
<mo>)</mo>
<mo>(</mo>
<mi>B</mi>
<mo>+</mo>
<mi>D</mi>
<mo>)</mo>
<mo>(</mo>
<mi>C</mi>
<mo>+</mo>
<mi>D</mi>
<mo>)</mo>
</mrow>
</mfrac>
</mrow>
其中，t为计算的词，c为类别，N为文档数，A表示文档属于类别c不包含词t，B表示所述文档不属于所述类别c包含所述词t，C表示所述文档属于所述类别c不包含所述词t，D表示所述文档不属于所述类别c不包含所述词t。
9.根据权利要求8所述的***，其特征在于，根据以下公式计算所述词的PMI值：
<mrow>
<mi>P</mi>
<mi>M</mi>
<mi>I</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>,</mo>
<mi>c</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>l</mi>
<mi>o</mi>
<mi>g</mi>
<mfrac>
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>,</mo>
<mi>c</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>t</mi>
<mo>)</mo>
</mrow>
<mi>p</mi>
<mrow>
<mo>(</mo>
<mi>c</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
其中，p(t，c)表示所述文档包含所述词t且属于所述类别c的概率，p(t)表示所述文档包含所述词t的概率，p(c)表示所述文档属于所述类别c的概率。
10.根据权利要求7-9任一项所述的***，其特征在于，所述提取模块还用于：
如果所述词的相关度大于第一预设阈值，则作为特征词进行提取；
如果所述词的PMI值大于第二预设阈值，则作为所述特征词进行提取。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410193638.1A CN103970864B (zh) | 2014-05-08 | 2014-05-08 | 基于微博文本的情绪分类和情绪成分分析方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410193638.1A CN103970864B (zh) | 2014-05-08 | 2014-05-08 | 基于微博文本的情绪分类和情绪成分分析方法及*** |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103970864A CN103970864A (zh) | 2014-08-06 |
| CN103970864B true CN103970864B (zh) | 2017-09-22 |
Family
ID=51240361
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410193638.1A Active CN103970864B (zh) | 2014-05-08 | 2014-05-08 | 基于微博文本的情绪分类和情绪成分分析方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103970864B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104794209B (zh) * | 2015-04-24 | 2018-10-02 | 清华大学 | 基于马尔科夫逻辑网络的中文微博情绪分类方法及*** |
| CN104794208A (zh) * | 2015-04-24 | 2015-07-22 | 清华大学 | 基于微博文本上下文信息的情绪分类方法及*** |
| CN105573983A (zh) * | 2015-12-17 | 2016-05-11 | 清华大学 | 基于主题模型的微博用户情绪层次化分类方法和分类*** |
| CN106294845B (zh) * | 2016-08-19 | 2019-08-09 | 清华大学 | 基于权重学习和多特征抽取的多情绪分类方法及装置 |
| CN106777361A (zh) * | 2017-01-20 | 2017-05-31 | 清华大学 | 基于段向量模型的微博文本情绪分类方法和分类*** |
| CN108095740B (zh) * | 2017-12-20 | 2021-06-22 | 姜涵予 | 一种用户情绪评估方法和装置 |
| CN108021704B (zh) * | 2017-12-27 | 2021-05-04 | 广东广业开元科技有限公司 | 一种基于社会舆情数据挖掘技术的坐席优化配置方法 |
| CN108536868B (zh) * | 2018-04-24 | 2022-04-15 | 北京慧闻科技(集团)有限公司 | 社交网络上短文本数据的数据处理方法及装置 |
| CN108806724B (zh) * | 2018-08-15 | 2020-08-25 | 太原理工大学 | 一种情感语音pad值预测方法及*** |
| CN109460550A (zh) * | 2018-10-22 | 2019-03-12 | 平安科技（深圳）有限公司 | 利用大数据的证券研报情感分析方法、装置及计算机设备 |
| CN109492222B (zh) * | 2018-10-31 | 2023-04-07 | 平安科技（深圳）有限公司 | 基于概念树的意图识别方法、装置及计算机设备 |
| CN109740685B (zh) * | 2019-01-08 | 2020-10-27 | 武汉斗鱼鱼乐网络科技有限公司 | 用户流失的特征分析方法、预测方法、装置、设备及介质 |
| CN110929005A (zh) * | 2019-10-18 | 2020-03-27 | 平安科技（深圳）有限公司 | 基于情绪分析的任务跟催方法、装置、设备及存储介质 |
| CN112949305B (zh) * | 2021-05-13 | 2021-08-13 | 平安科技（深圳）有限公司 | 负反馈信息采集方法、装置、设备及存储介质 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101127042A (zh) * | 2007-09-21 | 2008-02-20 | 浙江大学 | 一种基于语言模型的情感分类方法 |
| CN103034626A (zh) * | 2012-12-26 | 2013-04-10 | 上海交通大学 | 情感分析***及方法 |
| CN103049435A (zh) * | 2013-01-04 | 2013-04-17 | 浙江工商大学 | 文本细粒度情感分析方法及装置 |
-
2014
- 2014-05-08 CN CN201410193638.1A patent/CN103970864B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101127042A (zh) * | 2007-09-21 | 2008-02-20 | 浙江大学 | 一种基于语言模型的情感分类方法 |
| CN103034626A (zh) * | 2012-12-26 | 2013-04-10 | 上海交通大学 | 情感分析***及方法 |
| CN103049435A (zh) * | 2013-01-04 | 2013-04-17 | 浙江工商大学 | 文本细粒度情感分析方法及装置 |
Non-Patent Citations (2)
| Title |
|---|
| "Text-based emotion classification using emotion cause extraction";Weiyuan Li 等;《Expert Systems with Applications》;20140331;1742-1749 * |
| "中文微博文本情绪分析";杨炜炜;《http://oaps.lib.tsinghua.edu.cn/handle/123456789/3156》;20130617;摘要 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103970864A (zh) | 2014-08-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103970864B (zh) | 基于微博文本的情绪分类和情绪成分分析方法及*** | |
| Boenninghoff et al. | Explainable authorship verification in social media via attention-based similarity learning | |
| Wang et al. | Duplicate question detection with deep learning in stack overflow | |
| Shi et al. | Sentiment analysis of Chinese microblogging based on sentiment ontology: a case study of ‘7.23 Wenzhou Train Collision’ | |
| US20140108006A1 (en) | System and method for analyzing and mapping semiotic relationships to enhance content recommendations | |
| CN111966831A (zh) | 一种模型训练方法、文本分类方法、装置及网络模型 | |
| CN104794212A (zh) | 基于用户评论文本的上下文情感分类方法及分类*** | |
| US20200160196A1 (en) | Methods and systems for detecting check worthy claims for fact checking | |
| DE112012001794T5 (de) | Verfahren zum Bestimmen einer Stimmung aus einem Text | |
| KR20120109943A (ko) | 문장에 내재한 감정 분석을 위한 감정 분류 방법 | |
| CN112287197B (zh) | 动态记忆案件描述的涉案微博评论讽刺句检测方法 | |
| CN112732910B (zh) | 跨任务文本情绪状态评估方法、***、装置及介质 | |
| CN109472022A (zh) | 基于机器学习的新词识别方法及终端设备 | |
| KR102597357B1 (ko) | Ai 기반의 언론기사 감성 분석 방법 및 시스템 | |
| Tago et al. | Analyzing influence of emotional tweets on user relationships using naive bayes and dependency parsing | |
| Xu et al. | Text sentiment analysis and classification based on bidirectional Gated Recurrent Units (GRUs) model | |
| US20200073889A1 (en) | Database creation apparatus and search system | |
| CN114818724A (zh) | 一种社交媒体灾害有效信息检测模型的构建方法 | |
| US20140272842A1 (en) | Assessing cognitive ability | |
| Devisree et al. | A hybrid approach to relationship extraction from stories | |
| CN114357204A (zh) | 媒体信息的处理方法及相关设备 | |
| Kula et al. | Transformer based models in fake news detection | |
| CN114547435A (zh) | 内容质量的识别方法、装置、设备及可读存储介质 | |
| Stojanovski et al. | Emotion identification in twitter messages for smart city applications | |
| Kaliyar et al. | Multideepfake: Improving fake news detection with a deep convolutional neural network using a multimodal dataset |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |