CN113641788B - 一种基于无监督的长短影评细粒度观点挖掘方法 - Google Patents
一种基于无监督的长短影评细粒度观点挖掘方法 Download PDFInfo
- Publication number
- CN113641788B CN113641788B CN202110904457.5A CN202110904457A CN113641788B CN 113641788 B CN113641788 B CN 113641788B CN 202110904457 A CN202110904457 A CN 202110904457A CN 113641788 B CN113641788 B CN 113641788B
- Authority
- CN
- China
- Prior art keywords
- evaluation
- film
- emotion
- short
- long
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000011156 evaluation Methods 0.000 title claims abstract description 277
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000005065 mining Methods 0.000 title claims abstract description 44
- 230000008451 emotion Effects 0.000 claims abstract description 150
- 238000004458 analytical method Methods 0.000 claims abstract description 28
- 238000009826 distribution Methods 0.000 claims abstract description 26
- 239000013598 vector Substances 0.000 claims description 28
- 238000012552 review Methods 0.000 claims description 12
- 238000012216 screening Methods 0.000 claims description 9
- 230000014509 gene expression Effects 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 6
- 238000003064 k means clustering Methods 0.000 claims description 5
- 230000009193 crawling Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 230000007935 neutral effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000013138 pruning Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 7
- 238000005070 sampling Methods 0.000 description 16
- 238000011160 research Methods 0.000 description 6
- 238000010276 construction Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000009827 uniform distribution Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009849 deactivation Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/951—Indexing; Web crawling techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/237—Lexical tools
- G06F40/242—Dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2216/00—Indexing scheme relating to additional aspects of information retrieval not explicitly covered by G06F16/00 and subgroups
- G06F2216/03—Data mining
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于无监督的长短影评细粒度观点挖掘方法,其特征在于:1)从社交平台和电影平台进行多维度的影评文本信息获取;2)基于开源中文情感词典,采用SO‑PMI词典扩展方法构建影评情感词典;3)采用基于关联规则方法和word2vec挖掘全局评价对象和个性化评价对象,再通过K‑means形成完整短影评评价对象;4)采用MG‑LDA结合word2vec发现长影评的主题分布以及词分布,构建长影评评价对象;5)对评价对象进行情感分析并形成影评观点摘要。本发明所公开无监督长短影评细粒度观点挖掘方法,较现有的影评挖掘方法相比,可以获取更丰富的影评文本数据,充分挖掘影评文本信息,针对影评长短采用不同的模型获取评价对象,使得本发明的观点挖掘和情感分析效果更佳。
Description
技术领域
本发明涉及中文文本情感分析领域,具体涉及一种基于无监督的长短影评细粒度观点挖掘方法。
背景技术
近年来,互联网作为一个聚集了海量主观性文本的平台,已经成为决策支持的一个具有极其重要价值的资源。在电影领域,网络平台上的影评数量占了电影影评的绝大部分,这些影评文本反映了用户对电影及其特征属性的观点看法和情感态度,具有巨大的潜在价值,如何从海量的网络影评文本中挖掘细粒度的评价对象和对应观点成为该领域的一大挑战。能够精准的挖掘出影评中细粒度观点,是对该领域提供决策支持和导向的现实需要。
针对中文电影评论语料的观点挖掘研究,常见的方法有基于词频的方法、基于语言规则的方法以及基于监督学习的方法,其中基于词频方法的最大优点就是简洁有效,但该方法也有其局限性,即使用该方法可能产生太多的非频繁方面词,还可能遗漏低频的方面词,并且需要人工调整各种参数等;基于语言规则的方法改进了基于频率的方法在处理低频方面词上的局限性,但同时也会产生许多不相关的方面观点模式匹配;而基于监督学习的方法虽然学习模型能力强,但是需要大量的人工标注成本。同时,很多观点挖掘方法的效果也依赖于领域特征词(方面词)词典的构建,通常需要专家知识来给出一些领域特征词作为种子词,可移植性较差。本发明主要研究细粒度观点挖掘的方法在中文电影评论上的应用,根据从中文社交网络中获取到的电影评论文本数据(包括短影评和长影评),应用无监督的细粒度观点挖掘的方法,分别对短影评和长影评进行评价对象的抽取,并生成用户影评的观点摘要,得到用户对电影的各个方面的观点和情感倾向,为电影业组织提供用户观点以支撑相关行业的商业决策。
现在已经存在大量的利用社交网络平台为主的中文文本观点挖掘的工作,在影评方面也有研究。申请人经过查新,检索了本发明领域中2篇相关专利,分别为:
1.基于词向量的针对电影评论信息的情感分析***及方法,专利申请公布号为:CN106156004A;
2.电影评论观点情感倾向性分析方法,专利申请公布号为:CN110825876A。
专利1提出了一种基于词向量的针对电影评论信息的情感分析***及方法,其主要包括:采集电影评论,形成评论文本库;对评论文本进行处理分词;对分词后的评论文本转换为基于词向量的评论向量以及特征提取;最后将评论进行分类,获取每条评论的类别。
专利2提出了一种电影评论观点情感倾向性分析方法,其主要包括:爬取多部影片的描述信息和评论信息;对信息文本进行预处理;为评论观点指定多条提取规则获取观点词和情感词;通过关键词匹配打标或人工标注的方式进行评论标签标注和情感倾向性标注;生成评论观点情感分析模型;最后针对目标影评通过该模型自动生成评论标签类别和情感倾向。
上述2篇专利所介绍的方法,都具有很大的局限性。专利1只依靠词向量进行评论的分类,词向量模型体现的信息较为局限,不能够充分地利用影评文本数据信息;专利2是基于监督学习的一种方式,需要人工制定提取规则以及人工标注数据标签,其过程需要耗费大量的人工成本和时间成本。
发明内容
本发明的目的是提供一种基于无监督的长短影评细粒度观点挖掘方法,通过应用无监督的细粒度观点挖掘方法对长影评和短影评进行观点抽取和情感分析。首先,对社交网络平台和在线电影社区平台从文本、评分、推荐数等多个信息维度获取影评,构建长影评数据集和短影评数据集;然后根据现有的情感基准词典,并通过应用词典扩展方法在长短影评文本数据集的基础之上扩展出合适的情感词典;接下来针对短影评数据集,采用关联规则挖掘算法和word2vec构造出评价对象,再用聚类算法进一步聚合评价对象;针对长影评数据集,采用主题模型MG-LDA算法获取全局和局部评价对象,利用word2cev进一步补充成完整的影评评价对象;最后,利用构建的情感词典对评价对象进行情感分析,结合评分数、推荐数等信息,生成影评的观点摘要。本发明充分考虑并获取了网络影评的多维度信息,构建适合电影领域的情感词典,并针对影评长短采取不同的方法获取评价对象,具有信息挖掘充分、性能稳健、专业性强、挖掘效果显著等优点,使得本发明和其它影评观点挖掘和情感分析方法相比,具有明显的优势。
为了实现上述目的,本发明采取的技术方案为:
步骤1,影评文本数据采集:以社交网络平台和在线电影社区平台的历史数据为数据源,获取热门电影的评论文本信息、评论电影评分信息和评论文本投票数,根据影评的长短,分别得到由n部电影组成的短影评集合MS={ms1,ms2,…,msi…,msn}以及长影评集合Ml={ml1,ml2,…,mli…,mln},其中,msi表示第i部电影的短影评集合,mli表是第i部电影的长影评集合。
具体地,可通过对不同社交网络平台和在线电影社区平台,利用网络爬虫或网站提供的应用程序接口进行长短影评的爬取,每条影评获取的主要内容包括:
(1)评论文本信息:获取评论正文文本以及评论发布时间;
(2)评论电影评分信息:获取用户对电影的评分或者推荐数;
(3)评论文本投票数:获取该条评论的点赞数或者赞同数。
将获取的影评通过文本去重、分句、分词、词性标注以及去停用词等数据预处理方式,根据影评的长短,分别得到短影评集合MS和长影评集合Ml。
步骤2,情感词典的构建:将开源的中文情感词典作为基准情感词典。根据从基准情感词典中选出的在步骤1采集的影评数据中出现次数最多的正面和负面情感词,采用情感词典扩展方法,在影评文本中识别出在情感词典中没有出现过的观点词并判断其情感倾向,最终构建出一个适用于影评文本的情感词典D={wpositive,wnegative},其中,wpositive表示正面情感词,wnegative表示负面情感词。主要包括:
(1)获取基础情感词典:情感词的研究和分析是研究情感分析和观点挖掘基础且重要的环节,采用的情感词典主要包括知网(HowNet)情感词典、台湾大学简体中文情感极性词典以及清华大学中文褒贬义词典,将以上情感词典合并去重,生成基础情感词典;
(2)基础情感词典扩展:基础情感词典比较通用,但在特定领域的情感分析的效果比较一般,将采用情感点互信息算法(SO-PMI)提取出一定数量的步骤1所采集的影评语料作为情感词扩展到情感词典中,情感点互信息值SOPMI(ci)的计算公式为:
其中,从基础情感词典中取出k个正面情感种子词wpositive={p1,p2,...,pj...,pk}和k个负面情感种子词wnegative={r1,r2,...,rj...,rk},pj是第j个正面情感种子词,rj是第j个负面情感种子词,ci是从步骤1的影评文本数据获取的候选情感词,i=1,2,…,k,count(ci,pj)为ci与pj在影评文本中共现的句子数,count(ci,rj)为ci与rj在影评文本中共现的句子数,当SOPMI(ci)>0时,ci为正面情感词;SOPMI(ci)<0时,ci为负面情感词;SOPMI(ci)=0时,ci为中性词,将候选情感词ci按照情感点互信息值扩展到基础情感词典中。
通过上述方法,构建一个适合于所采集的影评文本数据的情感词典D={wpositive,wnegative}。
步骤3,短影评评价对象识别:在传统的基于关联规则的观点挖掘方法基础之上进行了调整,结合word2vec词向量训练模型和K-means聚类算法,提出一种无监督的评价对象抽取方法。具体地,针对从步骤1所构建的短影评集合,挖掘出全部电影短影评数据中共有的全局评价对象和每部电影影评独有的个性化评价对象,利用词向量模型扩展出上下文语义相似的词补充到全局评价对象和个性化评价对象,再通过机器学习聚类算法将表达形式不同但意义相近的评价对象词归为同一类,形成完整的全局评价对象和个性化评价对象,结合两者生成每部电影的短影评评价对象。主要包括:
(1)用FP-growth算法替换Apriori算法进行关联规则挖掘,使得频繁项集的查找变得更加高效,较好地区分全局评价特征和个性化评价特征:
首先,对全部短影评文本应用FP-growth算法,找出名词频繁项集,定义一个领域一致度的概念来衡量它们在领域内各个语料文本中分布的均匀程度,分布均匀的可以认为是候选全局特征,特征f的领域一致度DCf定义如下:
(pf,i的估计值为:/>)
M为采集到的全部影评语料,mi为电影i的影评语料,pf,i表示f的支持度,supf,i表示f在mi中的支持度计数,supf表示f在M中的支持度计数,card(M)表示评论集合M中不同电影数并用于归一化,DCf值越高,表明f在M中分布越均匀,越有可能是全局频繁特征,将DCf>0的特征列为候选全局特征;
然后,对每一步影片的短影评文本应用FP-growth算法以同样的方式获取每部影片的候选个性化特征;
最后,对获取的候选全局特征和候选个性化特征进行剪枝筛选:单字名词过滤、删除无意义不构成名词短语的候选特征词、删除冗余候选特征词以及删除领域无关候选特征词以形成最终的全局特征和个性化特征,其中特征f的领域相关度:
DRf=lg(|{d∈M|f∈d}|)(lg(|{d∈M|f∈d}|/|M|)
-lg(|{d∈G|f∈d}|/|G|))
式中:d代表任意一条评论文本,M代表采集到的影评语料,G代表综合领域的中文语料,|{d∈M|f∈d}|/|M|是影评文本中包含特征f的文本的条件概率,|{d∈G|f∈d}|/|G|是中文语料中包含特征f的文本的条件概率,DRf越大,相关度越高,高于一个设定的阈值时可以认为f是该领域的特征,形成短影评文本的评价对象词,否则认为f与领域不相关,不将f作为领域特征;
(2)采用word2vec扩展短影评文本的评价对象,用word2vec对全局短影评文本和每部电影的短影评文本分别训练生成词向量模型,利用模型发现与已识别的评价对象词语语义距离最近的n个词语作为评价对象词语的扩充,对这些近义词的词性进行筛选,保留名词、形容词和动词,最后生成扩充后的评价对象;
(3)采用K-means聚类算法对评价对象进行聚类,通过关联规则挖掘和word2vec词向量模型已经生成基本的短影评文本评价对象,再采用聚类算法对众多描述相同评价对象的词聚类选出一个最具代表性的词作为评价对象的标准表达方式有助于影评观点挖掘的准确性和凝练性:
第一步:计算已得到的全局评价对象词语在全局影评文本中的词频,和个性化评价对象词语在对应的局部影评文本中的词频;
第二步:应用K-means算法对word2vec训练好的评价对象词向量聚类,由于word2vec中词向量的距离采用余弦相似度进行计算,因此聚类时也用余弦相似度进行词向量的语义距离计算:
同时,K-means采用手肘法来选择聚簇数k,手肘法的核心指标是误差平方和(Sumof The Squared Errors,SSE),随着聚类数k的增大,样本划分会更加精细,每个簇的聚合程度会逐渐提高,那么SSE自然会逐渐变小,SSE的定义式如下:
式中:Ci是第i个簇,p是Ci中的样本点,mi是Ci的质心(Ci中所有样本的均值),SSE是所有样本的聚类误差,代表了聚类效果的好坏;
第三步:聚类完成后,根据聚类结果,最终形成每部影片包含的全局评价对象和个性化评价对象。
步骤4,长影评评价对象识别:针对从步骤1所构建的长影评集合,使用主题模型LDA的变式模型多粒度LDA(MG-LDA)发现长影评的主题以及每个主题下的词分布,再结合词向量模型进一步发现具有大于设定语义相似性的词,从而获取每部电影的长影评评价对象。
具体地,使用主题模型LDA的变式模型多粒度LDA(MG-LDA)抽取长影评文本的评价对象,再结合基于word2vec词向量模型的评价对象词扩展和词性筛选生成长影评文本目标评价对象,具体步骤如下:
(1)采用MG-LDA模型挖掘长影评文本的可评价对象和方面特征,与适用于发现全局主题类型的LDA模型不同的是,MG-LDA模型能够产生全局主题和局部主题,即评价对象和方面特征:
第一步:将长影评文本处理成长影评文档列表docs,文档中的句子列表sents,文档中的词汇列表vocab,初始随机化vocab中每个词对应主题编号和窗口编号,窗口即局部主题在长影评文档中所占的区域,并且初始化vocab中所有词汇的各项计数,包括每个词被分配全局主题和局部主题多少次,被分配给某个全局主题和局部主题多少次以及被分配给某篇文档的某个窗口多少次;
第二步:为得到长影评文本中每个词对应的主题,在一定的迭代次数下进行Gibbs采样迭代,对文档列表docs中的每个文档d中的每个窗口v进行全局主题采样和局部主题采样,主题采样的条件概率为 其中,/>表示除去文档d中第i个词外所有词所对应的窗口,/>表示除去文档d中第i个词外所有词所对应的对于全局主题和局部主题的偏好,/>表示除去文档d中第i个词外所有词所对应的主题。要求得条件概率,必须计算联合概率分布:
该式分解如下:
W是词汇个数,r为gl时,表示词w出现在全局主题z中的次数,nr,z表示词w属于全局主题z的次数,r为loc时,/>表示词w出现在局部主题z中的次数,nr,z表示词w属于局部主题的次数;βr表示主题下的单词分布的狄利克雷参数,Kr表示主题数量;
Ns表示文档集里的句子数,nd,s表示文档d中句子s的长度,表示文档d中句子s里出现在窗口v中的词数;T表示窗口覆盖句子的数量,γ表示句子分布的狄利克雷参数;
Nv表示文档集里的窗口数,nd,v表示文档d中分配给窗口v的词数,r为gl时,表示文档d里的窗口v中属于全局主题的词数;r为loc时,/>表示文档d里的窗口v中属于局部主题的词数;/>表示主题偏好分布的狄利克雷参数;
D是文档数,表示文档d中属于全局主题的词数,/>表示文档d中属于全局主题z的词数,/>表示文档d里窗口v中属于局部主题的词数,/>表示文档d里窗口v中属于局部主题z的词数;Kgl和Kloc分别表示全局主题和局部主题的主题数量,αgl和αloc分别表示全局主题和局部主题的主题分布狄利克雷参数。
得到全局主题采样公式为:
其中,的四个因子的物理意义分别为生成词wd,i、选择窗口v、选择wd,i对应的是全局主题以及从全局主题中选择主题z;
局部主题采样公式为:
由上述的采样公式进行采样,可以获取到文档中的全局和局部主题分布、主题对应的词分布以及方面特征,从中筛选出概率较高的名词,作为长影评文本的评价对象词;
第三步:采用word2vec扩展长影评文本的评价对象词,与步骤3相似,利用word2vec训练出的长影评的词向量空间,利用模型发现与已识别的评价对象词语语义距离最近的n个词语作为评价对象词语的扩充,对这些近义词的词性进行筛选,保留名词、形容词和动词,最后生成扩充后的评价对象,构建完整的长影评评价对象。
步骤5,细粒度观点挖掘分析:将步骤2所采集的影评文本数据的情感词典,分别应用在步骤3所获取的短影评评价对象与步骤4所获取的长影评评价对象,提取细粒度观点并对其进行分析统计,结合影评的电影评分数和该影评的推荐数,形成影评观点摘要,为电影制作的决策支持提供建设性意见。
具体地,将步骤2构建的情感词典应用于步骤3和4获取的评价对象的初步情感分析,加以考虑步骤1构建的长短影评中包含评价对象的影评评分数以及该影评的推荐数,形成每部影片的评价对象以及观点的情感极性,提取出每部影片中的每个评价对象的积极观点和消极观点,生成观点摘要,为电影制片方和内容供应商提供决策支持。
与现有的电影影评的观点挖掘和情感分析方法相比,本发明的有益效果是:
(1)现有的方法影评文本数据来源较为单一,而影评文本数据存在大量的网络平台上,本发明不仅从在线电影社区平台获取影评文本数据,而且包括主流的社交网络平台,获取的数据更加丰富多样;
(2)现有的方法大多基于词向量、聚类算法等,本发明将这些方法很好地综合在一起,使影评文本数据信息被更充分地利用挖掘;
(3)由于常用的模型对文本长度比较敏感,而影评的文本长短相差较大,对短影评和长影评采用不同的模型方法进行评价对象抽取,使得本发明具有更加的观点挖掘和情感分析效果。
附图说明
图1是本发明基于无监督的长短影评细粒度观点挖掘方法框图。
图2是影评文本采集过程的流程图。
图3是影评情感词典构建过程的流程图。
图4是短影评评价对象识别过程的流程图。
图5是长影评评价对象识别过程的流程图。
图6是情感分析及观点摘要生成过程的流程图。
具体实施方式
以下结合附图及实施例对本发明的实施方式进行详细说明。需要说明的是,此处描述的实施例只用以解释本发明,并不用于限定本发明。此外,在不冲突的情况下,本发明中的实施例涉及的技术特征可以相互结合。
本发明的具体实施过程包括影评文本采集过程、影评情感词典构建过程、短影评评价对象识别过程、长影评评价对象识别过程、情感分析及观点摘要生成过程。图1是本发明基于无监督的长短影评细粒度观点挖掘方法框图。
1.影评文本采集过程
影评文本获取的具体过程如下:
(1)确定影评采集的电影:可以选择目标电影,也可以选择热门电影,或者新上映的电影;
(2)确定影评爬取网站:考虑到不同网络平台信息的异质性,线上影评存在多个网络平台,不同网络平台的数据有不同的特点,获取不同网络平台的数据,扩充丰富影评文本数据集;
(3)获取影评文本:利用网络爬虫或网站提供的应用程序接口,根据目标网站制定数据获取方案,按照电影名称进行影评的获取;
(4)影评文本数据预处理:在原始文本中,对重复的评论数据进行文本去重,对文本中的标点符号或正则表达式进行分局,对句子进行分词和词性标注,对文本中没有实际意义的词进行去停用词操作;
(5)构建影评文本数据集:根据影评的长短或者影评网站给出的长影评短影评标签,将影评文本分别归类为长影评文本数据集和短影评文本数据集。
影评获取的主要内容包括:
(1)评论文本信息:获取评论正文文本以及评论发布时间;
(2)评论电影评分信息:获取用户对电影的评分或者推荐数;
(3)评论文本投票数:获取该条评论的点赞数或者赞同数。
2.影评情感词典构建过程
将开源的中文情感词典作为基准情感词典,采用情感词典扩展方法,在影评文本中识别出在情感词典中没有出现过的观点词并判断其情感倾向,最终构建出一个影评情感词典,其主要过程包括:
(1)获取情感词典资源:情感词的研究和分析是研究情感分析和观点挖掘基础且重要的环节,采用的情感词典主要包括知网(HowNet)情感词典、台湾大学简体中文情感极性词典、清华大学中文褒贬义词典;
(2)构建基础情感词典:将上述情感词典进行合并和去重,得到基础情感词典,并统计其中的正面情感词和负面情感词的数量;
(3)构建影评情感词典:采用情感点互信息算法(SO-PMI)提取出一定数量的所采集的影评语料作为情感词扩展到情感词典中,SO-PMI值的计算公式为:
其中,从基础情感词典中取出k个正面情感种子词wpositive={p1,p2,...,pj...,pk}和k个负面情感种子词wnegative={r1,r2,...,rj...,rk},pj是第j个正面情感种子词,rj是第j个负面情感种子词,ci是从步骤1的影评文本数据获取的候选情感词,i=1,2,…,k,count(ci,pj)为ci与pj在影评文本中共现的句子数,count(ci,rj)为ci与rj在影评文本中共现的句子数,当SOPMI(ci)>0时,ci为正面情感词;SOPMI(ci)<0时,ci为负面情感词;SOPMI(ci)=0时,ci为中性词,将候选情感词ci按照情感点互信息值扩展到基础情感词典中,构建情感词典D。
该过程的流程图如图2所示,依此构建出影评情感词典。
3.短影评评价对象识别
采用基于关联规则的方法挖掘出全部电影影评共有的全局评价对象和每部电影影评独有的个性化评价对象,利用word2vec扩展出上下文语义相似的词补充到全局评价对象和个性化评价对象,再通过K-means聚类算法将表达形式不一但意义相近的评价对象词归为同一类,形成完整的全局评价对象和个性化评价对象,结合两者生成每部电影的影评评价对象,其主要过程包括:
(1)用FP-growth算法替换Apriori算法进行关联规则挖掘,使得频繁项集的查找变得更加高效,较好地区分全局评价特征和个性化评价特征:
首先,对全部短影评文本应用FP-growth算法,找出名词频繁项集,定义一个领域一致度的概念来衡量它们在领域内各个语料文本中分布的均匀程度,分布均匀的可以认为是候选全局特征,特征f的领域一致度DCf定义如下:
(pf,i的估计值为:/>)
M为本文采集到的全部影评语料,mi为电影i的影评语料,supf,i表示f在mi中的支持度计数,supf表示f在M中的支持度计数,card(M)表示评论集合M中不同电影数并用于归一化,DCf值越高,表明f在M中分布越均匀,越有可能是全局频繁特征,将DCf>0的特征列为候选全局特征;
然后,对每一步影片的短影评文本应用FP-growth算法以同样的方式获取每部影片的候选个性化特征;
最后,对获取的候选全局特征和候选个性化特征进行剪枝筛选:单字名词过滤、删除无意义不构成名词短语的候选特征词、删除冗余候选特征词以及删除领域无关候选特征词以形成最终的全局特征和个性化特征,其中特征f的领域相关度:
DRf=lg(|{d∈M|f∈d}|)(lg(|{d∈M|f∈d}|/|M|)
-lg(|{d∈G|f∈d}|/|G|))
式中:d代表任意一条评论文本,M代表本文采集到的影评语料,G代表综合领域的中文语料,|{d∈M|f∈d}|/|M|是影评文本中包含特征f的文本的条件概率,|{d∈G|f∈d}|/|G|是中文语料中包含特征f的文本的条件概率,DRf越大,相关度越高,高于一个阈值时可以认为f是该领域的特征,形成短影评文本的评价对象词,否则认为f与领域不相关,不将f作为领域特征;
(2)采用word2vec扩展短影评文本的评价对象,用word2vec对全局短影评文本和每部电影的短影评文本分别训练生成词向量模型,利用模型发现与已识别的评价对象词语语义距离最近的n个词语作为评价对象词语的扩充,对这些近义词的词性进行筛选,保留名词、形容词和动词,最后生成扩充后的评价对象;
(3)采用K-means聚类算法对评价对象进行聚类,通过关联规则挖掘和word2vec词向量模型已经生成基本的短影评文本评价对象,再采用聚类算法对众多描述相同评价对象的词聚类选出一个最具代表性的词作为评价对象的标准表达方式有助于影评观点挖掘的准确性和凝练性:
第一步:计算已得到的全局评价对象词语在全局影评文本中的词频,和个性化评价对象词语在对应的局部影评文本中的词频;
第二步:应用K-means算法对word2vec训练好的评价对象词向量聚类,由于word2vec中词向量的距离采用余弦相似度进行计算,因此聚类时也用余弦相似度进行词向量的语义距离计算:
同时,K-means采用手肘法来选择聚簇数k,手肘法的核心指标是误差平方和(Sumof The Squared Errors,SSE),随着聚类数k的增大,样本划分会更加精细,每个簇的聚合程度会逐渐提高,那么SSE自然会逐渐变小,SSE的定义式如下:
式中:Ci是第i个簇,p是Ci中的样本点,mi是Ci的质心(Ci中所有样本的均值),SSE是所有样本的聚类误差,代表了聚类效果的好坏;
第三步:聚类完成后,根据聚类结果,最终形成每部影片包含的全局评价对象和个性化评价对象。
短影评评价对象识别过程流程图如图4所示,依此便可识别短影评评价对象。
4.长影评评价对象识别
用主题模型LDA的变种模型MG-LDA发现长影评的主题分布以及每个主题下的词分布,再结合词向量模型word2vec进一步发现具有较大语义相似性的词,从而获取每部电影的影评评价对象,其主要过程包括:
(1)采用MG-LDA模型挖掘长影评文本的可评价对象和方面特征,与适用于发现全局主题类型的LDA模型不同的是,MG-LDA模型能够产生全局主题和局部主题,即评价对象和方面特征:
第一步:将长影评文本处理成长影评文档列表docs,文档中的句子列表sents,文档中的词汇列表vocab,初始随机化vocab中每个词对应主题编号和窗口编号,窗口即局部主题在长影评文档中所占的区域,并且初始化vocab中所有词汇的各项计数,包括每个词被分配全局主题和局部主题多少次,被分配给某个全局主题和局部主题多少次以及被分配给某篇文档的某个窗口多少次;
第二步:为得到长影评文本中每个词对应的主题,在一定的迭代次数下进行Gibbs采样迭代,对文档列表docs中的每个文档d中的每个窗口v进行全局主题采样和局部主题采样,主题采样的条件概率为 其中,/>表示除去文档d中第i个词外所有词所对应的窗口,/>表示除去文档d中第i个词外所有词所对应的对于全局主题和局部主题的偏好,/>表示除去文档d中第i个词外所有词所对应的主题,要求得条件概率,先计算联合概率分布:
该式分解如下:
W是词汇个数,r为gl时,表示词w出现在全局主题z中的次数,nr,z表示词w属于全局主题z的次数,r为loc时,/>表示词w出现在局部主题z中的次数,nr,z表示词w属于局部主题的次数;βr表示主题下的单词分布的狄利克雷参数,Kr表示主题数量;/>
Ns表示文档集里的句子数,nd,s表示文档d中句子s的长度,表示文档d中句子s里出现在窗口v中的词数;T表示窗口覆盖句子的数量,γ表示句子分布的狄利克雷参数;
Nv表示文档集里的窗口数,nd,v表示文档d中分配给窗口v的词数,r为gl时,表示文档d里的窗口v中属于全局主题的词数;r为loc时,/>表示文档d里的窗口v中属于局部主题的词数;/>表示主题偏好分布的狄利克雷参数;
D是文档数,表示文档d中属于全局主题的词数,/>表示文档d中属于全局主题z的词数,/>表示文档d里窗口v中属于局部主题的词数,/>表示文档d里窗口v中属于局部主题z的词数;Kgl和Kloc分别表示全局主题和局部主题的主题数量,αgl和αloc分别表示全局主题和局部主题的主题分布狄利克雷参数。
得到全局主题采样公式为:
其中,的,四个因子的物理意义分别为生成词wd,i、选择窗口v、选择wd,i对应的是全局主题以及从全局主题中选择主题z;
得到局部主题采样公式为:
由上述的采样公式进行采样,可以获取到文档中的全局和局部主题分布、主题对应的词分布以及方面特征,从中筛选出概率较高的名词,作为长影评文本的评价对象词;
第三步:采用word2vec扩展长影评文本的评价对象词,与步骤3相似,利用word2vec训练出的长影评的词向量空间,利用模型发现与已识别的评价对象词语语义距离最近的n个词语作为评价对象词语的扩充,对这些近义词的词性进行筛选,保留名词、形容词和动词,最后生成扩充后的评价对象,构建完整的长影评评价对象。
长影评评价对象识别过程流程图如图5所示,依此便可识别长影评评价对象。
5.情感分析及观点摘要生成过程
图6就是情感分析及观点摘要生成过程的流程图,其主要过程包括:
(1)统计长短影评评价对象对应的好评差评数:获取评价对象对应的影评的电影评分数,统计出评价对象的好评数和差评数,从而找到电影的优缺点以及争议性观点;
(2)对评论进行情感分析:获取评价对象优缺点以及争议性的评论,且挑选赞同数高的评论,将这些评论运用情感词典进行情感极性的分析,再结合评论对电影的评分数,将获得评论的情感分析结果;
(3)形成观点摘要:将上述结果综合,获取最受好评评价对象及其好评观点摘要,最受差评评价对象及其差评观点摘要,最具争议性评价对象及其争议性观点摘要,细粒度观点可为电影制片方和内容提供方提供决策性参考意见。
Claims (8)
1.一种基于无监督的长短影评细粒度观点挖掘方法,其特征在于,包括以下步骤:
步骤1,影评文本数据采集:以社交网络平台和在线电影社区平台的历史数据为数据源,获取热门电影的评论文本信息、评论电影评分信息和评论文本投票数,根据影评的长短,分别得到由n部电影组成的短影评集合MS={ms1,ms2,…,msi…,msn}以及长影评集合Ml={ml1,ml2,…,mli…,mln},其中,msi表示第i部电影的短影评集合,mli表是第i部电影的长影评集合;
步骤2,情感词典的构建:将开源的中文情感词典作为基准情感词典,根据从基准情感词典中选出的在步骤1采集的影评数据中出现次数最多的正面和负面情感词,采用情感词典扩展方法,在影评文本中识别出在情感词典中没有出现过的观点词并判断其情感倾向,最终构建出一个适用于影评文本的情感词典D={wpositive,wn2gative},其中,wpositive表示正面情感词,wnegative表示负面情感词;
步骤3,短影评评价对象识别:针对从步骤1所构建的短影评集合,挖掘出全部电影短影评数据中共有的全局评价对象和每部电影影评独有的个性化评价对象,利用词向量模型扩展出上下文语义相似的词补充到全局评价对象和个性化评价对象,再通过机器学习聚类算法将表达形式不同但意义相近的评价对象词归为同一类,形成完整的全局评价对象和个性化评价对象,结合两者生成每部电影的短影评评价对象;
步骤4,长影评评价对象识别:针对从步骤1所构建的长影评集合,采用主题模型LDA的变种模型多粒度LDA发现长影评的主题以及每个主题下的词分布,再结合词向量模型进一步发现具有大于设定语义相似性的词,从而获取每部电影的长影评评价对象;
步骤5,细粒度观点挖掘分析:将步骤2所采集的影评文本数据的情感词典,分别应用在步骤3所获取的短影评评价对象与步骤4所获取的长影评评价对象,提取细粒度观点并对其进行分析统计,结合影评的电影评分数和该影评的推荐数,形成影评观点摘要。
2.根据权利要求1中所述的基于无监督的长短影评细粒度观点挖掘方法,其特征在于,所述步骤1影评文本数据采集中,通过对不同社交网络平台和在线电影社区平台,利用网络爬虫或网站提供的应用程序接口进行长短影评的爬取,每条影评获取的内容包括:
(1)评论文本信息:获取评论正文文本以及评论发布时间;
(2)评论电影评分信息:获取用户对电影的评分或者推荐数;
(3)评论文本投票数:获取该条评论的点赞数或者赞同数;
将获取的影评进行数据预处理,根据影评的长短,分别得到短影评集合Ms和长影评集合Ml。
3.根据权利要求2中所述的基于无监督的长短影评细粒度观点挖掘方法,其特征在于,所述数据预处理包括文本去重、分句、分词、词性标注以及去停用词。
4.根据权利要求1中所述的基于无监督的长短影评细粒度观点挖掘方法,其特征在于,所述步骤2情感词典构建中,主要包括:
(1)获取基础情感词典:将知网(HowNet)情感词典、台湾大学简体中文情感极性词典以及清华大学中文褒贬义词典合并去重,生成基础情感词典;
(2)基础情感词典扩展:将采用情感点互信息算法提取出的步骤1所采集的若干影评语料作为情感词扩展到所述基础情感词典中,情感点互信息值SOPMI(ci)的计算公式为:
其中,从基础情感词典中取出k个正面情感种子词wpositive={p1,p2,...,pj...,pk}和k个负面情感种子词wnegative={r1,r2,...,rj...,rk},pj是第j个正面情感种子词,rj是第j个负面情感种子词,ci是从步骤1的影评文本数据获取的候选情感词,i=1,2,…,k,count(ci,pj)为ci与pj在影评文本中共现的句子数,count(ci,rj)为ci与rj在影评文本中共现的句子数,当SOPMI(ci)>0时,ci为正面情感词;SOPMI(ci)<0时,ci为负面情感词;SOPMI(ci)=0时,ci为中性词,将候选情感词ci按照情感点互信息值扩展到基础情感词典中,构建情感词典D。
5.根据权利要求1中所述的基于无监督的长短影评细粒度观点挖掘方法,其特征在于,所述步骤3包括:
步骤(1),用FP-growth算法进行关联规则挖掘;
步骤(2),采用word2vec扩展短影评文本的评价对象,用word2vec对全局短影评文本和每部电影的短影评文本分别训练生成词向量模型,利用模型发现与已识别的评价对象词语语义距离最近的r个词语作为评价对象词语的扩充,并对词性进行筛选,保留名词、形容词和动词,最后生成扩充后的评价对象;
步骤(3),采用K-means聚类算法对评价对象进行聚类,选出一个最具代表性的词作为评价对象的标准表达方式。
6.根据权利要求5中所述的基于无监督的长短影评细粒度观点挖掘方法,其特征在于,所述步骤(1)包括:
首先,对全部短影评文本应用FP-growth算法,找出名词频繁项集,以领域一致度衡量名词频繁项集在领域内各个语料文本中分布的均匀程度,将分布均匀的名词频繁项集定义为候选全局特征,特征f的领域一致度DCf定义如下:
M为全部影评语料,mi为电影i的影评语料,pf,i表示f的支持度,其估计值为:supf,i表示f在mi中的支持度计数,supf表示f在M中的支持度计数,card(M)表示M中不同电影数并用于归一化,DCf值越高,表明f在M中分布越均匀,越有可能是全局频繁特征,将DCf>0的特征列为候选全局特征;
然后,对每一步影片的短影评文本应用FP-growth算法以同样的方式获取每部影片的候选个性化特征;
最后,对获取的候选全局特征和候选个性化特征进行剪枝筛选:单字名词过滤、删除无意义不构成名词短语的候选特征词、删除冗余候选特征词以及删除领域无关候选特征词以形成最终的全局特征和个性化特征,其中特征f的领域相关度:
DRf=lg(|{d∈M|f∈d}|)(lg(|{d∈M|f∈d}|/|M|)-lg(|{d∈G|f∈d}|/|G|))
式中:d代表任意一条评论文本,G代表综合领域的中文语料,|{d∈M|f∈d}|/|M|是影评文本中包含特征f的文本的条件概率,|{d∈G|f∈d}|/|G|是中文语料中包含特征f的文本的条件概率,DRf越大,相关度越高,高于设定阈值时认为f是该领域的特征,形成短影评文本的评价对象词,否则认为f与领域不相关,不将f作为领域特征。
7.根据权利要求5中所述的基于无监督的长短影评细粒度观点挖掘方法,其特征在于,所述步骤(3)包括:
第一步:计算已得到的全局评价对象词语在全局长影评数据中的词频,和个性化评价对象词语在对应的单个电影长影评数据的词频;
第二步:应用K-means算法对word2vec训练好的评价对象词向量聚类;
第三步:聚类完成后,根据聚类结果,最终形成每部影片包含的全局评价对象和个性化评价对象。
8.根据权利要求1中所述的基于无监督的长短影评细粒度观点挖掘方法,其特征在于,所述步骤5细粒度观点挖掘分析,将步骤2构建的情感词典应用于步骤3和4获取的评价对象的初步情感分析,加以考虑步骤1构建的长短影评中包含评价对象的影评评分数以及该影评的推荐数,形成每部影片的评价对象以及观点的情感极性,提取出每部影片中的每个评价对象的积极观点和消极观点,生成观点摘要,为电影制片方和内容供应商提供决策支持。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110904457.5A CN113641788B (zh) | 2021-08-06 | 2021-08-06 | 一种基于无监督的长短影评细粒度观点挖掘方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110904457.5A CN113641788B (zh) | 2021-08-06 | 2021-08-06 | 一种基于无监督的长短影评细粒度观点挖掘方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113641788A CN113641788A (zh) | 2021-11-12 |
CN113641788B true CN113641788B (zh) | 2024-02-23 |
Family
ID=78420014
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110904457.5A Active CN113641788B (zh) | 2021-08-06 | 2021-08-06 | 一种基于无监督的长短影评细粒度观点挖掘方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113641788B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015160415A2 (en) * | 2014-01-31 | 2015-10-22 | The Trustees Of Columbia University In The City Of New York | Systems and methods for visual sentiment analysis |
CN108287922A (zh) * | 2018-02-28 | 2018-07-17 | 福州大学 | 一种融合话题属性和情感信息的文本数据观点摘要挖掘方法 |
CN108446333A (zh) * | 2018-02-22 | 2018-08-24 | 睦沃数据科技(苏州)有限公司 | 一种大数据文本挖掘处理***及其方法 |
CN108460010A (zh) * | 2018-01-17 | 2018-08-28 | 南京邮电大学 | 一种基于情感分析的综合评分模型实现方法 |
CN109977413A (zh) * | 2019-03-29 | 2019-07-05 | 南京邮电大学 | 一种基于改进cnn-lda的情感分析方法 |
WO2021109671A1 (zh) * | 2019-12-02 | 2021-06-10 | 广州大学 | 一种支持跨语言迁移的细粒度情感分析方法 |
-
2021
- 2021-08-06 CN CN202110904457.5A patent/CN113641788B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015160415A2 (en) * | 2014-01-31 | 2015-10-22 | The Trustees Of Columbia University In The City Of New York | Systems and methods for visual sentiment analysis |
CN108460010A (zh) * | 2018-01-17 | 2018-08-28 | 南京邮电大学 | 一种基于情感分析的综合评分模型实现方法 |
CN108446333A (zh) * | 2018-02-22 | 2018-08-24 | 睦沃数据科技(苏州)有限公司 | 一种大数据文本挖掘处理***及其方法 |
CN108287922A (zh) * | 2018-02-28 | 2018-07-17 | 福州大学 | 一种融合话题属性和情感信息的文本数据观点摘要挖掘方法 |
CN109977413A (zh) * | 2019-03-29 | 2019-07-05 | 南京邮电大学 | 一种基于改进cnn-lda的情感分析方法 |
WO2021109671A1 (zh) * | 2019-12-02 | 2021-06-10 | 广州大学 | 一种支持跨语言迁移的细粒度情感分析方法 |
Non-Patent Citations (11)
Title |
---|
Hotel Classification Based on Online Review Data;Haifei Qin 等;2018 14th International Conference on Natural Computation, Fuzzy Systems and Knowledge Discovery (ICNC-FSKD);264-269 * |
Multi-Document Summarization Using K-Means and Latent Dirichlet Allocation (LDA) – Significance Sentences;Shiva Twinandilla 等;Procedia Computer Science(第135期);663-670 * |
Network text sentiment analysis method combining LDA text representation and GRU-CNN;Li-xia Luo 等;Personal and Ubiquitous Computing;405–412 * |
基于保序子矩阵和频繁序列模式挖掘的文本情感特征提取方法;陈鑫 等;山东大学学报(理学版)(第03期);36-45 * |
基于多态信息挖掘的电影用户画像研究;胡亚娇 等;现代电影技术(第06期);16-22 * |
基于机器学***平 等;计算机与现代化(第03期);77-81 * |
基于深度学习和CRFs的产品评论观点抽取方法;睢国钦 等;情报杂志(第05期);177-185 * |
基于语义图优化算法的中文微博观点摘要研究;张聪 等;山东大学学报(理学版)(第07期);59-65 * |
潜在狄利克雷分布模型研究综述;何伟林 等;信息资源管理学报(第01期);55-64 * |
胡亚娇.基于多态信息挖掘的电影用户画像研究.现代电影技术.2020,16-22. * |
面向中文短影评的分类技术研究;马丽菲 等;山东大学学报(理学版)(第01期);52-57 * |
Also Published As
Publication number | Publication date |
---|---|
CN113641788A (zh) | 2021-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106776711B (zh) | 一种基于深度学习的中文医学知识图谱构建方法 | |
CN110059311B (zh) | 一种面向司法文本数据的关键词提取方法及*** | |
CN106997382B (zh) | 基于大数据的创新创意标签自动标注方法及*** | |
CN110298033B (zh) | 关键词语料标注训练提取*** | |
CN107577759B (zh) | 用户评论自动推荐方法 | |
CN112699246B (zh) | 基于知识图谱的领域知识推送方法 | |
CN104794169B (zh) | 一种基于序列标注模型的学科术语抽取方法及*** | |
CN107180045B (zh) | 一种互联网文本蕴含地理实体关系的抽取方法 | |
CN109299865B (zh) | 基于语义分析的心理测评***及方法、信息数据处理终端 | |
CN110543564B (zh) | 基于主题模型的领域标签获取方法 | |
CN110209818B (zh) | 一种面向语义敏感词句的分析方法 | |
CN108038099B (zh) | 基于词聚类的低频关键词识别方法 | |
CN112036177A (zh) | 基于多模型融合的文本语义相似度信息处理方法及*** | |
CN112559684A (zh) | 一种关键词提取及信息检索方法 | |
CN110888991A (zh) | 一种弱标注环境下的分段式语义标注方法 | |
CN114048354B (zh) | 基于多元表征和度量学习的试题检索方法、装置及介质 | |
CN116775874B (zh) | 一种基于多重语义信息的资讯智能分类方法及*** | |
CN112069312A (zh) | 一种基于实体识别的文本分类方法及电子装置 | |
Liu et al. | Open intent discovery through unsupervised semantic clustering and dependency parsing | |
CN114491062B (zh) | 一种融合知识图谱和主题模型的短文本分类方法 | |
CN112667815A (zh) | 文本处理方法、装置、计算机可读存储介质及处理器 | |
CN113032550B (zh) | 一种基于预训练语言模型的观点摘要评价*** | |
CN117574858A (zh) | 一种基于大语言模型的类案检索报告自动生成方法 | |
CN117093670A (zh) | 一种论文智能推荐专家的实现方法 | |
CN110019814B (zh) | 一种基于数据挖掘与深度学习的新闻信息聚合方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |