CN112015862B - 基于层级多通道注意力的用户异常评论检测方法及*** - Google Patents
基于层级多通道注意力的用户异常评论检测方法及*** Download PDFInfo
- Publication number
- CN112015862B CN112015862B CN202010857424.5A CN202010857424A CN112015862B CN 112015862 B CN112015862 B CN 112015862B CN 202010857424 A CN202010857424 A CN 202010857424A CN 112015862 B CN112015862 B CN 112015862B
- Authority
- CN
- China
- Prior art keywords
- attention
- comment
- word
- user
- matrix
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 37
- 238000001514 detection method Methods 0.000 title claims abstract description 28
- 238000000034 method Methods 0.000 claims abstract description 37
- 230000007246 mechanism Effects 0.000 claims abstract description 26
- 239000013598 vector Substances 0.000 claims description 100
- 239000011159 matrix material Substances 0.000 claims description 91
- 230000008451 emotion Effects 0.000 claims description 34
- 230000002996 emotional effect Effects 0.000 claims description 24
- 238000013527 convolutional neural network Methods 0.000 claims description 17
- 238000007781 pre-processing Methods 0.000 claims description 17
- 230000015654 memory Effects 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 10
- 230000002457 bidirectional effect Effects 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012552 review Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 2
- 238000003062 neural network model Methods 0.000 abstract description 7
- 238000013461 design Methods 0.000 abstract description 4
- 238000010801 machine learning Methods 0.000 abstract description 3
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 239000002356 single layer Substances 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 230000008901 benefit Effects 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 239000010410 layer Substances 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 230000017105 transposition Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012938 design process Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
发明涉及自然语言处理领域,具体涉及一种基于层级多通道注意力的用户异常评论检测方法,该方法包括:实时获取用户评论数据,将获取的用户评论数据输入到训练好的用户评论数据检测模型中,判断该评论是否异常;本发明避免了基于机器学习方法检测用户异常评论中繁琐的特征工程设计,并分析了用户评论文本的特点,克服了单一深度神经网络模型和单层注意力机制不能或不充分捕获全局语义的问题。
Description
技术领域
本发明涉及自然语言处理领域,具体涉及一种基于层级多通道注意力的用户异常评论检测方法及***。
背景技术
随着互联网的飞速发展,规模不断扩大,网络评论的数量和影响力也在不断增加,特别是近年来电子商务的快速发展,越来越多的用户开始参考之前用户的评论信息来做出购买决策。积极的用户评论可以促进商品店铺的影响力,增加销售,带来经济效益;相反,一些异常的用户评论会影响用户的网络购物体验,甚至不法分子通过雇佣水军来发布不实评论攻击竞争对手,带来恶性竞争。由于巨大利益的驱使,用户的异常评论能给电子商务产业造成巨大危害,并且还具有不断进化蔓延的趋势,使其受到国内外研究人员的广泛关注。因此检测分布在各电子商务平台的用户异常评论信息是一个十分紧迫而且重要的话题。
用户评论文本一般是短文本,具有数量大、噪声多、影响力大、隐蔽性强、识别难度高等特点,并且稀疏性比较强。早期对于用户异常评论的检测方法主要通过人工设计特征工程,提取语言和心理学相关特征、浅层语义特征、元数据特征等利用机器学习的方法获取浅层语义信息进行判定。但是,特征设计过程耗时且具有挑战性,不同数据集的数据稀疏程度、数据集的领域范围、语言的表述方式、评论者的关注方式各不相同,需要选取不同的特征进行实验,然而特征的设计依赖于专家的经验,特征选取的不同将会影响最终模型的分类效果。
随着深度学习技术的发展,深度神经网络模型开始应用于自然语言处理众多任务的语义表示,并取得优异的性能。深度神经网络模型由于使用隐藏层自动进行特征提取,避免了繁杂的人工构造特征工程,降低噪声,捕获复杂的语义信息,与此同时,神经网络模型通过词向量的方式一定程度上缓解了标记数据的稀疏性。但是,仅仅基于深度神经网络模型对用户评论进行检测,也存在一定的缺陷,比如,单一的神经网络模型都有各自的缺点,评论文本具有一定的层次性,不同的词语构成句子,不同的句子形成文档,对于不同的用户和不同的产品,评论文本中不同的词语和句子对于语义理解的贡献度不同,从而造成单一的注意力机制难以捕获全局语义信息。
发明内容
为解决以上现有技术的问题,本发明提出了一种基于层级多通道注意力的用户异常评论检测方法,该方法包括:实时获取用户评论数据,将获取的用户评论数据输入到训练好的用户评论数据检测模型中,判断该评论是否异常用户评论数据检测模型包括卷积神经网络模型和双向长短时记忆网络模型;
训练用户评论数据检测模型的过程包括:
S1:获取用户评论数据集,对用户评论数据集进行预处理,得到评论文本词向量矩阵;
S2:根据评论文本词向量矩阵求取评论文本词向量矩阵的情感向量、词性向量以及词语位置向量;
S3:根据论文本词向量矩阵、情感向量、词性向量以及词语位置向量求出情感词注意力通道的特征矩阵Ye、词性注意力通道的特征矩阵Yp以及词语位置注意力通道的特征矩阵Yl;
S4:将Ye、Yp、Yl依次输入卷积神经网络模型中进行卷积计算,得到评论文本的局部特征ci;
S5:对局部特征ci进行排列组合,得到新的特征C;
S6:将新的特征C输入到长短时记忆网络模型中提取上下文信息;
S7:根据提取的上下文信息求出基于用户信息和产品信息的上下文评论文档特征Td,将Td输入到softmax层,得到用户评论类别概率向量;
优选的,得到评论文本词向量矩阵的过程包括:采用深度学习框架Keras对用户评论数据集进行处理,得到用户评论文本;采用Skip-gram模型对用户评论文本进行训练,得到评论文本的词向量矩阵其中,l表示词向量维度,m表示评论文本词的个数,表示实数向量。
优选的,所述求出情感词注意力通道的特征矩阵Ye包括:根据评论文本词向量矩阵计算基于情感词的注意力系数矩阵,求得基于情感注意力机制的词向量将与所述情感向量拼接,得到情感词注意力通道的特征矩阵Ye;所述获取词性注意力通道的特征矩阵Yp包括:根据评论文本词向量矩阵计算基于词性的注意力系数矩阵,得到基于词性注意力机制的词向量将与所述词性向量拼接,得到词性注意力通道的特征矩阵Yp;所述获取词语位置注意力通道的特征矩阵Yl根据评论文本词向量矩阵计算基于词语位置的注意力系数矩阵,得到基于词性注意力机制的词向量将与所述词语位置向量拼接,得到词语位置注意力通道的特征矩阵Yl。
lo(ωi)=i-m+maxlen
优选的,得到评论文本的局部特征ci的过程包括:使用q个相同大小的一维卷积滤波器的卷积核分别在带情感注意力、词性注意力、位置注意力的词向量序列上滑动,第i个词语对应的情感词注意力窗口矩阵、词性注意力窗口矩阵、位置注意力窗口矩阵分别是通过卷积核与每个窗口矩阵进行卷积运算,生成文本的局部特征ci,其公式为:ci=f(W*Yi:i+k-1+b)。
优选的,求出基于用户信息和产品信息的上下文评论文档特征Td的过程包括:根据上下文信息求出词语级用户信息和产品信息的前向隐藏状态的注意力系数和后向隐藏状态的注意力系数根据和求出基于用户信息和产品信息的上下文评论句子特征Ts;根据上下文评论句子特征Ts计算基于句子级用户信息和产品信息的前向隐藏状态的注意力系数和后向隐藏状态的注意力系数根据和计算基于用户信息和产品信息的上下文评论文档特征Td。
一种基于层级多通道注意力的用户异常评论检测***,所述***包括数据获取模块、数据预处理模块、基于情感词注意力模块、基于词性注意力模块、基于位置注意力模块、卷积神经网络模块、双向长短时记忆网络模块、用户信息和产品信息注意力模块、softmax分类器模块以及结果输出模块;
所述数据获取模块用户获取用户评论数据;
所述数据预处理模块对用户评论数据进行预处理;
所述基于情感词注意力模块用于处理数据预处理模块处理后的数据,得到基于情感词注意力机制的特征矩阵;
所述基于词性注意力模块用于处理数据预处理模块处理后的数据,得到基于词性注意力机制的特征矩阵;
所述基于位置注意力模块用于处理数据预处理模块处理后的数据,得到基于位置注意力机制的特征矩阵;
所述卷积神经网络模块对基于情感词注意力模块、基于词性注意力模块以及基于位置注意力模块的特征矩阵进行卷积运算,获取用户评论文本的局部特征;
所述长短时记忆网络模块用于提取用户评论文本的局部特征的上下文特征;
所述用户信息和产品信息注意力模块用于提取对上下文特征中有重要影响的用户或者产品特定词和句子;
所述softmax分类器模块用于对用户评论文本做分类,检测用户评论是否是异常评论;
所述结果输出模块用户输出softmax分类器模块的检测结果。
与现有方法相比,本发明具有以下有益效果:
本发明避免了基于机器学习方法检测用户异常评论中繁琐的特征工程设计,并分析了用户评论文本的特点,克服了单一深度神经网络模型和单层注意力机制不能或不充分捕获全局语义的问题,通过在词语级应用基于情感词、词性、位置多通道注意力机制丰富文本多角度特征,然后通过卷积神经网络、双向长短时记忆网络组成的混合网络提取不同深度和不同层次的文本特征,并在句子级嵌入用户信息和产品信息注意力机制,充分捕获评论文本的全局语义信息,最后将得到的评论文档表示作为最终的文本表示,利用分类器实现用户异常评论的检测。本发明的准确率相比之前的方法有较大提升,分类效果显著。
附图说明
图1为本发明的一种基于层级多通道注意力的用户异常评论检测模型结构图;
图2为本发明中基于情感词注意力机制的情感词注意力通道的处理过程图;
图3为本发明中基于词性/位置注意力机制的词性或者位置注意力通道的处理过程图;
图4为本发明采用的卷积神经网络模型结构图;
图5为本发明采用的双向长短时记忆网络模型结构图;
图6为本发明的***结构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。
本发明通过在词语级应用基于情感词、词性、位置多通道注意力机制丰富文本多角度特征,然后通过卷积神经网络、双向长短时记忆网络组成的混合网络提取不同深度和不同层次的文本特征,并在句子级嵌入用户信息和产品信息注意力机制,充分捕获评论文本的全局语义信息,最后将得到的评论文档表示作为最终的文本表示,利用分类器实现用户异常评论的检测。
一种基于层级多通道注意力的用户异常评论检测方法,包括:实时获取用户评论数据,将获取的用户评论数据输入到训练好的用户评论数据检测模型中,判断该数据是否异常,若数据异常,则评论该数据的用户异常用户,若数据正常,则评论该数据的用户为正常用户;用户评论数据检测模型包括卷积神经网络模型和双向长短时记忆网络模型。
如图1所示,训练用户评论数据检测模型的过程包括:
S1、获取用户评论数据集,采用深度学习框架Keras对用户评论数据集进行处理,得到用户评论文本;其中分词任务由Keras提供的tokenizer实现数据集的分词,并将数据集划分成比例为8:1:1训练集、验证集和测试集;将进行预处理之后的用户评论文本表示为D。所述训练集用于模型的训练,所述验证集用于验证模型是否训练好,所述测试集用于测试整个***是否测试准确。
S3、在词向量的基础上结合情感词典得到评论文本的情感向量we。
S4、利用词性标注工具NLTK对用户评论文本进行词性标注,得到词性向量ωp。
S5、初始化文本的词语位置,得到词语位置向量ωl。
S9、构建卷积神经网络,将得到的各通道特征矩阵依次输入卷积神经网络进行卷积计算,以获取评论文本的局部特征ci。
S10、为保留评论文本的时序特征,将卷积神经网络输出的特征进行重新排列组合得到C。
S11、构建双向长短时记忆网络,将重排之后的特征C输入长短时记忆网络提取上下文信息。
S14、将文档特征Td输入softmax层得到用户评论类别概率向量。
如图2所示,所述步骤S6中计算情感词注意力通道的特征矩阵Ye具体步骤如下:
S61、在用户评论文本词向量的基础上通过情感词典构建情感词向量we,该评论文本中其他词语还是表示为wi,通过情感词向量we和其他词向量wi进行内积运算得到情感词注意力矩阵Ae,则基于情感词的注意力系数矩阵计算公式为:
如图3所示,所述步骤S7中计算词性注意力通道的特征矩阵Yp具体步骤如下:
如图3所示,所述步骤S8中计算位置注意力通道的特征矩阵Yl具体步骤如下:
S81、计算评论文本中各词语位置,得到位置向量wl,计算评论文本中第i个词语wi的位置信息lo(wi),公式如下:
lo(wi)=i-m+maxlen
其中,lo(wi)是词语wi在句子sn中的位置值,i表示是句子sn中第i个词语,m表示句子的长度,maxlen表示评论句子中最大的长度。
如图4所示,所述步骤S9中,具体的卷积操作如下:使用q个相同大小的一维卷积滤波器以一定窗口大小的卷积核分别在带情感注意力、词性注意力、位置注意力的词向量序列上滑动,同时,第i个词语对应的情感词注意力窗口矩阵、词性注意力窗口矩阵、位置注意力窗口矩阵分别是 通过卷积核与每个窗口矩阵进行卷积运算,生成输入文本的局部特征ci,公式如下:
ci=f(W*Yi:i+k-1+b)
其中,W是权值参数,*代表卷积操作,Yi:i+k-1表示文本特征矩阵从第i行到第i+k-1行的局部特征,f(·)为ReLU非线性激活函数,b代表偏置量。
进一步的,所述步骤S10中将基于情感词注意力、词性注意力和位置注意力机制的词向量进行向量拼接重排,其拼接排列的方式为将每一个局部特征构成新矩阵的行,依次引入情感词、词性、位置三种信息的文本序列,最终得到新矩阵C,公式如下:
如图5所示,所述步骤S12中,具体步骤如下:
S122、分别计算基于用户信息和产品信息的前向评论句子特征Fs和后向句子特征Bs,公式如下:
S123、将基于用户信息和产品信息的前向句子表示和后向句子表示进行拼接,得到基于用户信息和产品信息的上下文评论句子特征Ts,公式如下:
Ts=[Fs,Bs]
进一步地,所述步骤S13中,具体步骤如下:
其中,hi是评论文档中第i个句子的隐藏状态,βi是句子级别的隐藏状态hi的注意权重,vs是权重向量,(vs)T表示其转置,Wsh、是权重参数矩阵,bs是偏置量,e(·)是得分函数,衡量评论文档表示中句子的重要性。
S132、分别计算基于用户信息和产品信息的前向评论文档特征Fd和后向句子特征Bd,公式如下:
S133、将基于用户信息和产品信息的前向文档表示和后向文档表示进行拼接,得到基于用户信息和产品信息的上下文评论文档特征Td,公式如下:
Td=[Fd,Bd]
进一步地,所述步骤S14中,具体步骤如下:
S141、使用非线性层将文档表示Td投影到C类的目标空间,公式如下:
Td=tanh(WC·Td+bC)
其中,WC是权重矩阵,bC是偏置量,C是评论类别的数量。
S142、计算用户评论类别概率向量Y,公式如下:
进一步地,所述步骤S15中,计算用户评论类别概率向量中最大值所对应的类别为评论文本类别,公式如下:
其中,arg max(.)表示求出用户评论类别概率向量中的最大概率值。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:ROM、RAM、磁盘或光盘等。
一种基于层级多通道注意力的用户异常评论检测***,如图6所示,数据获取模块、数据预处理模块、基于情感词注意力模块、基于词性注意力模块、基于位置注意力模块、卷积神经网络模块、双向长短时记忆网络模块、用户信息和产品信息注意力模块、softmax分类器模块以及结果输出模块;
所述数据获取模块用户获取用户评论数据;
所述数据预处理模块对用户评论数据进行预处理;
所述基于情感词注意力模块用于处理数据预处理模块处理后的数据,得到基于情感词注意力机制的特征矩阵;
所述基于词性注意力模块用于处理数据预处理模块处理后的数据,得到基于词性注意力机制的特征矩阵;
所述基于位置注意力模块用于处理数据预处理模块处理后的数据,得到基于位置注意力机制的特征矩阵;
所述卷积神经网络模块对基于情感词注意力模块、基于词性注意力模块以及基于位置注意力模块的特征矩阵进行卷积运算,获取用户评论文本的局部特征;
所述长短时记忆网络模块用于提取用户评论文本的局部特征的上下文特征;
所述用户信息和产品信息注意力模块用于提取对上下文特征中有重要影响的用户或者产品特定词和句子;
所述softmax分类器模块用于对用户评论文本做分类,检测用户评论是否是异常评论;
所述结果输出模块用户输出softmax分类器模块的检测结果。
以上所举实施例,对本发明的目的、技术方案和优点进行了进一步的详细说明,所应理解的是,以上所举实施例仅为本发明的优选实施方式而已,并不用以限制本发明,凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于层级多通道注意力的用户异常评论检测方法,其特征在于,包括:实时获取用户评论数据,将获取的用户评论数据输入到训练好的用户评论数据检测模型中,判断该评论是否异常;用户评论数据检测模型包括卷积神经网络模型和双向长短时记忆网络模型;
训练用户评论数据检测模型的过程包括:
S1:获取用户评论数据集,对用户评论数据集进行预处理,得到评论文本词向量矩阵;
S2:根据评论文本词向量矩阵求取评论文本词向量矩阵的情感向量、词性向量以及词语位置向量;
S3:根据评论文本词向量矩阵、情感向量、词性向量以及词语位置向量求出情感词注意力通道的特征矩阵Ye、词性注意力通道的特征矩阵Yp以及词语位置注意力通道的特征矩阵Yl;
S4:将Ye、Yp、Yl依次输入卷积神经网络模型中进行卷积计算,得到评论文本的局部特征ci;
S5:对局部特征ci进行排列组合,得到新的特征C;
S6:将新的特征C输入到长短时记忆网络模型中提取上下文信息;
S7:根据提取的上下文信息求出基于用户信息和产品信息的上下文评论文档特征Td,将Td输入到softmax层,得到用户评论类别概率向量;
2.根据权利要求1所述的一种基于层级多通道注意力的用户异常评论检测方法,其特征在于,所述得到评论文本词向量矩阵的过程包括:采用深度学习框架Keras对用户评论数据集进行处理,得到用户评论文本;采用Skip-gram模型对用户评论文本进行训练,得到评论文本的词向量矩阵X。
9.一种基于层级多通道注意力的用户异常评论检测***,该***用于执行权利要求1~8所述的任意一种基于层级多通道注意力的用户异常评论检测方法,其特征在于,所述***包括数据获取模块、数据预处理模块、基于情感词注意力模块、基于词性注意力模块、基于位置注意力模块、卷积神经网络模块、双向长短时记忆网络模块、用户信息和产品信息注意力模块、softmax分类器模块以及结果输出模块;
所述数据获取模块用于获取用户评论数据;
所述数据预处理模块对用户评论数据进行预处理;
所述基于情感词注意力模块用于处理数据预处理模块处理后的数据,得到基于情感词注意力机制的特征矩阵;
所述基于词性注意力模块用于处理数据预处理模块处理后的数据,得到基于词性注意力机制的特征矩阵;
所述基于位置注意力模块用于处理数据预处理模块处理后的数据,得到基于位置注意力机制的特征矩阵;
所述卷积神经网络模块对基于情感词注意力模块、基于词性注意力模块以及基于位置注意力模块的特征矩阵进行卷积运算,获取用户评论文本的局部特征;
所述长短时记忆网络模块用于提取用户评论文本的局部特征的上下文特征;
所述用户信息和产品信息注意力模块用于提取对上下文特征中有重要影响的用户或者产品特定词和句子;
所述softmax分类器模块用于对用户评论文本做分类,检测用户评论是否是异常评论;
所述结果输出模块用于输出softmax分类器模块的检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010857424.5A CN112015862B (zh) | 2020-08-24 | 2020-08-24 | 基于层级多通道注意力的用户异常评论检测方法及*** |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010857424.5A CN112015862B (zh) | 2020-08-24 | 2020-08-24 | 基于层级多通道注意力的用户异常评论检测方法及*** |
Publications (2)
Publication Number | Publication Date |
---|---|
CN112015862A CN112015862A (zh) | 2020-12-01 |
CN112015862B true CN112015862B (zh) | 2023-02-03 |
Family
ID=73505705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010857424.5A Active CN112015862B (zh) | 2020-08-24 | 2020-08-24 | 基于层级多通道注意力的用户异常评论检测方法及*** |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112015862B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112765313B (zh) * | 2020-12-31 | 2022-06-28 | 太原理工大学 | 一种基于原文和评论信息分析算法的虚假信息检测方法 |
CN113627195B (zh) * | 2021-10-14 | 2022-01-18 | 华东交通大学 | 基于层次Transformer和图神经网络的评论情感分析方法及*** |
CN114492423B (zh) * | 2021-12-28 | 2022-10-18 | 广州大学 | 基于特征融合及筛选的虚假评论检测方法、***及介质 |
CN114969334B (zh) * | 2022-05-20 | 2023-04-07 | 北京九章云极科技有限公司 | 异常日志检测方法、装置、电子设备及可读存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107092596A (zh) * | 2017-04-24 | 2017-08-25 | 重庆邮电大学 | 基于attention CNNs和CCR的文本情感分析方法 |
CN108170681A (zh) * | 2018-01-15 | 2018-06-15 | 中南大学 | 文本情感分析方法、***及计算机可读存储介质 |
CN109284506A (zh) * | 2018-11-29 | 2019-01-29 | 重庆邮电大学 | 一种基于注意力卷积神经网络的用户评论情感分析***及方法 |
-
2020
- 2020-08-24 CN CN202010857424.5A patent/CN112015862B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107092596A (zh) * | 2017-04-24 | 2017-08-25 | 重庆邮电大学 | 基于attention CNNs和CCR的文本情感分析方法 |
CN108170681A (zh) * | 2018-01-15 | 2018-06-15 | 中南大学 | 文本情感分析方法、***及计算机可读存储介质 |
CN109284506A (zh) * | 2018-11-29 | 2019-01-29 | 重庆邮电大学 | 一种基于注意力卷积神经网络的用户评论情感分析***及方法 |
Non-Patent Citations (1)
Title |
---|
基于深度学习的短文本情感倾向性分析研究;司新红;《中国优秀博硕士学位论文全文数据库(硕士)信息科技辑》;20200315;I138-1466 * |
Also Published As
Publication number | Publication date |
---|---|
CN112015862A (zh) | 2020-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112015862B (zh) | 基于层级多通道注意力的用户异常评论检测方法及*** | |
US20200335092A1 (en) | Deep hierarchical fusion for machine intelligence applications | |
CN108108433A (zh) | 一种基于规则和数据网络融合的情感分析方法 | |
Chang et al. | Research on detection methods based on Doc2vec abnormal comments | |
KR20190125153A (ko) | 텍스트 기반 사용자심리상태예측 및 콘텐츠추천 장치 및 그 방법 | |
CN110825867B (zh) | 相似文本推荐方法、装置、电子设备和存储介质 | |
CN110990564A (zh) | 一种基于情感计算与多头注意力机制的负面新闻识别方法 | |
CN111221939A (zh) | 评分方法、装置和电子设备 | |
CN109800434A (zh) | 基于眼动注意力的抽象文本标题生成方法 | |
Singla et al. | Using prosodic and lexical information for learning utterance-level behaviors in psychotherapy | |
CN112418172A (zh) | 基于多模信息智能处理单元的多模信息融合情感分析方法 | |
CN110765769A (zh) | 一种基于子句特征的实体属性依赖情感分析方法 | |
CN114818717A (zh) | 融合词汇和句法信息的中文命名实体识别方法及*** | |
CN113486645A (zh) | 一种基于深度学习的文本相似度检测方法 | |
CN111159405B (zh) | 基于背景知识的讽刺检测方法 | |
CN113704459A (zh) | 一种基于神经网络的在线文本情感分析方法 | |
CN113361252B (zh) | 基于多模态特征和情感词典的文本抑郁倾向检测*** | |
CN114022687A (zh) | 一种基于增强学习的图像描述对抗生成方法 | |
CN117454217A (zh) | 一种基于深度集成学习的抑郁情绪识别方法、装置及*** | |
CN113792541B (zh) | 一种引入互信息正则化器的方面级情感分析方法 | |
CN115659242A (zh) | 一种基于模态增强卷积图的多模态情感分类方法 | |
Luo | Automatic short answer grading using deep learning | |
Jaiswal et al. | A generative adversarial network based ensemble technique for automatic evaluation of machine synthesized speech | |
Ghorpade et al. | ITTS model: speech generation for image captioning using feature extraction for end-to-end synthesis | |
Cumalat Puig | Sentiment analysis on short Spanish and Catalan texts using contextual word embeddings |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |