CN115344694A - 一种基于Bert和BiLSTM的短文本情感分析方法、装置及存储介质 - Google Patents
一种基于Bert和BiLSTM的短文本情感分析方法、装置及存储介质 Download PDFInfo
- Publication number
- CN115344694A CN115344694A CN202210842529.2A CN202210842529A CN115344694A CN 115344694 A CN115344694 A CN 115344694A CN 202210842529 A CN202210842529 A CN 202210842529A CN 115344694 A CN115344694 A CN 115344694A
- Authority
- CN
- China
- Prior art keywords
- bilstm
- short text
- bert
- text data
- word vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 21
- 230000008451 emotion Effects 0.000 title claims abstract description 20
- 239000013598 vector Substances 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 25
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims abstract description 8
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 4
- 210000002569 neuron Anatomy 0.000 claims description 3
- 238000005406 washing Methods 0.000 claims 1
- 230000000694 effects Effects 0.000 description 8
- 238000012545 processing Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3346—Query execution using probabilistic model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3347—Query execution using vector based model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Machine Translation (AREA)
Abstract
本发明涉及一种基于Bert和BiLSTM的短文本情感分析方法、装置及存储介质,其中方法包括以下步骤:获取短文本数据集;对短文本数据集进行预处理;将经过预处理的短文本数据集输入Bert模块,提取得到词向量;将词向量输入BiLSTM双向记忆神经网络进行特征提取,得到词向量特征;将词向量特征输入基于Softmax函数的情感分类模块,输出文本数据情感倾向性的判断结果。与现有技术相比,本发明具有识别精度高等优点。
Description
技术领域
本发明涉及语义分析领域,尤其是涉及一种基于Bert和BiLSTM的短文本情感分析方法、装置及存储介质。
背景技术
文本情感分析指的是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。针对现在网络平台上的各种评论信息、点评信息等,挖掘出信息的价值对商家、民众、社会都有很大的意义。
目前,对于短文本情感分析,目前采用最多的三种方法分别是基于情感词典的方法、基于机器学习的方法、基于深度学习的方法。基于情感词典的方法虽然简单但是却极度依赖情感词典的构建,无法非常好的适应当今网络新颖词汇的出现;采用机器学习方法的效果易受到特征提取、特征构建的影响,适应性不高;而针对深度学习的方法,由于短文本内容存在随意性,文本中缺少上下文信息从而造成语义缺失,导致现有模型对于词向量的获取效果不好,使得最终识别结果不佳。
发明内容
本发明的目的就是为了提供一种基于Bert和BiLSTM的短文本情感分析方法、装置及存储介质,提高情感语义识别效果。
本发明的目的可以通过以下技术方案来实现:
一种基于Bert和BiLSTM的短文本情感分析方法,包括以下步骤:
获取短文本数据集;
对短文本数据集进行预处理;
将经过预处理的短文本数据集输入Bert模块,提取得到词向量;
将词向量输入BiLSTM双向记忆神经网络进行特征提取,得到词向量特征;
将词向量特征输入基于Softmax函数的情感分类模块,输出文本数据情感倾向性的判断结果。
所述预处理包括切词处理、清洗处理。
所述Bert模块包括输入层、编码层和输出层,其中,输入层包括词向量、段向量和位置向量,编码层由双向Transformer结构构成。
所述位置向量采用基于深度学习的绝对位置形式表达。
所述BiLSTM双向记忆神经网络共2层,分别为前向LSTM层和后向LSTM层。
所述BiLSTM双向记忆神经网络每层均采用256个神经元。
所述BiLSTM双向记忆神经网络的输出由前向LSTM和后向LSTM的隐向量进行拼接得到。
所述方法还包括:基于文献查询对识别结果进行辅助判断。
一种基于Bert和BiLSTM的短文本情感分析装置,包括存储器、处理器,以及存储于所述存储器中的程序,所述处理器执行所述程序时实现如上述所述的方法。
一种存储介质,其上存储有程序,所述程序被执行时实现如上述所述的方法。
与现有技术相比,本发明具有以下有益效果:
本发明将Bert预训练模型与双向记忆长短期神经模型相结合,大大提高了在短文本情感分析中的识别精度,改善了由于短文本自身存在信息表达简练、缺少上下文的信息,还有内容的随意化等特点,从而造成词向量表达效果不好,模型训练效果不佳的问题,让短文本信息内容得到充分的提取。
附图说明
图1为本发明的方法流程图;
图2为本发明的模型结构示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施,给出了详细的实施方式和具体的操作过程,但本发明的保护范围不限于下述的实施例。
一种基于Bert和BiLSTM的短文本情感分析方法,如图1所示,包括以下步骤:
(1)获取短文本数据集;
利用爬虫技术或者已有的数据集获取短文本数据集。
(2)对短文本数据集进行预处理;
所述预处理包括切词处理、清洗处理,其中,切词处理仅针对中文文本,对外文文本不进行切词处理。
(3)将经过预处理的短文本数据集输入Bert模块,提取得到词向量;
所述Bert模块包括输入层、编码层和输出层。
输入层包括词向量、段向量和位置向量,其中,位置向量是用来标识词向量的位置信息的,因为对于Bert所包含的的编码层的Transformer结构来说,它是无法编码输入的序列的顺序性的,位置向量在输入层中的作用就是让Bert理解这种情况,位置向量的不同表示方法对应着出现的向量表示也会出现不同的效果。
本发明采用Bert进行词向量的获取,对于Bert模型,针对短文本数据的特点,对于Bert模型中,它的输入层中的位置向量通常是采用正余弦函数的形式所得到的,采用余弦函数通常是根据经验所得,且对于具体的任务并没有做任何的区分,本发明根据任务是情感分类的特点采用可学习的绝对位置形式来对位置向量进行表达,从而让词向量的表达效果更佳。
编码层由双向Transformer结构构成。
(4)将词向量输入BiLSTM双向记忆神经网络进行特征提取,得到词向量特征;
所述BiLSTM双向记忆神经网络共2层,分别为前向LSTM和后向LSTM,每层均采用256个神经元,并且正反向的Dropout值均取0.1;BiLSTM双向记忆神经网络的输出由前向LSTM和后向LSTM的隐向量进行拼接得到。
从前后俩个方向进行训练然后将最终结果连接到同一层输出,既保证了当前词的信息与该词的上文紧密相连,同时也保证了该词的信息与下文紧密相连,捕捉到更好的双向语义依赖,让模型的训练效果更佳。
(5)将词向量特征输入基于Softmax函数的情感分类模块,输出文本数据情感倾向性的判断结果。
文本数据情感倾向性的判断结果包括积极情感、消极情感。
(6)基于文献查询对识别结果进行辅助判断。
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上详细描述了本发明的较佳具体实施例。应当理解,本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此,凡本技术领域中技术人员依据本发明的构思在现有技术的基础上通过逻辑分析、推理、或者有限的实验可以得到的技术方案,皆应在权利要求书所确定的保护范围内。
Claims (10)
1.一种基于Bert和BiLSTM的短文本情感分析方法,其特征在于,包括以下步骤:
获取短文本数据集;
对短文本数据集进行预处理;
将经过预处理的短文本数据集输入Bert模块,提取得到词向量;
将词向量输入BiLSTM双向记忆神经网络进行特征提取,得到词向量特征;
将词向量特征输入基于Softmax函数的情感分类模块,输出文本数据情感倾向性的判断结果。
2.根据权利要求1所述的一种基于Bert和BiLSTM的短文本情感分析方法,其特征在于,所述预处理包括切词处理、清洗处理。
3.根据权利要求1所述的一种基于Bert和BiLSTM的短文本情感分析方法,其特征在于,所述Bert模块包括输入层、编码层和输出层,其中,输入层包括词向量、段向量和位置向量,编码层由双向Transformer结构构成。
4.根据权利要求3所述的一种基于Bert和BiLSTM的短文本情感分析方法,其特征在于,所述位置向量采用基于深度学习的绝对位置形式表达。
5.根据权利要求1所述的一种基于Bert和BiLSTM的短文本情感分析方法,其特征在于,所述BiLSTM双向记忆神经网络共2层,分别为前向LSTM层和后向LSTM层。
6.根据权利要求5所述的一种基于Bert和BiLSTM的短文本情感分析方法,其特征在于,所述BiLSTM双向记忆神经网络每层均采用256个神经元。
7.根据权利要求5所述的一种基于Bert和BiLSTM的短文本情感分析方法,其特征在于,所述BiLSTM双向记忆神经网络的输出由前向LSTM和后向LSTM的隐向量进行拼接得到。
8.根据权利要求1所述的一种基于Bert和BiLSTM的短文本情感分析方法,其特征在于,所述方法还包括:基于文献查询对识别结果进行辅助判断。
9.一种基于Bert和BiLSTM的短文本情感分析装置,包括存储器、处理器,以及存储于所述存储器中的程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。
10.一种存储介质,其上存储有程序,其特征在于,所述程序被执行时实现如权利要求1-8中任一所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210842529.2A CN115344694A (zh) | 2022-07-18 | 2022-07-18 | 一种基于Bert和BiLSTM的短文本情感分析方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210842529.2A CN115344694A (zh) | 2022-07-18 | 2022-07-18 | 一种基于Bert和BiLSTM的短文本情感分析方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115344694A true CN115344694A (zh) | 2022-11-15 |
Family
ID=83949825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210842529.2A Pending CN115344694A (zh) | 2022-07-18 | 2022-07-18 | 一种基于Bert和BiLSTM的短文本情感分析方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115344694A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116108215A (zh) * | 2023-02-21 | 2023-05-12 | 湖北工业大学 | 基于深度融合的跨模态大数据检索方法及*** |
-
2022
- 2022-07-18 CN CN202210842529.2A patent/CN115344694A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116108215A (zh) * | 2023-02-21 | 2023-05-12 | 湖北工业大学 | 基于深度融合的跨模态大数据检索方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110427461B (zh) | 智能问答信息处理方法、电子设备及计算机可读存储介质 | |
CN107133213B (zh) | 一种基于算法的文本摘要自动提取方法与*** | |
WO2019085779A1 (zh) | 机器处理及文本纠错方法和装置、计算设备以及存储介质 | |
CN111339305B (zh) | 文本分类方法、装置、电子设备及存储介质 | |
CN108664996A (zh) | 一种基于深度学习的古文字识别方法及*** | |
CN110210016B (zh) | 基于风格引导的双线性神经网络虚假新闻检测方法及*** | |
CN109684626A (zh) | 语义识别方法、模型、存储介质和装置 | |
CN113268586A (zh) | 文本摘要生成方法、装置、设备及存储介质 | |
CN112699686B (zh) | 基于任务型对话***的语义理解方法、装置、设备及介质 | |
CN111462752B (zh) | 基于注意力机制、特征嵌入及bi-lstm的客户意图识别方法 | |
CN112800184B (zh) | 基于Target-Aspect-Opinion联合抽取的短文本评论情感分析方法 | |
CN112052319B (zh) | 一种基于多特征融合的智能客服方法及*** | |
CN115759119B (zh) | 一种金融文本情感分析方法、***、介质和设备 | |
CN112287106A (zh) | 一种基于双通道混合神经网络的在线评论情感分类方法 | |
CN115408488A (zh) | 用于小说场景文本的分割方法及*** | |
CN117746078B (zh) | 一种基于用户自定义类别的物体检测方法及*** | |
CN115344694A (zh) | 一种基于Bert和BiLSTM的短文本情感分析方法、装置及存储介质 | |
CN117236338B (zh) | 一种稠密实体文本的命名实体识别模型及其训练方法 | |
CN113704473A (zh) | 基于长文本特征提取优化的媒体假新闻检测方法及*** | |
CN111523325A (zh) | 一种基于笔画的中文命名实体识别方法 | |
CN114020871B (zh) | 基于特征融合的多模态社交媒体情感分析方法 | |
CN110287396A (zh) | 文本匹配方法及装置 | |
CN115048929A (zh) | 敏感文本监测方法及装置 | |
CN113326695B (zh) | 一种基于迁移学习的情感极性分析方法 | |
CN114911940A (zh) | 文本情感识别方法及装置、电子设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |