CN110807314A - 文本情感分析模型训练方法、装置、设备及可读存储介质 - Google Patents

文本情感分析模型训练方法、装置、设备及可读存储介质 Download PDF

Info

Publication number
CN110807314A
CN110807314A CN201910884618.1A CN201910884618A CN110807314A CN 110807314 A CN110807314 A CN 110807314A CN 201910884618 A CN201910884618 A CN 201910884618A CN 110807314 A CN110807314 A CN 110807314A
Authority
CN
China
Prior art keywords
text
text sample
word
emotion
analysis model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910884618.1A
Other languages
English (en)
Inventor
金戈
徐亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910884618.1A priority Critical patent/CN110807314A/zh
Priority to PCT/CN2019/118268 priority patent/WO2021051598A1/zh
Publication of CN110807314A publication Critical patent/CN110807314A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请涉及人工智能技术领域，公开了一种文本情感分析模型训练方法、装置、设备及可读存储介质。方法包括：获取待训练的文本样本；通过预设的分词方法对文本样本进行分词处理，划分为若干个不同的词；基于预设的编码方法对若干个不同的词分别进行编码处理，得到词向量；将词向量输入至预设的深度神经网络中，基于嵌入层对词向量进行降维处理；基于深度神经网络中的隐藏层对降维后的词向量进行计算，得到对应的特征；通过多分类SVM支持向量机对文本样本对应的特征进行分类，确定情感类别；基于损失函数确定情感类别与正确情感类别的差异值，当差异值满足预设条件时，判定文本情感分析模型训练完成。通过本申请，提高了文本情感分析的准确率。

Description

文本情感分析模型训练方法、装置、设备及可读存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及文本情感分析模型训练方法、装置、设备及可读存储介质。
背景技术
在现有技术中，通常是使用深度神经网络来处理文本情感分析问题，深度神经网络能够捕捉长程的上下文信息，具有较强的特征抽取能力。但是，深度神经网络只有一个输出，因此，依靠深度神经网络只能完成二分类情感分析。因此，现有的文本情感分析方法的准确率较低。
发明内容
本申请的主要目的在于提供一种文本情感分析模型训练方法、装置、设备及可读存储介质，旨在解决现有的文本情感分析方法的准确率低的技术问题。
为实现上述目的，本申请提供一种文本情感分析模型训练方法，所述文本情感分析模型训练方法包括以下步骤：
获取待训练的文本样本，其中，所述文本样本带有标注信息，所述标注信息为所述文本样本包含的正确情感类别；
通过预设的分词方法对所述文本样本进行分词处理，将所述文本样本划分为若干个不同的词；
基于预设的编码方法对所述若干个不同的词分别进行编码处理，得到所述文本样本对应的词向量；
将所述词向量输入至预设的深度神经网络中，基于所述预设的深度神经网络中的嵌入层对所述词向量进行降维处理，得到降维后的词向量；
基于所述预设的深度神经网络中的隐藏层对所述降维后的词向量进行计算，得到所述文本样本对应的特征；
通过多分类SVM支持向量机对所述文本样本对应的特征进行分类，确定所述文本样本对应的情感类别；
基于损失函数确定所述情感类别与所述正确情感类别的差异值，当所述差异值满足预设条件时，判定所述文本情感分析模型训练完成。
可选地，所述通过预设的分词方法对所述文本样本进行分词处理，将所述文本样本划分为若干个不同的词包括：
基于标准语料库计算所述文本样本中包含的各个词对应的二元条件概率，其中，标准语料库中任意两个词W1和W2的二元条件概率分布表示为：
Figure 1
Figure 100002_6
其中，freq(W1,W2)表示W1和W2在标准语料库中相邻一起出现的次数， freq(W1)和freq(W2)分别表示W1和W2在标准语料库中出现的统计次数；
基于所述二元条件概率确定所述文本样本中各个词的联合分布概率，从所述联合分布概率中确定最大联合分布概率，将所述最大联合分布概率对应的分词方法，确定为所述文本样本对应的最优分词方法；
基于所述最优分词方法将所述文本样本划分为若干个不同的词。
可选地，所述基于所述预设的深度神经网络中的隐藏层对所述降维后的词向量进行计算，得到所述文本样本对应的特征包括：
将第L-1段文本样本对应的所述降维后的词向量作为第1段文本样本的特征，并获取所述预设的深度神经网络中第L-1层隐藏层的权重矩阵，基于非线性激活函数对所述第L-1层的权重矩阵及所述第1段文本样本的特征进行计算，得到第L段文本样本的特征，其中，基于非线性激活函数进行计算的公式如下：
Figure BDA0002206921040000023
Figure BDA0002206921040000024
其中，Xi为第i段文本样本经过分词及编码处理后得到的词向量，hi 1为所述预设的深度神经网络提取出的第1段文本样本的特征，σ为非线性激活函数，WL-1为所述预设的深度神经网络中第L-1层隐藏层的权重矩阵，hi L为所述预设的深度神经网络提取出的第L段文本样本的特征。
可选地，所述通过多分类SVM支持向量机对所述文本样本对应的特征进行分类，确定所述文本样本对应的情感类别包括：
随机初始化k个权重向量Wy，则对于第i个文本样本，所述多分类SVM 支持向量机的决策为：
Figure BDA0002206921040000031
其中，k为所述多分类SVM支持向量机的预设数据集中的情感类别数目；
将
Figure BDA0002206921040000032
的最大乘积对应的情感类别确定为所述文本样本对应的情感类别。
此外，为实现上述目的，本申请还提供一种文本情感分析模型训练装置，所述文本情感分析模型训练装置包括：
获取模块，用于获取待训练的文本样本，其中，所述文本样本带有标注信息，所述标注信息为所述文本样本包含的正确情感类别；
分词模块，用于通过预设的分词方法对所述文本样本进行分词处理，将所述文本样本划分为若干个不同的词；
编码模块，用于基于预设的编码方法对所述若干个不同的词分别进行编码处理，得到所述文本样本对应的词向量；
降维模块，用于将所述词向量输入至预设的深度神经网络中，基于所述预设的深度神经网络中的嵌入层对所述词向量进行降维处理，得到降维后的词向量；
特征模块，用于基于所述预设的深度神经网络中的隐藏层对所述降维后的词向量进行计算，得到所述文本样本对应的特征；
分类模块，用于通过多分类SVM支持向量机对所述文本样本对应的特征进行分类，确定所述文本样本对应的情感类别；
完成模块，用于基于损失函数确定所述情感类别与正确情感类别的差异值，当所述差异值满足预设条件时，判定所述文本情感分析模型训练完成。
可选地，所述分词模块包括：
概率计算单元，用于基于标准语料库计算所述文本样本中包含的各个词对应的二元条件概率，其中，标准语料库中任意两个词W1和W2的二元条件概率分布表示为：
Figure 2
其中，freq(W1,W2)表示W1和W2在标准语料库中相邻一起出现的次数，freq(W1)和freq(W2)分别表示W1和W2在标准语料库中出现的统计次数；
最优分词单元，用于基于所述二元条件概率确定所述文本样本中各个词的联合分布概率，从所述联合分布概率中确定最大联合分布概率，将所述最大联合分布概率对应的分词方法，确定为所述文本样本对应的最优分词方法；
文本划分单元，用于基于所述最优分词方法将所述文本样本划分为若干个不同的词。
可选地，所述特征模块包括：
特征计算单元，用于将第L-1段文本样本对应的所述降维后的词向量作为第1段文本样本的特征，并获取所述预设的深度神经网络中第L-1层隐藏层的权重矩阵，基于非线性激活函数对所述第L-1层的权重矩阵及所述第1 段文本样本的特征进行计算，得到第L段文本样本的特征，其中，基于非线性激活函数进行计算的公式如下：
Figure BDA0002206921040000042
其中，Xi为第i段文本样本经过分词及编码处理后得到的词向量，hi 1为所述预设的深度神经网络提取出的第1段文本样本的特征，σ为非线性激活函数，WL-1为所述预设的深度神经网络中第L-1层隐藏层的权重矩阵，hi L为所述预设的深度神经网络提取出的第L段文本样本的特征。
可选地，所述分类模块包括：
类别计算单元，用于随机初始化k个权重向量Wy，则对于第i个文本样本，所述多分类SVM支持向量机的决策为：
Figure BDA0002206921040000043
其中，k为所述多分类SVM支持向量机的预设数据集中的情感类别数目；
类别确定单元，用于将
Figure BDA0002206921040000044
的最大乘积对应的情感类别确定为所述文本样本对应的情感类别。
此外，为实现上述目的，本申请还提供一种文本情感分析模型训练设备，所述文本情感分析模型训练设备包括输入输出单元、存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行时实现如上所述的文本情感分析模型训练方法的步骤。
此外，为实现上述目的，本申请还提供一种可读存储介质，所述可读存储介质上存储有文本情感分析模型训练程序，所述文本情感分析模型训练程序被处理器执行时实现如上所述的文本情感分析模型训练方法的步骤。
本申请提出的文本情感分析模型训练方法，首先获取带有标注信息的待训练文本样本，标注信息为文本样本包含的正确情感类别，并对文本样本进行分词处理，得到若干个不同的词；对若干个不同的词分别进行编码处理，得到文本样本对应的词向量，并将词向量输入至预设的深度神经网络中，基于预设的深度神经网络中的嵌入层对词向量进行降维处理；进一步地，基于预设的深度神经网络中的隐藏层对降维后的词向量进行计算，得到文本样本对应的特征；最后，通过多分类SVM支持向量机对计算得到的特征进行分类，从而确定文本样本对应的情感类别，在文本情感分析模型训练过程中，基于损失函数确定情感类别与正确情感类别的差异值，当差异值满足预设条件时，即可判定文本情感分析模型训练完成。本申请提出的文本情感分析模型训练方法，通过深度神经网络来抽取文本样本中的情感特征，再使用多分类SVM 支持向量机对提取出的特征进行多分类，达到提高分类准确率的效果。
附图说明
图1为本申请实施例方案涉及的硬件运行环境的文本情感分析模型训练设备结构示意图；
图2为本申请文本情感分析模型训练方法一实施例的流程示意图；
图3为本申请文本情感分析模型训练装置一实施例的功能模块示意图；
图4为本申请文本情感分析模型训练装置一实施例中分词模块的功能单元示意图；
图5为本申请文本情感分析模型训练装置一实施例中特征模块的功能单元示意图；
图6为本申请文本情感分析模型训练装置一实施例中分类模块的功能单元示意图。
本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
如图1所示，图1为本申请实施例方案涉及的硬件运行环境的文本情感分析模型训练设备结构示意图。
本申请实施例中的文本情感分析模型训练设备可以是便携计算机、服务器等具有数据处理能力的终端设备。
如图1所示，该文本情感分析模型训练设备可以包括：处理器1001，例如 CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选地可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选地还可以是独立于前述处理器1001的存储装置。
本领域技术人员可以理解，图1中示出的文本情感分析模型训练设备结构并不构成对文本情感分析模型训练设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作***、网络通信模块、用户接口模块以及文本情感分析模型训练程序。
在图1所示的文本情感分析模型训练设备中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的文本情感分析模型训练程序，并执行以下文本情感分析模型训练方法的各实施例的操作。
参照图2，图2为本申请文本情感分析模型训练方法一实施例的流程示意图，在该实施例中，文本情感分析模型训练方法包括：
步骤S10，获取待训练的文本样本，其中，文本样本带有标注信息，标注信息为文本样本包含的正确情感类别。
在本实施例中，首先，获取待训练的文本样本，以便基于文本样本对预设的文本情感分析模型进行训练。具体地，待训练的文本样本带有标注信息，其中，标注信息主要是文本样本所包含的情感类别信息，在本实施例中，情感类别信息包括但不限于乐观、悲观、愤怒及惊讶等。
步骤S20，通过预设的分词方法对文本样本进行分词处理，将文本样本划分为若干个不同的词。
进一步地，对待训练的文本样本进行预处理，预处理的过程主要是对文本样本进行分词。现代分词都是基于统计的分词，而统计的样本内容来自于一些标准的语料库，通过标准语料库，可以近似地计算出所有的词之间的二元条件概率。基于标准语料库可以计算出文本样本中包含的各个词对应的二元条件概率，通过二元条件概率确定文本样本的联合分布概率，将最大联合分布概率对应的分词方法，确定为文本样本对应的最优分词方法，以便通过最优分词方法将文本样本划分为若干个不同的词。
步骤S30，基于预设的编码方法对若干个不同的词分别进行编码处理，得到文本样本对应的词向量。
进一步地，对文本样本进行分词后，将分词得到的若干个词分别进行编码，在本实施例中，主要是采用one-hot编码。one-hot编码的目的是将类别变量转换为机器学习算法易于利用的一种形式，也就是说，one-hot编码是把文本样本分词后得到的离散变量转换为连续变量。使用one-hot编码对文本样本包含的各个词进行“二进制化”操作，提高了变量之间的距离计算的合理性。可以理解的是，在本实施例中，对文本样本分词处理后得到的各个词进行编码得到的是各个词对应的词向量。
步骤S40，将词向量输入至预设的深度神经网络中，基于预设的深度神经网络中的嵌入层对词向量进行降维处理，得到降维后的词向量。
进一步地，将编码得到的词向量输入至深度神经网络中，基于深度神经网络对编码得到的词向量进行处理，以进行文本样本的特征提取。在本实施例中，由于使用one-hot编码得到的词向量维数高且稀疏，因此，首先通过深度神经网络中的嵌入层对输入的词向量进行降维处理。
具体地，降维处理的过程如下：首先，获取嵌入层中存储的权重矩阵W，因为深度神经网络中的嵌入层本质就是一个特殊的全连接，只是输入至深度神经网络的向量都是0或1，因此，将输入的词向量与权重矩阵W相乘，就可以降低输入词向量的维度。
步骤S50，基于预设的深度神经网络中的隐藏层对降维后的词向量进行计算，得到文本样本对应的特征。
进一步地，通过深度神经网络中的隐藏层对降维后的词向量进行计算，从而对降维后的词向量进行特征提取，提取出的特征即为文本样本对应的特征。
具体地，特征提取的过程如下：
随机将第L-1段文本样本经过分词及编码后得到的词向量输入至深度神经网络中，通过嵌入层的权重矩阵W对输入的词向量进行降维处理，并将降维处理后得到的词向量作为深度神经网络提取出的第1个文本样本的特征；进一步地，获取预设的深度神经网络中第L-1层隐藏层的权重矩阵，基于非线性激活函数对第L-1层的权重矩阵及第1段文本样本的特征进行计算，得到第L段文本样本的特征，其中，基于非线性激活函数进行计算的公式如下：
Figure BDA0002206921040000082
Figure BDA0002206921040000083
其中，Xi为第i段文本样本经过分词及编码处理后得到的词向量，hi 1为预设的深度神经网络提取出的第1段文本样本的特征，σ为非线性激活函数， WL-1为预设的深度神经网络中第L-1层隐藏层的权重矩阵，hi L为预设的深度神经网络提取出的第L段文本样本的特征。
步骤S60，通过多分类SVM支持向量机对文本样本对应的特征进行分类，确定文本样本对应的情感类别。
完成待训练的文本样本的特征提取后，进一步地，基于多分类SVM(SupportVectorMachine，支持向量机)对提取的特征进行分类，从而确定文本样本的情感类别。
具体地，假设多分类SVM支持向量机的预设数据集中情感的种类为k种，记为y∈{1,…,K}；同时，随机初始化k个权重向量Wy，则对于第i个文本样本，多分类SVM支持向量机的决策为：
Figure BDA0002206921040000081
即在k个情感种类中，预设的文本情感分析模型判别出
Figure BDA0002206921040000091
的最大乘积所对应的类别信息，为文本样本对应的情感类别。
步骤S70，基于损失函数确定情感类别与正确情感类别的差异值，当差异值满足预设条件时，判定文本情感分析模型训练完成。
在本实施例中，是通过损失函数来判断文本情感分析模型是否训练完成，损失函数定义如下：
Figure BDA0002206921040000092
s.t.对于所有i,所有y：
Figure BDA0002206921040000093
其中，yi为文本样本对应的正确情感类别，在本实施例中，因为待训练的文本样本均带有正确的情感类别标注信息，因此，损失函数要求所有错误类别的得分都小于正确类别的得分。同时，在本实施例中，定义情感类别之间的差异度Δ(y,j)，同种情感类别之间的差异度Δ(y,y)＝0，不同种情感类别之间的差异可以设置为1也可以设置为不同值。损失函数要求错误类别的得分与正确类别的得分之间的间隔大于二者之间的差异Δ(yi,y)。
在本实施例中，首先获取带有标注信息的待训练文本样本，标注信息为文本样本包含的正确情感类别，并对文本样本进行分词处理，得到若干个不同的词；对若干个不同的词分别进行编码处理，得到文本样本对应的词向量，并将词向量输入至预设的深度神经网络中，基于预设的深度神经网络中的嵌入层对词向量进行降维处理；进一步地，基于预设的深度神经网络中的隐藏层对降维后的词向量进行计算，得到文本样本对应的特征；最后，通过多分类SVM支持向量机对计算得到的特征进行分类，从而确定文本样本对应的情感类别，在文本情感分析模型训练过程中，基于损失函数确定情感类别与正确情感类别的差异值，当差异值满足预设条件时，即可判定文本情感分析模型训练完成。本申请提出的文本情感分析模型训练方法，通过深度神经网络来抽取文本样本中的情感特征，再使用多分类SVM支持向量机对提取出的特征进行多分类，达到提高分类准确率的效果。
进一步地，所述步骤S20包括：
步骤S21，基于标准语料库计算文本样本中包含的各个词对应的二元条件概率，其中，标准语料库中任意两个词W1和W2的二元条件概率分布表示为：
Figure 100002_3
Figure 8
其中，freq(W1,W2)表示W1和W2在标准语料库中相邻一起出现的次数， freq(W1)和freq(W2)分别表示W1和W2在标准语料库中出现的统计次数；
步骤S22，基于二元条件概率确定文本样本中各个词的联合分布概率，从联合分布概率中确定最大联合分布概率，将最大联合分布概率对应的分词方法，确定为文本样本对应的最优分词方法；
步骤S23，基于最优分词方法将文本样本划分为若干个不同的词。
在本实施例中，通过标准语料库计算出文本样本中包含的各个词对应的二元条件概率，通过二元条件概率确定文本样本的联合分布概率，将最大联合分布概率对应的分词方法，确定为文本样本对应的最优分词方法。
具体地，对于任意两个词W1和W2，它们的二元条件概率分布可以近似的表示为：
Figure 100002_4
Figure 9
其中，freq(W1,W2)表示W1和W2在标准语料库中相邻一起出现的次数，而freq(W1)和freq(W2)则分别表示W1和W2在标准语料库中出现的统计次数。
通过上述二元条件概率分布公式，计算出文本样本中包含的各个词对应的二元条件概率，根据二元条件概率确定文本样本中各个词的联合分布概率，找到最大联合分布概率对应的分词方法，即为文本样本对应的最优分词方法。通过最优分词方法对文本样本进行分词处理，即可将文本样本划分为若干个不同的词。
进一步地，在步骤S70之后，还包括：
在本实施例中，完成对预设的文本情感分析模型的训练后，当接收到文本情感分析指令时，首先获取预设的文本情感分析模型，使用预设的文本情感分析模型对待分析文本进行文本情感分析，以输出待分析文本包含的情感类别信息。
具体地，首先，对输入的待分析文本进行预处理，即对待分析文本进行分词；进一步地，基于one-hot编码方法对分词得到的若干个词进行编码，得到对应的词向量；将编码得到的词向量输入至深度神经网络中，以便通过深度神经网络提取出文本样本的特征；最后，基于多分类SVM支持向量机对提取出的特征进行情感类别分类，并最终输出待分析文本对应的情感类别信息。
参照图3，图3为本申请文本情感分析模型训练装置一实施例的功能模块示意图。
在本实施例中，文本情感分析模型训练装置包括：
获取模块10，用于获取待训练的文本样本，其中，所述文本样本带有标注信息，所述标注信息为所述文本样本包含的正确情感类别；
分词模块20，用于通过预设的分词方法对所述文本样本进行分词处理，将所述文本样本划分为若干个不同的词；
编码模块30，用于基于预设的编码方法对所述若干个不同的词分别进行编码处理，得到所述文本样本对应的词向量；
降维模块40，用于将所述词向量输入至预设的深度神经网络中，基于所述预设的深度神经网络中的嵌入层对所述词向量进行降维处理，得到降维后的词向量；
特征模块50，用于基于所述预设的深度神经网络中的隐藏层对所述降维后的词向量进行计算，得到所述文本样本对应的特征；
分类模块60，用于通过多分类SVM支持向量机对所述文本样本对应的特征进行分类，确定所述文本样本对应的情感类别；
完成模块70，用于基于损失函数确定所述情感类别与所述正确情感类别的差异值，当所述差异值满足预设条件时，判定所述文本情感分析模型训练完成。
进一步地，参照图4，所述分词模块20包括：
概率计算单元201，用于基于标准语料库计算所述文本样本中包含的各个词对应的二元条件概率，其中，标准语料库中任意两个词W1和W2的二元条件概率分布表示为：
其中，freq(W1,W2)表示W1和W2在标准语料库中相邻一起出现的次数， freq(W1)和freq(W2)分别表示W1和W2在标准语料库中出现的统计次数；
最优分词单元202，用于基于所述二元条件概率确定所述文本样本中各个词的联合分布概率，从所述联合分布概率中确定最大联合分布概率，将所述最大联合分布概率对应的分词方法，确定为所述文本样本对应的最优分词方法；
文本划分单元203，用于基于所述最优分词方法将所述文本样本划分为若干个不同的词
进一步地，参照图5，所述特征模块50包括：
特征计算单元501，用于将第L-1段文本样本对应的所述降维后的词向量作为第1段文本样本的特征，并获取所述预设的深度神经网络中第L-1层隐藏层的权重矩阵，基于非线性激活函数对所述第L-1层的权重矩阵及所述第1 段文本样本的特征进行计算，得到第L段文本样本的特征，其中，基于非线性激活函数进行计算的公式如下：
Figure BDA0002206921040000122
Figure BDA0002206921040000123
其中，Xi为第i段文本样本经过分词及编码处理后得到的词向量，hi 1为所述预设的深度神经网络提取出的第1段文本样本的特征，σ为非线性激活函数，WL-1为所述预设的深度神经网络中第L-1层隐藏层的权重矩阵，hi L为所述预设的深度神经网络提取出的第L段文本样本的特征。
进一步地，参照图6，所述分类模块60包括：
类别计算单元601，用于随机初始化k个权重向量Wy，则对于第i个文本样本，所述多分类SVM支持向量机的决策为：
Figure BDA0002206921040000124
其中，k为所述多分类SVM支持向量机的预设数据集中的情感类别数目；
类别确定单元602，用于将
Figure BDA0002206921040000125
的最大乘积对应的情感类别确定为所述文本样本对应的情感类别。
本申请文本情感分析模型训练装置的具体实施例与上述文本情感分析模型训练方法的各个实施例基本相同，在此不做赘述。
此外，本申请实施例还提出一种可读存储介质，所述可读存储介质上存储文本情感分析模型训练程序，所述文本情感分析模型训练程序被处理器执行时实现如上述的文本情感分析模型训练方法的步骤。
本申请可读存储介质的具体实施例与上述文本情感分析模型训练方法的各个实施例基本相同，在此不做赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种文本情感分析模型训练方法，其特征在于，所述文本情感分析模型训练方法包括以下步骤：
获取待训练的文本样本，其中，所述文本样本带有标注信息，所述标注信息为所述文本样本包含的正确情感类别；
通过预设的分词方法对所述文本样本进行分词处理，将所述文本样本划分为若干个不同的词；
基于预设的编码方法对所述若干个不同的词分别进行编码处理，得到所述文本样本对应的词向量；
将所述词向量输入至预设的深度神经网络中，基于所述预设的深度神经网络中的嵌入层对所述词向量进行降维处理，得到降维后的词向量；
基于所述预设的深度神经网络中的隐藏层对所述降维后的词向量进行计算，得到所述文本样本对应的特征；
通过多分类SVM支持向量机对所述文本样本对应的特征进行分类，确定所述文本样本对应的情感类别；
基于损失函数确定所述情感类别与所述正确情感类别的差异值，当所述差异值满足预设条件时，判定所述文本情感分析模型训练完成。
2.如权利要求1所述的文本情感分析模型训练方法，其特征在于，所述通过预设的分词方法对所述文本样本进行分词处理，将所述文本样本划分为若干个不同的词包括：
基于标准语料库计算所述文本样本中包含的各个词对应的二元条件概率，其中，标准语料库中任意两个词W1和W2的二元条件概率分布表示为：
Figure 3
Figure 4
其中，freq(W1,W2)表示W1和W2在标准语料库中相邻一起出现的次数，freq(W1)和freq(W2)分别表示W1和W2在标准语料库中出现的统计次数；
基于所述二元条件概率确定所述文本样本中各个词的联合分布概率，从所述联合分布概率中确定最大联合分布概率，将所述最大联合分布概率对应的分词方法，确定为所述文本样本对应的最优分词方法；
基于所述最优分词方法将所述文本样本划分为若干个不同的词。
3.如权利要求1所述的文本情感分析模型训练方法，其特征在于，所述基于所述预设的深度神经网络中的隐藏层对所述降维后的词向量进行计算，得到所述文本样本对应的特征包括：
将第L-1段文本样本对应的所述降维后的词向量作为第1段文本样本的特征，并获取所述预设的深度神经网络中第L-1层隐藏层的权重矩阵，基于非线性激活函数对所述第L-1层的权重矩阵及所述第1段文本样本的特征进行计算，得到第L段文本样本的特征，其中，基于非线性激活函数进行计算的公式如下：
Figure FDA0002206921030000021
Figure FDA0002206921030000022
其中，Xi为第i段文本样本经过分词及编码处理后得到的词向量，hi 1为所述预设的深度神经网络提取出的第1段文本样本的特征，σ为非线性激活函数，WL-1为所述预设的深度神经网络中第L-1层隐藏层的权重矩阵，hi L为所述预设的深度神经网络提取出的第L段文本样本的特征。
4.如权利要求3所述的文本情感分析模型训练方法，其特征在于，所述通过多分类SVM支持向量机对所述文本样本对应的特征进行分类，确定所述文本样本对应的情感类别包括：
随机初始化k个权重向量Wy，则对于第i个文本样本，所述多分类SVM支持向量机的决策为：
Figure FDA0002206921030000023
其中，k为所述多分类SVM支持向量机的预设数据集中的情感类别数目；
将
Figure FDA0002206921030000024
的最大乘积对应的情感类别确定为所述文本样本对应的情感类别。
5.一种文本情感分析模型训练装置，其特征在于，所述文本情感分析模型训练装置包括：
获取模块，用于获取待训练的文本样本，其中，所述文本样本带有标注信息，所述标注信息为所述文本样本包含的正确情感类别；
分词模块，用于通过预设的分词方法对所述文本样本进行分词处理，将所述文本样本划分为若干个不同的词；
编码模块，用于基于预设的编码方法对所述若干个不同的词分别进行编码处理，得到所述文本样本对应的词向量；
降维模块，用于将所述词向量输入至预设的深度神经网络中，基于所述预设的深度神经网络中的嵌入层对所述词向量进行降维处理，得到降维后的词向量；
特征模块，用于基于所述预设的深度神经网络中的隐藏层对所述降维后的词向量进行计算，得到所述文本样本对应的特征；
分类模块，用于通过多分类SVM支持向量机对所述文本样本对应的特征进行分类，确定所述文本样本对应的情感类别；
完成模块，用于基于损失函数确定所述情感类别与所述正确情感类别的差异值，当所述差异值满足预设条件时，判定所述文本情感分析模型训练完成。
6.如权利要求5所述的文本情感分析模型训练装置，其特征在于，所述分词模块包括：
概率计算单元，用于基于标准语料库计算所述文本样本中包含的各个词对应的二元条件概率，其中，标准语料库中任意两个词W1和W2的二元条件概率分布表示为：
Figure 6
其中，freq(W1,W2)表示W1和W2在标准语料库中相邻一起出现的次数，freq(W1)和freq(W2)分别表示W1和W2在标准语料库中出现的统计次数；
最优分词单元，用于基于所述二元条件概率确定所述文本样本中各个词的联合分布概率，从所述联合分布概率中确定最大联合分布概率，将所述最大联合分布概率对应的分词方法，确定为所述文本样本对应的最优分词方法；
文本划分单元，用于基于所述最优分词方法将所述文本样本划分为若干个不同的词。
7.如权利要求5所述的文本情感分析模型训练装置，其特征在于，所述特征模块包括：
特征计算单元，用于将第L-1段文本样本对应的所述降维后的词向量作为第1段文本样本的特征，并获取所述预设的深度神经网络中第L-1层隐藏层的权重矩阵，基于非线性激活函数对所述第L-1层的权重矩阵及所述第1段文本样本的特征进行计算，得到第L段文本样本的特征，其中，基于非线性激活函数进行计算的公式如下：
Figure FDA0002206921030000041
Figure FDA0002206921030000042
其中，Xi为第i段文本样本经过分词及编码处理后得到的词向量，hi 1为所述预设的深度神经网络提取出的第1段文本样本的特征，σ为非线性激活函数，WL-1为所述预设的深度神经网络中第L-1层隐藏层的权重矩阵，hi L为所述预设的深度神经网络提取出的第L段文本样本的特征。
8.如权利要求7所述的文本情感分析模型训练装置，其特征在于，所述分类模块包括：
类别计算单元，用于随机初始化k个权重向量Wy，则对于第i个文本样本，所述多分类SVM支持向量机的决策为：
Figure FDA0002206921030000043
其中，k为所述多分类SVM支持向量机的预设数据集中的情感类别数目；
类别确定单元，用于将
Figure FDA0002206921030000044
的最大乘积对应的情感类别确定为所述文本样本对应的情感类别。
9.一种文本情感分析模型训练设备，其特征在于，所述文本情感分析模型训练设备包括输入输出单元、存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至4中任一项所述的文本情感分析模型训练方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储有文本情感分析模型训练程序，所述文本情感分析模型训练程序被处理器执行时实现如权利要求1至4中任一项所述的文本情感分析模型训练方法的步骤。
CN201910884618.1A 2019-09-19 2019-09-19 文本情感分析模型训练方法、装置、设备及可读存储介质 Pending CN110807314A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910884618.1A CN110807314A (zh) 2019-09-19 2019-09-19 文本情感分析模型训练方法、装置、设备及可读存储介质
PCT/CN2019/118268 WO2021051598A1 (zh) 2019-09-19 2019-11-14 文本情感分析模型训练方法、装置、设备及可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910884618.1A CN110807314A (zh) 2019-09-19 2019-09-19 文本情感分析模型训练方法、装置、设备及可读存储介质

Publications (1)

Publication Number Publication Date
CN110807314A true CN110807314A (zh) 2020-02-18

Family

ID=69487688

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910884618.1A Pending CN110807314A (zh) 2019-09-19 2019-09-19 文本情感分析模型训练方法、装置、设备及可读存储介质

Country Status (2)

Country Link
CN (1) CN110807314A (zh)
WO (1) WO2021051598A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990837A (zh) * 2020-02-29 2020-04-10 网御安全技术（深圳）有限公司 ***调用行为序列降维方法、***、设备和存储介质
CN111339305A (zh) * 2020-03-20 2020-06-26 北京中科模识科技有限公司 文本分类方法、装置、电子设备及存储介质
CN112084316A (zh) * 2020-09-09 2020-12-15 浙江连信科技有限公司 一种情绪识别模型的训练方法及装置
CN112612878A (zh) * 2020-12-17 2021-04-06 大唐融合通信股份有限公司 一种客服信息提供方法、电子设备及装置
CN113283232A (zh) * 2021-05-31 2021-08-20 支付宝(杭州)信息技术有限公司 自动解析文本中隐私信息的方法和装置
CN113626587A (zh) * 2020-05-08 2021-11-09 武汉金山办公软件有限公司 一种文本类别识别方法、装置、电子设备及介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113326695B (zh) * 2021-04-26 2024-04-26 东南大学 一种基于迁移学习的情感极性分析方法
CN113657446A (zh) * 2021-07-13 2021-11-16 广东外语外贸大学 多标签情绪分类模型的处理方法、***和存储介质
CN113656548B (zh) * 2021-08-18 2023-08-04 福州大学 基于数据包络分析的文本分类模型解释方法及***
CN114186063B (zh) * 2021-12-14 2024-06-21 合肥工业大学 跨域文本情绪分类模型的训练方法和分类方法
CN115310585A (zh) * 2022-07-04 2022-11-08 浙江大学 一种基于自编码器的高维神经信号降维方法及用途
CN115203412B (zh) * 2022-07-06 2024-02-20 腾讯科技（深圳）有限公司 情感观点信息分析方法、装置、存储介质及电子设备
CN116522932B (zh) * 2023-06-26 2023-09-19 云目未来科技(湖南)有限公司 一种文本分析方法及***

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868178A (zh) * 2016-03-28 2016-08-17 浙江大学 一种基于短语主题建模的多文档自动摘要生成方法
CN106844424A (zh) * 2016-12-09 2017-06-13 宁波大学 一种基于lda的文本分类方法
CN109299263A (zh) * 2018-10-10 2019-02-01 上海观安信息技术股份有限公司 文本分类方法、电子设备及计算机程序产品
CN109857864A (zh) * 2019-01-07 2019-06-07 平安科技（深圳）有限公司 文本情感分类方法、装置、计算机设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180246959A1 (en) * 2015-09-08 2018-08-30 Stefano Maria Iacus Isa: a fast scalable and accurate algorithm for supervised opinion analysis
CN107391483A (zh) * 2017-07-13 2017-11-24 武汉大学 一种基于卷积神经网络的商品评论数据情感分类方法
CN108108355A (zh) * 2017-12-25 2018-06-01 北京牡丹电子集团有限责任公司数字电视技术中心 基于深度学习的文本情感分析方法和***
CN109284376A (zh) * 2018-09-10 2019-01-29 成都信息工程大学 基于领域自适应的跨领域新闻数据情感分析方法
CN110209824B (zh) * 2019-06-13 2021-06-22 中国科学院自动化研究所 基于组合模型的文本情感分析方法、***、装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105868178A (zh) * 2016-03-28 2016-08-17 浙江大学 一种基于短语主题建模的多文档自动摘要生成方法
CN106844424A (zh) * 2016-12-09 2017-06-13 宁波大学 一种基于lda的文本分类方法
CN109299263A (zh) * 2018-10-10 2019-02-01 上海观安信息技术股份有限公司 文本分类方法、电子设备及计算机程序产品
CN109857864A (zh) * 2019-01-07 2019-06-07 平安科技（深圳）有限公司 文本情感分类方法、装置、计算机设备及存储介质

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110990837A (zh) * 2020-02-29 2020-04-10 网御安全技术（深圳）有限公司 ***调用行为序列降维方法、***、设备和存储介质
CN110990837B (zh) * 2020-02-29 2023-03-24 网御安全技术（深圳）有限公司 ***调用行为序列降维方法、***、设备和存储介质
CN111339305A (zh) * 2020-03-20 2020-06-26 北京中科模识科技有限公司 文本分类方法、装置、电子设备及存储介质
CN111339305B (zh) * 2020-03-20 2023-04-14 北京中科模识科技有限公司 文本分类方法、装置、电子设备及存储介质
CN113626587A (zh) * 2020-05-08 2021-11-09 武汉金山办公软件有限公司 一种文本类别识别方法、装置、电子设备及介质
CN113626587B (zh) * 2020-05-08 2024-03-29 武汉金山办公软件有限公司 一种文本类别识别方法、装置、电子设备及介质
CN112084316A (zh) * 2020-09-09 2020-12-15 浙江连信科技有限公司 一种情绪识别模型的训练方法及装置
CN112612878A (zh) * 2020-12-17 2021-04-06 大唐融合通信股份有限公司 一种客服信息提供方法、电子设备及装置
CN113283232A (zh) * 2021-05-31 2021-08-20 支付宝(杭州)信息技术有限公司 自动解析文本中隐私信息的方法和装置

Also Published As

Publication number Publication date
WO2021051598A1 (zh) 2021-03-25

Similar Documents

Publication Publication Date Title
CN110807314A (zh) 文本情感分析模型训练方法、装置、设备及可读存储介质
CN109271521B (zh) 一种文本分类方法及装置
CN106951832B (zh) 一种基于手写字符识别的验证方法及装置
CN110990543A (zh) 智能对话的生成方法、装置、计算机设备及计算机存储介质
CN110555372A (zh) 数据录入方法、装置、设备及存储介质
CN110705233B (zh) 基于文字识别技术的笔记生成方法、装置和计算机设备
CN112580643B (zh) 一种基于深度学习的车牌识别方法、装置及存储介质
CN108038208B (zh) 上下文信息识别模型的训练方法、装置和存储介质
CN109685065B (zh) 试卷内容自动分类的版面分析方法、***
CN111858843B (zh) 一种文本分类方法及装置
CN112036168B (zh) 事件主体识别模型优化方法、装置、设备及可读存储介质
CN113254654B (zh) 模型训练、文本识别方法、装置、设备和介质
CN110750984B (zh) 命令行字符串处理方法、终端、装置及可读存储介质
CN111931809A (zh) 数据的处理方法、装置、存储介质及电子设备
CN110287311A (zh) 文本分类方法及装置、存储介质、计算机设备
CN112836509A (zh) 一种专家***知识库构建方法及***
US8463054B2 (en) Hierarchical OCR using decision tree and nonparametric classifier
CN112036169B (zh) 事件识别模型优化方法、装置、设备及可读存储介质
CN117197904A (zh) 人脸活体检测模型的训练方法、人脸活体检测方法及装置
CN115357699A (zh) 文本抽取方法、装置、设备及存储介质
CN111680669A (zh) 一种试题分割方法、***及可读存储介质
CN113128284A (zh) 一种多模态情感识别方法和装置
CN111488501A (zh) 一种基于云平台的电商统计***
CN111859957B (zh) 情感原因子句标签的抽取方法、装置、设备及存储介质
CN109657710B (zh) 数据筛选方法、装置、服务器及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination