CN115080689B - 融合标签关联的隐空间数据增强多标签文本分类方法 - Google Patents

融合标签关联的隐空间数据增强多标签文本分类方法 Download PDF

Info

Publication number
CN115080689B
CN115080689B CN202210679320.9A CN202210679320A CN115080689B CN 115080689 B CN115080689 B CN 115080689B CN 202210679320 A CN202210679320 A CN 202210679320A CN 115080689 B CN115080689 B CN 115080689B
Authority
CN
China
Prior art keywords
data
label
text
tag
batch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210679320.9A
Other languages
English (en)
Other versions
CN115080689A (zh
Inventor
线岩团
苗育华
王红斌
文永华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202210679320.9A priority Critical patent/CN115080689B/zh
Publication of CN115080689A publication Critical patent/CN115080689A/zh
Application granted granted Critical
Publication of CN115080689B publication Critical patent/CN115080689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/3332—Query translation
    • G06F16/3335—Syntactic pre-processing, e.g. stopword elimination, stemming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开融合标签关联的隐空间数据增强多标签文本分类方法，通对批次中的数据进行编码，然后通过双向LSTM和attention进行训练，并对标签列表中的先验知识进行挖掘，最后将编码后的数据与得到的标签先验知识进行一种隐空间的匹配方法，构造出一批隐空间下的虚拟数据，再对多标签文本模型进行完善训练，完成多标签文本分类；与其他深度学习模型相比，所提出的方法在主要评价指标Micro_F1上具有较好的性能。本发明方法的Micro_F1达到了72.08％，比传统的机器学习方法BR、CC和LP算法在Micro_F1值上提高了5.18％、3.28％和2.38％，比神经网络模型中的LSTM、CNN‑RNN和SGM的Micro_F1值上提高了3.78％、2.38％和1.08％。

Description

融合标签关联的隐空间数据增强多标签文本分类方法
技术领域
本发明涉及融合标签关联的隐空间数据增强多标签文本分类方法，涉及自然语言处理技术领域。
背景技术
文本分类是自然语言处理中重要且经典的问题，就是将文本按照一定的规则分门别类。仅仅用传统的人工分类和概率统计的方法在巨量的文本信息中鉴别其文本类别，其所消耗的资源是数不胜数的，而且随着现如今数据量的急剧增大，各个类别需要更细粒度的划分，还存在一个样本与多个类别相关的情况，传统的单标签文本分类不能很好地达到人们的期望。因此，对于多标签文本分类的研究应运而生。标签文本分类是文本分类的子任务，是从标签集合中选中具体标签，为每个实例分配最相关的类标签子集。多标签分类在现实生活中有许多实际应用，当在面对含有多标签的新闻数据时，通过对主题进行处理，多标签文本分类方法可以准确定位其舆情的类别。该任务还适用于电子商务的产品标签分类、生物医学的文本注释和***的类别标签分类等。
相比与单标签分类，多标签分类方法可以更好地适用于实际生活中，符合客观对象的特征和规律。但面对实际的文本里，标签的类别个数相当多，存在有些标签涉及的内容极少，导致很大的标签不平衡的问题，而且标签的输出空间会随着标签个数呈指数级增加。对于所有的多标签文本分类问题，当需要更细粒度的标签分类时，标签个数的增多、标签不平衡的问题也有待考究。现有的方法往往忽略标签之间的相关性，只考虑到不同标签对同一文本的影响，从而没有很好的挖掘出文本涉及到多个标签之间的关系。因此提出了一种融合标签关联的隐空间数据增强多标签文本分类方法。
发明内容
本发明的目的在于，提供一种融合标签关联的隐空间数据增强多标签文本分类方法，通对批次中的数据进行编码，然后通过双向LSTM和attention进行训练，并对标签列表中的先验知识进行挖掘，最后将编码后的数据与得到的标签先验知识进行一种隐空间的匹配方法，构造出一批隐空间下的虚拟数据，再对多标签文本模型进行完善训练，完成多标签文本分类。
为实现上述技术目的，达到上述技术效果，本发明是通过以下技术方案实现：
融合标签关联的隐空间数据增强多标签文本分类方法，包括通过对数据集及标签关系的预处理，挖掘出标签的先验知识；构建基于注意力机制的多标签文本分类模型；通过对标签的先验知识与已有数据的匹配，在隐空间中将其等量的联系数据变为一批新的虚拟数据；再对多标签文本模型进行完善训练，完成多标签文本分类。
进一步的，所述融合标签关联的隐空间数据增强多标签文本分类方法，包括以下步骤：
S1：采用python语言编写程序对数据集中的数据及其标签进行预处理，对文本中的停用词以及标签进行处理，使得每条文本与其标签按行对应的保存至csv文件中；
统计出所涉及的标签和文本数，计算出各个标签相互出现的次数，通过对训练数据的挖掘，发现出各类标签联系的先验知识；
S2：依次对文本进行词嵌入、编码，同时配合先验知识在原始训练批次中挖掘出与当前文本对应的联系数据，将原始批次中的数据进行扩充，然后通过attention层提取批次中文本对应的特征及标签相关的文本特征；
S3：基于已挖掘出的标签相关的先验知识与文本特征进行交叉融合，使得联系数据的标签特征以及文本特征得到变化，成为一批隐空间下的虚拟数据；
S4：对原始的交叉熵损失函数进行修改，将增强后的数据与原始数据放入多标签分类模型中进行训练，将隐空间下虚拟数据的损失以及原始数据得到的损失经过一定的比率结合，不断完善分类模型，获得多标签文本分类结果。
进一步的，所述S1通过下载网上公开的AAPD的原始数据集，预处理后通过给出示例样本{S1，S2，S3，S4}，以及样本在标签{L1，L2，L3，L4}空间下的标签表示，通过对标签之间相互出现次数的统计，得出标签共现矩阵其中标签对自身的影响为0，再通过对矩阵的行进行归一化处理，得到样本下标签之间的得分矩阵L。
进一步的，所述S2是构建基于注意力机制的多标签文本分类模型的策略，首先在传入模型前将训练批次中的数据量定位128，在批次化数据中，配合先验知识挖掘出与原始文本对应的联系数据，使得批次中的数据量扩充为256；
然后通过词嵌入模块对输入文本进行词嵌入处理，获得标签和文本词汇的嵌入表示，下载并使用斯坦福大学公开的Glove词袋，使用100d-Glove方法并通过词嵌入矩阵和标签嵌入矩阵将文本中的单词{w1，w2，…，wn}转化为词向量表示x＝{x1，x2，…，xn}，其中xi为第i个单词的词向量表示；并将xi通过一个嵌入矩阵V∈Rk×|w|，其中|w|为词汇表的大小，k为嵌入向量的维数；
然后，使用双向LSTM从两个方向读取文本序列x，并计算每个单词的隐藏表示，公式如下：
通过连接两个方向的隐藏状态，得到第i个单词的最终隐藏表示包含以第i个字为中心的序列信息；
对于通过attention层，采用4个多头自注意力机制抽取每个字的上下文特征；假设给定一个序列的向量一个单头自我注意力将H投影到三个不同的矩阵：Q矩阵为/>K矩阵为/>V矩阵为/>输出矩阵的维度为/>然后使用缩放的点积注意力来获取输出表示：
Q，K，V＝HWQ，HWK，HWV
进一步的，所述S3基于已挖掘出的标签相关的先验知识与文本特征进行交叉融合，通过对S2批次化中原始数据与联系数据的切分，对每个批次传入的128条联系数据及标签的特征向量进行数据增强；
进一步的，所述数据增强通过对当前批次中原始数据已经获得的基于隐空间的数据表示S1＝{h1，h2，…，hn}，与其对应的联系数据获得的基于隐空间的数据表示进行一定比例结合，得到新的虚拟数据的文本数据特征表示对于虚拟数据对应隐空间的标签特征，将原始数据与虚拟数据中标签一致的地方保留，不一致的地方通过S1中的标签得分矩阵L进行查询，得出当前数据的其他标签对于标签的影响分数，进而通过伯努利分布随机采样，构建出虚拟数据的标签特征最终构建出基于隐空间的虚拟数据；
进一步的，所述S4对原始的交叉熵损失函数进行修改，损失函数公式如下：
其中，Ωneg和Ωpos分别代表样本的正负类别集合，si为非目标类中第i类的得分，sj为目标类中第j类的得分，对于额外的0类得分s0，使其阈值为0。
最后将原始数据与虚拟数据的隐含表示作为该模型最终隐状态，获得与自身文本相关的文本特征表示：c＝{c1，c2，…，ck}；
进一步的，所述S4将增强后的数据与原始数据放入多标签分类模型中进行训练，公式如下：
多标签文本分类结果的获得，将隐空间下虚拟数据的损失以及原始数据得到的损失/>经过比率λ进行结合。
本发明的有益效果：
本发明的融合标签关联的隐空间数据增强多标签文本分类方法，通对批次中的数据进行编码，然后通过双向LSTM和attention进行训练，并对标签列表中的先验知识进行挖掘，最后将编码后的数据与得到的标签先验知识进行一种隐空间的匹配方法，构造出一批隐空间下的虚拟数据，再对多标签文本模型进行完善训练，完成多标签文本分类；
本发明的融合标签关联的隐空间数据增强多标签文本分类方法，捕捉了各个文本的标签结构之间的联系通过隐空间数据增强方法，有效解决了多标签分类中的标签不平衡的问题；
与其他深度学习模型相比，所提出的方法在主要评价指标Micro_F1上具有较好的性能。本发明方法的Micro_F1达到了72.08％，比传统的机器学习方法BR、CC和LP算法在Micro_F1值上提高了5.18％、3.28％和2.38％，比神经网络模型中的LSTM、CNN-RNN和SGM的Micro_F1值上提高了3.78％、2.38％和1.08％。
当然，实施本发明的任一产品并不一定需要同时达到以上所述的所有优点。
附图说明
图1为本发明实施例所融合标签关联的隐空间数据增强多标签文本分类方法的模型图；
图2为本发明实施例所述对数据集及标签关系的预处理示意图；
图3为本发明实施例所述基于已挖掘出的标签相关的先验知识与文本特征进行交叉融合示意图；
具体实施方式
为了更清楚地说明本发明实施例的技术方案，下面将结合附图对实施例对本发明进行详细说明。
融合标签关联的隐空间数据增强多标签文本分类方法，包括通过对数据集及标签关系的预处理，挖掘出标签的先验知识；构建基于注意力机制的多标签文本分类模型；通过对标签的先验知识与已有数据的匹配，在隐空间中将其等量的联系数据变为一批新的虚拟数据；再对多标签文本模型进行完善训练，完成多标签文本分类。
实施例1
如图1所示，融合标签关联的隐空间数据增强多标签文本分类方法的具体实现步骤如下：
S1：采用python语言编写程序对数据集中的数据及其标签进行预处理，对文本中的停用词以及标签进行处理，使得每条文本与其标签按行对应的保存至csv文件中；
统计出所涉及的标签和文本数，计算出各个标签相互出现的次数，通过对训练数据的挖掘，发现出各类标签联系的先验知识；
通过下载网上公开的AAPD的原始数据集，包含了计算机科学领域的55840篇论文的摘要和相应的主题，用于研究目的。共有54类分类标签，具体的数据集分布如表1所示。
表1实验数据集划分(单位：条)
数据预处理采用python语言编写程序实现，对文本中的停用词以及标签进行处理，使得每条文本与其标签按行对应的保存至csv文件中；
如图2所示，S1通过下载网上公开的AAPD的原始数据集，预处理后通过给出示例样本{S1，S2，S3，S4}，以及样本在标签{L1，L2，L3，L4}空间下的标签表示，通过对标签之间相互出现次数的统计，得出标签共现矩阵其中标签对自身的影响为0，再通过对矩阵的行进行归一化处理，得到样本下标签之间的得分矩阵L。
S2：依次对文本进行词嵌入、编码，同时配合先验知识在原始训练批次中挖掘出与当前文本对应的联系数据，将原始批次中的数据进行扩充，然后通过attention层提取批次中文本对应的特征及标签相关的文本特征；
构建基于注意力机制的多标签文本分类模型的策略，首先在传入模型前将训练批次中的数据量定位128，在批次化数据中，配合先验知识挖掘出与原始文本对应的联系数据，使得批次中的数据量扩充为256；
然后通过词嵌入模块对输入文本进行词嵌入处理，获得标签和文本词汇的嵌入表示，下载并使用斯坦福大学公开的Glove词袋，使用100d-Glove方法并通过词嵌入矩阵和标签嵌入矩阵将文本中的单词{w1，w2，…，wn}转化为词向量表示x＝{x1，x2，…，xn}，其中xi为第i个单词的词向量表示；并将xi通过一个嵌入矩阵V∈Rk×|w|，其中|w|为词汇表的大小，k为嵌入向量的维数；
然后，使用双向LSTM从两个方向读取文本序列x，并计算每个单词的隐藏表示，公式如下：
通过连接两个方向的隐藏状态，得到第i个单词的最终隐藏表示包含以第i个字为中心的序列信息；
对于通过attention层，采用4个多头自注意力机制抽取每个字的上下文特征；假设给定一个序列的向量一个单头自我注意力将H投影到三个不同的矩阵：Q矩阵为/>K矩阵为/>V矩阵为/>输出矩阵的维度为/>然后使用缩放的点积注意力来获取输出表示:
Q,K,V＝HWQ,HWK,HWV
S3：基于已挖掘出的标签相关的先验知识与文本特征进行交叉融合，使得联系数据的标签特征以及文本特征得到变化，成为一批隐空间下的虚拟数据；
作为本发明的优选方案，所述Step3中，基于已挖掘出的标签相关的先验知识与文本特征进行交叉融合策略，如图3所示：
基于已挖掘出的标签相关的先验知识与文本特征进行交叉融合，通过对S2批次化中原始数据与联系数据的切分，对每个批次传入的128条联系数据及标签的特征向量进行数据增强；
进一步的，所述数据增强通过对当前批次中原始数据已经获得的基于隐空间的数据表示S1＝{h1，h2，…，hn}，与其对应的联系数据获得的基于隐空间的数据表示进行一定比例结合，得到新的虚拟数据的文本数据特征表示对于虚拟数据对应隐空间的标签特征，将原始数据与虚拟数据中标签一致的地方保留，不一致的地方通过S1中的标签得分矩阵L进行查询，得出当前数据的其他标签对于标签的影响分数，进而通过伯努利分布随机采样，构建出虚拟数据的标签特征最终构建出基于隐空间的虚拟数据；
S4：对原始的交叉熵损失函数进行修改，将增强后的数据与原始数据放入多标签分类模型中进行训练，将隐空间下虚拟数据的损失以及原始数据得到的损失经过一定的比率结合，不断完善分类模型，获得多标签文本分类结果。
S4对原始的交叉熵损失函数进行修改，损失函数公式如下：
其中，Ωneg和Ωpos分别代表样本的正负类别集合，si为非目标类中第i类的得分，sj为目标类中第j类的得分，对于额外的0类得分s0，使其阈值为0。
最后将原始数据与虚拟数据的隐含表示作为该模型最终隐状态，获得与自身文本相关的文本特征表示：c＝{c1，c2，…，ck}；
进一步的，所述S4将增强后的数据与原始数据放入多标签分类模型中进行训练，公式如下：
多标签文本分类结果的获得，将隐空间下虚拟数据的损失以及原始数据得到的损失/>经过比率λ进行结合。
实施例2
基于本发明的上述实施例1的融合标签关联的隐空间数据增强多标签文本分类方法，将多标签文本分类中数据不平衡作为问题，通过隐空间数据增强，设计出融合标签关联的隐空间数据增强多标签文本分类模型，并与以下基线模型进行对比：
BR(Binary Relevance)：通过忽略标签之间的相关性，并为每个标签建立一个单独的分类器，将多标签分类任务转换为多个单标签分类问题。
CC(Classifier Chains)：该算法将多标签分类任务转化为一个二元分类问题链，其中后续的二进制分类器基于先前的预测，如果前面的标签预测错误就会对后面的标签产生影响，并考虑了高阶标签相关性。
LP(Label Powerset)：将多标签问题转化为多类问题，用一个多类分类器对所有唯一标签组合进行训练。
CNN-RNN：该模型将CNN和RNN进行融合，先将词向量送入到CNN中得到文本特征序列，然后将该特征输入到RNN中得到相应的预测标签。利用CNN和RNN来捕获全局和局部文本语义，并对标签相关性进行建模。
LSTM：应用长短期记忆网络来考虑文本的顺序结构，以及减轻***和消失梯度的问题。
SGM：将多标签分类任务视为序列生成问题，利用生成的思想考虑标签之间的相关性，并将seq2seq用作多类分类器。
基于AAPD(包含了计算机科学领域的55840篇论文的摘要和相应的主题)数据集的多标签文本分类实验结果与分析如下：
表2多标签文本分类分类实验结果
表2显示，与其他深度学习模型相比，所提出的方法在主要评价指标Micro_F1上具有较好的性能。本发明方法的Micro_F1达到了72.08％，比传统的机器学习方法BR、CC和LP算法在Micro_F1值上提高了5.18％、3.28％和2.38％，比神经网络模型中的LSTM、CNN-RNN和SGM的Micro_F1值上提高了3.78％、2.38％和1.08％。
本发明的融合标签关联的隐空间数据增强多标签文本分类方法，通对批次中的数据进行编码，然后通过双向LSTM和attention进行训练，并对标签列表中的先验知识进行挖掘，最后将编码后的数据与得到的标签先验知识进行一种隐空间的匹配方法，构造出一批隐空间下的虚拟数据，再对多标签文本模型进行完善训练，完成多标签文本分类；
本发明的融合标签关联的隐空间数据增强多标签文本分类方法，捕捉了各个文本的标签结构之间的联系通过隐空间数据增强方法，有效解决了多标签分类中的标签不平衡的问题；
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。

Claims (3)

1.融合标签关联的隐空间数据增强多标签文本分类方法，其特征在于：包括通过对数据集及标签关系的预处理，挖掘出标签的先验知识；构建基于注意力机制的多标签文本分类模型；通过对标签的先验知识与已有数据的匹配，在隐空间中将其等量的联系数据变为一批新的虚拟数据；再对多标签文本模型进行完善训练，完成多标签文本分类；具体的包括以下步骤：
S1：采用python语言编写程序对数据集中的数据及其标签进行预处理，对文本中的停用词以及标签进行处理，使得每条文本与其标签按行对应的保存至csv文件中；统计出所涉及的标签和文本数，计算出各个标签相互出现的次数，通过对训练数据的挖掘，发现出各类标签联系的先验知识；通过下载网上公开的AAPD的原始数据集，预处理后通过给出示例样本{S1，S2，S3，S4}，以及样本在标签{L1，L2，L3，L4}空间下的标签表示，通过对标签之间相互出现次数的统计，得出标签共现矩阵其中标签对自身的影响为0，再通过对矩阵的行进行归一化处理，得到样本下标签之间的得分矩阵L；
S2：依次对文本进行词嵌入、编码，同时配合先验知识在原始训练批次中挖掘出与当前文本对应的联系数据，将原始批次中的数据进行扩充，然后通过attention层提取批次中文本对应的特征及标签相关的文本特征；构建基于注意力机制的多标签文本分类模型的策略，首先在传入模型前将训练批次中的数据量定位128，在批次化数据中，配合先验知识挖掘出与原始文本对应的联系数据，使得批次中的数据量扩充为256；
然后通过词嵌入模块对输入文本进行词嵌入处理，获得标签和文本词汇的嵌入表示，下载并使用斯坦福大学公开的Glove词袋，使用100d-Glove方法并通过词嵌入矩阵和标签嵌入矩阵将文本中的单词{w1，w2，…，wn}转化为词向量表示x＝{x1，x2，…，xn}，其中xi为第i个单词的词向量表示；并将xi通过一个嵌入矩阵其中|w|为词汇表的大小，k为嵌入向量的维数；
然后，使用双向LSTM从两个方向读取文本序列x，并计算每个单词的隐藏表示，公式如下：
通过连接两个方向的隐藏状态，得到第i个单词的最终隐藏表示包含以第i个字为中心的序列信息；
对于通过attention层，采用4个多头自注意力机制抽取每个字的上下文特征；假设给定一个序列的向量一个单头自我注意力将H投影到三个不同的矩阵：Q矩阵为/>K矩阵为/>V矩阵为/>输出矩阵的维度为/>然后使用缩放的点积注意力来获取输出表示:
S3：基于已挖掘出的标签相关的先验知识与文本特征进行交叉融合，使得联系数据的标签特征以及文本特征得到变化，成为一批隐空间下的虚拟数据；具体的为基于已挖掘出的标签相关的先验知识与文本特征进行交叉融合，通过对S2批次化中原始数据与联系数据的切分，对每个批次传入的128条联系数据及标签的特征向量进行数据增强；所述数据增强通过对当前批次中原始数据已经获得的基于隐空间的数据表示与其对应的联系数据获得的基于隐空间的数据表示进行一定比例结合，得到新的虚拟数据的文本数据特征表示/>对于虚拟数据对应隐空间的标签特征，将原始数据与虚拟数据中标签一致的地方保留，不一致的地方通过S1中的标签得分矩阵L进行查询，得出当前数据的其他标签对于标签的影响分数，进而通过伯努利分布随机采样，构建出虚拟数据的标签特征最终构建出基于隐空间的虚拟数据；
S4：对原始的交叉熵损失函数进行修改，将增强后的数据与原始数据放入多标签分类模型中进行训练，将隐空间下虚拟数据的损失以及原始数据得到的损失经过一定的比率结合，不断完善分类模型，获得多标签文本分类结果。
2.如权利要求1所述的融合标签关联的隐空间数据增强多标签文本分类方法，其特征在于：所述S4对原始的交叉熵损失函数进行修改，损失函数公式如下：
其中，Ωneg和Ωpos分别代表样本的正负类别集合，si为非目标类中第i类的得分，sj为目标类中第j类的得分，对于额外的0类得分s0，使其阈值为0；
最后将原始数据与虚拟数据的隐含表示作为该模型最终隐状态，获得与自身文本相关的文本特征表示：c＝{c1，c2，…，ck}。
3.如权利要求2所述的融合标签关联的隐空间数据增强多标签文本分类方法，其特征在于：所述S4将增强后的数据与原始数据放入多标签分类模型中进行训练，公式如下：
多标签文本分类结果的获得，将隐空间下虚拟数据的损失以及原始数据得到的损失经过比率λ进行结合。
CN202210679320.9A 2022-06-15 2022-06-15 融合标签关联的隐空间数据增强多标签文本分类方法 Active CN115080689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210679320.9A CN115080689B (zh) 2022-06-15 2022-06-15 融合标签关联的隐空间数据增强多标签文本分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210679320.9A CN115080689B (zh) 2022-06-15 2022-06-15 融合标签关联的隐空间数据增强多标签文本分类方法

Publications (2)

Publication Number Publication Date
CN115080689A CN115080689A (zh) 2022-09-20
CN115080689B true CN115080689B (zh) 2024-05-07

Family

ID=83253870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210679320.9A Active CN115080689B (zh) 2022-06-15 2022-06-15 融合标签关联的隐空间数据增强多标签文本分类方法

Country Status (1)

Country Link
CN (1) CN115080689B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115795037B (zh) * 2022-12-26 2023-10-20 淮阴工学院 一种基于标签感知的多标签文本分类方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899253A (zh) * 2015-05-13 2015-09-09 复旦大学 面向社会图像的跨模态图像-标签相关度学习方法
CN109376239A (zh) * 2018-09-29 2019-02-22 山西大学 一种用于中文微博情感分类的特定情感词典的生成方法
CN111695052A (zh) * 2020-06-12 2020-09-22 上海智臻智能网络科技股份有限公司 标签分类方法、数据处理设备、可读存储介质
CN113312480A (zh) * 2021-05-19 2021-08-27 北京邮电大学 基于图卷积网络的科技论文层级多标签分类方法及设备
CN113626589A (zh) * 2021-06-18 2021-11-09 电子科技大学 一种基于混合注意力机制的多标签文本分类方法
CN113806645A (zh) * 2020-06-12 2021-12-17 上海智臻智能网络科技股份有限公司 标签分类***及标签分类模型的训练***
CN113806547A (zh) * 2021-10-15 2021-12-17 南京大学 一种基于图模型的深度学习多标签文本分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899253A (zh) * 2015-05-13 2015-09-09 复旦大学 面向社会图像的跨模态图像-标签相关度学习方法
CN109376239A (zh) * 2018-09-29 2019-02-22 山西大学 一种用于中文微博情感分类的特定情感词典的生成方法
CN111695052A (zh) * 2020-06-12 2020-09-22 上海智臻智能网络科技股份有限公司 标签分类方法、数据处理设备、可读存储介质
CN113806645A (zh) * 2020-06-12 2021-12-17 上海智臻智能网络科技股份有限公司 标签分类***及标签分类模型的训练***
CN113312480A (zh) * 2021-05-19 2021-08-27 北京邮电大学 基于图卷积网络的科技论文层级多标签分类方法及设备
CN113626589A (zh) * 2021-06-18 2021-11-09 电子科技大学 一种基于混合注意力机制的多标签文本分类方法
CN113806547A (zh) * 2021-10-15 2021-12-17 南京大学 一种基于图模型的深度学习多标签文本分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Multi-label topic model conditioned on label embedding;Lin Tang等;2019 IEEE International conference on computer science and educational;20190819;1-10 *
基于网络表示的半监督问答文本情感分类方法;陈潇;李逸薇;刘欢;李寿山;;郑州大学学报(理学版);20200522;第52卷(第02期);52-58 *
融合标签关联的隐空间数据增强多标签文本分类方法;苗育华等;现代电子技术;20231212;第46卷(第24期);159-164 *

Also Published As

Publication number Publication date
CN115080689A (zh) 2022-09-20

Similar Documents

Publication Publication Date Title
CN110717431B (zh) 一种结合多视角注意力机制的细粒度视觉问答方法
CN109189925B (zh) 基于点互信息的词向量模型和基于cnn的文本分类方法
Wang et al. Weakly supervised patchnets: Describing and aggregating local patches for scene recognition
Conneau et al. Very deep convolutional networks for natural language processing
CN112732916B (zh) 一种基于bert的多特征融合模糊文本分类***
CN112069811B (zh) 多任务交互增强的电子文本事件抽取方法
Mohamed et al. Content-based image retrieval using convolutional neural networks
Tang et al. Learning multi-instance deep discriminative patterns for image classification
CN111159485B (zh) 尾实体链接方法、装置、服务器及存储介质
Bergamo et al. Classemes and other classifier-based features for efficient object categorization
CN111859983B (zh) 基于人工智能的自然语言标注方法及相关设备
CN114896388A (zh) 一种基于混合注意力的层级多标签文本分类方法
Chen et al. Visual-based deep learning for clothing from large database
CN115982403A (zh) 一种多模态哈希检索方法及装置
CN115080689B (zh) 融合标签关联的隐空间数据增强多标签文本分类方法
Ha et al. Correlation-based deep learning for multimedia semantic concept detection
Dabade Sentiment analysis of Twitter data by using deep learning And machine learning
CN114153942A (zh) 一种基于动态注意力机制的事件时序关系抽取方法
Athavale et al. Predicting algorithm classes for programming word problems
CN117610567A (zh) 一种基于ERNIE3.0_Att_IDCNN_BiGRU_CRF的命名实体识别算法
Asil et al. A new approach to image classification based on a deep multiclass AdaBoosting ensemble
CN111191455A (zh) 一种交通事故损害赔偿中法律条文预测方法
Sharma et al. Optical Character Recognition Using Hybrid CRNN Based Lexicon-Free Approach with Grey Wolf Hyperparameter Optimization
Wei et al. JETAM: A Joint Embedding Method for Research Paper Mutil-Label Classification
Le et al. Developing a model semantic‐based image retrieval by combining KD‐tree structure with ontology

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant