CN112329824A - 多模型融合训练方法、文本分类方法以及装置 - Google Patents

多模型融合训练方法、文本分类方法以及装置 Download PDF

Info

Publication number
CN112329824A
CN112329824A CN202011147241.0A CN202011147241A CN112329824A CN 112329824 A CN112329824 A CN 112329824A CN 202011147241 A CN202011147241 A CN 202011147241A CN 112329824 A CN112329824 A CN 112329824A
Authority
CN
China
Prior art keywords
model
fusion
text
classification
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011147241.0A
Other languages
English (en)
Inventor
张乐乐
冯少辉
李鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Iplus Teck Co ltd
Original Assignee
Beijing Iplus Teck Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Iplus Teck Co ltd filed Critical Beijing Iplus Teck Co ltd
Priority to CN202011147241.0A priority Critical patent/CN112329824A/zh
Publication of CN112329824A publication Critical patent/CN112329824A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明实施例提供一种多模型融合训练方法、文本分类方法以及装置。其中，该多模型融合训练方法包括：对文本数据进行目标内容的提取及分类，构建目标数据集；对预设的单分类网络模型进行融合处理，构建多模型的融合网络结构；基于所述目标数据集对所述多模型的融合网络结构进行训练，获得融合分类网络模型。本发明实施例公开的多模型融合训练方法，能够使得单分类网络模型融合其他模型的学习能力，提高所述单分类网络模型的泛化能力，从而有效提升模型的训练效率及识别准确率。

Description

多模型融合训练方法、文本分类方法以及装置
技术领域
本发明涉及大数据处理技术领域，具体涉及一种多模型融合训练方法和装置，以及涉及一种文本分类方法和装置。另外，还涉及一种电子设备及非暂态计算机可读存储介质。
背景技术
近年来，随着信息技术和互联网的迅猛发展，产生了海量的电子文本数据，使得文本挖掘技术的研究变得越来越重要。如何从这些浩瀚的文本数据中抽取出有价值的信息并对其进行自动检索、分类和摘要，是文本挖掘的重要目标。文本分类(TextClassification)，或者称为自动文本分类，是指计算机将载有信息的一篇文本映射到预先给定的某一类别或某几类别主题的过程。其作为一种高效的信息检索与挖掘技术，对文本数据的管理有着重要的作用，可以在很大程度上解决信息复杂混乱的问题。文本分类利用自然语言处理、数据发掘和机器学习等技术，可以有效地对不同类型的文本进行自动分类和发现规律。文本分类是文本挖掘的重要部分，其主要任务是将给定的文本集合划分到已知的一个或者多个类别集合中，例如将新闻文本分配到其所属的主题频道，“体育”、“财经”、“娱乐”等。目前，文本分类任务已经应用到了许多领域，如情感分析(SentimentAnalysis)、主题分类(Topic Classification)、垃圾邮件检测(Spam Detection)等。通过经验划分类别或者依据一些规则手工地对互联网上的每一个页面进行分类已经无法实现有效的文本分类。因此，基于计算机的高效自动分类技术成为人们解决互联网应用难题的迫切需求。
为了解决上述技术问题，现有技术中通常采用的技术手段是采用神经网络模型迭代训练的文本分类方式。由于通常使用的BERT(Bidirectional Encoder Representationsfrom Transformers)、GPT3(General Pre-trained Transformer-3)等模型参数较多，虽然在文本分类效果上相对区域卷积神经网络模型、循环卷积神经网络模型等传统神经网络模型要好一些，但是在没有GPU的环境下训练起来非常困难，而且实现成本较高，在没有GPU的环境下训练起来非常困难。因此，如何解决在低资源环境下有效实现文本分类问题是目前业界亟待解决的需要课题。
发明内容
为此，本发明实施例提供一种多模型融合训练方法及装置，以解决现有技术中存在的高性能神经网络模型对资源环境要求较高，而使用传统神经网络模型在低资源环境下文本分类的效果和准确率又较差的问题。
第一方面，本发明实施例提供一种多模型融合训练方法，包括：
对文本数据进行目标内容的提取及分类，构建目标数据集；
对预设的单分类网络模型进行融合处理，构建多模型的融合网络结构；
基于所述目标数据集对所述多模型的融合网络结构进行训练，获得融合分类网络模型。
进一步的，所述对文本数据进行目标内容的提取及分类，构建目标数据集，具体包括：
对预设初始数据集中的文本数据进行目标内容的提取，获得文本数据的目标内容；其中，所述目标内容包括文本数据的特征部分信息及类别标识信息；
分别对应预设的类别抽取相同数量的目标内容，按照预设的比例对目标内容进行分类，获得验证数据集、测试数据集以及训练数据集；基于所述验证数据集、所述测试数据集以及所述训练数据集，确定目标数据集。
进一步的，基于所述目标数据集对所述多模型的融合网络结构进行训练，获得融合分类网络模型，具体包括：
将所述目标数据集中的数据作为样本文本输入到所述多模型的融合网络结构中，分别获得所述多模型的融合网络结构中的单分类网络模型对应的损失函数值；
将所述损失函数值进行加权平均处理，获得目标损失函数值；
基于所述目标损失函数值分别对所述多模型的融合网络结构中的单分类网络模型进行迭代参数调整，得到所述融合分类网络模型。
进一步的，所述对预设的单分类网络模型进行融合处理，构建多模型的融合网络结构，具体包括：
基于所述目标数据集中的数据结构构建多模型融合使用的嵌入层；
以共享所述嵌入层的方式实现所述单分类网络模型的融合，得到共享所述嵌入层的多模型的融合网络结构。
进一步的，所述单分类网络模型为：基于注意力机制的双向循环神经网络模型，区域卷积神经网络模型以及循环卷积神经网络模型中的其中一种。
第二方面，本发明实施例还提供一种多模型融合训练装置，包括：
数据集构建单元，用于对文本数据进行目标内容的提取及分类，构建目标数据集；
融合模型构建单元，用于对预设的单分类网络模型进行融合处理，构建多模型的融合网络结构；
融合模型训练单元，用于基于所述目标数据集对所述多模型的融合网络结构进行训练，获得融合分类网络模型。
进一步的，所述数据集构建单元，具体用于：
对预设初始数据集中的文本数据进行目标内容的提取，获得文本数据的目标内容；其中，所述目标内容包括文本数据的特征部分信息及类别标识信息；
分别对应预设的类别抽取相同数量的目标内容，按照预设的比例对目标内容进行分类，获得验证数据集、测试数据集以及训练数据集；基于所述验证数据集、所述测试数据集以及所述训练数据集，确定目标数据集。
进一步的，所述融合模型构建单元，具体用于：
将所述目标数据集中的数据作为样本文本输入到所述多模型的融合网络结构中，分别获得所述多模型的融合网络结构中的单分类网络模型对应的损失函数值；
将所述损失函数值进行加权平均处理，获得目标损失函数值；
基于所述目标损失函数值分别对所述多模型的融合网络结构中的单分类网络模型进行迭代参数调整，得到所述融合分类网络模型。
进一步的，所述融合模型训练单元，具体用于：
基于所述目标数据集中的数据结构构建多模型融合使用的嵌入层；
以共享所述嵌入层的方式实现所述单分类网络模型的融合，得到共享所述嵌入层的多模型的融合网络结构。
进一步的，所述单分类网络模型包括：基于注意力机制的双向循环神经网络模型，区域卷积神经网络模型以及循环卷积神经网络模型。
第三方面，本发明实施例还提供一种文本分类方法，包括：
获取待分类文本；
将所述待分类文本输入至融合分类网络模型中，在所述融合分类网络模型的文本分类预测阶段，对构成所述融合分类网络模型的单分类网络模型的预测结果进行加权投票分析，得到投票分析结果，根据所述投票分析结果确定文本类型；
其中，所述融合分类网络模型是基于目标数据集中的样本文本、所述样本文本对应的文本分类结果以及目标损失函数值训练得到的。
第四方面，本发明实施例还提供一种文本分类装置，包括：
文本获取单元，用于获取待分类文本；
文本分类单元，用于将所述待分类文本输入至融合分类网络模型中，在所述融合分类网络模型的文本分类预测阶段，对构成所述融合分类网络模型的单分类网络模型的预测结果进行加权投票分析，得到投票分析结果，根据所述投票分析结果确定文本类型；
其中，所述融合分类网络模型是基于目标数据集中的样本文本、所述样本文本对应的文本分类结果以及目标损失函数值训练得到的。
第五方面，本发明实施例还提供一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任意一项所述的多模型融合训练方法或者所述的文本分类方法的步骤。
第六方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如上述任意一项所述的多模型融合训练方法或者所述的文本分类方法的步骤。
采用本发明实施例所述的多模型融合训练方法，通过对多个单分类网络模型进行融合处理，构建多模型的融合网络结构，并基于所述目标数据集对所述多模型的融合网络结构进行训练，获得融合分类网络模型，能够使得单分类网络模型融合其他模型的学习能力，提高所述单分类网络模型的泛化能力，从而有效提升模型的训练效率及识别准确率。
采用本发明实施例所述的文本分类方法，通过将所述待分类文本输入至融合分类网络模型中，在所述融合分类网络模型的文本分类预测阶段，对构成所述融合分类网络模型的单分类网络模型的预测结果进行加权投票分析，得到投票分析结果，根据所述投票分析结果确定文本类型，能够在低资源环境下有效提高文本分类的效果，基于不同网络模型的差异性，充分发挥各个模型优势，提高了文本分类的识别准确度以及效率，同时降低了文本分类的成本。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他的附图。
图1为本发明实施例提供的一种多模型融合训练方法的流程图；
图2为本发明实施例提供的一种多模型融合训练方法中多模型的融合网络结构的示意图；
图3为本发明实施例提供的一种多模型融合训练装置的结构示意图；
图4为本发明实施例提供的一种文本分类方法的流程图；
图5为本发明实施例提供的一种文本分类装置的结构示意图；
图6为本发明实施例提供的一种电子设备的实体结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。
下面基于本发明所述的多模型融合训练方法，对其实施例进行详细描述。如图1所示，其为本发明实施例提供的多模型融合训练方法的流程图，具体实现过程包括以下步骤：
步骤S101：对文本数据进行目标内容的提取及分类，构建目标数据集。
在本步骤中，首先需要确定初始数据集，对初始数据集中的文本数据进行目标内容的提取，获得文本数据的目标内容。其中，所述目标内容至少包括文本数据的特征部分信息及类别标识信息，所述特征部分信息为文本数据中能够用于识别文本自身的特征信息，在本发明实施例中至少可以包括标题部分、特定段落结构、关键语句等中的至少一种。进一步的，分别对应预设的类别抽取相同数量的目标内容，按照预设的比例对目标内容进行分类，获得验证数据集、测试数据集以及训练数据集，从而基于所述验证数据集、所述测试数据集以及所述训练数据集构建目标数据集。
比如：可将THUCNews(新闻数据集)作为本发明实施例的初始数据集，抽取新闻数据集中的具体新闻数据(比如整篇的新闻文本)的目标内容。该目标内容至少包括新闻文本的标题部分、特定段落结构、关键语句等特征部分信息以及新闻文本对应的类别标识信息。初始数据集中的新闻文本数据每一行以Tab键分割，前半部分是新闻文本的特征部分，后半部分是该新闻文本的类别标识。在本发明实施例中具体包括：财经、房产、股票、教育、科技、社会、时政、体育、游戏、娱乐等至少10个类别。
在本发明具体实施过程中，可根据不同的文本序列长度抽取所述初始数据集中的文本数据进行实验，在数据集中分别对应预设的类别抽取相同数量的目标内容，按照预设的比例对目标内容进行分类，比如获得10％的数据作为验证数据集，10％的数据作为测试数据集，80％的数据作为训练数据集。需要说明的是，本发明中各个数据集的具体比例不限于上述所列举的情形，在实施过程中可按照实际需要进行调整设置。
步骤S102：对预设的单分类网络模型进行融合处理，构建多模型的融合网络结构。
在本发明实施例中，可采用Pytorch环境构建如图2所示的多模型的融合网络结构，该Pytorch是一个开源的Python机器学习库，基于Torch，用于自然语言处理等应用程序。所述的对预设的单分类网络模型进行融合处理，构建多模型的融合网络结构，具体实现过程包括：在Pytorch环境下，基于所述目标数据集中的数据结构构建多模型融合使用的Embedding层(即嵌入层)，以共享所述嵌入层的方式实现所述单分类网络模型的融合，得到共享所述嵌入层的多模型的融合网络结构。
具体的，用于构建多模型的融合网络结构的单分类网络模型包括但不限于：Bi-LSTM+Attention模型(基于注意力机制的双向循环神经网络模型)，CNN模型(区域卷积神经网络模型)以及RCNN模型(循环卷积神经网络模型)三个传统神经网络模型，其中上述LSTM(Long Short-Term Memory)为长短期记忆网络。该三个单分类网络模型(Bi-LSTM+Attention、CNN和RCNN)使用上述同一嵌入层。
其中，Bi-LSTM+Attention内部结构是在Bi-LSTM的模型上加入Attention层。在Bi-LSTM中会用最后一个时序的输出向量作为特征向量，然后进行Softmax逻辑回归模型分类；加上Attention之后，可先计算每个时序的权重，然后将所有时序的向量进行加权和作为特征向量，然后进行Softmax逻辑回归模型分类。在具体实施过程中，采用双向LSTM加上Attention的结构，不仅考虑到了文本数据中句子的正向序列，还有反向序列，可以得到句子更完整的语义，将获得的语义结果经过拼接后再输送到嵌入层，给不同的词汇根据重要性赋值，最后将权重与LSTM层的语结果进行线性求和，从而能够有效提升文本分类的结果。
所述嵌入层的输入为文本数据的字向量序列个数(即文本序列长度)，在具体实施过程中，可根据不同的文本序列长度抽取所述目标数据集中的文本数据进行实验，比如可将文本序列长度设定为64，不足64的用0填充，超过64的进行截断，从而实现所述目标数据集中抽取文本序列长度为64的进行实验。所述嵌入层作为多模型的融合网络结构中所有单分类网络模型的共享层，输出为64*32*300(64表示文本序列长度，32表示文本序列数量，300表示维度；下同)；双向LSTM层，利用Bi-LSTM获得上下文的信息，类似于语言模型，输出为64*32*256(64表示文本序列长度，32表示文本序列数量，256表示维度；下同)；Attention层，输出为64*32*256；输出层，将Attention层输出和嵌入层拼接，采用Softmax逻辑回归模型分类器产生分类结果。
所述CNN模型卷积结构具有相似成分的n元语法分享预测行为，可以识别出当前任务中具有预言性的n元语法，即使在预测过程中遇见未登录的特定n元语法，层次化的CNN模型每层有效着眼于句子中更长的n元语法，使得模型还可以对非连续n元语法敏感。其嵌入层是上述多模型的共享的嵌入层，输出为64*32*300；卷积层，采用256个卷积核大小分别为2、3、4的滤波器进行卷积操作，使用的激活函数是ReLU(Rectified Linear Units)；池化层，采用最大池化MaxPooling1D，抽取每个特征向量的最大值表示该特征，而且认为这个最大值表示的是最重要的特征，得到池化层最终的特征向量；Dropout层，在池化层之后还需加入Dropout，防止模型过拟合，参数设置为0.5；输出层，采用Softmax逻辑回归模型分类器产生分类结果。
RCNN模型整体的模型构建流程包括：利用Bi-LSTM获得上下文的信息，类似于语言模型；将Bi-LSTM获得的隐层输出和词向量拼接；将拼接后的向量非线性映射到低维；向量中的每一个位置的值都取所有时序上的最大值，得到最终的特征向量，进而实现Softmax逻辑回归模型分类。与传统的基于窗口的神经网络相比，其可以大大减少噪声，从而最大程度地捕捉上下文信息。此外，该RCNN模型在学习文本表示时可以保留更大范围的词序。其次，用了一个可以自动判断哪些特性在文本分类中扮演关键角色的池化层(max-pooling)，以捕获文本中的关键组件。模型结合了RNN的结构和最大池化层，利用了循环神经模型和卷积神经模型的优点。其中，嵌入层是上述多模型的共享的嵌入层，输出为64*32*300；双向LSTM层，利用Bi-LSTM获得上下文的信息，类似于语言模型，输出为64*32*256；池化层，在池化之前将共享的嵌入层和双向LSTM的输出进行拼接。然后采用MaxPooling1D(1D输入的最大池化层)抽取每个特征向量的最大值表示该特征；输出层，采用Softmax逻辑回归模型分类器产生分类结果。
步骤S103：基于所述目标数据集对所述多模型的融合网络结构进行训练，获得融合分类网络模型。
在本发明实施例中，基于所述目标数据集对所述多模型的融合网络结构进行训练，获得融合分类网络模型，具体实现过程包括：将所述目标数据集中的数据作为样本文本输入到所述多模型的融合网络结构中，分别获得所述多模型的融合网络结构中的单分类网络模型对应的损失函数值；将所述损失函数值进行加权平均处理，获得目标损失函数值；基于所述目标损失函数值分别对所述多模型的融合网络结构中的单分类网络模型进行迭代参数调整，得到所述融合分类网络模型。
需要说明的是，在该模型训练步骤中，采用的损失函数为Crossentropy，在多模型融合的训练阶段，构造的损失函数如下：
L(t)＝∑wi(t)Li(t，θ)
其中，Li(t，θ)为单分类网络模型的loss(损失函数值)，wi为不同单分类网络模型的权重；将多个单分类网络模型的loss取加权平均值。
对于构建的单分类网络模型训练过程相比，采用本发明实施例所述的多模型融合训练方法，使得单分类网络模型能够融合其他模型的学习能力，提高所述单分类网络模型的泛化能力，从而有效提升模型的训练效率及识别准确率。
与上述提供的一种多模型融合训练方法相对应，本发明还提供一种多模型融合训练装置。由于该装置的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的多模型融合训练装置的实施例仅是示意性的。请参考图3所示，其为本发明实施例提供的一种多模型融合训练装置的结构示意图。
本发明所述的一种多模型融合训练装置具体包括如下部分：
数据集构建单元301，用于对文本数据进行目标内容的提取及分类，构建目标数据集。
融合模型构建单元302，用于对预设的单分类网络模型进行融合处理，构建多模型的融合网络结构。
融合模型训练单元303，用于基于所述目标数据集对所述多模型的融合网络结构进行训练，获得融合分类网络模型。
采用本发明实施例所述的多模型融合训练装置，使得单分类网络模型能够融合其他模型的学习能力，提高所述单分类网络模型的泛化能力，从而有效提升模型的训练效率及识别准确率。
与上述提供的一种多模型融合训练方法和装置相对应，本发明还提供一种文本分类方法和装置。由于该方法和装置的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述多模型融合训练方法和装置实施例部分的说明即可，下面描述的文本分类方法和装置的实施例仅是示意性的。请参考图4所示，其为本发明实施例提供的一种文本分类方法的流程图。
步骤S401：获取待分类文本。
步骤S402：将所述待分类文本输入至融合分类网络模型中，在所述融合分类网络模型的文本分类预测阶段，对构成所述融合分类网络模型的单分类网络模型的预测结果进行加权投票分析，得到投票分析结果，根据所述投票分析结果确定文本类型。其中，所述融合分类网络模型是基于目标数据集中的样本文本、所述样本文本对应的文本分类结果以及目标损失函数值训练得到的
本发明采用加权投票的方式对预测结果进行集成，即从多个弱学习器的预测结果中，选择投票占比最高的分类类别为最终融合分类网络模型输出的分类类别。举例而言，构成融合分类网络模型的单分类网络模型包括：A模型、B模型、C模型、D模型，若A模型对应的权重是0.25，B模型对应的权重是0.25，C模型对应的权重是0.25，D模型对应的权重是0.25；A、B、C、D预测的结果分别是体育、娱乐、娱乐、娱乐，则通过加权投票的方式获得3∶1票数比例，确定文本的最终类型为娱乐。若A模型对应的权重是0.3，B模型对应的权重是0.3，C模型对应的权重是0.3，C模型对应的权重是0.1；A、B、C、D预测的结果分别是娱乐、娱乐、财经、财经，则通过加权投票的方式获得3：2的票数比例，确定最终的类型为娱乐，并将为娱乐确定为融合分类网络模型最终预测的文本类型。
在具体实施过程中，若加权投票分析结果中存在至少两个分类类别获得相同的最高票数，则将所述融合分类网络模型中预设的单分类网络模型预测的分类类别作为目标类别，即选择在单分类网络模型上效果最好的分类器预测的分类类别为最终类别，本发明实施例中优先选择的是RCNN模型预测的分类类别，并输出文本分类结果。需要说明的是，本发明实施例中所述的融合分类网络模型为上述通过多模型融合训练方法获得的融合分类网络模型，具体内容在此不再重复赘述。
采用本发明实施例所述的文本分类方法，能够在低资源环境下有效提高文本分类的效果，基于不同网络模型的差异性，充分发挥各个模型优势，提高了文本分类的识别准确度以及效率，同时降低了文本分类的成本。
请参考图5所示，其为本发明实施例提供的一种文本分类装置的结构示意图。本发明所述的一种文本分类装置具体包括如下部分：
文本获取单元501，用于获取待分类文本。
文本分类单元502，用于将所述待分类文本输入至融合分类网络模型中，在所述融合分类网络模型的文本分类预测阶段，对构成所述融合分类网络模型的单分类网络模型的预测结果进行加权投票分析，得到投票分析结果，根据所述投票分析结果确定文本类型。其中，所述融合分类网络模型是基于目标数据集中的样本文本、所述样本文本对应的文本分类结果以及目标损失函数值训练得到的。
采用本发明实施例所述的文本分类装置，能够在低资源环境下有效提高文本分类的效果，基于不同网络模型的差异性，充分发挥各个模型优势，提高了文本分类的识别准确度以及效率，同时降低了文本分类的成本。
与上述提供的多模型融合训练方法和文本分类方法相对应，本发明还提供一种电子设备。由于该电子设备的实施例相似于上述方法实施例，所以描述的比较简单，相关之处请参见上述方法实施例部分的说明即可，下面描述的电子设备仅是示意性的。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)601、存储器(memory)602和通信总线603，其中，处理器601，存储器602通过通信总线603完成相互间的通信。处理器601可以调用存储器602中的逻辑指令，以执行多模型融合训练方法，该方法包括：对文本数据进行目标内容的提取及分类，构建目标数据集，对预设的单分类网络模型进行融合处理，构建多模型的融合网络结构，基于所述目标数据集对所述多模型的融合网络结构进行训练，获得融合分类网络模型；或者，执行文本分类方法，该方法包括：获取待分类文本，将所述待分类文本输入至融合分类网络模型中，在所述融合分类网络模型的文本分类预测阶段，对构成所述融合分类网络模型的单分类网络模型的预测结果进行加权投票分析，得到投票分析结果，根据所述投票分析结果确定文本类型，其中所述融合分类网络模型是基于目标数据集中的样本文本、所述样本文本对应的文本分类结果以及目标损失函数值训练得到的。
此外，上述的存储器602中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的多模型融合训练方法，该方法包括：对文本数据进行目标内容的提取及分类，构建目标数据集，对预设的单分类网络模型进行融合处理，构建多模型的融合网络结构，基于所述目标数据集对所述多模型的融合网络结构进行训练，获得融合分类网络模型；或者，执行文本分类方法，该方法包括：获取待分类文本，将所述待分类文本输入至融合分类网络模型中，在所述融合分类网络模型的文本分类预测阶段，对构成所述融合分类网络模型的单分类网络模型的预测结果进行加权投票分析，得到投票分析结果，根据所述投票分析结果确定文本类型，其中所述融合分类网络模型是基于目标数据集中的样本文本、所述样本文本对应的文本分类结果以及目标损失函数值训练得到的。
又一方面，本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的多模型融合训练方法，该方法包括：对文本数据进行目标内容的提取及分类，构建目标数据集，对预设的单分类网络模型进行融合处理，构建多模型的融合网络结构，基于所述目标数据集对所述多模型的融合网络结构进行训练，获得融合分类网络模型；或者，执行文本分类方法，该方法包括：获取待分类文本，将所述待分类文本输入至融合分类网络模型中，在所述融合分类网络模型的文本分类预测阶段，对构成所述融合分类网络模型的单分类网络模型的预测结果进行加权投票分析，得到投票分析结果，根据所述投票分析结果确定文本类型，其中所述融合分类网络模型是基于目标数据集中的样本文本、所述样本文本对应的文本分类结果以及目标损失函数值训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种多模型融合训练方法，其特征在于，包括：
对文本数据进行目标内容的提取及分类，构建目标数据集；
对预设的单分类网络模型进行融合处理，构建多模型的融合网络结构；
基于所述目标数据集对所述多模型的融合网络结构进行训练，获得融合分类网络模型。
2.根据权利要求1所述的多模型融合训练方法，其特征在于，所述对文本数据进行目标内容的提取及分类，构建目标数据集，具体包括：
对预设初始数据集中的文本数据进行目标内容的提取，获得文本数据的目标内容；其中，所述目标内容包括文本数据的特征部分信息及类别标识信息；
分别对应预设的类别抽取相同数量的目标内容，按照预设的比例对目标内容进行分类，获得验证数据集、测试数据集以及训练数据集；基于所述验证数据集、所述测试数据集以及所述训练数据集，获得目标数据集。
3.根据权利要求1所述的多模型融合训练方法，其特征在于，基于所述目标数据集对所述多模型的融合网络结构进行训练，获得融合分类网络模型，具体包括：
将所述目标数据集中的数据作为样本文本输入到所述多模型的融合网络结构中，分别获得所述多模型的融合网络结构中的单分类网络模型对应的损失函数值；
将所述损失函数值进行加权平均处理，获得目标损失函数值；
基于所述目标损失函数值分别对所述多模型的融合网络结构中的单分类网络模型进行迭代参数调整，得到所述融合分类网络模型。
4.根据权利要求1所述的多模型融合训练方法，其特征在于，所述对预设的单分类网络模型进行融合处理，构建多模型的融合网络结构，具体包括：
基于所述目标数据集中的数据结构构建多模型融合使用的嵌入层；
以共享所述嵌入层的方式实现至少三种单分类网络模型的融合，得到共享所述嵌入层的多模型的融合网络结构。
5.根据权利要求4所述的多模型融合训练方法，其特征在于，所述单分类网络模型为：基于注意力机制的双向循环神经网络模型，区域卷积神经网络模型以及循环卷积神经网络模型中的其中一种。
6.一种文本分类方法，其特征在于，包括：
获取待分类文本；
将所述待分类文本输入至融合分类网络模型中，在所述融合分类网络模型的文本分类预测阶段，对构成所述融合分类网络模型的单分类网络模型的预测结果进行加权投票分析，得到投票分析结果，根据所述投票分析结果确定文本类型；
其中，所述融合分类网络模型是基于目标数据集中的样本文本、所述样本文本对应的文本分类结果以及目标损失函数值训练得到的。
7.一种多模型融合训练装置，其特征在于，包括：
数据集构建单元，用于对文本数据进行目标内容的提取及分类，构建目标数据集；
融合模型构建单元，用于对预设的单分类网络模型进行融合处理，构建多模型的融合网络结构；
融合模型训练单元，用于基于所述目标数据集对所述多模型的融合网络结构进行训练，获得融合分类网络模型。
8.一种文本分类装置，其特征在于，包括：
文本获取单元，用于获取待分类文本；
文本分类单元，用于将所述待分类文本输入至融合分类网络模型中，在所述融合分类网络模型的文本分类预测阶段，对构成所述融合分类网络模型的单分类网络模型的预测结果进行加权投票分析，得到投票分析结果，根据所述投票分析结果确定文本类型；
其中，所述融合分类网络模型是基于目标数据集中的样本文本、所述样本文本对应的文本分类结果以及目标损失函数值训练得到的。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任意一项所述的多模型融合训练方法或者如权利要求6所述的文本分类方法。
10.一种非暂态计算机可读存储介质，其特征在于，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-5任意一项所述的多模型融合训练方法或者如权利要求6所述的文本分类方法。
CN202011147241.0A 2020-10-23 2020-10-23 多模型融合训练方法、文本分类方法以及装置 Pending CN112329824A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011147241.0A CN112329824A (zh) 2020-10-23 2020-10-23 多模型融合训练方法、文本分类方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011147241.0A CN112329824A (zh) 2020-10-23 2020-10-23 多模型融合训练方法、文本分类方法以及装置

Publications (1)

Publication Number Publication Date
CN112329824A true CN112329824A (zh) 2021-02-05

Family

ID=74312161

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011147241.0A Pending CN112329824A (zh) 2020-10-23 2020-10-23 多模型融合训练方法、文本分类方法以及装置

Country Status (1)

Country Link
CN (1) CN112329824A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113268599A (zh) * 2021-05-31 2021-08-17 平安国际智慧城市科技股份有限公司 文件分类模型的训练方法、装置、计算机设备及存储介质
CN113610111A (zh) * 2021-07-08 2021-11-05 中南民族大学 分布式多源数据的融合方法、装置、设备及存储介质
CN113626672A (zh) * 2021-02-26 2021-11-09 新大陆数字技术股份有限公司 基于rcnn网络的舆情分析方法及***
CN113887227A (zh) * 2021-09-15 2022-01-04 北京三快在线科技有限公司 一种模型训练与实体识别方法及装置
CN113961710A (zh) * 2021-12-21 2022-01-21 北京邮电大学 基于多模态分层融合网络的细粒度化论文分类方法及装置
CN114925757A (zh) * 2022-05-09 2022-08-19 中国电信股份有限公司 多源威胁情报融合方法、装置、设备和存储介质
CN115223166A (zh) * 2022-09-20 2022-10-21 整数智能信息技术(杭州)有限责任公司 图片预标注方法、图片标注方法及装置、电子设备
CN116452241A (zh) * 2023-04-17 2023-07-18 广西财经学院 一种基于多模态融合神经网络的用户流失概率计算方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3004828A1 (fr) * 2013-04-23 2014-10-24 Thales Sa Procede et dispositif d'extraction automatique de themes a partir d'au moins un document contenant du texte
CN111275133A (zh) * 2020-02-24 2020-06-12 腾讯科技（深圳）有限公司 分类模型的融合方法、装置及存储介质
CN111291823A (zh) * 2020-02-24 2020-06-16 腾讯科技（深圳）有限公司 分类模型的融合方法、装置、电子设备及存储介质
CN111611386A (zh) * 2020-05-28 2020-09-01 北京学之途网络科技有限公司 文本分类方法和装置
CN111738226A (zh) * 2020-07-31 2020-10-02 中国人民解放军国防科技大学 一种基于cnn和rcnn模型的文本识别方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3004828A1 (fr) * 2013-04-23 2014-10-24 Thales Sa Procede et dispositif d'extraction automatique de themes a partir d'au moins un document contenant du texte
CN111275133A (zh) * 2020-02-24 2020-06-12 腾讯科技（深圳）有限公司 分类模型的融合方法、装置及存储介质
CN111291823A (zh) * 2020-02-24 2020-06-16 腾讯科技（深圳）有限公司 分类模型的融合方法、装置、电子设备及存储介质
CN111611386A (zh) * 2020-05-28 2020-09-01 北京学之途网络科技有限公司 文本分类方法和装置
CN111738226A (zh) * 2020-07-31 2020-10-02 中国人民解放军国防科技大学 一种基于cnn和rcnn模型的文本识别方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DEQIN HUANG ET AL.: "A Model for Legal Judgment Prediction Based on Multi-model Fusion", 《2019 3RD INTERNATIONAL CONFERENCE ON ELECTRONIC INFORMATION TECHNOLOGY AND COMPUTER ENGINEERING (EITCE)》 *
肖观腾: "不良短文本变体的识别", 《中国优秀硕士学位论文全文数据库 (信息科技辑)》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113626672A (zh) * 2021-02-26 2021-11-09 新大陆数字技术股份有限公司 基于rcnn网络的舆情分析方法及***
CN113268599A (zh) * 2021-05-31 2021-08-17 平安国际智慧城市科技股份有限公司 文件分类模型的训练方法、装置、计算机设备及存储介质
CN113268599B (zh) * 2021-05-31 2024-03-19 平安国际智慧城市科技股份有限公司 文件分类模型的训练方法、装置、计算机设备及存储介质
CN113610111A (zh) * 2021-07-08 2021-11-05 中南民族大学 分布式多源数据的融合方法、装置、设备及存储介质
CN113610111B (zh) * 2021-07-08 2023-11-03 中南民族大学 分布式多源数据的融合方法、装置、设备及存储介质
CN113887227A (zh) * 2021-09-15 2022-01-04 北京三快在线科技有限公司 一种模型训练与实体识别方法及装置
CN113961710A (zh) * 2021-12-21 2022-01-21 北京邮电大学 基于多模态分层融合网络的细粒度化论文分类方法及装置
CN114925757A (zh) * 2022-05-09 2022-08-19 中国电信股份有限公司 多源威胁情报融合方法、装置、设备和存储介质
CN114925757B (zh) * 2022-05-09 2023-10-03 中国电信股份有限公司 多源威胁情报融合方法、装置、设备和存储介质
CN115223166A (zh) * 2022-09-20 2022-10-21 整数智能信息技术(杭州)有限责任公司 图片预标注方法、图片标注方法及装置、电子设备
CN116452241A (zh) * 2023-04-17 2023-07-18 广西财经学院 一种基于多模态融合神经网络的用户流失概率计算方法
CN116452241B (zh) * 2023-04-17 2023-10-20 广西财经学院 一种基于多模态融合神经网络的用户流失概率计算方法

Similar Documents

Publication Publication Date Title
CN112329824A (zh) 多模型融合训练方法、文本分类方法以及装置
Sohangir et al. Big Data: Deep Learning for financial sentiment analysis
Chakraborty et al. Sentiment analysis on a set of movie reviews using deep learning techniques
Basu et al. Extracting resource needs and availabilities from microblogs for aiding post-disaster relief operations
RU2678716C1 (ru) Использование автоэнкодеров для обучения классификаторов текстов на естественном языке
Ay Karakuş et al. Evaluating deep learning models for sentiment classification
CN112131350B (zh) 文本标签确定方法、装置、终端及可读存储介质
CN111310476B (zh) 一种使用基于方面的情感分析方法的舆情监控方法和***
US8452772B1 (en) Methods, systems, and articles of manufacture for addressing popular topics in a socials sphere
CN110674317B (zh) 一种基于图神经网络的实体链接方法及装置
CN111046941A (zh) 一种目标评论检测方法、装置、电子设备和存储介质
Nair et al. Sentiment Analysis of Malayalam film review using machine learning techniques
CN112686022A (zh) 违规语料的检测方法、装置、计算机设备及存储介质
US10915756B2 (en) Method and apparatus for determining (raw) video materials for news
KR20200087977A (ko) 멀티모달 문서 요약 시스템 및 방법
CN112805715A (zh) 识别实体属性关系
CN113627151B (zh) 跨模态数据的匹配方法、装置、设备及介质
CN109472022A (zh) 基于机器学习的新词识别方法及终端设备
CN111199151A (zh) 数据处理方法、及数据处理装置
Hofslot Automatic classification of legal violations in cookie banner texts
CN112989001B (zh) 一种问答处理方法、装置、介质及电子设备
CN114662496A (zh) 信息识别方法、装置、设备、存储介质及产品
Pratheek et al. Prediction of answer keywords using char-RNN
Kamath et al. Sarcasm detection approaches survey
CN113988085A (zh) 文本语义相似度匹配方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20210205