CN107169035A - 一种混合长短期记忆网络和卷积神经网络的文本分类方法 - Google Patents

一种混合长短期记忆网络和卷积神经网络的文本分类方法 Download PDF

Info

Publication number
CN107169035A
CN107169035A CN201710257132.6A CN201710257132A CN107169035A CN 107169035 A CN107169035 A CN 107169035A CN 201710257132 A CN201710257132 A CN 201710257132A CN 107169035 A CN107169035 A CN 107169035A
Authority
CN
China
Prior art keywords
sentence
layer
convolutional neural
long term
memory network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710257132.6A
Other languages
English (en)
Other versions
CN107169035B (zh
Inventor
苏锦钿
霍振朗
欧阳志凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201710257132.6A priority Critical patent/CN107169035B/zh
Publication of CN107169035A publication Critical patent/CN107169035A/zh
Application granted granted Critical
Publication of CN107169035B publication Critical patent/CN107169035B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种混合长短期记忆网络和卷积神经网络的文本分类方法，通过充分结合双向长短期记忆网络在学习文本的上下文信息方面的优势以及卷积神经网络在学习文本局部特征方面的优势，利用双向长短期记忆网络学习词的上下文信息后，再通过卷积神经网络进一步学习提取上下文信息的词向量的局部特征，接着再利用双向长短期记忆网络学习这些局部特征的上下文，形成固定维度的输出，最后通过一个多层感知器进行分类输出。可以进一步提高模型分类的准确率，并具有较好的通用性，在测试的多个语料库上都取得了很好的效果。

Description

一种混合长短期记忆网络和卷积神经网络的文本分类方法
技术领域
本发明涉及自然语言处理领域，具体涉及一种混合长短期记忆网络和卷积神经网络的文本分类方法。
背景技术
基于机器学习的文本自动分类是近年来自然语言处理领域中最热门的一个研究方向，在信息检索、搜索引擎、自动问答、电子商务、数字图书馆、自动文摘、新闻门户等众多领域已经得到广泛和深入的应用。所谓的文本自动分类是指在给定分类体系的前提下，利用机器学习的方式来对文本的内容进行分析后自动确定文本类别的过程。20世纪90年代以前，文本自动分类主要采用基于知识工程的方式，即由专业人员手工进行分类，其缺点是成本高、费时费力。90年代以来，许多研究人员开始将各种统计方法和机器学习方法应用于自动文本分类，例如支持向量机SVM、AdaBoost算法、朴素贝叶斯算法、KNN算法和Logistic回归等。近年来，随着深度学习和各种神经网络模型的快速发展，基于深度学习的文本分类方法引起了学术界和工业界的密切关注与研究，一些典型的神经网络模型，如递归神经网络(以长短期记忆网络LSTM和GRU为主要代表)和卷积神经网络CNN都被广泛地应用于文本的分类中，并取得了良好的效果。现有的研究和应用已证明递归神经网络适合用于学习句子中语言单元间的长期依赖关系，卷积神经网络适合用于学习句子的局部特征，但目前的研究没有充分地结合递归神经网络和卷积神经网络各自的优势，也没有结合考虑句子中语言单元的上下文信息。
发明内容
本发明的目的是针对上述现有技术的不足，提供了一种混合长短期记忆网络和卷积神经网络的文本分类方法，利用双向LSTM学习文本句子中词的上文信息和下文信息，接着将学习结果通过CNN进一步提取局部特征，然后再利用一个双向LSTM层来学习局部特征间的关系，最后将学习结果通过一个多层感知器进行分类和输出。
本发明的目的可以通过如下技术方案实现：
一种混合长短期记忆网络和卷积神经网络的文本分类方法，所述方法包括以下步骤：
步骤1、对文本中的句子进行预处理，结合训练语料集中句子的长度分布及均方差，确定句子的长度阈值后形成统一的句子长度，利用预训练好的词向量表获取输入文本中每一个词的向量化表示，形成连续和稠密的实数向量矩阵；
步骤2、对于输入的句子词向量，分别通过一个正向的LSTM网络学习各个词的上文信息和一个逆向的LSTM网络学习各个词的下文信息，并将学习的结果进行串联合并，从而将包含语义信息的句子词向量表示转化为同时包含语义及上下文信息的表示；
步骤3、使用多个不同宽度、包含不同权值的核矩阵分别对双向LSTM网络输出的词向量矩阵进行二维卷积运算，提取局部卷积特征，并生成多层局部卷积特征矩阵；
步骤4、使用一维最大值池化算法对多层局部卷积特征矩阵进行下采样，得到句子的多层全局特征矩阵，并将结果进行串联合并；
步骤5、使用两个相反方向的LSTM网络分别学习句子局部特征间的长期依赖关系，并将最后的学习结果进行输出；
步骤6、将步骤5的输出结果先通过一个全连接隐层，接着再经过一个softmax层对句子的类别进行预测。
进一步地，所述一种混合长短期记忆网络和卷积神经网络的文本分类方法是在一个多层神经网络中完成的，所述步骤1在第一层输入层中完成，步骤2在第二层双向LSTM层中完成，步骤3在第三层CNN层中完成，步骤4在第四层池化层中完成，步骤5在第五层双向LSTM层中完成，步骤6在第六层输出层中完成。
进一步地，所述第二层双向LSTM层用于学习原始输入句子中各个词的上下文信息，并且把每个词的学习结果进行串联后输出，所述第五层双向LSTM层学习卷积后句子特征间的上下文信息，并且只输出最后一步的学习结果。
进一步地，步骤1中，所述对句子进行预处理包括标点符号过滤、缩写补齐、删除空格、对句子进行分词和非法字符过滤。
进一步地，所述步骤3为局部特征学习过程，通过多个不同词步长的二维卷积窗口和卷积核对包含上下文信息的词向量进行学习，从而得到不同粒度的短语信息。
进一步地，所述步骤4为采样和降维过程，通过一维最大值池化算法对多层局部卷积特征矩阵进行下采样，得到句子中每一个池化窗口内最重要的特征值，并作为局部窗口中的特征表示。
进一步地，所述步骤5为局部特征的上下文学习，通过双向LSTM学习局部特征之间的上下文信息，并输出最后一个词向量的学习结果，同时形成固定维度的一维输出。
进一步地，所述步骤6为分类输出，通过一个全连接的多层感知器进行分类判断，并根据指定分类体系上的概率分布情况得到最终的输出。
进一步地，所述步骤6在一个两层的多层感知器中完成，包括一个全连接隐层和一个softmax层，步骤6的输出结果为对应文本的预测类别。
本发明与现有技术相比，具有如下优点和有益效果：
本发明通过充分结合双向LSTM在学习文本的上下文信息方面的优势以及CNN在学习文本局部特征方面的优势，提出一种混合LSTM和CNN的文本分类方法，通过利用双向LSTM学习词的上下文信息后，再通过CNN进一步学习提取上下文信息的词向量的局部特征，接着再利用双向LSTM学习这些局部特征的上下文，形成固定维度的输出，最后通过一个多层感知器进行分类输出。可以进一步提高模型分类的准确率，并具有较好的通用性，在测试的多个语料库上都取得了很好的效果。
附图说明
图1为本发明实施例多层神经网络模型的总体架构图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。
实施例：
本实施例提供了一种混合长短期记忆网络和卷积神经网络的文本分类方法，所述方法包括以下步骤：
步骤1、对文本中句子进行预处理，包括标点符号过滤、缩写补齐、删除空格、对句子进行分词和非法字符过滤，结合训练语料集中句子的长度分布及均方差，确定句子的长度阈值后形成统一的句子长度，利用预训练好的词向量表获取输入文本中每一个词的向量化表示，形成连续和稠密的实数向量矩阵；
步骤2、对于输入的句子词向量，分别通过一个正向的LSTM网络学习各个词的上文信息和一个逆向的LSTM网络学习各个词的下文信息，并将学习的结果进行串联合并，从而将包含语义信息的句子词向量表示转化为同时包含语义及上下文信息的表示；
步骤3、使用多个不同宽度、包含不同权值的核矩阵分别对双向LSTM网络输出的词向量矩阵进行二维卷积运算，提取局部卷积特征，并生成多层局部卷积特征矩阵；
步骤4、使用一维最大值池化算法对多层局部卷积特征矩阵进行下采样，得到句子的多层全局特征矩阵，并将结果进行串联合并；
步骤5、使用两个相反方向的LSTM网络分别学习句子局部特征间的长期依赖关系，并将最后的学习结果进行输出；
步骤6、将步骤5的输出结果先通过一个全连接隐层，接着再经过一个softmax层对句子的类别进行预测。
上面所述一种混合长短期记忆网络和卷积神经网络的文本分类方法是在一个多层神经网络中完成的，多层神经网络的架构图如图1所示，所述步骤1在第一层输入层中完成；步骤2在第二层双向LSTM层中完成，其中，双向LSTM的输出维度为256维；步骤3在第三层CNN层中完成，其中，CNN层中的卷积词步长分别为2、3、4，输出维度为128维；步骤4在第四层池化层中完成，池化窗口的词步长分别为2，3、4，并且采用一维最大值池化；步骤5在第五层双向LSTM层中完成，其中双向LSTM层的输出维度为128维，并且只输出最后一个词的学习结果；步骤6在第六层输出层中完成，所述输出层为一个两层的多层感知器，包括一个全连接隐层和一个softmax层，所述全连接隐层为128维，dropout值为0.5，步骤6的输出结果为对应文本的预测类别。模型训练过程中采用多元交叉熵定义损失函数，并结合了RMSProp优化器。
其中，所述第二层双向LSTM层用于学习原始输入句子中各个词的上下文信息，并且把每个词的学习结果进行串联后输出，所述第五层双向LSTM层学习卷积后句子特征间的上下文信息，并且只输出最后一步的学习结果。
其中，所述步骤3为局部特征学习过程，通过多个不同词步长的二维卷积窗口和卷积核对包含上下文信息的词向量进行学习，从而得到不同粒度的短语信息，所述步骤4为采样和降维过程，通过一维最大值池化算法对多层局部卷积特征矩阵进行下采样，得到句子中每一个池化窗口内最重要的特征值，并作为局部窗口中的特征表示，所述步骤5为局部特征的上下文学习，通过双向LSTM学习局部特征之间的上下文信息，并输出最后一个词向量的学习结果，同时形成固定维度的一维输出，所述步骤6为分类输出，通过一个全连接的多层感知器进行分类判断，并根据指定分类体系上的概率分布情况得到最终的输出。
以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明专利构思加以等同替换或改变，都属于本发明专利的保护范围。

Claims (9)

1.一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于，所述方法包括以下步骤：
步骤1、对文本中的句子进行预处理，结合训练语料集中句子的长度分布及均方差，确定句子的长度阈值后形成统一的句子长度，利用预训练好的词向量表获取输入文本中每一个词的向量化表示，形成连续和稠密的实数向量矩阵；
步骤2、对于输入的句子词向量，分别通过一个正向的LSTM网络学习各个词的上文信息和一个逆向的LSTM网络学习各个词的下文信息，并将学习的结果进行串联合并，从而将包含语义信息的句子词向量表示转化为同时包含语义及上下文信息的表示；
步骤3、使用多个不同宽度、包含不同权值的核矩阵分别对双向LSTM网络输出的词向量矩阵进行二维卷积运算，提取局部卷积特征，并生成多层局部卷积特征矩阵；
步骤4、使用一维最大值池化算法对多层局部卷积特征矩阵进行下采样，得到句子的多层全局特征矩阵，并将结果进行串联合并；
步骤5、使用两个相反方向的LSTM网络分别学习句子局部特征间的长期依赖关系，并将最后的学习结果进行输出；
步骤6、将步骤5的输出结果先通过一个全连接隐层，接着再经过一个softmax层对句子的类别进行预测。
2.根据权利要求1所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：所述一种混合长短期记忆网络和卷积神经网络的文本分类方法是在一个多层神经网络中完成的，所述步骤1在第一层输入层中完成，步骤2在第二层双向LSTM层中完成，步骤3在第三层CNN层中完成，步骤4在第四层池化层中完成，步骤5在第五层双向LSTM层中完成，步骤6在第六层输出层中完成。
3.根据权利要求2所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：所述第二层双向LSTM层用于学习原始输入句子中各个词的上下文信息，并且把每个词的学习结果进行串联后输出，所述第五层双向LSTM层学习卷积后句子特征间的上下文信息，并且只输出最后一步的学习结果。
4.根据权利要求1所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：步骤1中，所述对句子进行预处理包括标点符号过滤、缩写补齐、删除空格、对句子进行分词和非法字符过滤。
5.根据权利要求1所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：所述步骤3为局部特征学习过程，通过多个不同词步长的二维卷积窗口和卷积核对包含上下文信息的词向量进行学习，从而得到不同粒度的短语信息。
6.根据权利要求1所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：所述步骤4为采样和降维过程，通过一维最大值池化算法对多层局部卷积特征矩阵进行下采样，得到句子中每一个池化窗口内最重要的特征值，并作为局部窗口中的特征表示。
7.根据权利要求1所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：所述步骤5为局部特征的上下文学习，通过双向LSTM学习局部特征之间的上下文信息，并输出最后一个词向量的学习结果，同时形成固定维度的一维输出。
8.根据权利要求1所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：所述步骤6为分类输出，通过一个全连接的多层感知器进行分类判断，并根据指定分类体系上的概率分布情况得到最终的输出。
9.根据权利要求1所述的一种混合长短期记忆网络和卷积神经网络的文本分类方法，其特征在于：所述步骤6在一个两层的多层感知器中完成，包括一个全连接隐层和一个softmax层，步骤6的输出结果为对应文本的预测类别。
CN201710257132.6A 2017-04-19 2017-04-19 一种混合长短期记忆网络和卷积神经网络的文本分类方法 Expired - Fee Related CN107169035B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710257132.6A CN107169035B (zh) 2017-04-19 2017-04-19 一种混合长短期记忆网络和卷积神经网络的文本分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710257132.6A CN107169035B (zh) 2017-04-19 2017-04-19 一种混合长短期记忆网络和卷积神经网络的文本分类方法

Publications (2)

Publication Number Publication Date
CN107169035A true CN107169035A (zh) 2017-09-15
CN107169035B CN107169035B (zh) 2019-10-18

Family

ID=59812256

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710257132.6A Expired - Fee Related CN107169035B (zh) 2017-04-19 2017-04-19 一种混合长短期记忆网络和卷积神经网络的文本分类方法

Country Status (1)

Country Link
CN (1) CN107169035B (zh)

Cited By (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107679199A (zh) * 2017-10-11 2018-02-09 北京邮电大学 一种基于深度局部特征的对外汉语教材可读性分析方法
CN107832400A (zh) * 2017-11-01 2018-03-23 山东大学 一种基于位置的lstm和cnn联合模型进行关系分类的方法
CN107908620A (zh) * 2017-11-15 2018-04-13 珠海金山网络游戏科技有限公司 一种基于工作文档预判用户职业的方法和装置
CN108334499A (zh) * 2018-02-08 2018-07-27 海南云江科技有限公司 一种文本标签标注设备、方法和计算设备
CN108376558A (zh) * 2018-01-24 2018-08-07 复旦大学 一种多模态核磁共振影像病历报告自动生成方法
CN108415923A (zh) * 2017-10-18 2018-08-17 北京邮电大学 封闭域的智能人机对话***
CN108415972A (zh) * 2018-02-08 2018-08-17 合肥工业大学 文本情感处理方法
CN108520320A (zh) * 2018-03-30 2018-09-11 华中科技大学 一种基于多重长短期记忆网络和经验贝叶斯的设备寿命预测方法
CN108536825A (zh) * 2018-04-10 2018-09-14 苏州市中地行信息技术有限公司 一种识别房源数据是否重复的方法
CN108595440A (zh) * 2018-05-11 2018-09-28 厦门市美亚柏科信息股份有限公司 短文本内容分类方法和***
CN108595409A (zh) * 2018-03-16 2018-09-28 上海大学 一种基于神经网络的需求文档和服务文档匹配方法
CN108595429A (zh) * 2018-04-25 2018-09-28 杭州闪捷信息科技股份有限公司 基于深度卷积神经网络进行文本特征提取的方法
CN108614815A (zh) * 2018-05-07 2018-10-02 华东师范大学 句子交互方法和装置
CN108710651A (zh) * 2018-05-08 2018-10-26 华南理工大学 一种大规模客户投诉数据自动分类方法
CN108717439A (zh) * 2018-05-16 2018-10-30 哈尔滨理工大学 一种基于注意力机制和特征强化融合的中文文本分类方法
CN108804591A (zh) * 2018-05-28 2018-11-13 杭州依图医疗技术有限公司 一种病历文本的文本分类方法及装置
CN108829737A (zh) * 2018-05-21 2018-11-16 浙江大学 基于双向长短期记忆网络的文本交叉组合分类方法
CN108874776A (zh) * 2018-06-11 2018-11-23 北京奇艺世纪科技有限公司 一种垃圾文本的识别方法及装置
CN108961816A (zh) * 2018-07-19 2018-12-07 泰华智慧产业集团股份有限公司 基于优化lstm模型的道路停车泊位预测方法
CN108984745A (zh) * 2018-07-16 2018-12-11 福州大学 一种融合多知识图谱的神经网络文本分类方法
CN109033413A (zh) * 2018-03-12 2018-12-18 上海大学 一种基于神经网络的需求文档和服务文档匹配方法
CN109062996A (zh) * 2018-07-05 2018-12-21 贵州威爱教育科技有限公司 一种云端文件的管理方法及***
CN109086892A (zh) * 2018-06-15 2018-12-25 中山大学 一种基于一般依赖树的视觉问题推理模型及***
CN109101552A (zh) * 2018-07-10 2018-12-28 东南大学 一种基于深度学习的钓鱼网站url检测方法
CN109213896A (zh) * 2018-08-06 2019-01-15 杭州电子科技大学 基于长短期记忆网络强化学习的水下视频摘要生成方法
CN109241284A (zh) * 2018-08-27 2019-01-18 中国人民解放军国防科技大学 一种文档分类方法及装置
CN109271521A (zh) * 2018-11-16 2019-01-25 北京九狐时代智能科技有限公司 一种文本分类方法及装置
CN109271537A (zh) * 2018-08-10 2019-01-25 北京大学 一种基于蒸馏学习的文本到图像生成方法和***
CN109308355A (zh) * 2018-09-17 2019-02-05 清华大学 法律判决结果预测方法及装置
CN109359198A (zh) * 2018-12-04 2019-02-19 北京容联易通信息技术有限公司 一种文本分类方法及装置
CN109508377A (zh) * 2018-11-26 2019-03-22 南京云思创智信息科技有限公司 基于融合模型的文本特征提取方法、装置、聊天机器人和存储介质
CN109508811A (zh) * 2018-09-30 2019-03-22 中冶华天工程技术有限公司 基于主成分分析和长短期记忆网络的污水处理出水参数预测方法
CN109542585A (zh) * 2018-11-14 2019-03-29 山东大学 一种支持不规则时间间隔的虚拟机工作负载预测方法
CN109582794A (zh) * 2018-11-29 2019-04-05 南京信息工程大学 基于深度学习的长文分类方法
WO2019080864A1 (zh) * 2017-10-27 2019-05-02 阿里巴巴集团控股有限公司 一种文本语义编码方法及装置
CN109726268A (zh) * 2018-08-29 2019-05-07 中国人民解放军国防科技大学 基于分层神经网络的文本表示方法和装置
CN109743732A (zh) * 2018-12-20 2019-05-10 重庆邮电大学 基于改进的cnn-lstm的垃圾短信判别方法
CN109815456A (zh) * 2019-02-13 2019-05-28 北京航空航天大学 一种基于字符对编码的词向量存储空间压缩的方法
CN109840279A (zh) * 2019-01-10 2019-06-04 山东亿云信息技术有限公司 基于卷积循环神经网络的文本分类方法
CN109902293A (zh) * 2019-01-30 2019-06-18 华南理工大学 一种基于局部与全局互注意力机制的文本分类方法
CN109902301A (zh) * 2019-02-26 2019-06-18 广东工业大学 基于深度神经网络的关系推理方法、装置及设备
CN109918503A (zh) * 2019-01-29 2019-06-21 华南理工大学 基于动态窗口自注意力机制提取语义特征的槽填充方法
CN109947932A (zh) * 2017-10-27 2019-06-28 中移(苏州)软件技术有限公司 一种推送信息分类方法及***
CN109992781A (zh) * 2019-04-02 2019-07-09 腾讯科技（深圳）有限公司 文本特征的处理、装置、存储介质和处理器
CN110019784A (zh) * 2017-09-29 2019-07-16 北京国双科技有限公司 一种文本分类方法及装置
CN110020431A (zh) * 2019-03-06 2019-07-16 平安科技（深圳）有限公司 文本信息的特征提取方法、装置、计算机设备及存储介质
CN110046253A (zh) * 2019-04-10 2019-07-23 广州大学 一种语言冲突的预测方法
CN110059192A (zh) * 2019-05-15 2019-07-26 北京信息科技大学 基于五笔码的字符级文本分类方法
CN110083832A (zh) * 2019-04-17 2019-08-02 北大方正集团有限公司 文章转载关系的识别方法、装置、设备及可读存储介质
CN110196913A (zh) * 2019-05-23 2019-09-03 北京邮电大学 基于文本生成式的多实体关系联合抽取方法和装置
CN110222953A (zh) * 2018-12-29 2019-09-10 北京理工大学 一种基于深度学习的电能质量混合扰动分析方法
CN110263152A (zh) * 2019-05-07 2019-09-20 平安科技（深圳）有限公司 基于神经网络的文本分类方法、***及计算机设备
CN110704890A (zh) * 2019-08-12 2020-01-17 上海大学 一种融合卷积神经网络和循环神经网络的文本因果关系自动抽取方法
CN110781939A (zh) * 2019-10-17 2020-02-11 中国铁塔股份有限公司 一种相似图片的检测方法、装置及项目管理***
CN110837227A (zh) * 2018-08-15 2020-02-25 格力电器（武汉）有限公司 电器控制方法及装置
CN111126556A (zh) * 2018-10-31 2020-05-08 百度在线网络技术（北京）有限公司 人工神经网络模型的训练方法和装置
CN111371806A (zh) * 2020-03-18 2020-07-03 北京邮电大学 一种Web攻击检测方法及装置
CN111552808A (zh) * 2020-04-20 2020-08-18 北京北大软件工程股份有限公司 一种基于卷积神经网络的行政违法案由预测方法及工具
CN111914085A (zh) * 2020-06-18 2020-11-10 华南理工大学 文本细粒度情感分类方法、***、装置及存储介质
CN112052675A (zh) * 2020-08-21 2020-12-08 北京邮电大学 一种非结构化文本的敏感信息检测方法及检测装置
WO2021004118A1 (zh) * 2019-07-05 2021-01-14 深圳壹账通智能科技有限公司 一种相关值确定方法及装置
CN112434156A (zh) * 2020-11-02 2021-03-02 浙江大有实业有限公司杭州科技发展分公司 基于混合文本分类模型的电网作业告警方法及装置
US11010560B2 (en) 2018-11-08 2021-05-18 International Business Machines Corporation Multi-resolution convolutional neural networks for sequence modeling
CN112883708A (zh) * 2021-02-25 2021-06-01 哈尔滨工业大学 基于2d-lstm的文本蕴含识别方法
CN113780610A (zh) * 2020-12-02 2021-12-10 北京沃东天骏信息技术有限公司 一种客服画像构建方法和装置
WO2022227211A1 (zh) * 2021-04-30 2022-11-03 平安科技（深圳）有限公司 基于Bert的篇章的多意图识别方法、设备及可读存储介质
CN115563286A (zh) * 2022-11-10 2023-01-03 东北农业大学 一种基于知识驱动的奶牛疾病文本分类方法
CN116308464A (zh) * 2023-05-11 2023-06-23 广州钛动科技股份有限公司 目标客户获取***和方法
CN116721361A (zh) * 2023-06-09 2023-09-08 中国测绘科学研究院 一种可兼容时空不连续影像的湿地遥感提取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104572892A (zh) * 2014-12-24 2015-04-29 中国科学院自动化研究所 一种基于循环卷积网络的文本分类方法
CN104834747A (zh) * 2015-05-25 2015-08-12 中国科学院自动化研究所 基于卷积神经网络的短文本分类方法
US20170032221A1 (en) * 2015-07-29 2017-02-02 Htc Corporation Method, electronic apparatus, and computer readable medium of constructing classifier for disease detection
CN106547735A (zh) * 2016-10-25 2017-03-29 复旦大学 基于深度学习的上下文感知的动态词或字向量的构建及使用方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104572892A (zh) * 2014-12-24 2015-04-29 中国科学院自动化研究所 一种基于循环卷积网络的文本分类方法
CN104834747A (zh) * 2015-05-25 2015-08-12 中国科学院自动化研究所 基于卷积神经网络的短文本分类方法
US20170032221A1 (en) * 2015-07-29 2017-02-02 Htc Corporation Method, electronic apparatus, and computer readable medium of constructing classifier for disease detection
CN106547735A (zh) * 2016-10-25 2017-03-29 复旦大学 基于深度学习的上下文感知的动态词或字向量的构建及使用方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MINLIE HUANG: ""Modeling Rich Contexts for Sentiment Classification with LSTM"", 《ARXIV PREPRINT ARXIV:1605.01478》 *
黄磊等: ""基于递归神经网络的文本分类研究"", 《北京化工大学学报》 *

Cited By (98)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110019784A (zh) * 2017-09-29 2019-07-16 北京国双科技有限公司 一种文本分类方法及装置
CN107679199A (zh) * 2017-10-11 2018-02-09 北京邮电大学 一种基于深度局部特征的对外汉语教材可读性分析方法
CN108415923A (zh) * 2017-10-18 2018-08-17 北京邮电大学 封闭域的智能人机对话***
CN108415923B (zh) * 2017-10-18 2020-12-11 北京邮电大学 封闭域的智能人机对话***
CN110019793A (zh) * 2017-10-27 2019-07-16 阿里巴巴集团控股有限公司 一种文本语义编码方法及装置
CN109947932A (zh) * 2017-10-27 2019-06-28 中移(苏州)软件技术有限公司 一种推送信息分类方法及***
WO2019080864A1 (zh) * 2017-10-27 2019-05-02 阿里巴巴集团控股有限公司 一种文本语义编码方法及装置
JP2021501390A (ja) * 2017-10-27 2021-01-14 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ テキスト意味論的コード化の方法および装置
CN107832400B (zh) * 2017-11-01 2019-04-16 山东大学 一种基于位置的lstm和cnn联合模型进行关系分类的方法
CN107832400A (zh) * 2017-11-01 2018-03-23 山东大学 一种基于位置的lstm和cnn联合模型进行关系分类的方法
CN107908620A (zh) * 2017-11-15 2018-04-13 珠海金山网络游戏科技有限公司 一种基于工作文档预判用户职业的方法和装置
CN108376558A (zh) * 2018-01-24 2018-08-07 复旦大学 一种多模态核磁共振影像病历报告自动生成方法
CN108376558B (zh) * 2018-01-24 2021-08-20 复旦大学 一种多模态核磁共振影像病历报告自动生成方法
CN108334499A (zh) * 2018-02-08 2018-07-27 海南云江科技有限公司 一种文本标签标注设备、方法和计算设备
CN108415972A (zh) * 2018-02-08 2018-08-17 合肥工业大学 文本情感处理方法
CN108334499B (zh) * 2018-02-08 2022-03-18 海南云江科技有限公司 一种文本标签标注设备、方法和计算设备
CN109033413A (zh) * 2018-03-12 2018-12-18 上海大学 一种基于神经网络的需求文档和服务文档匹配方法
CN109033413B (zh) * 2018-03-12 2022-12-23 上海大学 一种基于神经网络的需求文档和服务文档匹配方法
CN108595409A (zh) * 2018-03-16 2018-09-28 上海大学 一种基于神经网络的需求文档和服务文档匹配方法
CN108520320A (zh) * 2018-03-30 2018-09-11 华中科技大学 一种基于多重长短期记忆网络和经验贝叶斯的设备寿命预测方法
CN108536825A (zh) * 2018-04-10 2018-09-14 苏州市中地行信息技术有限公司 一种识别房源数据是否重复的方法
CN108595429A (zh) * 2018-04-25 2018-09-28 杭州闪捷信息科技股份有限公司 基于深度卷积神经网络进行文本特征提取的方法
CN108614815A (zh) * 2018-05-07 2018-10-02 华东师范大学 句子交互方法和装置
CN108710651A (zh) * 2018-05-08 2018-10-26 华南理工大学 一种大规模客户投诉数据自动分类方法
CN108710651B (zh) * 2018-05-08 2022-03-25 华南理工大学 一种大规模客户投诉数据自动分类方法
CN108595440A (zh) * 2018-05-11 2018-09-28 厦门市美亚柏科信息股份有限公司 短文本内容分类方法和***
CN108595440B (zh) * 2018-05-11 2022-03-18 厦门市美亚柏科信息股份有限公司 短文本内容分类方法和***
CN108717439A (zh) * 2018-05-16 2018-10-30 哈尔滨理工大学 一种基于注意力机制和特征强化融合的中文文本分类方法
CN108829737B (zh) * 2018-05-21 2021-11-05 浙江大学 基于双向长短期记忆网络的文本交叉组合分类方法
CN108829737A (zh) * 2018-05-21 2018-11-16 浙江大学 基于双向长短期记忆网络的文本交叉组合分类方法
CN108804591A (zh) * 2018-05-28 2018-11-13 杭州依图医疗技术有限公司 一种病历文本的文本分类方法及装置
CN108874776A (zh) * 2018-06-11 2018-11-23 北京奇艺世纪科技有限公司 一种垃圾文本的识别方法及装置
CN108874776B (zh) * 2018-06-11 2022-06-03 北京奇艺世纪科技有限公司 一种垃圾文本的识别方法及装置
CN109086892B (zh) * 2018-06-15 2022-02-18 中山大学 一种基于一般依赖树的视觉问题推理模型及***
CN109086892A (zh) * 2018-06-15 2018-12-25 中山大学 一种基于一般依赖树的视觉问题推理模型及***
CN109062996A (zh) * 2018-07-05 2018-12-21 贵州威爱教育科技有限公司 一种云端文件的管理方法及***
CN109101552B (zh) * 2018-07-10 2022-01-28 东南大学 一种基于深度学习的钓鱼网站url检测方法
CN109101552A (zh) * 2018-07-10 2018-12-28 东南大学 一种基于深度学习的钓鱼网站url检测方法
CN108984745B (zh) * 2018-07-16 2021-11-02 福州大学 一种融合多知识图谱的神经网络文本分类方法
CN108984745A (zh) * 2018-07-16 2018-12-11 福州大学 一种融合多知识图谱的神经网络文本分类方法
CN108961816A (zh) * 2018-07-19 2018-12-07 泰华智慧产业集团股份有限公司 基于优化lstm模型的道路停车泊位预测方法
CN109213896B (zh) * 2018-08-06 2021-06-01 杭州电子科技大学 基于长短期记忆网络强化学习的水下视频摘要生成方法
CN109213896A (zh) * 2018-08-06 2019-01-15 杭州电子科技大学 基于长短期记忆网络强化学习的水下视频摘要生成方法
CN109271537A (zh) * 2018-08-10 2019-01-25 北京大学 一种基于蒸馏学习的文本到图像生成方法和***
CN109271537B (zh) * 2018-08-10 2021-11-23 北京大学 一种基于蒸馏学习的文本到图像生成方法和***
CN110837227A (zh) * 2018-08-15 2020-02-25 格力电器（武汉）有限公司 电器控制方法及装置
CN109241284A (zh) * 2018-08-27 2019-01-18 中国人民解放军国防科技大学 一种文档分类方法及装置
CN109726268A (zh) * 2018-08-29 2019-05-07 中国人民解放军国防科技大学 基于分层神经网络的文本表示方法和装置
CN109308355A (zh) * 2018-09-17 2019-02-05 清华大学 法律判决结果预测方法及装置
CN109308355B (zh) * 2018-09-17 2020-03-13 清华大学 法律判决结果预测方法及装置
CN109508811A (zh) * 2018-09-30 2019-03-22 中冶华天工程技术有限公司 基于主成分分析和长短期记忆网络的污水处理出水参数预测方法
CN111126556B (zh) * 2018-10-31 2023-07-25 百度在线网络技术（北京）有限公司 人工神经网络模型的训练方法和装置
CN111126556A (zh) * 2018-10-31 2020-05-08 百度在线网络技术（北京）有限公司 人工神经网络模型的训练方法和装置
US11010560B2 (en) 2018-11-08 2021-05-18 International Business Machines Corporation Multi-resolution convolutional neural networks for sequence modeling
CN109542585A (zh) * 2018-11-14 2019-03-29 山东大学 一种支持不规则时间间隔的虚拟机工作负载预测方法
CN109542585B (zh) * 2018-11-14 2020-06-16 山东大学 一种支持不规则时间间隔的虚拟机工作负载预测方法
CN109271521A (zh) * 2018-11-16 2019-01-25 北京九狐时代智能科技有限公司 一种文本分类方法及装置
CN109508377A (zh) * 2018-11-26 2019-03-22 南京云思创智信息科技有限公司 基于融合模型的文本特征提取方法、装置、聊天机器人和存储介质
CN109582794A (zh) * 2018-11-29 2019-04-05 南京信息工程大学 基于深度学习的长文分类方法
CN109359198A (zh) * 2018-12-04 2019-02-19 北京容联易通信息技术有限公司 一种文本分类方法及装置
CN109743732A (zh) * 2018-12-20 2019-05-10 重庆邮电大学 基于改进的cnn-lstm的垃圾短信判别方法
CN109743732B (zh) * 2018-12-20 2022-05-10 重庆邮电大学 基于改进的cnn-lstm的垃圾短信判别方法
CN110222953A (zh) * 2018-12-29 2019-09-10 北京理工大学 一种基于深度学习的电能质量混合扰动分析方法
CN109840279A (zh) * 2019-01-10 2019-06-04 山东亿云信息技术有限公司 基于卷积循环神经网络的文本分类方法
CN109918503A (zh) * 2019-01-29 2019-06-21 华南理工大学 基于动态窗口自注意力机制提取语义特征的槽填充方法
CN109918503B (zh) * 2019-01-29 2020-12-22 华南理工大学 基于动态窗口自注意力机制提取语义特征的槽填充方法
CN109902293A (zh) * 2019-01-30 2019-06-18 华南理工大学 一种基于局部与全局互注意力机制的文本分类方法
CN109815456A (zh) * 2019-02-13 2019-05-28 北京航空航天大学 一种基于字符对编码的词向量存储空间压缩的方法
CN109902301B (zh) * 2019-02-26 2023-02-10 广东工业大学 基于深度神经网络的关系推理方法、装置及设备
CN109902301A (zh) * 2019-02-26 2019-06-18 广东工业大学 基于深度神经网络的关系推理方法、装置及设备
CN110020431A (zh) * 2019-03-06 2019-07-16 平安科技（深圳）有限公司 文本信息的特征提取方法、装置、计算机设备及存储介质
CN109992781A (zh) * 2019-04-02 2019-07-09 腾讯科技（深圳）有限公司 文本特征的处理、装置、存储介质和处理器
CN110046253A (zh) * 2019-04-10 2019-07-23 广州大学 一种语言冲突的预测方法
CN110046253B (zh) * 2019-04-10 2022-01-04 广州大学 一种语言冲突的预测方法
CN110083832B (zh) * 2019-04-17 2020-12-29 北大方正集团有限公司 文章转载关系的识别方法、装置、设备及可读存储介质
CN110083832A (zh) * 2019-04-17 2019-08-02 北大方正集团有限公司 文章转载关系的识别方法、装置、设备及可读存储介质
CN110263152A (zh) * 2019-05-07 2019-09-20 平安科技（深圳）有限公司 基于神经网络的文本分类方法、***及计算机设备
CN110263152B (zh) * 2019-05-07 2024-04-09 平安科技（深圳）有限公司 基于神经网络的文本分类方法、***及计算机设备
CN110059192A (zh) * 2019-05-15 2019-07-26 北京信息科技大学 基于五笔码的字符级文本分类方法
CN110196913A (zh) * 2019-05-23 2019-09-03 北京邮电大学 基于文本生成式的多实体关系联合抽取方法和装置
WO2021004118A1 (zh) * 2019-07-05 2021-01-14 深圳壹账通智能科技有限公司 一种相关值确定方法及装置
CN110704890A (zh) * 2019-08-12 2020-01-17 上海大学 一种融合卷积神经网络和循环神经网络的文本因果关系自动抽取方法
CN110781939A (zh) * 2019-10-17 2020-02-11 中国铁塔股份有限公司 一种相似图片的检测方法、装置及项目管理***
CN111371806A (zh) * 2020-03-18 2020-07-03 北京邮电大学 一种Web攻击检测方法及装置
CN111552808A (zh) * 2020-04-20 2020-08-18 北京北大软件工程股份有限公司 一种基于卷积神经网络的行政违法案由预测方法及工具
CN111914085A (zh) * 2020-06-18 2020-11-10 华南理工大学 文本细粒度情感分类方法、***、装置及存储介质
CN111914085B (zh) * 2020-06-18 2024-04-23 华南理工大学 文本细粒度情感分类方法、***、装置及存储介质
CN112052675A (zh) * 2020-08-21 2020-12-08 北京邮电大学 一种非结构化文本的敏感信息检测方法及检测装置
CN112434156A (zh) * 2020-11-02 2021-03-02 浙江大有实业有限公司杭州科技发展分公司 基于混合文本分类模型的电网作业告警方法及装置
CN113780610A (zh) * 2020-12-02 2021-12-10 北京沃东天骏信息技术有限公司 一种客服画像构建方法和装置
CN112883708A (zh) * 2021-02-25 2021-06-01 哈尔滨工业大学 基于2d-lstm的文本蕴含识别方法
WO2022227211A1 (zh) * 2021-04-30 2022-11-03 平安科技（深圳）有限公司 基于Bert的篇章的多意图识别方法、设备及可读存储介质
CN115563286A (zh) * 2022-11-10 2023-01-03 东北农业大学 一种基于知识驱动的奶牛疾病文本分类方法
CN115563286B (zh) * 2022-11-10 2023-12-01 东北农业大学 一种基于知识驱动的奶牛疾病文本分类方法
CN116308464A (zh) * 2023-05-11 2023-06-23 广州钛动科技股份有限公司 目标客户获取***和方法
CN116308464B (zh) * 2023-05-11 2023-09-08 广州市沃钛移动科技有限公司 目标客户获取***和方法
CN116721361A (zh) * 2023-06-09 2023-09-08 中国测绘科学研究院 一种可兼容时空不连续影像的湿地遥感提取方法
CN116721361B (zh) * 2023-06-09 2024-01-02 中国测绘科学研究院 一种可兼容时空不连续影像的湿地遥感提取方法

Also Published As

Publication number Publication date
CN107169035B (zh) 2019-10-18

Similar Documents

Publication Publication Date Title
CN107169035B (zh) 一种混合长短期记忆网络和卷积神经网络的文本分类方法
CN110866117B (zh) 一种基于语义增强与多层次标签嵌入的短文本分类方法
CN107133213B (zh) 一种基于算法的文本摘要自动提取方法与***
CN105975573B (zh) 一种基于knn的文本分类方法
Wang et al. Research on Web text classification algorithm based on improved CNN and SVM
CN107832400A (zh) 一种基于位置的lstm和cnn联合模型进行关系分类的方法
CN107818164A (zh) 一种智能问答方法及其***
CN110750635B (zh) 一种基于联合深度学习模型的法条推荐方法
CN107918782A (zh) 一种生成描述图像内容的自然语言的方法与***
CN108197109A (zh) 一种基于自然语言处理的多语言分析方法和装置
CN106599933A (zh) 一种基于联合深度学习模型的文本情感分类方法
CN110502753A (zh) 一种基于语义增强的深度学习情感分析模型及其分析方法
CN107291795A (zh) 一种结合动态词嵌入和词性标注的文本分类方法
CN110765260A (zh) 一种基于卷积神经网络与联合注意力机制的信息推荐方法
CN111143563A (zh) 基于bert与lstm及cnn融合的文本分类方法
CN106502994A (zh) 一种文本的关键词提取的方法和装置
CN107451278A (zh) 基于多隐层极限学习机的中文文本分类方法
CN106776562A (zh) 一种关键词提取方法和提取***
CN110415071B (zh) 一种基于观点挖掘分析的汽车竞品对比方法
CN107273913A (zh) 一种基于多特征融合的短文本相似度计算方法
CN111858878B (zh) 从自然语言文本中自动提取答案的方法、***及存储介质
CN113220890A (zh) 一种基于预训练的结合新闻标题和新闻长文本内容的深度学习方法
Zhang Research on text classification method based on LSTM neural network model
CN112287106A (zh) 一种基于双通道混合神经网络的在线评论情感分类方法
CN110825850A (zh) 一种自然语言主题分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20191018

CF01 Termination of patent right due to non-payment of annual fee