CN112131390A - 一种基于深度学习的电力预警信息自动分类方法 - Google Patents

一种基于深度学习的电力预警信息自动分类方法 Download PDF

Info

Publication number
CN112131390A
CN112131390A CN202011324574.6A CN202011324574A CN112131390A CN 112131390 A CN112131390 A CN 112131390A CN 202011324574 A CN202011324574 A CN 202011324574A CN 112131390 A CN112131390 A CN 112131390A
Authority
CN
China
Prior art keywords
word
vector
words
text
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011324574.6A
Other languages
English (en)
Inventor
徐磊
王青国
许斌锋
徐进
仲田
刘侃
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Electric Power Information Technology Co Ltd
Original Assignee
Jiangsu Electric Power Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Electric Power Information Technology Co Ltd filed Critical Jiangsu Electric Power Information Technology Co Ltd
Priority to CN202011324574.6A priority Critical patent/CN112131390A/zh
Publication of CN112131390A publication Critical patent/CN112131390A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于深度学***滑技术，实现文本信息的自动分类。本发明可以实现端到端的信息自动分类，与其他现有的模型如TextCNN、Fasttext、CapsuleText等相比，不仅具有更高的准确率，还能够自动识别文本的语法结构信息。

Description

一种基于深度学习的电力预警信息自动分类方法
技术领域
本发明属于深度学习和文本分类领域，尤其涉及一种基于深度学习的电力预警信息自动分类方法。
背景技术
电力预警信息分类本质上属于短文本信息分类。随着信息技术发展应用的深入，电力数据正以前所未有的速度剧增，例如，停电信息数据，投诉工单数据，调度日志，事故案例数据等，数据类型也变得越来越复杂。在此背景下，如何对这些海量电力文本信息进行有效的组织与利用变得尤为重要。通过对电力数据的深度学习与挖掘，识别电力公司日常运营过程中存在的各种隐患对于电力公司的安全隐患管理工作具有重要意义。
文本分类是处理和组织海量文本数据的关键性技术，而基于深度学习的文本分类方法是目前主流的方法。目前基于深度学习的文本分类方法多采用单一的模型进行分类，存在着训练语料要求高和一直扩展性性差，并且由于单一的深度学习模型提取到特征的局限性，导致在分类类别比较多的情况下分类效果比较差。
对于短文本分类问题，基于概率统计的文本自动分类方法最先被使用。S. B. Kim等将朴素贝叶斯(Naïve Bayes, NB)算法应用于文本分类领域，取得了很好的效果，但采用词袋模型来表征文本，一方面特征稀疏且维度高，导致计算较复杂，另一方面忽略了上下文的语义信息；黄章树等根据词频并利用卡方检验来选择文本特征，但短文本相较于长文本词频信息过少，导致分类精度不高。随着神经网络的不断发展，T. Mikolov等利用word2vec模型计算词之间的语义相似性，在降低维度的同时可表征更多语义信息；Y. Kim通过使用静态的文本向量，运用卷积神经网络对短文本进行分类，一方面利用CNN权值共享的特性降低了计算复杂度，另一方面通过卷积核分析上下文的多元语义信息。当下对于文本分类的方法研究大多数止步于单词的语义信息，极少部分考虑文本的语法信息。
发明内容
本发明目的是提供一种基于深度学习的电力预警信息自动分类方法，可以实现端到端的信息自动分类，特别是处理具有短文本结构特征的电力预警信息具有更高的准确度。
本发明目的通过以下技术方案实现：
一种基于深度学习的电力预警信息自动分类方法，具体包括以下步骤：
步骤1，将变长的句子序列通过填零或者末尾截断的方法变为预定长度的句子序列，并将预定长度的句子序列通过Word2vec模型获取单词的词向量；
进一步地，将预定长度的句子序列通过 Word2Vec 模型获取单词的词向量，包括：将预定长度的句子序列
Figure DEST_PATH_IMAGE001
中的每一个单词输入到 word2vec 中获取得到单词的词向量
Figure DEST_PATH_IMAGE002
：
Figure DEST_PATH_IMAGE003
其中，S代表输入的整个句子序列，
Figure DEST_PATH_IMAGE004
代表文本中第
Figure DEST_PATH_IMAGE005
个位置的单词，
Figure DEST_PATH_IMAGE006
代表第
Figure 670468DEST_PATH_IMAGE005
个单词所对应的词向量，
Figure DEST_PATH_IMAGE007
代表了文本中单词的个数，
Figure DEST_PATH_IMAGE008
代表了词向量的维度。
步骤2，将获取的各个单词的词向量通过语义与语序编码层；
进一步地，将获取的各个单词的词向量通过语义与语序编码层，包括：将获取的各个单词的词向量通过 transformer 的 encoder 模型，包括：将各个单词的词向量输入到语义与语序编码层，使得输出的单词向量不仅获取了上下文的语义信息，而且也将其位置特征嵌入到词向量中, 形成所需要的编码向量
Figure DEST_PATH_IMAGE009
。
步骤3，将经过语义与语序编码层得到的编码向量，通过 ON-LSTM 模型；
Figure DEST_PATH_IMAGE010
其中，
Figure DEST_PATH_IMAGE011
表示在不同时刻输入
Figure DEST_PATH_IMAGE012
到ON-LSTM中得到具有语法结构信息的文本特征表达向量，ON-LSTM模型中所有的控制信息转化的矩阵参数的维度为
Figure DEST_PATH_IMAGE013
，偏置参数的维度为
Figure DEST_PATH_IMAGE014
。
步骤4，获取经过 ON-LSTM 模型的最后一步输出向量，将输出的向量通过全连接网络后经过 softmax 分类，同时利用标签平滑技术将one-hot编码的标签转化为新的标签向量。
进一步地，取ON-LSTM最后一次的输出值
Figure DEST_PATH_IMAGE015
, 使其经过全连接神经网络
Figure DEST_PATH_IMAGE016
这里
Figure DEST_PATH_IMAGE017
，其中
Figure DEST_PATH_IMAGE018
表示分类的类别个数,
Figure DEST_PATH_IMAGE019
矩阵的参数维度为
Figure DEST_PATH_IMAGE020
的参数维度为
Figure DEST_PATH_IMAGE021
。
利用标签平滑技术将one-hot编码的标签转化为新的标签向量包括：
Figure DEST_PATH_IMAGE022
其中超参数
Figure DEST_PATH_IMAGE023
是平滑因子，其参数值为0.13，
Figure DEST_PATH_IMAGE025
是one-hot编码的标签，
Figure DEST_PATH_IMAGE026
是利用标签平滑技术生成的新的标签向量。
本发明的有益效果：
本发明可以实现端到端的信息自动分类，特别是处理具有短文本结构特征的电力预警信息，该方法与传统的fasttext，CNNtext，SWEM，LSTM，BI-LSTM模型相比具有更高的准确度，同时具有良好的分类数独，并且能够自动识别文本信息的主谓宾结构信息等优点。
附图说明
图1为本发明的电力预警信息自动分类方法流程图。
具体实施方式
下面结合电力预警信息分类的应用背景对本发明所属方法进一步说明，
如图1所示，一种基于深度学习的电力预警信息自动分类方法，具体实施步骤如下：
步骤一、电力预警信息文本预处理：将变长的句子序列通过填零补充或者末尾截断的方法变为预定长度的句子序列，通过文本预处理，得到
Figure DEST_PATH_IMAGE027
代表了文本S中第
Figure DEST_PATH_IMAGE028
个单词。
步骤二、将单词映射到高维向量空间中:文本中的句子序列通过Word2vec模型训练后，每个单词可转换为计算机理解的稠密向量，Word2vec方法可以很好表征词之间的相似性，具体包含两种训练模式——CBOW模型和Skip-gram模型。将文本
Figure DEST_PATH_IMAGE029
的单词采用其中一种训练模式，一一映射到高维词向量空间，得到：
Figure DEST_PATH_IMAGE030
。
其中，
Figure DEST_PATH_IMAGE031
代表第
Figure DEST_PATH_IMAGE032
个单词所对应的词向量，
Figure DEST_PATH_IMAGE033
代表了文本中单词的个数，
Figure DEST_PATH_IMAGE034
代表了词向量的维度。
步骤三、使单词获得上下文语境义：为了捕获单词与单词之间的关系，而不受距离影响，本发明采用transformer模型的encoder端作为编码层，将X输入模型中，其模型如下的计算流程：
Figure DEST_PATH_IMAGE036
其中
Figure DEST_PATH_IMAGE037
为信息转化矩阵，
Figure DEST_PATH_IMAGE038
是信息转化矩阵，其维度为
Figure DEST_PATH_IMAGE039
为偏置参数，其参数维度为
Figure DEST_PATH_IMAGE040
表示第
Figure DEST_PATH_IMAGE041
个向量和第
Figure DEST_PATH_IMAGE042
个向量之间的语义相关程度，
Figure DEST_PATH_IMAGE043
表示第
Figure 851524DEST_PATH_IMAGE041
个向量和第
Figure DEST_PATH_IMAGE044
个向量之间的语义相关程度，
Figure DEST_PATH_IMAGE045
表示第
Figure 693578DEST_PATH_IMAGE041
个位置的单词在这段语句中所形成的语境义的编码向量，
Figure DEST_PATH_IMAGE046
代表第
Figure 619946DEST_PATH_IMAGE041
个位置的空间位置编码向量，
Figure DEST_PATH_IMAGE047
代表第
Figure 201362DEST_PATH_IMAGE042
个位置的空间位置编码向量，
Figure DEST_PATH_IMAGE048
都是通过随机初始化生成，
Figure DEST_PATH_IMAGE049
表示第
Figure 86141DEST_PATH_IMAGE041
个位置的单词的语义向量与第
Figure 149912DEST_PATH_IMAGE042
个位置的单词的语义向量之间的语义相关性在这段语句中的重要性，
Figure DEST_PATH_IMAGE050
表示第
Figure 614392DEST_PATH_IMAGE041
个向量和第
Figure 80008DEST_PATH_IMAGE042
个向量之间的相对位置关系，
Figure DEST_PATH_IMAGE051
表示第
Figure 338951DEST_PATH_IMAGE041
个向量和第
Figure 624439DEST_PATH_IMAGE044
个向量之间的相对位置关系，
Figure DEST_PATH_IMAGE052
表示在第
Figure 397004DEST_PATH_IMAGE041
个位置单词的位置信息在这段语句中与其他位置单词的相对位置信息形成的位置编码向量，
Figure DEST_PATH_IMAGE053
代表第
Figure 248285DEST_PATH_IMAGE041
个位置的单词的位置向量与第
Figure 412550DEST_PATH_IMAGE042
个位置的单词的位置向量之间的位置相关性在这段语句中的重要性，
Figure DEST_PATH_IMAGE054
分别表示第
Figure 982072DEST_PATH_IMAGE041
个单词对语义信息的重视程度和对位置信息的重视程度。
Figure DEST_PATH_IMAGE055
表示将语义与语序融合的编码向量。
经此模型，得到输出
Figure DEST_PATH_IMAGE056
。
步骤四、捕获文本的结构信息：在获得文本语义信息的基础上，进一步获取文本的语法信息，即本文的结构信息，具体采用ON-LSTM算法。ON-LSTM算法与传统的LSTM算法不同的是采用了新的更新函数。ON-LSTM 采用以下的公式进行信息的遗忘，更新，输入:
Figure DEST_PATH_IMAGE057
其中
Figure DEST_PATH_IMAGE058
代表遗忘门，控制信息的遗忘，
Figure DEST_PATH_IMAGE059
为
Figure DEST_PATH_IMAGE060
函数，
Figure DEST_PATH_IMAGE061
为遗忘门的信息转化矩阵，其矩阵参数维度为
Figure DEST_PATH_IMAGE062
为遗忘门的偏置
Figure DEST_PATH_IMAGE063
代表第t时刻的输入词向量，
Figure DEST_PATH_IMAGE064
代表
Figure DEST_PATH_IMAGE065
时刻的状态值，其维度为
Figure DEST_PATH_IMAGE066
。
Figure DEST_PATH_IMAGE067
Figure DEST_PATH_IMAGE068
表示输入门，控制信息的输入，
Figure 273507DEST_PATH_IMAGE059
为
Figure 448137DEST_PATH_IMAGE060
函数，
Figure DEST_PATH_IMAGE069
为输入门的信息转化矩阵，其矩阵参数维度为
Figure DEST_PATH_IMAGE070
为输入门的偏置 ，其维度为
Figure DEST_PATH_IMAGE071
代表第t时刻的输入词向量，
Figure 140893DEST_PATH_IMAGE064
代表
Figure 604235DEST_PATH_IMAGE065
时刻的状态值，其维度为
Figure 214208DEST_PATH_IMAGE066
。
Figure DEST_PATH_IMAGE072
Figure DEST_PATH_IMAGE073
表示输出门，控制信息的输出，
Figure 774502DEST_PATH_IMAGE059
为
Figure 77308DEST_PATH_IMAGE060
函数，
Figure DEST_PATH_IMAGE074
为输出门的信息转化矩阵，其矩阵参数维度为
Figure DEST_PATH_IMAGE075
为输出门的偏置，其维度为
Figure 90263DEST_PATH_IMAGE066
，
Figure DEST_PATH_IMAGE076
代表第t时刻的输入词向量，
Figure 5392DEST_PATH_IMAGE064
代表
Figure 889034DEST_PATH_IMAGE065
时刻的状态值，其维度为
Figure 597413DEST_PATH_IMAGE066
。
Figure DEST_PATH_IMAGE077
Figure DEST_PATH_IMAGE078
表示状态门,存储第t时刻模型所具有的状态信息，
Figure DEST_PATH_IMAGE079
为状态门的信息转化矩阵，其矩阵参数维度为
Figure DEST_PATH_IMAGE080
为状态门的偏置，其维度为
Figure 611505DEST_PATH_IMAGE066
，
Figure 818496DEST_PATH_IMAGE076
代表第t时刻的输入词向量，
Figure 728683DEST_PATH_IMAGE064
代表
Figure 677748DEST_PATH_IMAGE065
时刻的状态值，其维度为
Figure 494711DEST_PATH_IMAGE066
。
Figure DEST_PATH_IMAGE081
Figure DEST_PATH_IMAGE082
表示主遗忘门,
Figure DEST_PATH_IMAGE083
表示向右求和，
Figure DEST_PATH_IMAGE084
为主遗忘门的信息转化矩阵，其矩阵参数维度为
Figure DEST_PATH_IMAGE085
为主遗忘门的偏置，其维度为
Figure DEST_PATH_IMAGE086
代表第t 时刻的输入词向量，
Figure 434854DEST_PATH_IMAGE064
代表
Figure 581802DEST_PATH_IMAGE065
时刻的状态值，其维度为
Figure 406538DEST_PATH_IMAGE066
。
Figure DEST_PATH_IMAGE087
Figure DEST_PATH_IMAGE088
表示主输入门，
Figure DEST_PATH_IMAGE089
表示向左求和，
Figure DEST_PATH_IMAGE090
为主遗忘门的信息转化矩阵，其矩阵参数维度为
Figure DEST_PATH_IMAGE091
为主遗忘门的偏置，其维度为
Figure DEST_PATH_IMAGE092
代表第t时刻的输入词向量，
Figure 948640DEST_PATH_IMAGE064
代表
Figure 935051DEST_PATH_IMAGE065
时刻的状态值，其维度为
Figure 366032DEST_PATH_IMAGE066
。
与传统LSTM不同的是，采用如下公式更新状态信息和历史信息
Figure DEST_PATH_IMAGE093
其中
Figure DEST_PATH_IMAGE094
代表主遗忘门和主输入门的重合信息，其维度为
Figure DEST_PATH_IMAGE095
表示下一个时间的状态信息
Figure DEST_PATH_IMAGE096
表示当前获得的状态信息，其维度为
Figure DEST_PATH_IMAGE097
代表第t时刻的历史信息，维度为
Figure DEST_PATH_IMAGE098
表示当前获得的状态信息，
Figure DEST_PATH_IMAGE099
表示上一时刻获得的状态信息。
步骤五、连接神经网络进行训练，通过softmax进行分类：获取经过 ON-LSTM 模型的最后一步输出向量，将输出的向量通过全连接网络后经过 softmax 分类，借助Softmax分类器结合标签平滑技术(Label Smoothing)文本信息的自动分类。包括：取ON-LSTM最后一次的输出值
Figure DEST_PATH_IMAGE100
, 使他经过全连接神经网络
Figure DEST_PATH_IMAGE101
防止数据过度拟合，最后将 one-hot 编码的标签通过标签平滑技术获得标签的向量
Figure DEST_PATH_IMAGE102
。
本发明方法采用的损失函数为：
Figure DEST_PATH_IMAGE103
其中J代表损失值，
Figure DEST_PATH_IMAGE104
是超参数，其值可设为0.02，
Figure DEST_PATH_IMAGE105
代表模型中的所有可训练的参数。

Claims (6)

1.一种基于深度学习的电力预警信息自动分类方法，其特征在于，包括以下步骤：
步骤1，将变长的句子序列通过填零或者末尾截断的方法变为预定长度的句子序列，并将预定长度的句子序列通过Word2vec模型获取单词的词向量；
步骤2，将获取的各个单词的词向量通过语义与语序编码层；
步骤3，将经过语义与语序编码层得到的编码向量，再经过 ON-LSTM 模型；
步骤4，获取经过 ON-LSTM 模型的最后一步输出向量，将输出的向量通过全连接网络后利用Softmax函数分类，同时利用标签平滑技术将one-hot编码的标签转化为新的标签向量。
2.根据权利要求 1 所述的基于深度学习的电力预警信息自动分类方法，其特征在于，步骤1中，将预定长度的句子序列通过 Word2Vec 模型获取单词的词向量，具体是：将预定长度的句子序列
Figure 286902DEST_PATH_IMAGE001
中的每一个单词输入到 word2vec 中获取得到单词的词向量
Figure 843392DEST_PATH_IMAGE003
：
Figure 715533DEST_PATH_IMAGE004
其中，S代表输入的整个句子序列，
Figure 302372DEST_PATH_IMAGE005
代表文本中第
Figure 322281DEST_PATH_IMAGE006
个位置的单词，
Figure 793713DEST_PATH_IMAGE007
代表第
Figure 644995DEST_PATH_IMAGE006
个单词所对应的词向量，
Figure 74839DEST_PATH_IMAGE008
代表了文本中单词的个数，
Figure 519727DEST_PATH_IMAGE009
代表了词向量的维度。
3.根据权利要求 1 所述的基于深度学习的电力预警信息自动分类方法，其特征在于，步骤2中，将获取的各个单词的词向量通过语义与语序编码层，具体是：将获取的各个单词的词向量通过 transformer 的 encoder 模型，包括：将各个单词的词向量输入到语义与语序编码层，使得输出的单词向量不仅获取了上下文的语义信息，而且也将其位置特征嵌入到词向量中, 形成所需要的编码向量
Figure 653905DEST_PATH_IMAGE003
，其中transformer的encoder所有的模型参数维度为
Figure 297376DEST_PATH_IMAGE011
。
4.根据权利要求1所述的基于深度学习的电力预警信息自动分类方法，其特征在于，步骤3中，将经过语义与语序编码层得到的编码向量，再经过 ON-LSTM 模型，得到：
Figure 101384DEST_PATH_IMAGE012
其中，
Figure 830305DEST_PATH_IMAGE013
表示在不同时刻输入
Figure 269639DEST_PATH_IMAGE014
到ON-LSTM中得到具有语法结构信息的文本特征表达向量，ON-LSTM模型中所有的控制信息转化的矩阵参数的维度为
Figure 705300DEST_PATH_IMAGE015
，偏置参数的维度为
Figure 742526DEST_PATH_IMAGE016
。
5.根据权利要求 1所述的基于深度学***滑技术将one-hot编码的标签转化为新的标签向量，表现为：取ON-LSTM最后一次的输出值
Figure 21061DEST_PATH_IMAGE017
, 使其经过全连接神经网络后，在利用Softmax函数：
Figure 372407DEST_PATH_IMAGE018
这里
Figure 990471DEST_PATH_IMAGE019
，其中
Figure 526494DEST_PATH_IMAGE020
表示分类的类别个数,
Figure 167691DEST_PATH_IMAGE021
矩阵的参数维度为
Figure 447363DEST_PATH_IMAGE022
的参数维度为
Figure 919932DEST_PATH_IMAGE023
。
6.根据权利要求1所述的基于深度学***滑技术将one-hot编码的标签转化为新的标签向量，包括：
Figure 236644DEST_PATH_IMAGE024
其中超参数
Figure 427454DEST_PATH_IMAGE025
是平滑因子，其参数值为0.13，
Figure 274111DEST_PATH_IMAGE027
是one-hot编码的标签，
Figure 558462DEST_PATH_IMAGE028
是利用标签平滑技术生成的新的标签向量。
CN202011324574.6A 2020-11-24 2020-11-24 一种基于深度学习的电力预警信息自动分类方法 Pending CN112131390A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011324574.6A CN112131390A (zh) 2020-11-24 2020-11-24 一种基于深度学习的电力预警信息自动分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011324574.6A CN112131390A (zh) 2020-11-24 2020-11-24 一种基于深度学习的电力预警信息自动分类方法

Publications (1)

Publication Number Publication Date
CN112131390A true CN112131390A (zh) 2020-12-25

Family

ID=73852278

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011324574.6A Pending CN112131390A (zh) 2020-11-24 2020-11-24 一种基于深度学习的电力预警信息自动分类方法

Country Status (1)

Country Link
CN (1) CN112131390A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112988953A (zh) * 2021-04-26 2021-06-18 成都索贝数码科技股份有限公司 自适应广播电视新闻关键词标准化方法
CN113590767A (zh) * 2021-09-28 2021-11-02 西安热工研究院有限公司 多语种告警信息类别判定方法、***、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599933A (zh) * 2016-12-26 2017-04-26 哈尔滨工业大学 一种基于联合深度学习模型的文本情感分类方法
CN108009284A (zh) * 2017-12-22 2018-05-08 重庆邮电大学 采用半监督卷积神经网络的法律文本分类方法
CN108038107A (zh) * 2017-12-22 2018-05-15 东软集团股份有限公司 基于卷积神经网络的语句情感分类方法、装置及其设备
US20190354583A1 (en) * 2018-05-21 2019-11-21 State Street Corporation Techniques for determining categorized text

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106599933A (zh) * 2016-12-26 2017-04-26 哈尔滨工业大学 一种基于联合深度学习模型的文本情感分类方法
CN108009284A (zh) * 2017-12-22 2018-05-08 重庆邮电大学 采用半监督卷积神经网络的法律文本分类方法
CN108038107A (zh) * 2017-12-22 2018-05-15 东软集团股份有限公司 基于卷积神经网络的语句情感分类方法、装置及其设备
US20190354583A1 (en) * 2018-05-21 2019-11-21 State Street Corporation Techniques for determining categorized text

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112988953A (zh) * 2021-04-26 2021-06-18 成都索贝数码科技股份有限公司 自适应广播电视新闻关键词标准化方法
CN113590767A (zh) * 2021-09-28 2021-11-02 西安热工研究院有限公司 多语种告警信息类别判定方法、***、设备及存储介质

Similar Documents

Publication Publication Date Title
Long et al. Sentiment analysis of text based on bidirectional LSTM with multi-head attention
Chen et al. Research on text sentiment analysis based on CNNs and SVM
CN111930942B (zh) 文本分类方法、语言模型训练方法、装置及设备
CN112632972A (zh) 一种电网设备故障报告内故障信息的快速提取方法
CN112434535B (zh) 基于多模型的要素抽取方法、装置、设备及存储介质
CN111368087B (zh) 基于多输入注意力网络的中文文本分类方法
CN112131390A (zh) 一种基于深度学习的电力预警信息自动分类方法
CN114462420A (zh) 一种基于特征融合模型的虚假新闻检测方法
WO2023173555A1 (zh) 模型的训练方法、文本分类方法和装置、设备、介质
Kalaivani et al. A review on feature extraction techniques for sentiment classification
Zhao et al. Knowledge-aware bayesian co-attention for multimodal emotion recognition
CN115292490A (zh) 一种用于政策解读语义的分析算法
CN115169349A (zh) 基于albert的中文电子简历命名实体识别方法
CN115098673A (zh) 基于变体注意力及层次结构的业务文书信息抽取方法
CN112948588B (zh) 一种用于情报快速整编的中文文本分类方法
CN114004220A (zh) 一种基于cpc-ann的文本情绪原因识别方法
Tong et al. A Multimodel‐Based Deep Learning Framework for Short Text Multiclass Classification with the Imbalanced and Extremely Small Data Set
CN117131877A (zh) 一种基于对比学习的文本检测方法及***
Derbentsev et al. A comparative study of deep learning models for sentiment analysis of social media texts.
Wang et al. A Text Classification Method Based on the Merge-LSTM-CNN Model
CN116244435A (zh) 文本情感分析模型训练方法、情感分析方法、设备和介质
CN113536741B (zh) 中文自然语言转数据库语言的方法及装置
Zhao Overview of Deep Learning Methods for Sentiment Analysis
Ampomah et al. A Sentence-to-Sentence Relation Network for Recognizing Textual Entailment
Luo et al. Research on multi-feature fusion text classification model based on self-attention mechanism

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20201225

RJ01 Rejection of invention patent application after publication