CN110674639B - 一种基于预训练模型的自然语言理解方法 - Google Patents

一种基于预训练模型的自然语言理解方法 Download PDF

Info

Publication number
CN110674639B
CN110674639B CN201910903004.3A CN201910903004A CN110674639B CN 110674639 B CN110674639 B CN 110674639B CN 201910903004 A CN201910903004 A CN 201910903004A CN 110674639 B CN110674639 B CN 110674639B
Authority
CN
China
Prior art keywords
sentence
understood
word
training model
natural language
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910903004.3A
Other languages
English (en)
Other versions
CN110674639A (zh
Inventor
王春辉
胡勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Knowledge Intelligence Technology Co ltd
Original Assignee
Knowledge Intelligence Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Knowledge Intelligence Technology Co ltd filed Critical Knowledge Intelligence Technology Co ltd
Priority to CN201910903004.3A priority Critical patent/CN110674639B/zh
Publication of CN110674639A publication Critical patent/CN110674639A/zh
Application granted granted Critical
Publication of CN110674639B publication Critical patent/CN110674639B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3329—Natural language query formulation or dialogue systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开一种基于预训练模型的自然语言理解方法。所述方法包括：建立基于双向深度Transformer的预训练模型；对待理解语句进行分词处理，并在待理解语句的开始和结尾分别加入特殊标签，得到待理解语句的文本向量；以所述待理解语句的文本向量为输入，调用所述预训练模型，得到待理解语句的文本语义向量；进行意图识别；进行实体识别。本发明可以准确全面地理解意图、识别实体，为后续的对话提供坚实的基础；可以显著提高人机对话***的质量和用户体验。

Description

一种基于预训练模型的自然语言理解方法
技术领域
本发明属于自然语言理解技术领域，具体涉及一种基于预训练模型的自然语言理解方法。
背景技术
近年来，自然语言作为人类表达自己思想最为方便、自然的方式，己逐渐成为人机交互中最主流的方式。因自然语言的多样性、复杂性等特点，实现其准确地机器理解一直是人工智能领域中研究的热点和难点。
人机对话的第一步就是自然语言理解，只有准确全面地理解用户的语言，才能给出合理的回答。自然语言理解具体包括意图识别和实体识别两个任务。可通过建立预训练模型实现型意图识别和实体识别。传统的预训练模型一般基于双向长短期记忆网络，比如，在Matthew E.Peters等人发表在期刊《CoRR》(第abs/1802.05365卷)上的论文“Deepcontextualized word representations”提出的深度上下文语义表示模型就是基于双向长短期记忆网络。其存在问题是，如果堆叠多层，会使模型体积显著增大，模型训练的时间也会显著增加。所以，该架构下很难构建多层的网络结构，使得预训练模型无法捕获深层次的语义信息。
发明内容
为了解决现有技术中存在的上述问题，本发明提出一种基于预训练模型的自然语言理解方法，通过基于大规模语料建立预训练语言模型，在仅有少量训练样本的场景下能准确地进行意图识别及全面地进行实体识别。
为实现上述目的，本发明采用如下技术方案：
一种基于预训练模型的自然语言理解方法，包括以下步骤：
步骤1，建立基于双向深度Transformer的预训练模型，所述预训练模型的输入为一个句子经分词处理并在其开始和结尾分别加入特殊标签后得到的文本向量，输出为所述句子的文本语义向量；
步骤2，对待理解语句进行分词处理，并在待理解语句的开始和结尾分别加入所述特殊标签，得到待理解语句的文本向量；
步骤3，以所述待理解语句的文本向量为输入，调用所述预训练模型，得到待理解语句的文本语义向量；
步骤4，将所述待理解语句的文本语义向量输入第一多层感知机进行与意图相关的语义特征提取，并由softmax层计算待理解语句针对每个预置的意图类别的概率，概率最大的意图类别为待理解语句的意图类别；
步骤5，将所述待理解语句的文本语义向量输入第二多层感知机进行与实体相关的语义特征提取，然后送入双向长短期记忆网络(Long Short-Term Memory，LSTM)进行前向语义与后向语义的融合，最后由一个条件随机场分别计算待理解语句的每个单词取预置的每个实体类别时的概率P，P最大时的每个实体类别即为每个单词的实体类别，进而得到识别的实体类别。
与现有技术相比，本发明具有以下有益效果：
本发明通过建立基于双向深度Transformer的预训练模型，对待理解语句进行分词处理，并调用所述预训练模型，得到待理解语句的文本语义向量，进而进行意图识别和实体识别，可以准确全面地理解意图、识别实体，为后续的对话提供坚实的基础。可以显著提高人机对话***的质量和用户体验。
附图说明
图1为本发明实施例一种基于预训练模型的自然语言理解方法的流程图；
图2为每层预训练模型的结构示意图；
图3为应用预训练模型进行意图识别和实体识别的一个流程示意图。
具体实施方式
下面结合附图对本发明作进一步详细说明。
本发明实施例一种基于预训练模型的自然语言理解方法，流程图如图1所示，所述方法包括以下步骤：
S101、建立基于双向深度Transformer的预训练模型，所述预训练模型的输入为一个句子经分词处理并在其开始和结尾分别加入特殊标签后得到的文本向量，输出为所述句子的文本语义向量；
S102、对待理解语句进行分词处理，并在待理解语句的开始和结尾分别加入所述特殊标签，得到待理解语句的文本向量；
S103、以所述待理解语句的文本向量为输入，调用所述预训练模型，得到待理解语句的文本语义向量；
S104、将所述待理解语句的文本语义向量输入第一多层感知机进行与意图相关的语义特征提取，并由softmax层计算待理解语句针对每个预置的意图类别的概率，概率最大的意图类别为待理解语句的意图类别；
S105、将所述待理解语句的文本语义向量输入第二多层感知机进行与实体相关的语义特征提取，然后送入一个双向长短期记忆网络进行前向语义与后向语义的融合，最后由一个条件随机场分别计算待理解语句中每个单词取预置的每个实体类别时的概率P，P最大时的每个实体类别即为每个单词的实体类别，进而得到识别的实体类别。
在本实施例中，步骤S101主要用于构建预训练模型。本实施例的预训练模型是基于双向深度Transformer结构，预训练模型的输入是经分词处理后的句子文本向量，而且是在句子的开始和结尾分别加入了特殊标签(如[CLS]和[SEP])后得到的文本向量(每个单词或汉字用其ID表示)。参见后面的表1。预训练模型的输出是表示输入句子文本语义的多维向量。由于所述预训练模型采用双向深度Transformer结构，句子中的每个单词都可以跟句子中的其他单词都产生交互，因此在句子开头加入的特殊标签可以认为是整个输入句子的表示。
在本实施例中，步骤S102主要用于对待理解语句进行分词处理，并在待理解语句的开始和结尾分别加入步骤S101所述的特殊标签。对于英文，分词处理是单词级别的，即按照空格进行分割；对于中文，分词处理是汉字级别的，即按照单个汉字进行分割，如“我在北京工作”的分割结果为：“我”，“在”，“北”，“京”，“工”，“作”。
在本实施例中，步骤S103主要用于得到待理解语句的文本语义向量。方法是：以步骤S102得到待理解语句的文本向量为输入，调用预训练模型，预训练模型的输出即为待理解语句的文本语义向量。
在本实施例中，步骤S104主要用于对待理解语句进行意图识别。意图识别的任务是识别出输入句子是针对哪个预先设置的场景，其本质是一个文本分类的任务。意图识别由意图识别网络实现，意图识别网络包括第一多层感知机和一个softmax层，参见图3。首先，将所述待理解语句的文本语义向量X输入第一多层感知机进行与意图相关的语义特征提取。第一多层感知机可采用如下的激励函数：
relu(x)＝max(0,x)
然后，将第一多层感知机的输出送入softmax层中，计算待理解语句针对每个预置的意图类别的概率p，计算公式如下：#
p＝softmax(relu(WX+b))
Figure BDA0002212404720000041
其中，W为由第一多层感知机输入量的权重组成的向量，b为阈值。#
预置的意图类别是针对具体的应用场景预先设定的意图类别。比如，一个任务型对话的场景，可预置发通知、打开聊和校内问答等意图类别。计算完待理解语句针对每个预置的意图类别的概率后，取概率最大的意图类别作为待理解语句的意图类别。
在本实施例中，步骤S105主要用于对待理解语句进行实体识别。实体识别的任务是识别出输入句子中的实体名称。比如，输入一个句子“我在北京工作”，在识别前先定义一些实体种类，如人名、地名。经识别“北京”就是一个地名类的实体名称。因此，实体识别本质上是一个序列标注的任务。实体识别由实体识别网络实现，实体识别网络包括第二多层感知机、一个双向长短期记忆网络和一个条件随机场，可参见图3。首先，将所述待理解语句的文本语义向量输入第二多层感知机进行与实体相关的语义特征提取。然后，将第二多层感知机的输出送入双向长短期记忆网络，进行前向语义与后向语义的融合。将一句话的单词表示X送入前向LSTM网络可表示为
Figure BDA0002212404720000051
(如“我在北京”)，送入后向LSTM网络可表示为
Figure BDA0002212404720000052
(如“京北在我”)，进行前向语义与后向语义融合可表示为
Figure BDA0002212404720000053
最后，将双向长短期记忆网络的输出送入条件随机场，计算待理解语句的每个单词取每个预置的实体类别时的概率，概率最大时每个实体类别就是每个单词对应的实体类别，在此基础上得到最后识别的实体类别，可参见表2。
作为一种可选实施例，所述预训练模型是在整个中文***语料上进行预训练得到的。
本实施例对预训练模型的训练样本进行了限定。本实施例的预训练模型是在整个中文***语料上进行语言模型的预训练得到的。中文***语料包含1,043,224个维基词条，总大小为1.6G。在整个中文***语料上进行语言模型的预训练，可以得到语义丰富且鲁棒性好的预训练模型。
作为一种可选实施例，所述预训练模型由12层Transformer结构堆叠而成，每层由一个自注意力网络和一个通过残差网络、层归一化网络连接的前向传播网络组成，每层输出768维的向量。
本实施例对所述预训练模型的结构进行了进一步限定。所述预训练模型为12层Transformer结构，每层的结构如图2所示，包括一个自注意力网络和一个前向传播网络，自注意力网络和前向传播网络之间通过残差网络、层归一化网络连接，每层输出768维的向量。通过残差网络可以构建深度的网络，从而有效捕捉深度的语义信息。传统的注意力网络的输入包括Q(Query)、K(Key)和V(Value)三个矩阵，分别表示注意力网络的查询、键和值。而自注意力网络中Q、K和V均来自同一输入，即用单词表示的句子向量X。这里就是指句子中每个单词的表示。注意力网络和自的注意力网络计算公式分别为：
Figure BDA0002212404720000061
Figure BDA0002212404720000062
式中，d为X的维度，本实施例中d＝768。通过运算
Figure BDA0002212404720000063
句子中的每个单词都可以跟整个句子中的其他单词都产生交互。
作为一种可选实施例，所述步骤3提取预训练模型最后4层网络的结果，并把结果相拼接，获得每个单词768×4＝3072维度的表示。
本实施例中，为了获得更丰富的语义表示信息，将预训练模型的最后4层拼接，也就是将4个维度为768的向量首尾相连，可获得每个单词768×4＝3072维度的表示。
作为一种可选实施例，在句子开始和结尾加入的特殊标签分别为[CLS]和[SEP]。
本实施例给出了一种具体的特殊标签。也就是在句子开始加入特殊标签[CLS]，在句子结尾加入特殊标签[SEP]。本实施例只是给出一种较佳的实施方式，并不排斥或限制其它可行的特殊标签。
作为一种可选实施例，如果待理解语句中的某个单词不在用于预训练的预置词表中，在所述单词前标注特殊标签[UNK]。
本实施例给出了当待理解语句中的某个单词不在预置词表中时所述单词的标注方法，即在在所述单词前标注特殊标签[UNK]。预置词表就是对预训练模型进行预训练时的训练样本集。同样，本实施例只是给出一种较佳的实施方式，并不排斥或限制[UNK]以外的其它可行的特殊标签。
作为一种可选实施例，步骤S105所述概率P的计算公式如下：
Figure BDA0002212404720000071
Figure BDA0002212404720000072
式中，A(yi+1|yi)表示分词后待理解语句的第i个单词的实体类别为yi时第i+1个单词的实体类别为yi+1的概率，pi(yi)表示第i个单词的实体类别为yi的概率，n为分词后待理解语句的单词数量。
为了更好地理解本发明的技术方案，下面给出一个应用建立的预训练模型对待理解语句进行意图识别和实体识别的实例。
一个任务型对话场景，预设置有3个意图：发通知，打开聊天，校内问答；预设置4个实体：联系人，事件，时间，问题。
待理解语句为：“给全班家长发个通知，周六将召开运动会”。
第一步，对待理解语句进行分词。如果每个字都在预置词表中，分词结果直接就是这个字本身；如果某个字不在预置词表中，用[UNK]进行标识。由于这句话中每个字都在词表中，所以分词结果全是字的本身。最后在这句话的开头加上特殊标识[CLS]，句子的结尾加上特殊标识[SEP]。最后的分词结果如表1。
表1分词结果
[CLS] 给 全 班 家 长 发 个 通 知
， 周 六 将 召 开 运 动 会 [SEP]
第二步，调用预训练模型进行语义特征抽取。以上一步的分词结果为输入，调用预训练模型进行语义特征抽取。预训练模型为12层的transformer网络，通过所述网络，这句话中的每个单词都会与句子中的其他单词产生交互，提取最后4层网络的结果，并把结果相拼接，获得每个单词3072维度的表示。
第三步，进行意图识别。将上一步的结果送入意图识别网络，如图3。首先通过第一多层感知机进行特征的再抽取，然后送入softmax网络中获得每个意图的概率分布。“发通知”这个意图的概率最高，因此，输出识别的意图为“发通知”。
第四步，进行实体识别。将第二步的结果送入实体识别网络，如图3。首先通过第二多层感知机对特征进行再次的抽取，然后送入双向长短期记忆网络对序列特征进行再次的抽取，最后送入条件随机场，计算每个字取每个预置的实体类别时的概率，概率最大时的每个实体类别即为每个字对应的实体类别。结果如表2所示。所以，最后输出识别的实体为：联系人：全部；时间：周六；事件：运动会。
表2 实体识别结果
[CLS] 给 全 班 家 长 发 个 通 知
其他 其他 联系人 联系人 其他 其他 其他 其他 其他 其他
， 周 六 将 召 开 运 动 会 [SEP]
其他 时间 时间 其他 其他 其他 事件 事件 事件 其他
上述仅对本发明中的几种具体实施例加以说明，但并不能作为本发明的保护范围，凡是依据本发明中的设计精神所做出的等效变化或修饰或等比例放大或缩小等，均应认为落入本发明的保护范围。

Claims (7)

1.一种基于预训练模型的自然语言理解方法，其特征在于，包括以下步骤：
步骤1，建立基于双向深度Transformer的预训练模型，所述预训练模型的输入为一个句子经分词处理并在其开始和结尾分别加入特殊标签后得到的文本向量，输出为所述句子的文本语义向量；
步骤2，对待理解语句进行分词处理，并在待理解语句的开始和结尾分别加入所述特殊标签，得到待理解语句的文本向量；
步骤3，以所述待理解语句的文本向量为输入，调用所述预训练模型，得到待理解语句的文本语义向量；
步骤4，将所述待理解语句的文本语义向量输入第一多层感知机进行与意图相关的语义特征提取，并由softmax层计算待理解语句针对每个预置的意图类别的概率，概率最大的意图类别为待理解语句的意图类别；
步骤5，将所述待理解语句的文本语义向量输入第二多层感知机进行与实体相关的语义特征提取，然后送入双向长短期记忆网络进行前向语义与后向语义的融合，最后由一个条件随机场分别计算待理解语句的每个单词取预置的每个实体类别时的概率P，P最大时的每个实体类别即为每个单词的实体类别，进而得到识别的实体类别。
2.根据权利要求1所述的基于预训练模型的自然语言理解方法，其特征在于，所述预训练模型是在整个中文***语料上进行预训练得到的。
3.根据权利要求2所述的基于预训练模型的自然语言理解方法，其特征在于，所述预训练模型由12层Transformer结构堆叠而成，每层由一个自注意力网络和一个通过残差网络、层归一化网络连接的前向传播网络组成，输出768维的向量。
4.根据权利要求3所述的基于预训练模型的自然语言理解方法，其特征在于，所述步骤3提取预训练模型最后4层网络的结果，并把结果相拼接，获得每个单词768×4＝3072维度的表示。
5.根据权利要求4所述的基于预训练模型的自然语言理解方法，其特征在于，在句子开始和结尾加入的特殊标签分别为[CLS]和[SEP]。
6.根据权利要求5所述的基于预训练模型的自然语言理解方法，其特征在于，如果待理解语句中的某个单词不在用于预训练的预置词表中，在所述单词前标注特殊标签[UNK]。
7.根据权利要求6所述的基于预训练模型的自然语言理解方法，其特征在于，步骤5所述概率P的计算公式如下：
Figure FDA0002212404710000021
Figure FDA0002212404710000022
式中，A(yi+1|yi)表示分词后待理解语句的第i个单词的实体类别为yi时第i+1个单词的实体类别为yi+1的概率，pi(yi)表示第i个单词的实体类别为yi的概率，n为分词后待理解语句的单词数量。
CN201910903004.3A 2019-09-24 2019-09-24 一种基于预训练模型的自然语言理解方法 Active CN110674639B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910903004.3A CN110674639B (zh) 2019-09-24 2019-09-24 一种基于预训练模型的自然语言理解方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910903004.3A CN110674639B (zh) 2019-09-24 2019-09-24 一种基于预训练模型的自然语言理解方法

Publications (2)

Publication Number Publication Date
CN110674639A CN110674639A (zh) 2020-01-10
CN110674639B true CN110674639B (zh) 2022-12-09

Family

ID=69077293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910903004.3A Active CN110674639B (zh) 2019-09-24 2019-09-24 一种基于预训练模型的自然语言理解方法

Country Status (1)

Country Link
CN (1) CN110674639B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111274362B (zh) * 2020-02-01 2021-09-03 武汉大学 一种基于transformer架构的对话生成方法
CN111563144B (zh) * 2020-02-25 2023-10-20 升智信息科技(南京)有限公司 基于语句前后关系预测的用户意图识别方法及装置
CN111460820B (zh) * 2020-03-06 2022-06-17 中国科学院信息工程研究所 一种基于预训练模型bert的网络空间安全领域命名实体识别方法和装置
CN111400340B (zh) * 2020-03-12 2024-01-09 杭州城市大数据运营有限公司 一种自然语言处理方法、装置、计算机设备和存储介质
CN111414467A (zh) * 2020-03-20 2020-07-14 中国建设银行股份有限公司 问答对话方法、装置、电子设备及计算机可读存储介质
CN111556375B (zh) * 2020-04-24 2022-10-11 西交利物浦大学 视频弹幕的生成方法、装置、计算机设备及存储介质
CN111625634B (zh) * 2020-05-25 2023-08-22 泰康保险集团股份有限公司 词槽识别方法及装置、计算机可读存储介质、电子设备
CN111444721B (zh) * 2020-05-27 2022-09-23 南京大学 一种基于预训练语言模型的中文文本关键信息抽取方法
CN111626063B (zh) * 2020-07-28 2020-12-08 浙江大学 一种基于投影梯度下降和标签平滑的文本意图识别方法及***
CN111914551B (zh) * 2020-07-29 2022-05-20 北京字节跳动网络技术有限公司 自然语言处理方法、装置、电子设备及存储介质
CN112069302B (zh) * 2020-09-15 2024-03-08 腾讯科技（深圳）有限公司 会话意图识别模型的训练方法、会话意图识别方法及装置
CN112463961A (zh) * 2020-11-11 2021-03-09 上海昌投网络科技有限公司 一种基于深度语义算法的社群舆情红线检测方法
CN112528627B (zh) * 2020-12-16 2022-10-04 中国南方电网有限责任公司 一种基于自然语言处理的检修意见识别方法
CN112765959B (zh) * 2020-12-31 2024-05-28 康佳集团股份有限公司 意图识别方法、装置、设备及计算机可读存储介质
CN113158671B (zh) * 2021-03-25 2023-08-11 胡明昊 一种结合命名实体识别的开放域信息抽取方法
CN113326360B (zh) * 2021-04-25 2022-12-13 哈尔滨工业大学 一种小样本场景下的自然语言理解方法
CN112906403B (zh) * 2021-04-25 2023-02-03 中国平安人寿保险股份有限公司 语义分析模型训练方法、装置、终端设备及存储介质
CN113297364B (zh) * 2021-06-07 2023-06-09 吉林大学 一种面向对话***中的自然语言理解方法及装置
CN114996422A (zh) * 2022-05-30 2022-09-02 北京京东方技术开发有限公司 指令识别方法及装置、训练方法、计算机可读存储介质
CN115081428B (zh) * 2022-07-22 2022-11-29 粤港澳大湾区数字经济研究院(福田) 一种处理自然语言的方法、自然语言处理模型、设备
CN115080924B (zh) * 2022-07-25 2022-11-15 南开大学 一种基于自然语言理解的软件许可证条款抽取方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028077A1 (zh) * 2016-08-11 2018-02-15 中兴通讯股份有限公司 一种基于深度学习的中文语义分析的方法及装置
CN109885673A (zh) * 2019-02-13 2019-06-14 北京航空航天大学 一种基于预训练语言模型的自动文本摘要方法
CN110032644A (zh) * 2019-04-03 2019-07-19 人立方智能科技有限公司 语言模型预训练方法
CN110083831A (zh) * 2019-04-16 2019-08-02 武汉大学 一种基于BERT-BiGRU-CRF的中文命名实体识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018028077A1 (zh) * 2016-08-11 2018-02-15 中兴通讯股份有限公司 一种基于深度学习的中文语义分析的方法及装置
CN109885673A (zh) * 2019-02-13 2019-06-14 北京航空航天大学 一种基于预训练语言模型的自动文本摘要方法
CN110032644A (zh) * 2019-04-03 2019-07-19 人立方智能科技有限公司 语言模型预训练方法
CN110083831A (zh) * 2019-04-16 2019-08-02 武汉大学 一种基于BERT-BiGRU-CRF的中文命名实体识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种用于文本检测和文本识别的单一神经网络;张秀杰等;《工业控制计算机》;20180825(第08期);全文 *

Also Published As

Publication number Publication date
CN110674639A (zh) 2020-01-10

Similar Documents

Publication Publication Date Title
CN110674639B (zh) 一种基于预训练模型的自然语言理解方法
CN108920622B (zh) 一种意图识别的训练方法、训练装置和识别装置
CN108595708A (zh) 一种基于知识图谱的异常信息文本分类方法
CN111177310B (zh) 电力服务机器人智能场景会话方法及装置
CN110457689B (zh) 语义处理方法及相关装置
CN107025284A (zh) 网络评论文本情感倾向的识别方法及卷积神经网络模型
CN107818164A (zh) 一种智能问答方法及其***
CN110362819B (zh) 基于卷积神经网络的文本情感分析方法
CN109388700A (zh) 一种意图识别方法及***
CN114116994A (zh) 一种迎宾机器人对话方法
CN110175221B (zh) 利用词向量结合机器学习的垃圾短信识别方法
KR20200119410A (ko) 전역 및 지역 문맥 기반 한국어 대화문 감정 인식 시스템 및 방법
CN111597341B (zh) 一种文档级关系抽取方法、装置、设备及存储介质
CN112256854A (zh) 一种基于ai自然语言理解的智能ai会话方法及装置
CN114020906A (zh) 基于孪生神经网络的中文医疗文本信息匹配方法及***
CN112287106A (zh) 一种基于双通道混合神经网络的在线评论情感分类方法
CN112632244A (zh) 一种人机通话的优化方法、装置、计算机设备及存储介质
CN107797988A (zh) 一种基于Bi‑LSTM的混合语料命名实体识别方法
CN112100212A (zh) 一种基于机器学习和规则匹配的案件情节抽取方法
CN115292461A (zh) 基于语音识别的人机交互学习方法及***
CN115064154A (zh) 混合语言语音识别模型的生成方法及装置
CN113051384B (zh) 基于对话的用户画像抽取方法及相关装置
CN112801721B (zh) 信息处理方法、装置、电子设备及存储介质
CN114003700A (zh) 一种对话信息的处理方法、***、电子设备及存储介质
TW202034207A (zh) 使用意圖偵測集成學習之對話系統及其方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 100045 4100, Floor 4, Building 4, Yard 49, Badachu Road, Shijingshan District, Beijing

Applicant after: Knowledge intelligence technology Co.,Ltd.

Address before: 710000 No. 708-119, Floor 7, Block C, Hangchuang Plaza, Shenzhou 4th Road, Xi'an Aerospace Base, Shaanxi Province

Applicant before: Polar Intelligence Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant