CN107239446A - 一种基于神经网络与注意力机制的情报关系提取方法 - Google Patents

一种基于神经网络与注意力机制的情报关系提取方法 Download PDF

Info

Publication number
CN107239446A
CN107239446A CN201710392030.5A CN201710392030A CN107239446A CN 107239446 A CN107239446 A CN 107239446A CN 201710392030 A CN201710392030 A CN 201710392030A CN 107239446 A CN107239446 A CN 107239446A
Authority
CN
China
Prior art keywords
information
training
neutral net
word
represent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710392030.5A
Other languages
English (en)
Other versions
CN107239446B (zh
Inventor
刘兵
周勇
张润岩
王重秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN201710392030.5A priority Critical patent/CN107239446B/zh
Priority to PCT/CN2017/089137 priority patent/WO2018218707A1/zh
Publication of CN107239446A publication Critical patent/CN107239446A/zh
Application granted granted Critical
Publication of CN107239446B publication Critical patent/CN107239446B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)
  • Character Discrimination (AREA)

Abstract

本发明公开了一种基于神经网络与注意力机制的情报关系提取方法，涉及结合注意力机制的循环神经网络、自然语言处理、情报分析领域，用以解决现今情报分析***多基于人工构建的知识库，工作量大、泛化能力低的问题。方法具体实现包括训练阶段与应用阶段。在训练阶段，首先构建用户字典、训练词向量，然后从历史情报数据库中构造训练集，进行语料预处理，然后进行神经网络模型训练；在应用阶段，获取情报，进行情报预处理，可自动地完成情报关系抽取任务，同时支持扩充用户词典，以及纠错判断，加入训练集增量式的训练神经网络模型。本发明的情报关系提取方法可寻找情报间的关系，为整合事件脉络、决策研判提供依据，有着广泛的实用价值。

Description

一种基于神经网络与注意力机制的情报关系提取方法
技术领域
本发明涉及结合注意力机制的循环神经网络、自然语言处理、情报分析领域，尤其是一种使用结合注意力机制的双向循环神经网络进行情报关系提取的方法。
背景技术
随着信息时代各项技术的发展，信息数据量呈***式增长。如今，情报信息的获取和存储技术较为成熟，而在情报分析、海量情报数据的关键信息抽取等领域，仍需要许多技术改进。情报数据有着主题性强、时效性高、隐含信息丰富等特点。对同一主题下的情报进行关系分析，按时空、因果等关系整合情报，可完成主题事件的描述、多角度分析等任务，并为最终的决策研判提供依据。因此，寻找情报间的关系并整合出事件脉络有着重要的实际意义。
目前，情报的关系分类多基于标准知识框架或模型范式，即由领域专家提取情报的关键特征、整理情报各关系类别的表述形式、搭建知识库来完成关系分类。专利CN201410487829.9的情报分析***，基于标准知识框架，利用计算机进行知识积累、整合零散信息，综合历史信息完成情报关联关系的甄别，最终提供指挥决策的思维脑图，辅助决策。专利CN201610015796的情报关联处理方法，基于领域知识模型，通过命名体识别和领域字典的方式提取特征词汇，以主题图模型训练特征词的主题关联度，从而建立事件的主题词模板，以此模板完成情报的关联判断。
此外，也有一些研究运用机器学习的神经网络方法进行关系抽取。专利CN201610532802.6、专利CN201610393749.6和专利CN201610685532.2分别使用多层卷积神经网络、结合距离监督的卷积神经网络、结合注意力的卷积神经网络进行关系抽取。
基于上述研究现状，针对情报的关系抽取方法，主要存在以下问题：第一，基于知识框架或模型的情报分析，需要大量且覆盖面广的历史事例，需要富有专业知识的领域专家进行知识库的构建，即工作量大且完成的框架可能泛化能力较弱；第二，基于神经网络的方法多停留在理论方法的研究上，在实际应用中需要一定调整，且现使用较多的卷积神经网络，在整句语境的把握上效果欠佳，不经特殊处理准确率不如双向循环神经网络(Bi-directional RNN)。
发明内容
发明目的：为了克服现有技术中存在的不足，本发明提供一种智能的、准确率高、展示效果好的情报关系提取方法。
技术方案：为实现上述目的，本发明采用的技术方案为：
一种基于神经网络与注意力机制的情报关系提取方法，包括以下步骤：
步骤1)构建用户字典，神经网络***已有初始的用户字典。
步骤2)训练词向量，从与该领域有关的数据库中提取文本资料，利用步骤1)得到的用户字典训练词向量库，将文本资料中的文本词汇映射成数值化的向量数据；
步骤3)构造训练集，从历史情报数据库中提取情报对，使用步骤2)中得到的词向量库将每对情报转化为情报关系三元组训练数据<情报1,情报2,关系>；
步骤4)语料预处理，先利用步骤1)得到的用户字典对步骤3)得到的训练数据进行语料预处理，即分词和命名体识别；分词和命名体识别使用现有的自动化工具实现，预处理最终结果是将每条情报转化为行为词向量维度、列为语句长度的情报词语矩阵，并标注其中命名***置，情报两两一组；
步骤5)神经网络模型训练，将步骤4)得到的矩阵加入神经网络进行训练，得到关系抽取神经网络模型；其中神经网络的训练方法，包括以下步骤：
步骤5-1)将情报词语矩阵输入双向长短时记忆网络Bi-LSTM单元提取综合语境的信息，分别将正序语句和倒序语句输入两个长短时记忆网络LSTM单元；在计算本时刻时，迭代地考虑上时刻的作用；LSTM单元的隐层计算及特征提取的组合表达式如下：
it＝σ(Wxixt+Whiht-1+Wcict-1+bi)
ft＝σ(Wxfxt+Whfht-1+Wcfct-1+bf)
gt＝tanh(Wxcxt+Whcht-1+Wccct-1+bc)
ct＝itgt+ftct-1
ot＝σ(Wxoxt+Whoht-1+Wcoct+bo)
ht＝ot·tanh(ct)
式中：xt表示t时刻步骤4)中得到的情报词语矩阵，也是神经网络的输入矩阵；
it表示t时刻输入门的输出结果；
ft表示t时刻遗忘门的输出结果；
gt表示t时刻输入整合的输出结果；
ct、ct-1分别表示t时刻和t-1时刻记忆流状态；
ot表示t时刻输出门的输出结果；
ht、ht-1分别表示t时刻和t-1时刻隐层信息，即神经网络提取的特征输出；
σ()表示sigmoid激活函数，tanh()表示双曲正切激活函数；
Wxi、Whi、Wci等表示待训练的权值参数，其角标前者表示相乘的输入量，后者表示所属的计算部分；
bi、bf等表示待训练的偏置参数，其角标表示所属的计算部分；
这里待训练的参数Wxi、Whi、Wci、bi、bf都是先随机初始化，然后训练过程中自动修正，最后会随神经网络的训练得到最终的值；
步骤5-2)加权拼接正序语句和倒序语句的两个长短时记忆网络LSTM单元输出作为神经网络的最终输出；
ofinal＝Wfwhfw+Wbwhbw
式中，hfw表示处理正序语句的LSTM网络的输出，Wfw表示其对应的待训练的权值；
hbw表示处理倒序语句的LSTM网络的输出，Wbw表示其对应的待训练的权值；
ofinal表示神经网络的最终输出；
这里待训练的权值Wfw、Wbw也是先随机初始化，然后训练过程中自动修正，最后会随神经网络的训练得到最终的值；
步骤5-3)依据命名体对应位置的神经网络输出来计算情报整句话的注意力分配，并按照分配组合神经网络的整句输出，其公式如下：
α＝softmax(tanh(E)·Wa·Ofinal)
r＝α·Ofinal
式中，α为注意力分配矩阵，r为情报语句经过针对性整合的输出；E为循环神经网络在命名***置上的输出，使用固定窗口的模式，选取前K重要的命名体拼接成命名体矩阵；Ofinal为循环神经网络的输出，形如[o1,o2,o3…on]，其中o1,o2,o3…on为神经网络对应节点的输出，n为情报的词语数量；
Wa为待训练的权值矩阵，softmax()为softmax分类器函数，tanh()为双曲正切激活函数；这里待训练的权值Wa也是先随机初始化，然后训练过程中自动修正，最后会随神经网络的训练得到最终的值；
步骤5-4)对于两条情报的特征信息r，拼接后输入全连接层，最后使用softmax分类器进行关系分类，对得到的预测结果使用梯度下降法训练权值；
步骤6)情报获取，输入两条一组的文字情报，一个批次可以有多组，其中文字情报为一段中心明确的文字，若为新情报，则可以选择扩充步骤1)中得到的用户字典；
步骤7)文本预处理，通过步骤4)中训练好的分词工具、步骤2)得到的词向量库和步骤4)中使用的命名体识别工具，将步骤6)中原始的整句的文字信息转化为情报数值矩阵；其中每行是每个词的向量表示，一个矩阵即表示一条情报，同时标注其中命名体的位置；
步骤8)关系抽取，将步骤7)处理好的两两一组的情报矩阵对输入步骤5)训练好的关系抽取神经网络模型，进行自动化的关系抽取，最终得到每组情报的关系类别；得到每组情报关系类别；
步骤9)增量式更新，判断步骤8)得到的每组情报的关系类别正误，若判断正确，则结合步骤6)中获取的情报和相应的关系类别进行可视化展示，若判断错误，则可以选择将正确判断的情报关系三元组训练数据加入步骤3)中的训练集，重复步骤4)与步骤5)，重新训练修正神经网络模型。
进一步地：步骤1)中可选方案为构建专业领域用户词典，专业领域用户词典指在特定领域的专有名词、且脱离本领域较难识别的词语；其他普遍的词汇可以自动识别；所述专有词汇可从历史情报数据库中选取，若从历史情报数据库中提取的词汇为专有词汇，用户只需将已知的专有词汇加入神经网络***的用户字典即可。
优选的：训练集的构造是从历史情报数据库中提取足量的情报，构建情报关系三元组训练数据，要求5000条以上；具体首先确定关系类别，关系类别包括前因与后果、主题与详述、位置联系、时间联系，按照不同关系，将情报对分成形如<情报1,情报2,关系>的三元组。
优选的：从与领域有关的数据库中提取文本资料，结合网络百科、新闻广播的文本语料，通过Google工具包word2vector训练词向量库，将文本词汇映射成数值化的向量数据，向量数据包含了原语义信息，以此完成自然语言到数值表示的转化。
优选的：中文在语义上以词为单位，对于整句的输入，需要先进行分词处理；在分词过程中，加入专业领域用户词典。
优选的：获取情报步骤中情报应为一小段100词以内的中心明确的文字；关系抽取针对的是二元关系，即处理对象为一对情报，所以长短时记忆网络LSTM单元的输入应为两条一组的文字情报。
优选的：分词和命名体识别使用现有的自动化工具实现，如nlpir和stanford-ner。
优选的：在自动化工具识别分词和命名体时使用专业领域的用户词典。
本发明相比现有技术，具有以下有益效果：
本发明使用双向循环神经网络、结合命名实体对情报中各词的注意力分配，在情报的词向量表示中提取出特征信息，使用softmax分类器对提取的特征信息进一步分类，从而完成情报的关系提取任务。双向循环神经网络在文本数据上有强大的特征提取能力，可克服传统知识库方法中人工特征提取工作量大的问题以及主观性导致的泛化能力弱问题；使用双向长短时记忆网络可以有效地考虑完整语境信息，使用命名实体的注意力权重可依据这些叙事中心词自动分配情报中每个词的重要程度，这使得本发明的关系提取方法较其他神经网络方法有更高的准确率。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明，其中：
图1是本发明一种基于神经网络与注意力机制的的情报关系提取方法的流程图。
图2是本发明一种基于神经网络与注意力机制的的情报关系提取方法中采用的双向循环神经网络示意图。
图3是本发明一种基于神经网络与注意力机制的的情报关系提取方法中采用的注意力机制示意图。
具体实施方式
下面结合附图和具体实施例，进一步阐明本发明，应理解这些实例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1所示为一种基于神经网络与注意力机制的情报关系提取方法，在实现上分为两个阶段：训练阶段、应用阶段。
(一)、训练阶段：
如图1所示，在训练阶段，***需首先构建用户字典(可选)、训练词向量，然后从历史情报数据库中构建训练集，进行语料预处理，最后进行关系抽取神经网络模型的训练。
a、构建用户字典：神经网络***已有初始的用户字典，从历史情报数据库中提取词汇，若从历史情报数据库中提取的词汇为专有词汇，用户只需将已知的专有词汇加入神经网络***的用户字典即可构建专有词汇用户字典。专业领域用户词典指在特定领域的专有名词、且脱离本领域较难识别的词语；其他普遍的词汇可以自动识别；
b、训练词向量：从与领域有关的数据库中提取文本资料，结合网络百科、新闻广播等文本语料，利用步骤(一)a)得到的用户字典通过Google工具包word2vector训练词向量库，将文本词汇映射成数值化的向量数据，向量数据包含了原语义信息，以此完成自然语言到数值表示的转化。
c、构建训练集：从历史情报数据库中提取5000条以上情报对，使用步骤(一)b)中得到的词向量库构建情报关系三元组训练数据。具体需要首先确定关系类别，如前因与后果、主题与详述、位置联系、时间联系，按照不同关系，将情报对分成形如<情报1,情报2,关系>的三元组。
d、语料预处理：先利用步骤a)得到的用户字典对步骤(一)c)得到的三元组训练数据进行语料预处理，即分词和命名体识别，分词和命名体识别使用现有的自动化工具实现，如nlpir和stanford-ner。在此过程中，将使用专业领域的用户词典，最终可达到95％以上的准确率。预处理最终结果是将三元组训练数据中的每条情报转化为行为词向量维度、列为语句长度的情报矩阵，并标注其中命名***置，情报两两一组。
e、神经网络模型训练：步骤(一)d)预处理后的两两一组的情报矩阵均进行下面的神经网络训练处理：将步骤(一)d)预处理后的情报矩阵输入关系抽取神经网络进行训练。首先将情报词语矩阵输入双向长短时记忆网络Bi-LSTM提取综合语境的信息，LSTM网络的公式如下：
it＝σ(Wxixt+Whiht-1+Wcict-1+bi)
ft＝σ(Wxfxt+Whfht-1+Wcfct-1+bf)
gt＝tanh(Wxcxt+Whcht-1+Wccct-1+bc)
ct＝itgt+ftct-1
ot＝σ(Wxoxt+Whoht-1+Wcoct+bo)
ht＝ot·tanh(ct)
式中：xt表示t时刻(对应第t个词向量输入)步骤4)中得到的矩阵，也是神经网络的输入矩阵；
it表示t时刻(对应第t个词向量输入)输入门的输出结果，它决定了记忆流记录本次信息的比重；
ft表示t时刻(对应第t个词向量输入)遗忘门的输出结果，它决定了记忆流依据本次信息，遗忘记忆数据的比重；
gt表示t时刻(对应第t个词向量输入)输入整合的输出结果，它整合了本次输入的信息；
ct、ct-1分别表示t时刻(对应第t个词向量输入)和t-1时刻(对应第t-1个词向量输入)记忆流状态；
ot表示t时刻(对应第t个词向量输入)输出门的输出结果，它决定了从记忆流输出数据的比重；
ht、ht-1分别表示t时刻(对应第t个词向量输入)和t-1时刻(对应第t-1个词向量输入)隐层信息，即神经网络提取的特征输出；
σ()表示sigmoid激活函数，tanh()表示双曲正切激活函数；
Wxi、Whi、Wci等表示待训练的权值参数，其角标前者表示相乘的输入量，后者表示所属的计算部分；
bi、bf等表示待训练的偏置参数，其角标表示所属的计算部分。
这里待训练的参数Wxi、Whi、Wci、bi、bf都是先随机初始化，然后训练过程中自动修正，最后会随神经网络的训练得到最终的值；
如图2所示，双向循环神经网络的具体实现即训练两个循环神经网络，输入分别为正序语句和倒序语句，图中w1、w2、w3...即为一串词汇(语句)，分别以正序和逆序输入两个神经网络。之后拼接两者的输出作为神经网络的最终输出，即图中o1、o2、o3...相应公式如下：
ofinal＝Wfwhfw+Wbwhbw
式中，hfw表示处理正序语句的神经网络的输出，Wfw表示其对应的待训练的权值；
hbw表示处理倒序语句的神经网络的输出，Wbw表示其对应的待训练的权值；
ofinal表示神经网络的最终输出。
这里待训练的权值Wfw、Wbw也是先随机初始化，然后训练过程中自动修正，最后会随神经网络的训练得到最终的值；
如图3所示，依据命名体对应位置的神经网络输出来计算情报整句话的注意力分配，并按照分配组合神经网络的整句输出，其公式如下：
α＝softmax(tanh(E)·Wa·Ofinal)
r＝α·Ofinal
式中，α为注意力分配矩阵，r为情报语句经过针对性整合的输出；E为循环神经网络在命名***置上的输出，使用固定窗口的模式，选取前K重要的命名体拼接成命名体矩阵；
Ofinal为循环神经网络的输出，形如[o1,o2,o3…on]，其中o1,o2,o3…on为神经网络对应节点的输出，n为情报的词语数量；
Wa为待训练的权值矩阵，softmax()为softmax分类器函数，tanh()为双曲正切激活函数；
这里待训练的权值Wa也是先随机初始化，然后训练过程中自动修正，最后会随神经网络的训练得到最终的值；
对于两条情报的特征信息r，拼接后输入全连接层，最后使用softmax分类器进行关系分类，对得到的预测结果使用梯度下降法训练权值；
(二)、应用阶段：
如图1所示，本发明的情报关系抽取方法在应用阶段包括情报获取、文本预处理、关系抽取、增量式更新四步：
a、情报获取，情报应为一小段100词以内的中心明确的文字。关系抽取针对的是二元关系，即处理对象为一对情报，所以***的输入应为两条一组的文字情报，一个批次可以有多组。如图1所示，若为新情报，则可以选择扩充步骤(一)a)用户词典以适应新情报中的新词汇。
b、文本预处理，通过步骤(一)d)中训练好的分词工具、步骤(一)b)得到的词向量库和步骤(一)d)中使用的命名体识别工具，将步骤(二)a)中两条一组的原始的整句的文字信息均转化为数值矩阵，其中每行是每个词的向量表示，一个矩阵即表示一条情报，同时标注其中命名体的位置。
c、关系抽取，将步骤(二)b)处理好的两两一组的情报矩阵对输入步骤(一)e)训练好的关系抽取神经网络模型，进行自动化的关系抽取，最终得到每组情报的关系类别。
d、增量式更新，如图1所示，***支持纠正错误判断，判断步骤(二)c)得到的每组情报的关系类别正误，若判断正确，则结合步骤(二)a)中获取的情报和相应的关系类别进行可视化展示，若判断错误，则可以选择将正确判断的情报关系三元组训练数据加入步骤(一)c)中的训练集，重复步骤(一)d)与步骤(一)e)，重新训练修正神经网络模型。
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种基于神经网络与注意力机制的情报关系提取方法，其特征在于，包括以下步骤：
步骤1)构建用户字典，神经网络***已有初始的用户字典。
步骤2)训练词向量，从与该领域有关的数据库中提取文本资料，利用步骤1)得到的用户字典训练词向量库，将文本资料中的文本词汇映射成数值化的向量数据；
步骤3)构造训练集，从历史情报数据库中提取情报对，使用步骤2)中得到的词向量库将每对情报转化为情报关系三元组训练数据<情报1,情报2,关系>；
步骤4)语料预处理，先利用步骤1)得到的用户字典对步骤3)得到的训练数据进行语料预处理，即分词和命名体识别；分词和命名体识别使用现有的自动化工具实现，预处理最终结果是将每条情报转化为行为词向量维度、列为语句长度的情报词语矩阵，并标注其中命名***置，情报两两一组；
步骤5)神经网络模型训练，将步骤4)得到的矩阵加入神经网络进行训练，得到关系抽取神经网络模型；其中神经网络的训练方法，包括以下步骤：
步骤5-1)将情报词语矩阵输入双向长短时记忆网络Bi-LSTM单元提取综合语境的信息，分别将正序语句和倒序语句输入两个长短时记忆网络LSTM单元；在计算本时刻时，迭代地考虑上时刻的作用；LSTM单元的隐层计算及特征提取的组合表达式如下：
it＝σ(Wxixt+Whiht-1+Wcict-1+bi)
ft＝σ(Wxfxt+Whfht-1+Wcfct-1+bf)
gt＝tanh(Wxcxt+Whcht-1+Wccct-1+bc)
ct＝itgt+ftct-1
ot＝σ(Wxoxt+Whoht-1+Wcoct+bo)
ht＝ot·tanh(ct)
式中：xt表示t时刻步骤4)中得到的情报词语矩阵，也是神经网络的输入矩阵；
it表示t时刻输入门的输出结果；
ft表示t时刻遗忘门的输出结果；
gt表示t时刻输入整合的输出结果；
ct、ct-1分别表示t时刻和t-1时刻记忆流状态；
ot表示t时刻输出门的输出结果；
ht、ht-1分别表示t时刻和t-1时刻隐层信息，即神经网络提取的特征输出；
σ()表示sigmoid激活函数，tanh()表示双曲正切激活函数；
Wxi、Whi、Wci等表示待训练的权值参数，其角标前者表示相乘的输入量，后者表示所属的计算部分；
bi、bf等表示待训练的偏置参数，其角标表示所属的计算部分；
这里待训练的参数Wxi、Whi、Wci、bi、bf都是先随机初始化，然后训练过程中自动修正，最后会随神经网络的训练得到最终的值；
步骤5-2)加权拼接正序语句和倒序语句的两个长短时记忆网络LSTM单元输出作为神经网络的最终输出；
ofinal＝Wfwhfw+Wbwhbw
式中，hfw表示处理正序语句的LSTM网络的输出，Wfw表示其对应的待训练的权值；
hbw表示处理倒序语句的LSTM网络的输出，Wbw表示其对应的待训练的权值；
ofinal表示神经网络的最终输出；
这里待训练的权值Wfw、Wbw也是先随机初始化，然后训练过程中自动修正，最后会随神经网络的训练得到最终的值；
步骤5-3)依据命名体对应位置的神经网络输出来计算情报整句话的注意力分配，并按照分配组合神经网络的整句输出，其公式如下：
α＝softmax(tanh(E)·Wa·Ofinal)
r＝α·Ofinal
式中，α为注意力分配矩阵，r为情报语句经过针对性整合的输出；E为循环神经网络在命名***置上的输出，使用固定窗口的模式，选取前K重要的命名体拼接成命名体矩阵；Ofinal为循环神经网络的输出，形如[o1,o2,o3…on]，其中o1,o2,o3…on为神经网络对应节点的输出，n为情报的词语数量；
Wa为待训练的权值矩阵，softmax()为softmax分类器函数，tanh()为双曲正切激活函数；这里待训练的权值Wa也是先随机初始化，然后训练过程中自动修正，最后会随神经网络的训练得到最终的值；
步骤5-4)对于两条情报的特征信息r，拼接后输入全连接层，最后使用softmax分类器进行关系分类，对得到的预测结果使用梯度下降法训练权值；
步骤6)情报获取，输入两条一组的文字情报，一个批次可以有多组，其中文字情报为一段中心明确的文字，若为新情报，则可以选择扩充步骤1)中得到的用户字典；
步骤7)文本预处理，通过步骤4)中训练好的分词工具、步骤2)得到的词向量库和步骤4)中使用的命名体识别工具，将步骤6)中原始的整句的文字信息转化为情报数值矩阵；其中每行是每个词的向量表示，一个矩阵即表示一条情报，同时标注其中命名体的位置；
步骤8)关系抽取，将步骤7)处理好的两两一组的情报矩阵对输入步骤5)训练好的关系抽取神经网络模型，进行自动化的关系抽取，最终得到每组情报的关系类别；
步骤9)增量式更新，判断步骤8)得到的每组情报的关系类别正误，若判断正确，则结合步骤6)中获取的情报和相应的关系类别进行可视化展示，若判断错误，则可以选择将正确判断的情报关系三元组训练数据加入步骤3)中的训练集，重复步骤4)与步骤5)，重新训练修正神经网络模型。
2.根据权利要求1所述的一种基于神经网络与注意力机制的情报关系提取方法，其特征在于：
步骤1)中可选方案为构建专业领域用户词典，专业领域用户词典指在特定领域的专有名词、且脱离本领域较难识别的词语；其他普遍的词汇可以自动识别；所述专有词汇可从历史情报数据库中选取，若从历史情报数据库中提取的词汇为专有词汇，用户只需将已知的专有词汇加入神经网络***的用户字典即可。
3.根据权利要求1所述的一种基于神经网络与注意力机制的情报关系提取方法，其特征在于：训练集的构造是从历史情报数据库中提取足量的情报，构建情报关系三元组训练数据，要求5000条以上；具体首先确定关系类别，关系类别包括前因与后果、主题与详述、位置联系、时间联系，按照不同关系，将情报对分成形如<情报1,情报2,关系>的三元组。
4.根据权利要求1所述的一种基于神经网络与注意力机制的情报关系提取方法，其特征在于：从与领域有关的数据库中提取文本资料，结合网络百科、新闻广播的文本语料，通过Google工具包word2vector训练词向量库，将文本词汇映射成数值化的向量数据，向量数据包含了原语义信息，以此完成自然语言到数值表示的转化。
5.根据权利要求1所述的一种基于神经网络与注意力机制的情报关系提取方法，其特征在于：中文在语义上以词为单位，对于整句的输入，需要先进行分词处理；在分词过程中，加入专业领域用户词典。
6.根据权利要求1所述的一种基于神经网络与注意力机制的情报关系提取方法，其特征在于：获取情报步骤中情报应为一小段100词以内的中心明确的文字；关系抽取针对的是二元关系，即处理对象为一对情报，所以长短时记忆网络LSTM单元的输入应为两条一组的文字情报。
7.根据权利要求1所述的一种基于神经网络与注意力机制的情报关系提取方法，其特征在于：分词和命名体识别使用现有的自动化工具实现，如nlpir和stanford-ner。
8.根据权利要求7所述的一种基于神经网络与注意力机制的情报关系提取方法，其特征在于：在自动化工具识别分词和命名体时使用专业领域的用户词典。
CN201710392030.5A 2017-05-27 2017-05-27 一种基于神经网络与注意力机制的情报关系提取方法 Active CN107239446B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710392030.5A CN107239446B (zh) 2017-05-27 2017-05-27 一种基于神经网络与注意力机制的情报关系提取方法
PCT/CN2017/089137 WO2018218707A1 (zh) 2017-05-27 2017-06-20 一种基于神经网络与注意力机制的情报关系提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710392030.5A CN107239446B (zh) 2017-05-27 2017-05-27 一种基于神经网络与注意力机制的情报关系提取方法

Publications (2)

Publication Number Publication Date
CN107239446A true CN107239446A (zh) 2017-10-10
CN107239446B CN107239446B (zh) 2019-12-03

Family

ID=59984667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710392030.5A Active CN107239446B (zh) 2017-05-27 2017-05-27 一种基于神经网络与注意力机制的情报关系提取方法

Country Status (2)

Country Link
CN (1) CN107239446B (zh)
WO (1) WO2018218707A1 (zh)

Cited By (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107944915A (zh) * 2017-11-21 2018-04-20 北京深极智能科技有限公司 一种游戏用户行为分析方法及计算机可读存储介质
CN108010514A (zh) * 2017-11-20 2018-05-08 四川大学 一种基于深度神经网络的语音分类方法
CN108024158A (zh) * 2017-11-30 2018-05-11 天津大学 利用视觉注意力机制的有监督视频摘要提取方法
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN108052625A (zh) * 2017-12-18 2018-05-18 清华大学 一种实体精细分类方法
CN108052512A (zh) * 2017-11-03 2018-05-18 同济大学 一种基于深度注意力机制的图像描述生成方法
CN108052499A (zh) * 2017-11-20 2018-05-18 北京百度网讯科技有限公司 基于人工智能的文本纠错方法、装置及计算机可读介质
CN108109619A (zh) * 2017-11-15 2018-06-01 中国科学院自动化研究所 基于记忆和注意力模型的听觉选择方法和装置
CN108133436A (zh) * 2017-11-23 2018-06-08 科大讯飞股份有限公司 自动判案方法及***
CN108388549A (zh) * 2018-02-26 2018-08-10 腾讯科技（深圳）有限公司 信息转换方法、装置、存储介质和电子装置
CN108415819A (zh) * 2018-03-15 2018-08-17 中国人民解放军国防科技大学 一种硬盘故障追踪方法和装置
CN108491680A (zh) * 2018-03-07 2018-09-04 安庆师范大学 基于残差网络和注意力机制的药物关系抽取方法
CN108519890A (zh) * 2018-04-08 2018-09-11 武汉大学 一种基于自注意力机制的鲁棒性代码摘要生成方法
CN108536754A (zh) * 2018-03-14 2018-09-14 四川大学 基于blstm和注意力机制的电子病历实体关系抽取方法
CN108563653A (zh) * 2017-12-21 2018-09-21 清华大学 一种用于知识图谱中知识获取模型的构建方法及***
CN108595601A (zh) * 2018-04-20 2018-09-28 福州大学 一种融入Attention机制的长文本情感分析方法
CN108628823A (zh) * 2018-03-14 2018-10-09 中山大学 结合注意力机制和多任务协同训练的命名实体识别方法
CN108681562A (zh) * 2018-04-26 2018-10-19 第四范式（北京）技术有限公司 类别划分方法和***以及分类神经网络训练方法和装置
CN108763542A (zh) * 2018-05-31 2018-11-06 中国华戎科技集团有限公司 一种基于联合学习的文本情报分类方法、装置及计算机设备
CN108882111A (zh) * 2018-06-01 2018-11-23 四川斐讯信息技术有限公司 一种基于智能音箱的交互方法及***
CN109086269A (zh) * 2018-07-19 2018-12-25 大连理工大学 一种基于语义资源词表示和搭配关系的语义双关语识别方法
CN109165381A (zh) * 2018-08-03 2019-01-08 史杰 一种文字ai情绪识别***及其识别方法
CN109243616A (zh) * 2018-06-29 2019-01-18 东华大学 基于深度学习的乳腺电子病历联合关系抽取与结构化***
CN109271494A (zh) * 2018-08-10 2019-01-25 西安交通大学 一种自动提取中文问答语句焦点的***
CN109359297A (zh) * 2018-09-20 2019-02-19 清华大学 一种关系抽取方法及***
CN109376250A (zh) * 2018-09-27 2019-02-22 中山大学 基于强化学习的实体关系联合抽取方法
CN109446328A (zh) * 2018-11-02 2019-03-08 成都四方伟业软件股份有限公司 一种文本识别方法、装置及其存储介质
CN109614614A (zh) * 2018-12-03 2019-04-12 焦点科技股份有限公司 一种基于自注意力的bilstm-crf产品名称识别方法
CN109615006A (zh) * 2018-12-10 2019-04-12 北京市商汤科技开发有限公司 文字识别方法及装置、电子设备和存储介质
CN109710915A (zh) * 2017-10-26 2019-05-03 华为技术有限公司 复述语句生成方法及装置
CN109740160A (zh) * 2018-12-31 2019-05-10 浙江成功软件开发有限公司 一种基于人工智能语义分析的任务发布方法
CN109783618A (zh) * 2018-12-11 2019-05-21 北京大学 基于注意力机制神经网络的药物实体关系抽取方法及***
CN110196976A (zh) * 2019-05-10 2019-09-03 新华三大数据技术有限公司 文本的情感倾向分类方法、装置和服务器
CN110222330A (zh) * 2019-04-26 2019-09-10 平安科技（深圳）有限公司 语义识别方法及装置、存储介质、计算机设备
CN110276066A (zh) * 2018-03-16 2019-09-24 北京国双科技有限公司 实体关联关系的分析方法及相关装置
CN110377756A (zh) * 2019-07-04 2019-10-25 成都迪普曼林信息技术有限公司 海量数据集事件关系抽取方法
CN110399970A (zh) * 2019-05-05 2019-11-01 首都经济贸易大学 小波卷积小波神经网络及情报分析方法与***
CN110427615A (zh) * 2019-07-17 2019-11-08 宁波深擎信息科技有限公司 一种基于注意力机制的金融事件修饰时态的分析方法
CN110457677A (zh) * 2019-06-26 2019-11-15 平安科技（深圳）有限公司 实体关系识别方法及装置、存储介质、计算机设备
CN110598203A (zh) * 2019-07-19 2019-12-20 中国人民解放军国防科技大学 一种结合词典的军事想定文书实体信息抽取方法及装置
CN111312349A (zh) * 2018-12-11 2020-06-19 深圳先进技术研究院 病历数据预测方法、装置及电子设备
CN111382276A (zh) * 2018-12-29 2020-07-07 中国科学院信息工程研究所 一种事件发展脉络图生成方法
WO2020140633A1 (zh) * 2019-01-04 2020-07-09 平安科技（深圳）有限公司 文本主题提取方法、装置、电子设备及存储介质
CN112036173A (zh) * 2020-11-09 2020-12-04 北京读我科技有限公司 一种电销文本的处理方法和***
CN112307170A (zh) * 2020-10-29 2021-02-02 首都师范大学 关系抽取模型的训练方法、关系抽取方法、设备及介质
CN112818683A (zh) * 2021-01-26 2021-05-18 山西三友和智慧信息技术股份有限公司 一种基于触发词规则和Attention-BiLSTM的中文人物关系提取方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111640424B (zh) * 2019-03-01 2024-02-13 北京搜狗科技发展有限公司 一种语音识别方法、装置和电子设备
US11113570B2 (en) 2019-09-16 2021-09-07 The Boeing Company Systems and methods for automatically generating training image sets for an environment
US10885386B1 (en) 2019-09-16 2021-01-05 The Boeing Company Systems and methods for automatically generating training image sets for an object
CN111724876B (zh) * 2020-07-21 2023-03-24 四川大学华西医院 一种用药交代与指导***及方法
CN112905790A (zh) * 2021-02-04 2021-06-04 中国建设银行股份有限公司 监管事件定性指标提取的方法、装置和***

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202054A (zh) * 2016-07-25 2016-12-07 哈尔滨工业大学 一种面向医疗领域基于深度学习的命名实体识别方法
CN106354710A (zh) * 2016-08-18 2017-01-25 清华大学 一种神经网络关系抽取方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106202054A (zh) * 2016-07-25 2016-12-07 哈尔滨工业大学 一种面向医疗领域基于深度学习的命名实体识别方法
CN106354710A (zh) * 2016-08-18 2017-01-25 清华大学 一种神经网络关系抽取方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KLAUS GREFF等: "LSTM: A Search Space Odyssey", 《ARXIV:1503.04069》 *
黄积杨: "基于双向LSTMN神经网络的中文分词研究分析", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109710915A (zh) * 2017-10-26 2019-05-03 华为技术有限公司 复述语句生成方法及装置
US11586814B2 (en) 2017-10-26 2023-02-21 Huawei Technologies Co., Ltd. Paraphrase sentence generation method and apparatus
CN109710915B (zh) * 2017-10-26 2021-02-23 华为技术有限公司 复述语句生成方法及装置
CN108052512B (zh) * 2017-11-03 2021-05-11 同济大学 一种基于深度注意力机制的图像描述生成方法
CN108052512A (zh) * 2017-11-03 2018-05-18 同济大学 一种基于深度注意力机制的图像描述生成方法
CN108109619A (zh) * 2017-11-15 2018-06-01 中国科学院自动化研究所 基于记忆和注意力模型的听觉选择方法和装置
CN108052499A (zh) * 2017-11-20 2018-05-18 北京百度网讯科技有限公司 基于人工智能的文本纠错方法、装置及计算机可读介质
CN108010514A (zh) * 2017-11-20 2018-05-08 四川大学 一种基于深度神经网络的语音分类方法
CN108010514B (zh) * 2017-11-20 2021-09-10 四川大学 一种基于深度神经网络的语音分类方法
CN107944915A (zh) * 2017-11-21 2018-04-20 北京深极智能科技有限公司 一种游戏用户行为分析方法及计算机可读存储介质
CN108133436A (zh) * 2017-11-23 2018-06-08 科大讯飞股份有限公司 自动判案方法及***
CN108024158A (zh) * 2017-11-30 2018-05-11 天津大学 利用视觉注意力机制的有监督视频摘要提取方法
CN108052625A (zh) * 2017-12-18 2018-05-18 清华大学 一种实体精细分类方法
CN108052625B (zh) * 2017-12-18 2020-05-19 清华大学 一种实体精细分类方法
CN108563653A (zh) * 2017-12-21 2018-09-21 清华大学 一种用于知识图谱中知识获取模型的构建方法及***
CN108563653B (zh) * 2017-12-21 2020-07-31 清华大学 一种用于知识图谱中知识获取模型的构建方法及***
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN108021916B (zh) * 2017-12-31 2018-11-06 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
US11710003B2 (en) 2018-02-26 2023-07-25 Tencent Technology (Shenzhen) Company Limited Information conversion method and apparatus, storage medium, and electronic device
CN108388549A (zh) * 2018-02-26 2018-08-10 腾讯科技（深圳）有限公司 信息转换方法、装置、存储介质和电子装置
CN108491680A (zh) * 2018-03-07 2018-09-04 安庆师范大学 基于残差网络和注意力机制的药物关系抽取方法
CN108628823A (zh) * 2018-03-14 2018-10-09 中山大学 结合注意力机制和多任务协同训练的命名实体识别方法
CN108536754A (zh) * 2018-03-14 2018-09-14 四川大学 基于blstm和注意力机制的电子病历实体关系抽取方法
CN108628823B (zh) * 2018-03-14 2022-07-01 中山大学 结合注意力机制和多任务协同训练的命名实体识别方法
CN108415819B (zh) * 2018-03-15 2021-05-25 中国人民解放军国防科技大学 一种硬盘故障追踪方法和装置
CN108415819A (zh) * 2018-03-15 2018-08-17 中国人民解放军国防科技大学 一种硬盘故障追踪方法和装置
CN110276066A (zh) * 2018-03-16 2019-09-24 北京国双科技有限公司 实体关联关系的分析方法及相关装置
CN108519890A (zh) * 2018-04-08 2018-09-11 武汉大学 一种基于自注意力机制的鲁棒性代码摘要生成方法
CN108519890B (zh) * 2018-04-08 2021-07-20 武汉大学 一种基于自注意力机制的鲁棒性代码摘要生成方法
CN108595601A (zh) * 2018-04-20 2018-09-28 福州大学 一种融入Attention机制的长文本情感分析方法
CN108681562A (zh) * 2018-04-26 2018-10-19 第四范式（北京）技术有限公司 类别划分方法和***以及分类神经网络训练方法和装置
CN108763542A (zh) * 2018-05-31 2018-11-06 中国华戎科技集团有限公司 一种基于联合学习的文本情报分类方法、装置及计算机设备
CN108882111A (zh) * 2018-06-01 2018-11-23 四川斐讯信息技术有限公司 一种基于智能音箱的交互方法及***
CN109243616A (zh) * 2018-06-29 2019-01-18 东华大学 基于深度学习的乳腺电子病历联合关系抽取与结构化***
CN109086269B (zh) * 2018-07-19 2020-08-21 大连理工大学 一种基于语义资源词表示和搭配关系的语义双关语识别方法
CN109086269A (zh) * 2018-07-19 2018-12-25 大连理工大学 一种基于语义资源词表示和搭配关系的语义双关语识别方法
CN109165381A (zh) * 2018-08-03 2019-01-08 史杰 一种文字ai情绪识别***及其识别方法
CN109271494B (zh) * 2018-08-10 2021-04-27 西安交通大学 一种自动提取中文问答语句焦点的***
CN109271494A (zh) * 2018-08-10 2019-01-25 西安交通大学 一种自动提取中文问答语句焦点的***
CN109359297A (zh) * 2018-09-20 2019-02-19 清华大学 一种关系抽取方法及***
CN109376250A (zh) * 2018-09-27 2019-02-22 中山大学 基于强化学习的实体关系联合抽取方法
CN109446328A (zh) * 2018-11-02 2019-03-08 成都四方伟业软件股份有限公司 一种文本识别方法、装置及其存储介质
CN109614614A (zh) * 2018-12-03 2019-04-12 焦点科技股份有限公司 一种基于自注意力的bilstm-crf产品名称识别方法
CN109615006A (zh) * 2018-12-10 2019-04-12 北京市商汤科技开发有限公司 文字识别方法及装置、电子设备和存储介质
CN111312349A (zh) * 2018-12-11 2020-06-19 深圳先进技术研究院 病历数据预测方法、装置及电子设备
CN109783618A (zh) * 2018-12-11 2019-05-21 北京大学 基于注意力机制神经网络的药物实体关系抽取方法及***
CN109783618B (zh) * 2018-12-11 2021-01-19 北京大学 基于注意力机制神经网络的药物实体关系抽取方法及***
CN111382276B (zh) * 2018-12-29 2023-06-20 中国科学院信息工程研究所 一种事件发展脉络图生成方法
CN111382276A (zh) * 2018-12-29 2020-07-07 中国科学院信息工程研究所 一种事件发展脉络图生成方法
CN109740160A (zh) * 2018-12-31 2019-05-10 浙江成功软件开发有限公司 一种基于人工智能语义分析的任务发布方法
WO2020140633A1 (zh) * 2019-01-04 2020-07-09 平安科技（深圳）有限公司 文本主题提取方法、装置、电子设备及存储介质
CN110222330B (zh) * 2019-04-26 2024-01-30 平安科技（深圳）有限公司 语义识别方法及装置、存储介质、计算机设备
CN110222330A (zh) * 2019-04-26 2019-09-10 平安科技（深圳）有限公司 语义识别方法及装置、存储介质、计算机设备
CN110399970B (zh) * 2019-05-05 2021-10-01 首都经济贸易大学 小波卷积小波神经网络及情报分析方法与***
CN110399970A (zh) * 2019-05-05 2019-11-01 首都经济贸易大学 小波卷积小波神经网络及情报分析方法与***
CN110196976A (zh) * 2019-05-10 2019-09-03 新华三大数据技术有限公司 文本的情感倾向分类方法、装置和服务器
CN110457677B (zh) * 2019-06-26 2023-11-17 平安科技（深圳）有限公司 实体关系识别方法及装置、存储介质、计算机设备
CN110457677A (zh) * 2019-06-26 2019-11-15 平安科技（深圳）有限公司 实体关系识别方法及装置、存储介质、计算机设备
CN110377756A (zh) * 2019-07-04 2019-10-25 成都迪普曼林信息技术有限公司 海量数据集事件关系抽取方法
CN110427615A (zh) * 2019-07-17 2019-11-08 宁波深擎信息科技有限公司 一种基于注意力机制的金融事件修饰时态的分析方法
CN110598203A (zh) * 2019-07-19 2019-12-20 中国人民解放军国防科技大学 一种结合词典的军事想定文书实体信息抽取方法及装置
CN110598203B (zh) * 2019-07-19 2023-08-01 中国人民解放军国防科技大学 一种结合词典的军事想定文书实体信息抽取方法及装置
CN112307170A (zh) * 2020-10-29 2021-02-02 首都师范大学 关系抽取模型的训练方法、关系抽取方法、设备及介质
CN112036173A (zh) * 2020-11-09 2020-12-04 北京读我科技有限公司 一种电销文本的处理方法和***
CN112818683A (zh) * 2021-01-26 2021-05-18 山西三友和智慧信息技术股份有限公司 一种基于触发词规则和Attention-BiLSTM的中文人物关系提取方法

Also Published As

Publication number Publication date
CN107239446B (zh) 2019-12-03
WO2018218707A1 (zh) 2018-12-06

Similar Documents

Publication Publication Date Title
CN107239446B (zh) 一种基于神经网络与注意力机制的情报关系提取方法
CN108984745B (zh) 一种融合多知识图谱的神经网络文本分类方法
CN110334354B (zh) 一种中文关系抽取方法
CN107578106B (zh) 一种融合单词语义知识的神经网络自然语言推理方法
CN107918782A (zh) 一种生成描述图像内容的自然语言的方法与***
CN107818164A (zh) 一种智能问答方法及其***
CN111008293A (zh) 基于结构化语义表示的视觉问答方法
CN110222349A (zh) 一种深度动态上下文词语表示的模型及方法、计算机
CN108829719A (zh) 一种非事实类问答答案选择方法及***
CN109062939A (zh) 一种面向汉语国际教育的智能导学方法
CN107562792A (zh) 一种基于深度学习的问答匹配方法
CN112990296B (zh) 基于正交相似度蒸馏的图文匹配模型压缩与加速方法及***
CN106650789A (zh) 一种基于深度lstm网络的图像描述生成方法
CN106951512A (zh) 一种基于混合编码网络的端到端对话控制方法
CN107590127A (zh) 一种题库知识点自动标注方法及***
CN106383816A (zh) 基于深度学习的中文少数民族地区地名的识别方法
CN110096711A (zh) 序列全局关注和局部动态关注的自然语言语义匹配方法
CN110555084A (zh) 基于pcnn和多层注意力的远程监督关系分类方法
CN107662617A (zh) 基于深度学习的车载交互控制算法
CN110334196B (zh) 基于笔画和自注意力机制的神经网络中文问题生成***
CN108052504A (zh) 数学主观题解答结果的结构分析方法及***
CN114492441A (zh) 基于机器阅读理解的BiLSTM-BiDAF命名实体识别方法
CN107145514A (zh) 基于决策树和svm混合模型的中文句型分类方法
CN106970981A (zh) 一种基于转移矩阵构建关系抽取模型的方法
CN114818717A (zh) 融合词汇和句法信息的中文命名实体识别方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant