CN110377912A - 一种基于多通道深度神经网络的关系识别方法 - Google Patents

一种基于多通道深度神经网络的关系识别方法 Download PDF

Info

Publication number
CN110377912A
CN110377912A CN201910669518.7A CN201910669518A CN110377912A CN 110377912 A CN110377912 A CN 110377912A CN 201910669518 A CN201910669518 A CN 201910669518A CN 110377912 A CN110377912 A CN 110377912A
Authority
CN
China
Prior art keywords
sentence
entity
neural network
deep neural
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910669518.7A
Other languages
English (en)
Inventor
陈艳平
王凯
杨卫哲
秦永彬
黄瑞章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou University
Original Assignee
Guizhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou University filed Critical Guizhou University
Priority to CN201910669518.7A priority Critical patent/CN110377912A/zh
Publication of CN110377912A publication Critical patent/CN110377912A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于多通道深度神经网络的关系识别方法，该方法可以有效获取句子的结构信息和语义信息。在关系识别任务中，能否有效获取句子的结构信息对最终识别效果有至关重要的作用。目前获取句子结构信息的方法主要是位置向量和解析树。本发明提出了一种新的获取句子结构信息的思路，即利用句子本身的特点，将句中两实体将句子切分成不同的部分，每部分作为一个通道单独进行词嵌入，经过深度神经网络进行特征提取，进行关系识别。使用真实数据证明该方法能显著提高关系识别效果。

Description

一种基于多通道深度神经网络的关系识别方法
技术领域
本发明涉及信息抽取领域，特别涉及到一种基于多通道深度神经网络的关系识别方法。属于自然语言处理和机器学习技术领域。
背景技术
随着人工智能的发展和信息抽取领域的技术***，关系识别也叫实体关系识别，其作为信息抽取领域的重要研究课题受到越来越多学者的关注。实体关系识别的主要目的是识别句子中已标记实体对之间的语义关系，即在实体识别的基础上确定无结构文本中实体对间的关系类别，并形成结构化的数据以便存储和取用。实体关系识别的结果可用于构建知识图谱或本体知识库，还能为自动问答***的构建提供数据支持。除此以外，实体关系识别在语义网络标注、篇章理解、机器翻译方面具有重要的研究意义。
关系识别是在句子层面进行的，相比文档级别更具有语言模糊性，如一词多义等。获取句子的结构信息有助于解决此类问题。在自然语言处理领域，有很多方法可以获取到句子的结构信息，这些方法可粗略地分为两类：浅层结构和深度学习方法。
浅层结构中，比较常用的有n-gram方法，n-gram特征能和语义或语法信息结合形成一些组合特征，从而改变特征分布，提高识别效果。另一种获取句子结构信息的方法是核函数，如解析树或依赖树等。树核函数方法被大量使用从句中抽取信息，缺点是其性能容易被不正确的解析的影响。此外，如HMM、CRF等序列模型也通常被用来获取词与词中间的依赖信息。
深度学习中，通常使用位置向量和解析树来获取句子结构。位置向量是最常用的获取句子结构信息的方法，其通过计算每个词到两实体的相对距离，将距离编码与词向量编码拼接起来输入CNN、RNN、Attention等分类器，能显著提高识别效果。另外，有研究者利用解析树和LSTM结合，在最短依赖路径上进行LSTM，也能提高识别效果。
发明内容
本发明提出了一种基于多通道深度神经网络的关系识别方法。该方法通过使用句中的两个实体将句子切分成5部分，分别是：实体1左边的部分、实体1、实体1与实体2中间的部分、实体2、实体2右边的部分。每个部分作为一个通道进行词嵌入表示，得到5个查找表。之后将5个查找表拼接起来，输入到多核CNN中进行更深层的特征提取。每个通道互相独立，不同通道内的相同词的初始向量表示相同，经过神经网络训练后，使得不同通道内的相同词的表示不同，即可以学习到同一个词的不同表示，有效获取到句子的结构信息。使用SemEval 2010Task8数据集验证显示，该方法能显著提高识别效果。其模型框架图如附图1所示。
本发明的技术方案为：一种基于多通道深度神经网络的关系识别方法，所述方法包括以下步骤：
步骤1：建立多通道输入；
步骤2：分别将每个通道进行词嵌入，得到相应的查找表；
步骤3：构建神经网络分类器，抽取句子语义信息和结构信息，进行关系识别；
步骤4：使用真实数据验证方法有效性。
所述步骤1利用句子中的两个实体将句子切分成5段，分别是：实体1左边的部分、实体1、实体1与实体2中间的部分、实体2、实体2右边的部分；每部分为一个通道，共5个通道；通过将句子切分得到句子的结构。
所述步骤2，将步骤1中5通道内的词分别转化成相应的字向量，得到5个查找表。
所述步骤3，构建深度神经网络模型模型，将步骤2中的5通道拼接后作为输入，自动地提取句子的语义信息和结构信息，并进行关系识别。
所述步骤4，使用SemEval 2010Task 8数据集验证所述方法的识别效果，从而验证其有效性。
有益效果
本发明提供了一种基于多通道深度神经网络的关系识别方法。众所周知，理解句子结构对于正确理解句子含义是至关重要的。在自然语言处理任务中，通常使用位置向量或解析树等办法来获取句子结构信息。本发明提供了另一种获取句子结构信息的思路。即利用多通道深度神经网络获取句子结构信息，从而提升关系识别效果。
本申请提出一种多通道深度神经网络模型(Multi-Channel Model)，通过两实体将句子切分成5个部分，每个部分作为一个通道进行词嵌入。通过多核CNN的特征提取，经过训练后使得同一个句子中处在不同通道内的词可以学习到不同的表示，有效提取句子结构信息。实验证明此方法能显著提高关系识别效果。
在关系识别任务中，相比通常将一个句子作为输入，我们使用句中的两个实体将句子切分成5段，每一段作为一个通道进行词嵌入，得到5个查找表。将5个查找表拼接后作为深度神经网络的输入。经过深度神经网络训练完成后，可以使得在5个通道内相同的词有不同的表示信息，即获取到了句子一定的结构信息。
本发明提出的通过多通道深度神经网络来获取句子结构信息，用于实体关系识别的方法，经过真实公开数据集的验证，证明其能显著提高实体关系识别的效果。
附图说明
图1为本发明所述多通道深度神经网络模型；
图2为各通道内10个常见词的可视化图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将参照本说明书附图对本发明作进一步的详细描述。
对于一个带有两个实体的句子，关系识别任务是识别两实体间的语义关系。本发明主要提出一种基于多通道深度神经网络的关系识别方法，该方法通过将句子切分成不同的部分，设置不同的输入通道，经过深度神经网络的特征抽取后，能学习到同一个句子中处在不同位置的词的不同表示信息，有效获取句子的结构信息，从而提升关系识别的效果。下面对本发明作进一步说明。
实行本发明的方法，首先执行步骤1，建立多通道输入。令s＝w1，w2，…是一个包含两个命名实体的关系提及句子，其中，wi+1，…，wi+s和wj+1，…，wj+t是两个命名实体。使用这两个命名实体将句子切分成5部分：{[w1，…，wi]，[wi+1，…，wi+s]，[wi+s+1，…，wj]，[wj+1，…，wj+t]，[wj+t+1，…]}，分别记为Channel-L，Channel-E1，Channel-M，Channel-E2和Channel-R，即为5个通道。
其次，使用谷歌通过CBOW模型预训练好的词向量作为与训练词向量，将上述5个通道分别映射成相应的词向量表示，使得初始时5个通道内相同的词有同样的向量表示。通过深度神经网络训练，反馈调节后，使得每个通道内相同的词具有不同的表示，即获取到句子的结构信息，如图1所示。
然后，使用多核CNN作为特征提取器。CNN使用了一个带有局部连接和共享权值的卷积层，该层的输出通过一个非线性激活函数来获得激活响应，接着通过一个非线性池化层来减少数据量，最后再将池化层的输出连接到若干个全连接层。不同大小的卷积核能提取到不同粒度的特征，多核CNN能提取到更全面的特征。将向量化的5通道按照Channel-L，Channel-E1，Channel-M，Channel-E2和Channel-R的顺序拼接起来成为一个更大的查找表，作为多核CNN的输入。训练后可以使得不同通道内相同的词具有不同的表示信息。我们选择十个常见的，在Channel-L，Channel-M，和Channel-R三个通道内都存在的词，将其训练后的表示以灰度图的形式可视化。如图2所示，三个通道的灰度图并不相同，说明Multi-ChannelModel确实能学习到同一个词的不同表示。
最后，我们使用公开发行的SemEval2010Task 8标准数据集来验证本发明的有效性。该数据集包含一个8000个句子的训练集和一个2717个句子的测试集，并提供有官方的脚本用于测试性能。评价指标为业界普遍采用的准备率(P)、召回率(R)和F值。
为了方便对比，我们使用传统的单通道(将整个句子作为输入)CNN模型作为基准模型，并在此基础上通过加入位置向量来获取句子结构信息。通过和这两种方法的对比，证明本发明在关系识别任务上优于这两种方法，说明了本发明的有效性。对比结果如表1所示。
表1实验对比
No. 模型 特征 F值
1 CNN 词向量 75.34
2 CNN+位置向量 词向量、位置向量 82.37
3 Multi-Channel 词向量 84.56
本发明未详述之处，均为本技术领域技术人员的公知技术。最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (5)

1.基于多通道深度神经网络关系识别方法，其特征在于包括以下步骤：
步骤1：建立多通道输入；
步骤2：分别将每个通道进行词嵌入，得到相应的查找表；
步骤3：构建神经网络分类器，抽取句子语义信息和结构信息，进行关系识别；
步骤4：使用真实数据验证方法有效性。
2.根据权利要求1所述的方法，其特征在于，所述步骤1利用句子中的两个实体将句子切分成5段，分别是：实体1左边的部分、实体1、实体1与实体2中间的部分、实体2、实体2右边的部分；每部分为一个通道，共5个通道；通过将句子切分得到句子的结构。
3.根据权利要求2所述的方法，其特征在于，所述步骤2，将步骤1中5通道内的词分别转化成相应的字向量，得到5个查找表。
4.根据权利要求3所述的方法，其特征在于，所述步骤3，构建深度神经网络模型模型，将步骤2中的5通道拼接后作为输入，自动地提取句子的语义信息和结构信息，并进行关系识别。
5. 根据权利要求1所述的方法，其特征在于，所述步骤4，使用SemEval 2010 Task 8数据集验证所述方法的识别效果，从而验证其有效性。
CN201910669518.7A 2019-07-24 2019-07-24 一种基于多通道深度神经网络的关系识别方法 Pending CN110377912A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910669518.7A CN110377912A (zh) 2019-07-24 2019-07-24 一种基于多通道深度神经网络的关系识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910669518.7A CN110377912A (zh) 2019-07-24 2019-07-24 一种基于多通道深度神经网络的关系识别方法

Publications (1)

Publication Number Publication Date
CN110377912A true CN110377912A (zh) 2019-10-25

Family

ID=68255399

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910669518.7A Pending CN110377912A (zh) 2019-07-24 2019-07-24 一种基于多通道深度神经网络的关系识别方法

Country Status (1)

Country Link
CN (1) CN110377912A (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133220A (zh) * 2017-06-07 2017-09-05 东南大学 一种地理学科领域命名实体识别方法
CN108875809A (zh) * 2018-06-01 2018-11-23 大连理工大学 联合attention机制与神经网络的生物医学实体关系分类方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133220A (zh) * 2017-06-07 2017-09-05 东南大学 一种地理学科领域命名实体识别方法
CN108875809A (zh) * 2018-06-01 2018-11-23 大连理工大学 联合attention机制与神经网络的生物医学实体关系分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DAOJIAN ZENG 等: "Distant Supervision for Relation Extraction via Piecewise Convolutional Neural Networks", 《PROCEEDINGS OF THE 2015 CONFERENCE ON EMPIRICAL METHODS IN NATURAL LANGUAGE PROCESSING》 *
肜博辉 等: "基于多通道卷积神经网的实体关系抽取", 《计算机应用研究》 *

Similar Documents

Publication Publication Date Title
CN107766324B (zh) 一种基于深度神经网络的文本一致性分析方法
CN102662931B (zh) 一种基于协同神经网络的语义角色标注方法
CN110598000A (zh) 一种基于深度学习模型的关系抽取及知识图谱构建方法
CN107463553A (zh) 针对初等数学题目的文本语义抽取、表示与建模方法和***
CN109213999A (zh) 一种主观题评分方法
CN109408642A (zh) 一种基于距离监督的领域实体属性关系抽取方法
CN107818164A (zh) 一种智能问答方法及其***
CN110083710A (zh) 一种基于循环神经网络与潜变量结构的词语定义生成方法
CN107133213A (zh) 一种基于算法的文本摘要自动提取方法与***
CN112990296B (zh) 基于正交相似度蒸馏的图文匹配模型压缩与加速方法及***
CN107330011A (zh) 多策略融合的命名实体的识别方法及装置
CN107122349A (zh) 一种基于word2vec‑LDA模型的文本主题词提取方法
CN109977234A (zh) 一种基于主题关键词过滤的知识图谱补全方法
CN104133848A (zh) 藏语实体知识信息抽取方法
CN108628828A (zh) 一种基于自注意力的观点及其持有者的联合抽取方法
CN109710769A (zh) 一种基于胶囊网络的水军评论检测***及方法
CN110134946A (zh) 一种针对复杂数据的机器阅读理解方法
CN108319734A (zh) 一种基于线性组合器的产品特征结构树自动构建方法
CN108038205A (zh) 针对中文微博的观点分析原型***
CN107220243A (zh) 一种数据库交互式翻译***
CN102760121B (zh) 依存映射方法及***
CN105068990B (zh) 一种面向机器翻译的多策略英文长句分割方法
CN111276258A (zh) 一种基于领域知识的药物致病关系抽取方法
CN110427616A (zh) 一种基于深度学习的文本情感分析方法
CN105975475A (zh) 基于中文短语串的细粒度主题信息抽取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191025

RJ01 Rejection of invention patent application after publication