CN110852066A - 一种基于对抗训练机制的多语言实体关系抽取方法及*** - Google Patents

一种基于对抗训练机制的多语言实体关系抽取方法及*** Download PDF

Info

Publication number
CN110852066A
CN110852066A CN201810827459.7A CN201810827459A CN110852066A CN 110852066 A CN110852066 A CN 110852066A CN 201810827459 A CN201810827459 A CN 201810827459A CN 110852066 A CN110852066 A CN 110852066A
Authority
CN
China
Prior art keywords
language
target
semantic space
sentence
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810827459.7A
Other languages
English (en)
Other versions
CN110852066B (zh
Inventor
刘知远
王晓智
韩旭
林衍凯
孙茂松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tsinghua University
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201810827459.7A priority Critical patent/CN110852066B/zh
Publication of CN110852066A publication Critical patent/CN110852066A/zh
Application granted granted Critical
Publication of CN110852066B publication Critical patent/CN110852066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Machine Translation (AREA)

Abstract

本发明提供的一种基于对抗训练机制的多语言实体关系抽取方法及***，将目标实体对相关的各语言中的目标句子分别编码到各语言对应的独立语义空间和所有语言对应的一致性语义空间，获得目标句子中蕴含的各语言独立的信息和跨语言的一致的信息；再分别采用各语言独立的注意力机制和各语言间一致的注意力机制衡量每个目标句子相对各关系类型的注意力权重，最终结合所有目标句子相对各关系类型的注意力权重获得各关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，最终即可根据最大概率对应的关系类型预测目标实体对之间的关系。该方法及***能够深层地利用多语言间的互补性，有效提高了多语言场景下的关系抽取结果的准确性。

Description

一种基于对抗训练机制的多语言实体关系抽取方法及***
技术领域
本发明涉及信息处理技术领域，更具体地，涉及一种基于对抗训练机制的多语言实体关系抽取方法及***。
背景技术
知识图谱，某些场景下也被称为知识库，是一种将现实世界中人类的知识结构化之后形成的知识***。在知识图谱中，大量的知识，诸如开放数据库和百科全书中的信息，通常以关系数据集合的形式被表达出来。而在关系数据集合中，基本事实被抽象为实体，而规则、逻辑、推理等关联性的信息则被抽象为实体间的关系。若将实体对应于点，关系对应于边，则这些知识可以进一步以图的形式呈现，从而可以被计算机高效的使用，而这也是研究知识图谱的意义所在。这种将实体和抽象概念结构化成多关系数据集合的模式也是近年来被大力提倡的。可以说，知识图谱使得我们接触到的信息，尤其是知识信息，突破了以往文本字符串中基本的线性构成形式，而以实体与关系构成的网络状形式存在。
目前知识图谱已经作为人工智能领域的一项基础核心技术，被广泛引入到信息检索、问答***、推荐***等任务上。图谱中优质的结构化知识信息，能够指导我们的智能模型具备更深层的事物理解、更精准的任务查询以及一定程度上的逻辑推理能力，从而在这些知识驱动应用中起到至关重要的作用。
虽然已有的知识图谱包含了上亿个事实，相比于无尽的现实世界，它们仍然远远没有完善。为了进一步扩大知识图谱的规模，自动地从海量的文本数据中抓取到新的关系事实，就需要进行关系抽取。关系抽取的任务是从自由文本中自动提取特征，对于在文本中出现的实体对自动判别它们之间存在的关系，从而为知识图谱自动扩展新的边，丰富知识图谱的内容。
然而，目前绝大多数的关系抽取方法仅仅关注在单语言场景下的关系抽取问题，即训练数据和应用中都只考虑仅有一种语言的情况。这类模型忽略了不同语言之间潜在的互补性和一致性。在如今的大数据时代，信息的来源多种多样，从互联网中得到的待进行关系抽取的海量自由文本资源常常是多语言的。现有的针对单语言场景的关系抽取模型在多语言的实际应用场景下往往难以取得更好的表现。
有鉴于此，亟需提供一种适用于多语言场景的关系抽取方法及***。
发明内容
本发明为了克服现有的针对单语言场景的关系抽取模型在多语言的实际应用场景下往往难以取得更好的表现的问题，提供一种基于对抗训练机制的多语言实体关系抽取方法及***。
一方面，本发明提供一种基于对抗训练机制的多语言实体关系抽取方法，包括：
对于多种语言中的任意一种语言，在该语言中获取预设数量的与目标实体对相关的句子，作为目标句子，并构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示以及在一致性语义空间中的第二句子向量表示；
预设多个关系类型，对于任意一个关系类型，构建该关系类型在该语言对应的独立语义空间中的第一关系向量表示，根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示；
构建该关系类型在一致性语义空间中的第二关系向量表示，根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示；
基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，根据最大概率对应的关系类型预测目标实体对之间的关系。
优选地，构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示，具体为：
对于任意一个目标句子，获取该目标句子中的所有单词，将所有单词输入至预先训练好的独立语义空间的编码器的输入层，获得每个单词对应的第一表示向量；
将所有单词对应的第一表示向量进行组合，获得第一表示向量序列，将第一表示向量序列输入至独立语义空间的编码器的核心处理层，获得该目标句子在该语言对应的独立语义空间中的第一句子向量表示；
其中，第一表示向量包括词向量和位置向量。
优选地，构建每个目标句子在一致性语义空间中的第二句子向量表示，具体为：
对于任意一个目标句子，获取该目标句子中的所有单词，将所有单词输入至预先训练好的一致性语义空间的编码器的输入层，获得每个单词对应的第二表示向量；
将所有单词对应的第二表示向量进行组合，获得第二表示向量序列，将第二表示向量序列输入至一致性语义空间的编码器的核心处理层，获得该目标句子在一致性语义空间中的第二句子向量表示；
其中，第二表示向量包括词向量和位置向量。
优选地，根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示，具体计算公式为：
Figure BDA0001742812340000031
其中，sj为目标实体对相对关系类型r在语言j对应的独立语义空间中的第一全局向量表示；
Figure BDA0001742812340000042
为目标句子i相对关系类型r在语言j对应的独立语义空间中的注意力权重，rj为关系类型r在语言j对应的独立语义空间中的第一关系向量表示，
Figure BDA0001742812340000043
为目标句子i在语言j对应的独立语义空间中第一句子向量表示，k为语言j中的任意一个目标句子，m为语言j中所有目标句子的总数量。
优选地，根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示，具体计算公式为：
Figure BDA0001742812340000044
Figure BDA0001742812340000045
其中，
Figure BDA0001742812340000046
为目标实体相对关系类型r在一致性语义空间中的第二全局向量表示；为语言j中目标句子i相对关系类型r在一致性语义空间中的注意力权重，
Figure BDA0001742812340000048
为关系类型r在一致性语义空间中的第二关系向量表示，
Figure BDA0001742812340000049
为语言j中目标句子i在一致性语义空间中的第二句子向量表示，l为多种语言中的任意一种语言，k为语言l中的任意一个目标句子，m为语言l中所有目标句子的总数量，n为所有语言的种类总数量。
优选地，基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，具体为：
利用归一化函数基于第二全局向量表示获得该关系类型在一致性语义空间中的第一条件概率；
利用归一化函数基于目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量获得该关系类型在各语言对应的独立语义空间中的第二条件概率；
根据第一条件概率和所有第二条件概率获得该关系类型对应的全局概率。
优选地，构建每个目标句子在一致性语义空间中的第二句子向量表示，之前还包括：
初始化编码器网络和判别器网络，对编码器网络和判别器网络进行逐轮对抗训练，以使得编码器网络的输出结果能够将各语言的特点抹除以迷惑判别器网络，获得训练好的一致性语义空间的编码器；
其中，在逐轮对抗训练过程中，采用随机梯度下降算法优化编码器网络的参数以最小化判别器网络输出的判别结果的正确概率；并采用随机梯度下降算法优化判别器网络的参数以最大化判别器网络输出的判别结果的正确概率。
一方面，本发明提供一种基于对抗训练机制的多语言实体关系抽取***，包括：
句子编码模块，用于对于多种语言中的任意一种语言，在该语言中获取预设数量的与目标实体对相关的句子，作为目标句子，并构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示以及在一致性语义空间中的第二句子向量表示；
第一注意力机制模块，用于对预设多个关系类型，对于任意一个关系类型，构建该关系类型在该语言对应的独立语义空间中的第一关系向量表示，根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示；
第二注意力机制模块，用于构建该关系类型在一致性语义空间中的第二关系向量表示，根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示；
关系抽取模块，用于基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，根据最大概率对应的关系类型预测目标实体对之间的关系。
一方面，本发明提供一种电子设备，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行上述任一所述的方法。
一方面，本发明提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述任一所述的方法。
本发明提供的一种基于对抗训练机制的多语言实体关系抽取方法及***，将目标实体对相关的各语言中的目标句子分别编码到各语言对应的独立语义空间和所有语言对应的一致性语义空间，获得目标句子中蕴含的各语言独立的信息和跨语言的一致的信息；再分别采用各语言独立的注意力机制和各语言间一致的注意力机制衡量每个目标句子相对各关系类型的注意力权重，最终结合所有目标句子相对各关系类型的注意力权重获得各关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，最终即可根据最大概率对应的关系类型预测目标实体对之间的关系。该方法及***能够有效地抽取到多语言文本中跨语言的语义信息和各语言独有的结构信息，能够深层地利用多语言间的互补性，以达到提升实际应用中多语言场景下的关系抽取任务表现的效果，有利于提升自动构建知识图谱的质量，具有广阔的应用前景。
附图说明
图1为本发明实施例的一种基于对抗训练机制的多语言实体关系抽取方法的整体流程示意图；
图2为本发明实施例的一种基于对抗训练机制的多语言实体关系抽取方法的模拟示意图；
图3为本发明实施例的一种基于对抗训练机制的多语言实体关系抽取***的整体结构示意图；
图4为本发明实施例的一种电子设备的结构框架示意图。
具体实施方式
下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。
图1为本发明实施例的一种基于对抗训练机制的多语言实体关系抽取方法的整体流程示意图，如图1所示，本发明提供一种基于对抗训练机制的多语言实体关系抽取方法，包括：
S1，对于多种语言中的任意一种语言，在该语言中获取预设数量的与目标实体对相关的句子，作为目标句子，并构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示以及在一致性语义空间中的第二句子向量表示；
具体地，本实施例中，将待进行关系抽取的两个实体作为目标实体对。当在目标实体对进行关系抽取时，首先在多种语言中获取预设数量的与目标实体对相关的句子，并将每个与目标实体对相关的句子作为目标句子。其中，与目标实体对相关的句子指的是该句子中包含了目标实体对。举例来说，假设目标实体对为“中国”和“北京”，则可从中文、英文和日文等多种语言中获取预设数量的包含“中国”和“北京”的句子，作为目标句子。此外，本实施例中的预设数量可以根据实际需求进行设置，此处不做具体限定。
在每种语言中获得预设数量的目标句子之后，在各语言对应的语义空间中预先训练好各自的独立语义空间的编码器，并基于对抗训练机制在所有语言对应的一致性语义空间中预先训练好一致性语义空间的编码器。在此基础上，对于任意一种语言，利用其对应的独立语义空间的编码器构建该语言中的每个目标句子在该语言对应的独立语义空间中的第一句子向量表示，并利用一致性语义空间的编码器构建该语言中每个目标句子在一致性语义空间中的第二句子向量表示。由此，即可获得每种语言中的每个目标句子在各自独立语义空间中的第一句子向量表示和在一致性语义空间中的第二句子向量表示。其中，目标句子的第一句子向量表示体现了目标句子在对应语言中的独有信息；目标句子的第二向量表示体现了目标句子跨语言的一致性信息。
S2，预设多个关系类型，对于任意一个关系类型，构建该关系类型在该语言对应的独立语义空间中的第一关系向量表示，根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示；
需要说明的是，由于上述技术方案中采用了不同的编码器分开编码获得了每个目标句子的第一句子向量表示和第二句子向量表示，在此基础上，则需采用不同的注意力机制衡量每个目标句子的信息丰富程度。有鉴于此，本实施例中，针对目标实体对预先设置多个关系类型。在此基础上，首先采用各语言独立的注意力机制衡量每个目标句子的信息丰富程度，具体实现过程如下：
对于预设的多个关系类型中的任意一个关系类型，在某种语言对应的独立语义空间中，首先构建该关系类型在该语言对应的独立语义空间中的第一关系向量表示。与此同时，获取该语言中所有目标句子的第一句子向量表示。在此基础上，对于该语言中的某一个目标句子，根据第一关系向量表示和该目标句子的第一句子向量表示，并结合该语言中其他所有目标句子的第一句子向量表示，即可获得该目标句子的注意力权重。在此基础上，结合该语言中所有目标句子的注意力权重和所有目标句子的第一句子向量表示，即可获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示。同理，可获得目标实体对相对该关系类型在其他语言对应的独立语义空间中的第一全局向量表示，即可获得目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示。同理，可获得目标实体对相对各关系类型在各语言对应的独立语义空间中的第一全局向量表示。
S3，构建该关系类型在一致性语义空间中的第二关系向量表示，根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示；
具体地，在上述技术方案的基础上，与此同时，采用各语言间一致的注意力机制衡量每个目标句子的信息丰富程度，具体实现过程如下：
对于预设的多个关系类型中的任意一个关系类型，首先构建该关系类型在一致性语义空间中的第二关系向量表示。与此同时，获取所有语言中所有目标句子的第二句子向量表示。在此基础上，对于某种语言中的某一个目标句子而言，根据第二关系向量表示和该目标句子的第二句子向量表示，并结合所有语言中其他所有目标句子的第二句子向量表示，即可获得该目标句子的注意力权重。在此基础上，结合所有语言中所有目标句子的注意力权重和所有目标句子的第二句子向量表示，即可获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示。同理，可获得目标实体对相对其他关系类型在一致性语义空间中的第二全局向量表示，即可获得目标实体对相对各关系类型在一致性语义空间中的第二全局向量表示。
S4，基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，根据最大概率对应的关系类型预测目标实体对之间的关系。
具体地，在上述技术方案的基础上，进一步确定目标实体对之间存在某种关系类型的概率。对于某一个关系类型而言，基于第二全局向量表示获得该关系类型在一致性语义空间中的第一条件概率，与此同时，基于目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量获得该关系类型在各语言对应的独立语义空间中的第二条件概率，最终结合第一条件概率和所有第二条件概率即可获得该关系类型对应的全局概率。同理，可获得其他关系类型对应的全局概率。其中，某种关系类型对应的全局概率即为目标实体对之间存在该种关系类型的概率。
在获得各关系类型对应的全局概率的基础上，从各关系类型对应的全局概率中选取出最大概率，最终根据最大概率对应的关系类型即可预测目标实体对之间的关系。例如，若最大概率对应的关系类型为r，则可预测目标实体对之间的关系即为r。
本发明提供的一种基于对抗训练机制的多语言实体关系抽取方法，将目标实体对相关的各语言中的目标句子分别编码到各语言对应的独立语义空间和所有语言对应的一致性语义空间，获得目标句子中蕴含的各语言独立的信息和跨语言的一致的信息；再分别采用各语言独立的注意力机制和各语言间一致的注意力机制衡量每个目标句子相对各关系类型的注意力权重，最终结合所有目标句子相对各关系类型的注意力权重获得各关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，最终即可根据最大概率对应的关系类型预测目标实体对之间的关系。该方法能够有效地抽取到多语言文本中跨语言的语义信息和各语言独有的结构信息，能够深层地利用多语言间的互补性，以达到提升实际应用中多语言场景下的关系抽取任务表现的效果，有利于提升自动构建知识图谱的质量，具有广阔的应用前景。
基于上述任一实施例，提供一种基于对抗训练机制的多语言实体关系抽取方法，构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示，具体为：对于任意一个目标句子，获取该目标句子中的所有单词，将所有单词输入至预先训练好的独立语义空间的编码器的输入层，获得每个单词对应的第一表示向量；将所有单词对应的第一表示向量进行组合，获得第一表示向量序列，将第一表示向量序列输入至独立语义空间的编码器的核心处理层，获得该目标句子在该语言对应的独立语义空间中的第一句子向量表示；其中，第一表示向量包括词向量和位置向量。
具体地，在上述技术方案的基础上，其中构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示的具体实现过程如下：
对于任意一种语言中的任意一个目标句子，获取该目标句子中的所有单词，再将所有单词输入至预先训练好的独立语义空间的编码器，该独立语义空间的编码器是在该语言对应的独立语义空间中预先训练好的。本实施例中，该独立语义空间的编码器的网络结构包括输入层和核心处理层。首先，将所有单词输入至预先训练好的独立语义空间的编码器的输入层，利用输入层将每个单词转化为对应的第一表示向量。其中第一表示向量由词向量和位置向量构成，词向量用于刻画每个单词的语法和语义信息，位置向量用于刻画每个单词在句子中的位置信息，该位置信息定义为每个单词和句子中的头实体、尾实体之间的相互位置差的向量表示，将每个单词的词向量与位置向量进行拼接，即可获得每个单词对应的第一表示向量。
进一步地，将所有单词对应的第一表示向量进行组合，获得第一表示向量序列，再将第一表示向量序列输入至独立语义空间的编码器的核心处理层。本实施例中，核心处理层可以为卷积神经网络结构，核心处理层通过卷积，池化和非线性操作将输入的第一表示向量序列转化为目标句子在该语言对应的独立语义空间中的第一句子向量表示。
其中，卷积操作定义为将第一表示向量序列x和卷积矩阵W之间的操作。卷积操作可以通过一个长度为m的滑动窗口对局部特征进行提取，得到目标句子的第i维特征定义为：
hi＝[Wxi-m+1:i+b]i
其中，xi-m+1：i是在第i个窗口内部的所有第一表示向量的拼接，w为卷积核矩阵，b为偏置向量。
进一步地，对目标句子的第i维特征进行池化和非线性化操作，其中池化的主要作用就是在每个局部采样输出的每个维度上选取一个信号最强值，从而最后能够汇总得到全局的语义特征。由于只经过卷积和池化操作能够拟合的函数是线性的，为了得到更强的表征能力，需要通过双曲正切函数做非线性激活。通过上述处理步骤后，目标句子在语言j对应的独立语义空间中的第i维特征可定义为：
其中，语言j为多种语言中的任意一种语言。在此基础上，将目标句子的各维特征进行组合即可获得目标句子在语言j对应的独立语义空间中的第一句子向量表示。
此外，本实施例中，核心处理层还可以为循环神经网络结构，且具体为双向的循环神经网络结构。该双向的循环神经网络从两个方向编码目标句子的语义信息：
其中，
Figure BDA0001742812340000123
和
Figure BDA0001742812340000124
分别表示前向和后向得到的句子编码向量；RNN表示一个循环神经网络单元，最终目标句子的第一句子表示向量由前向和后向的向量拼接而成，可表示为：
Figure BDA0001742812340000125
此外，在其他实施例中，独立语义空间的编码器的具体结构可以根据实际需求进行设置，此处不做具体限定。
本发明提供的一种基于对抗训练机制的多语言实体关系抽取方法，对于任意一个目标句子，获取该目标句子中的所有单词，将所有单词输入至预先训练好的独立语义空间的编码器的输入层，获得每个单词对应的第一表示向量；将所有单词对应的第一表示向量进行组合，获得第一表示向量序列，将第一表示向量序列输入至独立语义空间的编码器的核心处理层，获得该目标句子在该语言对应的独立语义空间中的第一句子向量表示。该方法能够有效地抽取到各语言独有的结构信息，有利于后续结合多语言文本中跨语言的语义信息进行实体关系抽取，可有效提高实体关系抽取结果的准确性。
基于上述任一实施例，提供一种基于对抗训练机制的多语言实体关系抽取方法，构建每个目标句子在一致性语义空间中的第二句子向量表示，具体为：对于任意一个目标句子，获取该目标句子中的所有单词，将所有单词输入至预先训练好的一致性语义空间的编码器的输入层，获得每个单词对应的第二表示向量；将所有单词对应的第二表示向量进行组合，获得第二表示向量序列，将第二表示向量序列输入至一致性语义空间的编码器的核心处理层，获得该目标句子在一致性语义空间中的第二句子向量表示；其中，第二表示向量包括词向量和位置向量。
具体地，在上述技术方案的基础上，其中构建每个目标句子在一致性语义空间中的第二句子向量表示的具体实现过程如下：
对于任意一种语言中的任意一个目标句子，获取该目标句子中的所有单词，再将所有单词输入至预先训练好的一致性语义空间的编码器，该一致性语义空间的编码器是在一致性语义空间中基于对抗训练机制预先训练好的。本实施例中，该一致性语义空间的编码器的网络结构包括输入层和核心处理层。首先，将所有单词输入至预先训练好的一致性语义空间的编码器的输入层，利用输入层将每个单词转化为对应的第二表示向量。其中第二表示向量由词向量和位置向量构成，词向量用于刻画每个单词的语法和语义信息，位置向量用于刻画每个单词在句子中的位置信息，该位置信息定义为每个单词和句子中的头实体、尾实体之间的相互位置差的向量表示，将每个单词的词向量与位置向量进行拼接，即可获得每个单词对应的第二表示向量。
进一步地，将所有单词对应的第二表示向量进行组合，获得第二表示向量序列，再将第二表示向量序列输入至一致性语义空间的编码器的核心处理层。本实施例中，核心处理层可以为卷积神经网络结构，核心处理层通过卷积，池化和非线性操作将输入的第二表示向量序列转化为目标句子在一致性语义空间中的第二句子向量表示。具体实现过程与上述独立语义空间中的编码器的核心处理层的处理步骤相同，具体可参见上述方法实施例中对应的方法步骤，此处不再赘述。
此外，本实施例中，核心处理层还可以为循环神经网络结构，且具体为双向的循环神经网络结构。该双向的循环神经网络从两个方向编码目标句子的语义信息，分别获得前向和后向的句子编码向量；最终将前向和后向的句子编码向量进行拼接，即可获得目标句子在一致性语义空间中的第二句子向量表示。具体实现过程与上述独立语义空间中的编码器的核心处理层的处理步骤相同，具体可参见上述方法实施例中对应的方法步骤，此处不再赘述。
本发明提供的一种基于对抗训练机制的多语言实体关系抽取方法，对于任意一个目标句子，获取该目标句子中的所有单词，将所有单词输入至预先训练好的一致性语义空间的编码器的输入层，获得每个单词对应的第二表示向量；将所有单词对应的第二表示向量进行组合，获得第二表示向量序列，将第二表示向量序列输入至一致性语义空间的编码器的核心处理层，获得该目标句子在一致性语义空间中的第二句子向量表示。该方法能够有效地抽取到多语言文本中跨语言的语义信息，有利于后续结合各语言独有的结构信息进行实体关系抽取，可有效提高实体关系抽取结果的准确性。
基于上述任一实施例，提供一种基于对抗训练机制的多语言实体关系抽取方法，根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示，具体计算公式为：
Figure BDA0001742812340000141
Figure BDA0001742812340000151
其中，sj为目标实体对相对关系类型r在语言j对应的独立语义空间中的第一全局向量表示；
Figure BDA0001742812340000152
为目标句子i相对关系类型r在语言j对应的独立语义空间中的注意力权重，rj为关系类型r在语言j对应的独立语义空间中的第一关系向量表示，
Figure BDA0001742812340000153
为目标句子i在语言j对应的独立语义空间中第一句子向量表示，k为语言j中的任意一个目标句子，m为语言j中所有目标句子的总数量。
具体地，在上述技术方案的基础上，其中根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示，具体实现过程如下：
对于预设的多个关系类型中的任意一个关系类型，在某种语言对应的独立语义空间中，首先构建该关系类型在该语言对应的独立语义空间中的第一关系向量表示。与此同时，获取该语言中所有目标句子的第一句子向量表示。在此基础上，对于该语言中的某一个目标句子，根据第一关系向量表示和该目标句子的第一句子向量表示，并结合该语言中其他所有目标句子的第一句子向量表示，即可获得该目标句子相对该关系类型在该语言对应的独立语义空间中的注意力权重。具体计算公式如下：
Figure BDA0001742812340000154
其中，
Figure BDA0001742812340000155
为目标句子i相对关系类型r在语言j对应的独立语义空间中的注意力权重，rj为关系类型r在语言j对应的独立语义空间中的第一关系向量表示，
Figure BDA0001742812340000156
为目标句子i在语言j对应的独立语义空间中第一句子向量表示，k为语言j中的任意一个目标句子，m为语言j中所有目标句子的总数量。
需要说明的是，上述计算公式中，i表示的是语言j中所有目标句子中的一个特定的目标句子，k表示的是语言j中的任意一个目标句子。
在此基础上，结合该语言中所有目标句子的注意力权重和所有目标句子的第一句子向量表示，即可获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示。具体计算公式如下：
Figure BDA0001742812340000161
其中，sj为目标实体对相对关系类型r在语言j对应的独立语义空间中的第一全局向量表示。
基于上述任一实施例，提供一种基于对抗训练机制的多语言实体关系抽取方法，根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示，具体计算公式为：
Figure BDA0001742812340000162
Figure BDA0001742812340000163
其中，
Figure BDA0001742812340000164
为目标实体相对关系类型r在一致性语义空间中的第二全局向量表示；
Figure BDA0001742812340000165
为语言j中目标句子i相对关系类型r在一致性语义空间中的注意力权重，
Figure BDA0001742812340000166
为关系类型r在一致性语义空间中的第二关系向量表示，
Figure BDA0001742812340000167
为语言j中目标句子i在一致性语义空间中的第二句子向量表示，l为多种语言中的任意一种语言，k为语言l中的任意一个目标句子，m为语言l中所有目标句子的总数量，n为所有语言的种类总数量。
具体地，在上述技术方案的基础上，其中根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示，具体实现过程如下：
对于预设的多个关系类型中的任意一个关系类型，首先构建该关系类型在一致性语义空间中的第二关系向量表示。与此同时，获取所有语言中所有目标句子的第二句子向量表示。在此基础上，对于某种语言中的某一个目标句子而言，根据第二关系向量表示和该目标句子的第二句子向量表示，并结合所有语言中其他所有目标句子的第二句子向量表示，即可获得该目标句子的注意力权重。具体计算公式如下：
Figure BDA0001742812340000171
其中，
Figure BDA0001742812340000172
为语言j中目标句子i相对关系类型r在一致性语义空间中的注意力权重，
Figure BDA0001742812340000173
为关系类型r在一致性语义空间中的第二关系向量表示，为语言j中目标句子i在一致性语义空间中的第二句子向量表示，l为多种语言中的任意一种语言，k为语言l中的任意一个目标句子，m为语言l中所有目标句子的总数量，n为所有语言的种类总数量。
需要说明的是，上述计算公式中，j表示的是一种特定的语言，i表示的是语言j中所有目标句子中的一个特定的目标句子；l表示的是多种语言中的任意一种语言，k表示的语言l中的任意一个目标句子。
在此基础上，结合所有语言中所有目标句子的注意力权重和所有目标句子的第二句子向量表示，即可获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示。具体计算公式如下：
Figure BDA0001742812340000175
其中，
Figure BDA0001742812340000176
为目标实体相对关系类型r在一致性语义空间中的第二全局向量表示。
基于上述任一实施例，提供一种基于对抗训练机制的多语言实体关系抽取方法，基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，具体为：利用归一化函数基于第二全局向量表示获得该关系类型在一致性语义空间中的第一条件概率；利用归一化函数基于目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量获得该关系类型在各语言对应的独立语义空间中的第二条件概率；根据第一条件概率和所有第二条件概率获得该关系类型对应的全局概率。
具体地，在上述技术方案的基础上，其中基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，具体实现过程如下：
利用归一化函数基于第二全局向量表示获得该关系类型在一致性语义空间中的第一条件概率，具体计算公式如下：
Figure BDA0001742812340000181
其中，为关系类型r在一致性语义空间中的第一条件概率，softmax为归一化函数，
Figure BDA0001742812340000183
为第二全局向量，
Figure BDA0001742812340000184
为各关系类型在一致性语义空间中的第二关系向量表示组成的矩阵，
Figure BDA0001742812340000185
为一致性语义空间中的偏置向量。
与此同时，利用归一化函数基于目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量获得该关系类型在各语言对应的独立语义空间中的第二条件概率，具体计算公式如下：
P(r|sj)＝softmax[Rjsj+dj]
其中，P(r|sj)为关系类型r在语言j对应的独立语义空间中的第二条件概率，softmax为归一化函数，sj为目标实体对相对关系类型r在语言j对应的独立语义空间中的第一全局向量表示，Rj为各关系类型在语言j对应的独立语义空间中的第一关系向量表示组成的矩阵，dj为语言j对应的独立语义空间中的偏置向量。
最终，根据第一条件概率和所有第二条件概率获得该关系类型对应的全局概率，具体计算公式如下：
Figure BDA0001742812340000186
其中，P(r|T)为关系类型r对应的全局概率，语言j为多种语言中的任意一种语言，且所有语言的种类总数量为n。
本发明提供的一种基于对抗训练机制的多语言实体关系抽取方法，利用归一化函数基于第二全局向量表示获得该关系类型在一致性语义空间中的第一条件概率；利用归一化函数基于目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量获得该关系类型在各语言对应的独立语义空间中的第二条件概率；根据第一条件概率和所有第二条件概率获得该关系类型对应的全局概率。该方法结合多语言文本中跨语言的语义信息和各语言独有的结构信息进行实体关系抽取，可有效提高实体关系抽取结果的准确性。
基于上述任一实施例，提供一种基于对抗训练机制的多语言实体关系抽取方法，构建每个目标句子在一致性语义空间中的第二句子向量表示，之前还包括：初始化编码器网络和判别器网络，对编码器网络和判别器网络进行逐轮对抗训练，以使得编码器网络的输出结果能够将各语言的特点抹除以迷惑判别器网络，从而训练出能够更好地编码跨语言信息的一致性语义空间的编码器；其中，在逐轮对抗训练过程中，采用随机梯度下降算法优化编码器网络的参数以最小化判别器网络输出的判别结果的正确概率；并采用随机梯度下降算法优化判别器网络的参数以最大化判别器网络输出的判别结果的正确概率。
具体地，本实施例中，在构建每个目标句子在一致性语义空间中的第二句子向量表示之前，需预先训练一致性语义空间的编码器，以使得能够将各种语言的目标句子编码到一致的语义空间，以抽取各语言之间的一致性。为了消除各语言的目标句子在一致性语义空间中的句子向量表示之间的模式差异，采用对抗训练机制对一致性语义空间的编码器进行训练，具体训练过程如下：
采用一个多层感知机网络作为判别器，用以判定给出的句子向量表示来自何种语言，判别函数针对给定句子向量表示
Figure BDA0001742812340000191
判定它属于何种语言的概率分布如下：
Figure BDA0001742812340000201
MLP函数表示判别器的多层感知机网络的输出。
在训练过程中判别器需要在编码器给出的向量分布下最大化它判别准确的概率，编码器需要通过改变自己的编码分布来迷惑判别器，试图最小化判别器判别准确的概率。二者逐轮对抗训练，以达到编码器编码出的分布能够将各语言的特点抹除以迷惑判别器，从而更好地抽取出跨语言的语义信息的目的。
在训练过程中，我们通过交替地最小化编码器和判别器的两个损失函数来实现对抗训练，具体地，对于一致语义空间的编码器，我们的优化目标如下：
Figure BDA0001742812340000202
其中
Figure BDA0001742812340000203
为编码器的损失函数，
Figure BDA0001742812340000204
为一致性语义空间的编码器的全部参数，l为多种语言中的任意一种语言，Tl为语言l中所有句子的集合，
Figure BDA0001742812340000205
表示第j种语言的一致性语义空间的编码器的编码函数，即输入该语言下的输入向量得到编码到一致语义空间的语义向量。可以看出这个优化过程的直观解释为通过改变一致编码器的参数使得判别函数判别正确的概率最小。
对于判别器，我们的优化目标如下：
Figure BDA0001742812340000206
其中，
Figure BDA0001742812340000207
为判别器的损失函数，θD为判别器网络的全部参数，此优化过程的直观解释为通过改变判别器的参数使得判别正确的概率最大。
整个对抗训练过程所采用的训练方法为随机梯度下降法，通过逐轮对这两个损失函数按一定比例交替进行梯度下降达到对抗训练的效果。当判别器和编码器在训练中达到平衡后，来自不同语言的句子向量表示在一致语义空间中不再拥有可以被显著区分的模式差异，可以有效提升抽取跨语言的一致信息的能力，进而提升多语言关系抽取的性能。
本发明提供的一种基于对抗训练机制的多语言实体关系抽取方法，在构建每个目标句子在一致性语义空间中的第二句子向量表示之前，
初始化编码器网络和判别器网络，对编码器网络和判别器网络进行逐轮对抗训练，以使得编码器网络的输出结果能够将各语言的特点抹除以迷惑判别器网络，获得训练好的一致性语义空间的编码器；其中，
在逐轮对抗训练过程中，采用随机梯度下降算法优化编码器网络的参数以最小化判别器网络输出的判别结果的正确概率；并采用随机梯度下降算法优化判别器网络的参数以最大化判别器网络输出的判别结果的正确概率。该方法采用对抗训练机制训练获得一致性语义空间的编码器，以使得能够将各种语言的目标句子编码到一致的语义空间，以抽取各语言之间的一致性，消除了各语言的目标句子在一致性语义空间中的句子向量表示之间的模式差异，有效提升了抽取跨语言的一致信息的能力，进而提升了多语言关系抽取的性能。
为了更好地理解上述方法实施例中的处理步骤，现以下述示例进行具体说明：
图2为本发明实施例的一种基于对抗训练机制的多语言实体关系抽取方法的模拟示意图，如图2所示，该示意图中模拟的是两种语言场景下的基于对抗训练机制的多语言实体关系抽取方法的处理过程，整体处理过程从下往上，首先将两种语言中的目标句子的单词转化为表示向量
Figure BDA0001742812340000211
再经过编码器网络编码后得到各语言独立空间内的句子的向量表示和一致语义空间内的句子向量表示
Figure BDA0001742812340000213
其中，通过判别器D和一致性语义空间的编码器EC的对抗训练使得一致性语义空间的编码器EC获得提取跨语言信息的能力。再分别采用两种语言各自的独立注意力机制获得目标实体对相对各关系类型在第一种语言对应的独立语义空间中的全局向量表示s1和在第二种语言对应的独立语义空间中的全局向量表示s2。同时，采用两种语言间的一致性的注意力机制获得目标实体对相对各关系类型在一致性语义空间中的全局向量表示
Figure BDA0001742812340000221
最终，结合全局向量表示s1、s2和
Figure BDA0001742812340000222
即可进行目标实体对的关系预测。
图3为本发明实施例的一种基于对抗训练机制的多语言实体关系抽取***的整体结构示意图，如图3所示，基于上述任一实施例，提供一种基于对抗训练机制的多语言实体关系抽取***，包括：
句子编码模块1，用于对于多种语言中的任意一种语言，在该语言中获取预设数量的与目标实体对相关的句子，作为目标句子，并构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示以及在一致性语义空间中的第二句子向量表示；
第一注意力机制模块2，用于对预设多个关系类型，对于任意一个关系类型，构建该关系类型在该语言对应的独立语义空间中的第一关系向量表示，根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示；
第二注意力机制模块3，用于构建该关系类型在一致性语义空间中的第二关系向量表示，根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示；
关系抽取模块4，用于基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，根据最大概率对应的关系类型预测目标实体对之间的关系。
具体地，本发明提供一种基于对抗训练机制的多语言实体关系抽取***，包括句子编码模块1、第一注意力机制模块2、第二注意力机制模块3和关系抽取模块4，通过各模块之间的配合实现上述任一方法实施例中的方法，具体实现过程可参见上述方法实施例，此处不再赘述。
本发明提供的一种基于对抗训练机制的多语言实体关系抽取***，将目标实体对相关的各语言中的目标句子分别编码到各语言对应的独立语义空间和所有语言对应的一致性语义空间，获得目标句子中蕴含的各语言独立的信息和跨语言的一致的信息；再分别采用各语言独立的注意力机制和各语言间一致的注意力机制衡量每个目标句子相对各关系类型的注意力权重，最终结合所有目标句子相对各关系类型的注意力权重获得各关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，最终即可根据最大概率对应的关系类型预测目标实体对之间的关系。该***能够有效地抽取到多语言文本中跨语言的语义信息和各语言独有的结构信息，能够深层地利用多语言间的互补性，以达到提升实际应用中多语言场景下的关系抽取任务表现的效果，有利于提升自动构建知识图谱的质量，具有广阔的应用前景。
图4示出本发明实施例的一种电子设备的结构框图。参照图4，所述电子设备，包括：处理器(processor)41、存储器(memory)42和总线43；其中，所述处理器41和存储器42通过所述总线43完成相互间的通信；所述处理器41用于调用所述存储器42中的程序指令，以执行上述任一方法实施例所提供的方法，例如包括：对于多种语言中的任意一种语言，在该语言中获取预设数量的与目标实体对相关的句子，作为目标句子，并构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示以及在一致性语义空间中的第二句子向量表示；预设多个关系类型，对于任意一个关系类型，构建该关系类型在该语言对应的独立语义空间中的第一关系向量表示，根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示；构建该关系类型在一致性语义空间中的第二关系向量表示，根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示；基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，根据最大概率对应的关系类型预测目标实体对之间的关系。
本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述任一方法实施例所提供的方法，例如包括：对于多种语言中的任意一种语言，在该语言中获取预设数量的与目标实体对相关的句子，作为目标句子，并构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示以及在一致性语义空间中的第二句子向量表示；预设多个关系类型，对于任意一个关系类型，构建该关系类型在该语言对应的独立语义空间中的第一关系向量表示，根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示；构建该关系类型在一致性语义空间中的第二关系向量表示，根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示；基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，根据最大概率对应的关系类型预测目标实体对之间的关系。
本实施例提供一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行上述任一方法实施例所提供的方法，例如包括：对于多种语言中的任意一种语言，在该语言中获取预设数量的与目标实体对相关的句子，作为目标句子，并构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示以及在一致性语义空间中的第二句子向量表示；预设多个关系类型，对于任意一个关系类型，构建该关系类型在该语言对应的独立语义空间中的第一关系向量表示，根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示；构建该关系类型在一致性语义空间中的第二关系向量表示，根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示；基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，根据最大概率对应的关系类型预测目标实体对之间的关系。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的电子设备等实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于对抗训练机制的多语言实体关系抽取方法，其特征在于，包括：
对于多种语言中的任意一种语言，在该语言中获取预设数量的与目标实体对相关的句子，作为目标句子，并构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示以及在一致性语义空间中的第二句子向量表示；
预设多个关系类型，对于任意一个关系类型，构建该关系类型在该语言对应的独立语义空间中的第一关系向量表示，根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示；
构建该关系类型在一致性语义空间中的第二关系向量表示，根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示；
基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，根据最大概率对应的关系类型预测目标实体对之间的关系。
2.根据权利要求1所述的方法，其特征在于，构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示，具体为：
对于任意一个目标句子，获取该目标句子中的所有单词，将所有单词输入至预先训练好的独立语义空间的编码器的输入层，获得每个单词对应的第一表示向量；
将所有单词对应的第一表示向量进行组合，获得第一表示向量序列，将第一表示向量序列输入至独立语义空间的编码器的核心处理层，获得该目标句子在该语言对应的独立语义空间中的第一句子向量表示；
其中，第一表示向量包括词向量和位置向量。
3.根据权利要求1所述的方法，其特征在于，构建每个目标句子在一致性语义空间中的第二句子向量表示，具体为：
对于任意一个目标句子，获取该目标句子中的所有单词，将所有单词输入至预先训练好的一致性语义空间的编码器的输入层，获得每个单词对应的第二表示向量；
将所有单词对应的第二表示向量进行组合，获得第二表示向量序列，将第二表示向量序列输入至一致性语义空间的编码器的核心处理层，获得该目标句子在一致性语义空间中的第二句子向量表示；
其中，第二表示向量包括词向量和位置向量。
4.根据权利要求1所述的方法，其特征在于，根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示，具体计算公式为：
Figure FDA0001742812330000022
其中，sj为目标实体对相对关系类型r在语言j对应的独立语义空间中的第一全局向量表示；
Figure FDA0001742812330000023
为目标句子i相对关系类型r在语言j对应的独立语义空间中的注意力权重，rj为关系类型r在语言j对应的独立语义空间中的第一关系向量表示，为目标句子i在语言j对应的独立语义空间中第一句子向量表示，k为语言j中的任意一个目标句子，m为语言j中所有目标句子的总数量。
5.根据权利要求1所述的方法，其特征在于，根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示，具体计算公式为：
Figure FDA0001742812330000031
其中，为目标实体相对关系类型r在一致性语义空间中的第二全局向量表示；
Figure FDA0001742812330000034
为语言j中目标句子i相对关系类型r在一致性语义空间中的注意力权重，为关系类型r在一致性语义空间中的第二关系向量表示，
Figure FDA0001742812330000036
为语言j中目标句子i在一致性语义空间中的第二句子向量表示，l为多种语言中的任意一种语言，k为语言l中的任意一个目标句子，m为语言l中所有目标句子的总数量，n为所有语言的种类总数量。
6.根据权利要求1所述的方法，其特征在于，基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，具体为：
利用归一化函数基于第二全局向量表示获得该关系类型在一致性语义空间中的第一条件概率；
利用归一化函数基于目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量获得该关系类型在各语言对应的独立语义空间中的第二条件概率；
根据第一条件概率和所有第二条件概率获得该关系类型对应的全局概率。
7.根据权利要求1所述的方法，其特征在于，构建每个目标句子在一致性语义空间中的第二句子向量表示，之前还包括：
初始化编码器网络和判别器网络，对编码器网络和判别器网络进行逐轮对抗训练，以使得编码器网络的输出结果能够将各语言的特点抹除以迷惑判别器网络，获得训练好的一致性语义空间的编码器；
其中，在逐轮对抗训练过程中，采用随机梯度下降算法优化编码器网络的参数以最小化判别器网络输出的判别结果的正确概率；并采用随机梯度下降算法优化判别器网络的参数以最大化判别器网络输出的判别结果的正确概率。
8.一种基于对抗训练机制的多语言实体关系抽取***，其特征在于，包括：
句子编码模块，用于对于多种语言中的任意一种语言，在该语言中获取预设数量的与目标实体对相关的句子，作为目标句子，并构建每个目标句子在该语言对应的独立语义空间中的第一句子向量表示以及在一致性语义空间中的第二句子向量表示；
第一注意力机制模块，用于对预设多个关系类型，对于任意一个关系类型，构建该关系类型在该语言对应的独立语义空间中的第一关系向量表示，根据第一关系向量表示和该语言中所有目标句子的第一句子向量表示获得目标实体对相对该关系类型在该语言对应的独立语义空间中的第一全局向量表示；
第二注意力机制模块，用于构建该关系类型在一致性语义空间中的第二关系向量表示，根据第二关系向量表示和所有语言中所有目标句子的第二句子向量表示获得目标实体对相对该关系类型在一致性语义空间中的第二全局向量表示；
关系抽取模块，用于基于第二全局向量表示和目标实体对相对该关系类型在各语言对应的独立语义空间中的第一全局向量表示获得该关系类型对应的全局概率，从各关系类型对应的全局概率中选取出最大概率，根据最大概率对应的关系类型预测目标实体对之间的关系。
9.一种电子设备，其特征在于，包括：
至少一个处理器；以及
与所述处理器通信连接的至少一个存储器，其中：
所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至7任一所述的方法。
10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至7任一所述的方法。
CN201810827459.7A 2018-07-25 2018-07-25 一种基于对抗训练机制的多语言实体关系抽取方法及*** Active CN110852066B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810827459.7A CN110852066B (zh) 2018-07-25 2018-07-25 一种基于对抗训练机制的多语言实体关系抽取方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810827459.7A CN110852066B (zh) 2018-07-25 2018-07-25 一种基于对抗训练机制的多语言实体关系抽取方法及***

Publications (2)

Publication Number Publication Date
CN110852066A true CN110852066A (zh) 2020-02-28
CN110852066B CN110852066B (zh) 2021-06-01

Family

ID=69594332

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810827459.7A Active CN110852066B (zh) 2018-07-25 2018-07-25 一种基于对抗训练机制的多语言实体关系抽取方法及***

Country Status (1)

Country Link
CN (1) CN110852066B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476035A (zh) * 2020-05-06 2020-07-31 中国人民解放军国防科技大学 中文开放关系预测方法、装置、计算机设备和存储介质
CN111597341A (zh) * 2020-05-22 2020-08-28 北京慧闻科技(集团)有限公司 一种文档级关系抽取方法、装置、设备及存储介质
CN115034221A (zh) * 2022-05-27 2022-09-09 重庆邮电大学 基于BiLSTM结合全局指针的重叠关系抽取***

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010231761A (ja) * 2009-03-18 2010-10-14 Nec (China) Co Ltd 多言語ウェブ・サイトからの多言語オブジェクト階層抽出方法およびシステム
CN105808525A (zh) * 2016-03-29 2016-07-27 国家计算机网络与信息安全管理中心 一种基于相似概念对的领域概念上下位关系抽取方法
CN106055623A (zh) * 2016-05-26 2016-10-26 《中国学术期刊（光盘版）》电子杂志社有限公司 一种跨语言推荐方法和***
CN106055675A (zh) * 2016-06-06 2016-10-26 杭州量知数据科技有限公司 一种基于卷积神经网络和距离监督的关系抽取方法
CN106354710A (zh) * 2016-08-18 2017-01-25 清华大学 一种神经网络关系抽取方法
CN107273349A (zh) * 2017-05-09 2017-10-20 清华大学 一种基于多种语言的实体关系抽取方法及服务器
CN107368475A (zh) * 2017-07-18 2017-11-21 中译语通科技（北京）有限公司 一种基于生成对抗神经网络的机器翻译方法和***
CN107943784A (zh) * 2017-11-02 2018-04-20 南华大学 基于生成对抗网络的关系抽取方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010231761A (ja) * 2009-03-18 2010-10-14 Nec (China) Co Ltd 多言語ウェブ・サイトからの多言語オブジェクト階層抽出方法およびシステム
CN105808525A (zh) * 2016-03-29 2016-07-27 国家计算机网络与信息安全管理中心 一种基于相似概念对的领域概念上下位关系抽取方法
CN106055623A (zh) * 2016-05-26 2016-10-26 《中国学术期刊（光盘版）》电子杂志社有限公司 一种跨语言推荐方法和***
CN106055675A (zh) * 2016-06-06 2016-10-26 杭州量知数据科技有限公司 一种基于卷积神经网络和距离监督的关系抽取方法
CN106354710A (zh) * 2016-08-18 2017-01-25 清华大学 一种神经网络关系抽取方法
CN107273349A (zh) * 2017-05-09 2017-10-20 清华大学 一种基于多种语言的实体关系抽取方法及服务器
CN107368475A (zh) * 2017-07-18 2017-11-21 中译语通科技（北京）有限公司 一种基于生成对抗神经网络的机器翻译方法和***
CN107943784A (zh) * 2017-11-02 2018-04-20 南华大学 基于生成对抗网络的关系抽取方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MICHIHIRO YASUNAGA 等: "Robust Multilingual Part-of-Speech Tagging via Adversarial Training", 《PROCEEDINGS OF THE 2018 CONFERENCE OF THE NORTH AMERICAN CHAPTER OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS: HUMAN LANGUAGE TECHNOLOGIES》 *
冯冲 等: "融合对抗学习的因果关系抽取", 《自动化学报》 *
胡亚楠: "跨语言实体关系抽取研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476035A (zh) * 2020-05-06 2020-07-31 中国人民解放军国防科技大学 中文开放关系预测方法、装置、计算机设备和存储介质
CN111476035B (zh) * 2020-05-06 2023-09-05 中国人民解放军国防科技大学 中文开放关系预测方法、装置、计算机设备和存储介质
CN111597341A (zh) * 2020-05-22 2020-08-28 北京慧闻科技(集团)有限公司 一种文档级关系抽取方法、装置、设备及存储介质
CN111597341B (zh) * 2020-05-22 2024-01-26 北京慧闻科技(集团)有限公司 一种文档级关系抽取方法、装置、设备及存储介质
CN115034221A (zh) * 2022-05-27 2022-09-09 重庆邮电大学 基于BiLSTM结合全局指针的重叠关系抽取***

Also Published As

Publication number Publication date
CN110852066B (zh) 2021-06-01

Similar Documents

Publication Publication Date Title
CN112487182A (zh) 文本处理模型的训练方法、文本处理方法及装置
CN109376222B (zh) 问答匹配度计算方法、问答自动匹配方法及装置
CN111931517B (zh) 文本翻译方法、装置、电子设备以及存储介质
CN111597830A (zh) 基于多模态机器学习的翻译方法、装置、设备及存储介质
CN112528637B (zh) 文本处理模型训练方法、装置、计算机设备和存储介质
CN113627447B (zh) 标签识别方法、装置、计算机设备、存储介质及程序产品
CN110309511B (zh) 基于共享表示的多任务语言分析***及方法
US20230130006A1 (en) Method of processing video, method of quering video, and method of training model
CN111966812B (zh) 一种基于动态词向量的自动问答方法和存储介质
CN112100332A (zh) 词嵌入表示学习方法及装置、文本召回方法及装置
CN108536735B (zh) 基于多通道自编码器的多模态词汇表示方法与***
EP4361843A1 (en) Neural network searching method and related device
CN110852066B (zh) 一种基于对抗训练机制的多语言实体关系抽取方法及***
CN113505193A (zh) 一种数据处理方法及相关设备
CN114358201A (zh) 基于文本的情感分类方法和装置、计算机设备、存储介质
CN113392265A (zh) 多媒体处理方法、装置及设备
CN111145914B (zh) 一种确定肺癌临床病种库文本实体的方法及装置
WO2023173552A1 (zh) 目标检测模型的建立方法、应用方法、设备、装置及介质
CN114492661B (zh) 文本数据分类方法和装置、计算机设备、存储介质
CN113095072B (zh) 文本处理方法及装置
CN117540221B (zh) 图像处理方法和装置、存储介质及电子设备
CN110852071A (zh) 知识点检测方法、装置、设备及可读存储介质
CN114120166A (zh) 视频问答方法、装置、电子设备及存储介质
CN116561272A (zh) 开放域视觉语言问答方法、装置、电子设备及存储介质
CN113591493B (zh) 翻译模型的训练方法及翻译模型的装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant