CN117764085A - 一种基于跨图协同建模的机器阅读理解方法 - Google Patents

Abstract

本发明公开了一种基于跨图协同建模的机器阅读理解方法，属于自然语言处理领域，包括以下步骤：对给定的上下文、问题和答案进行编码，获得新序列，将所述新序列输入到预训练语言模型中，获得输出向量；通过逻辑连接词和标点符号将所述输出向量进行划分，获得基本话语单元，基于所述基本话语单元构建逻辑图和语义图；对逻辑图和语义图进行自适应连接节点嵌入，获得逻辑图和语义图的最终表示，对所述逻辑图和语义图进行跨图知识传播分析，获得跨图知识传播分析结果，基于逻辑图和语义图的最终表示和跨图知识传播分析结果进行预测计算，获得每个答案的预测分数。本发明通过从语义或逻辑角度分析，能够从给定的上下文和多个候选答案中输出正确答案。

Description

一种基于跨图协同建模的机器阅读理解方法

技术领域

本发明属于自然语言处理领域，尤其涉及一种基于跨图协同建模的机器阅读理解方法。

背景技术

目前基于逻辑推理的MRC模型大致可以分为两类。第一类涉及基于文本构建图结构，并使用GNN和Graph Transformer等方法对逻辑推理过程进行建模。另一种是根据文本语料中的逻辑关系设计相应的预训练任务。在第一类方法中，DAGN模型是最先出现的。该模型从文本中提取独立的语义单元作为图节点，然后使用消息传递来更新图中的每个节点。与DAGN类似，Focal Reasoner利用共指关系将文本划分为多个节点单元，构建图结构并使用GNN进行逻辑推理。然而，这两种模型都缺乏对文本中逻辑信息的建模。

基于此，自适应逻辑图网络AdaLoGN被提出。该模型通过集成六种预定义的逻辑关系构建有向文本逻辑图，并使用符号推理规则动态更新图节点。但AdaLoGN构建的逻辑图可能会受到节点之间的长程依赖的影响。相比之下，Logiformer基于文本构建逻辑图和语法图，并使用图转换器从两个角度对节点之间的依赖关系进行建模。TaCo的提出是为了增强模型推理类型的感知，基于模拟不同推理类型与上下文和问答对之间的交互的对比学习。MERIt属于第二类预训练方法。它利用元路径策略从未标记的文本数据中提取逻辑信息，然后使用对比学习进行自监督预训练。此外，同样属于第二类的LReasoner提出了一种逻辑驱动的上下文扩展框架，将逻辑识别、逻辑扩展和逻辑文本化三个步骤集成在一起。然而，它严重依赖于标记之间的交互，这不足以推断上下文中存在的复杂逻辑关系。

发明内容

为解决上述技术问题，本发明提出了一种基于跨图协同建模的机器阅读理解方法，以解决现有技术中存在的问题。

为实现上述目的，本发明提供了一种基于跨图协同建模的机器阅读理解方法，包括以下步骤：

对给定的上下文、问题和答案进行编码，获得新序列，将所述新序列输入到预训练语言模型中，获得输出向量；

通过逻辑连接词和标点符号将所述输出向量进行划分，获得基本话语单元，基于所述基本话语单元构建逻辑图和语义图；

对逻辑图和语义图进行自适应连接节点嵌入，获得逻辑图和语义图的最终表示，对所述逻辑图和语义图进行跨图知识传播分析，获得跨图知识传播分析结果，基于逻辑图和语义图的最终表示和跨图知识传播分析结果进行预测计算，获得每个答案的预测分数。

可选的，所述构建逻辑图的方法包括：

基于标点符号获得节点，根据所述节点获得连接节点的边，基于逻辑连接词得到节点间的逻辑关系，所述逻辑关系包括因果关系、顺序关系、条件关系和未知关系。

可选的，构建语义图的方法包括：

基于标点符号获得节点，根据所述节点获得连接节点的边，通过节点共现率得到节点间的语义关系。

可选的，逻辑图进行自适应连接节点嵌入的方法包括：

通过k跳推理路径收集每个节点的信息，通过所述每个节点的信息计算相关性矩阵，基于所述相关性矩阵恢复逻辑图中推理所需的缺失边并基于逻辑损失函数更新所有节点的表示。

可选的，所述计算相关性矩阵的表达式为：

式中，表示层l逻辑图中所有节点的表示，T表示矩阵转置。

可选的，语义图进行自适应连接节点嵌入的方法包括：

通过两跳推理路径收集来自语义图中的每个节点的相邻节点信息，基于相邻节点信息和语义损失函数进行前向消息传递更新所有节点的表示。

可选的，所述获得每个答案的预测分数的方法包括：

将逻辑图和语义图的最终表示与上下文、选项和问题的表示进行融合，获得融合结果，将融合结果输入到三层感知器中，得到输出结果，通过softmax函数将所述输出结果标准化为概率分布，获得每个答案的预测分数。

可选的，所述跨图知识传播分析的方法包括：

从初始逻辑图和语义图中选择相同节点，将相同节点映射到同一空间，并基于融合损失函数进行推理获得相同节点的相似度。

可选的，所述三层感知器的损失函数基于逻辑损失函数、语义损失函数和融合损失函数获得，三层感知器的损失函数的表达式为：

式中，表示逻辑损失函数，/>表示语义损失函数，/>表示融合损失函数，λ₁表示逻辑损失函数的预定义阈值，λ₂表示语义损失函数的预定义阈值。

与现有技术相比，本发明具有如下优点和技术效果：

本发明所述的基于跨图协同建模的机器阅读理解方法，通过自适应增强节点之间的连接来降低图的稀疏性，并从语义或逻辑角度分析，能够从给定的上下文和多个候选答案中输出正确答案。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1为本发明实施例的基于跨图协同建模的机器阅读理解方法流程图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

如图1所示，本发明提出了一种基于跨图协同建模的机器阅读理解方法，包括以下步骤：

对给定的上下文、问题和答案进行编码，获得新序列，将所述新序列输入到预训练语言模型中，获得输出向量；

通过逻辑连接词和标点符号将所述输出向量进行划分，获得基本话语单元，基于所述基本话语单元构建逻辑图和语义图；

对所述逻辑图和语义图进行自适应连接节点嵌入，获得逻辑图和语义图的最终表示，基于逻辑图和语义图的最终表示进行预测计算，获得每个答案的预测分数。

具体包括以下步骤：

文本编码：

对于每个选项O_i，其相应的标记嵌入是通过将c、O_i和q作为输入来生成的。具体来说，第一步涉及在字符级别连接原始句子以形成新序列S＝{<s>c₁…</s>o₁…</s>q₁…</s>}，然后将其输入到预训练语言模型RoBERTa中，以接收令牌嵌入。输出向量表示形式表示为：

其中<s>表示分类器标记，</s>表示分隔符标记，c＝{c₁…c_|c|}，q＝{q₁…q_|q|}。

多视图构建：

从c和O_i生成的序列根据连接词和标点符号分为基本话语单元。我们通常会忽略q，因为它在当前数据集中提供的信息很少。然后，根据这些基本话语单元及其相应的逻辑和语义关系，分别构建逻辑图和语义图。

逻辑视图的构建如下：

首先，上下文c和选项O_i根据逻辑连接词(如“because”和“while”)和标点符号(如“,”和“；”)。例如，节点V₁和节点V₂由连接词“because”分隔，指示两个节点之间的因果关系。类似地，节点V₅和节点V₆由因果连词“Hence”分隔。节点V₇和节点V₈由连接词“if”分隔，表示两个节点之间的条件关系。其余节点之间缺乏连接表明它们之间存在未知的关系。

其次，假设G₁＝(V,E₁)表示一个逻辑图，其中一组节点V＝{v₁,…,v_n}，由一组边连接。该图中所有节点的初始表示根据它们在文本中的出现顺序存储在矩阵中，其中d是隐藏层的维度，n是逻辑图中的节点数。矩阵的每一行/>表示节点v_i的特征向量，该向量是通过应用RoBERTa并对组成节点的句子或短语的令牌特征进行平均而得出的。从节点i到节点j的边e_ij表示两个节点之间的逻辑关系。节点之间的边的方向由逻辑连接词决定，反映在相邻矩阵中。本文讨论四种常见的逻辑关系类型，包括因果关系、顺序关系、条件关系和未知关系。这些关系由集合R共同表示。图G₁的邻接矩阵用表示，其中/>表示节点i到节点j之间存在第一类关系(因果关系)，类似地，如果节点i到节点j之间存在第三类关系(条件关系)，则/>否则为0。

语义视图的构建如下：

语义图是由标点符号划分的节点组成的无向图。节点之间的关系用共现率来表示，共现率指的是图中两个节点对应的两个初始字符串集之间的重叠程度。例如，节点U₁和节点U₃、节点U₁和节点U₇，以及节点U₄且节点U₆重叠部分较多，因此认为它们具有共现关系。其中，节点U₁和节点U₇的重叠率较高，说明两者之间的共现关系较强。

与逻辑视图类似，假设G₂＝(U,E₂)表示一个语义图，图中包含一组节点U＝{u₁,…,u_m}，这些节点由一组边连接图中所有节点的初始表示按顺序存储在矩阵中，其中m是语义图中的节点数。同样，每个节点/> 的表示是通过应用RoBERTa并对每个句子或短语的令牌特征进行平均而得出的。图G₂的邻接矩阵用表示。/>表示节点i和节点j之间的共现率。

具有自适应连接的节点嵌入：

我们基于构建的逻辑图和语义图进行逻辑推理，这个推理过程是通过在每次迭代中通过消息传递更新节点嵌入来执行的。此外，据观察，在Logiformer中，构建的逻辑图非常稀疏，这阻碍了模型充分学习节点之间的关系。为了解决逻辑图中的稀疏问题，我们在节点之间引入了相关矩阵，以在迭代过程中自适应地建立它们之间的连接。

逻辑视图的节点嵌入如下：

鉴于上面构建的逻辑图是具有多种类型边的异构图，我们依据AdaLoGN中的方法来迭代学习节点表示。然而，AdaLoGN仅捕获一跳邻居节点的信息，缺乏表达力，无法有效传播消息。因此，CGKPN采用多跳消息传递来整合来自多跳邻居的信息关系。此外，节点之间的相关矩阵用于潜在地恢复迭代过程中推理过程所需的缺失边，这使得能够更全面地学习图中的节点表示。详细步骤如下。

首先，基于逻辑图中的所有节点，按照k跳推理路径，从各种关系下的邻居处收集每个节点的信息。假设Nⁱ是节点v_i的邻居节点集合，是在逻辑关系r∈R下与节点v_i直接相连的所有邻居节点的集合。/>分别表示逻辑关系r∈R下节点v_i在k跳推理路径上的邻居集合。(l+1)层节点v_i的表示/>通过与其相邻节点进行前向消息传递进行更新：

其中表示第k跳推理路径下节点v_i的所有邻居的聚合信息。/>和表示需要学习的矩阵。K是推理路径中的总跳数。聚合所有邻居的信息后，节点v_i将自身特征与接收到的邻居信息相结合，获得新的状态/>

被定义为将(l-k)层的节点表示作为输入，允许局部结构推理并避免不必要的信息带来的冗余。此外，相关性矩阵M_rel用于衡量相邻节点的重要性，使得模型能够根据当前逻辑图中的关系动态调整节点的权重。具体来说，/>表示节点v_i和节点v_j之间的相关性得分，表示关系的权重。每次迭代中更新的M_rel捕获节点之间的相关程度，使模型能够根据这些权重自适应地在节点之间建立连接。因此，该方法的应用有助于CGKPN学习新的边并减少逻辑图的稀疏性。第l层的相关性矩阵/>计算如下：

其中是层l逻辑图中所有节点的表示。T表示矩阵转置。

使用相同的方法，计算每个节点v_i∈V，然后连接形成

接下来，用于更新(l+1)层的相关性矩阵/>基于学习到的相关性，CGKPN恢复逻辑图中推理所需的缺失边并更新所有节点的表示：

在执行上述步骤的L次迭代之后，对于逻辑图中的所有节点，我们使用残差连接融合所有迭代的表示。然后将融合结果输入到双向GRU网络中以获得最终表示：

最后，将逻辑图的最终表示与给定上下文c、选项O_i和问题q的表示融合，并输入到以下结构中以预测答案选项O_i的正确性:

其中Linear表示线性变换的层，Tanh表示激活函数，Pool指平均池化层。和/>分别通过对方程(1)中c、O_i和q的令牌表示求平均而获得。/>是中间参数。O_i'表示集合O中的任何选项。通过应用下面的损失函数作为逻辑损失函数来训练逻辑视图的节点嵌入：

其中O_i表示集合O中的任何选项。O_i∈O表示正确答案。γ是预定义参数。

语义视图的节点嵌入如下：

语义图是具有表示节点之间共现的边的同构图，所有节点都具有相同的边类型。邻接矩阵M^s可以用作每个节点的边权重。我们以与上面逻辑图中描述的类似的方式执行消息传递，以便更新语义图中所有节点的表示。

首先，语义图中的每个节点都沿着两跳推理路径收集来自其邻居的信息。假设N_i是节点u_i的邻居节点集合，N_k(i)∈N_i分别表示k跳推理路径上的邻居集合。(l+1)层节点u_i的表示通过与其相邻节点进行前向消息传递来更新：

其中表示第k跳推理路径下节点u_i的所有邻居的聚合信息。/>和表示需要学习的矩阵。/>指的是节点u_i与其一跳邻居节点u_j之间的共现率。

显然，应用于逻辑图的等式(2)和应用于语义图的等式(10)之间存在两个显着差异。首先，等式(2)考虑了逻辑图中任何关系下的所有邻居节点，而等式(10)仅考虑语义图中由边连接的邻居，因为只有一种类型的边。其次，等式(2)利用相关性矩阵M_rel对相邻节点的表示进行加权，而等式(10)使用共现矩阵M^s作为边的嵌入。

同样地，计算每个节点u_i∈U，然后连接形成

在执行上述步骤的L次迭代之后，通过使用残差连接来融合来自所有迭代的语义图中的所有节点的表示。然后将融合结果输入BiGRU网络以获得最终表示：

与逻辑图所采用的方法类似，语义图的最终表示H_se与上下文c、选项O_i和问题q的表示集成在一起。然后将融合结果输入三层感知器，如等式(7)中所述。输出结果通过softmax函数将其标准化为概率分布，从而生成每个选项的最终预测分数。如上所述，等式(8)描述了该过程。最后，使用与逻辑图中应用的等式(9)相同的损失函数作为语义损失函数来训练语义图中的节点嵌入。

三层感知器的损失函数获取方法如下：

跨图知识传播如下：

基于逻辑视图和语义视图的推理过程分别考虑节点之间的逻辑关系和语义关系。这两个视图从不同的角度学习节点的表示。然而，由于两个图中存在相同的节点，因此有必要在两个图中应用跨图知识传播来约束这些相同的节点，从而实现逻辑视图和语义视图之间的交互式学习。下面提供了该过程的具体步骤。

首先，从初始逻辑图和语义图中选择相同的节点v_i∈V和u_j∈U。值得注意的是，该模块在整个过程中保留了两个图中完全相同的节点索引。换句话说，完全相同的节点是根据初始节点的表示确定的，并且在整个迭代过程中保持不变。随后，CGKPN将成对的相同节点映射到同一空间，并在经历不同的推理过程后计算它们的相似度。最后，它在推理过程的每次迭代中重复计算相同节点的损失值：

其中<,>表示两个向量的点积，两个线性层和一个ReLU激活函数组成一个三层感知器网络。L是上述推理过程的迭代总数。K对应于逻辑视图和语义视图中完全相同的节点对的数量。和/>分别表示逻辑图和语义图第l层中同一节点的表示。v_k和u_k指的是在初始逻辑视图和语义视图中检测到的一对相同节点的索引。

通过进行跨图知识传播，可以在逻辑视图和语义视图之间建立相互约束并促进协作学习。这种方法有效地解决了推理过程中两个视图中相同节点可能出现的冲突问题。此外，CGKPN从各个角度捕获关键的隐式信息，使其能够学习完整的节点表示并执行准确的逻辑推理。

训练和推理：

我们将基于逻辑和语义视图的推理过程的损失函数与跨图知识传播的损失函数相结合，得到最终的目标损失函数，将最终的目标损失函数应用到三层感知器中，最终的目标损失函数如下所示：

其中λ₁和λ₂是两个预定义的阈值，用于从不同角度调节学习信息的重要性。最后，CGKPN从|O|个可用选项中选择得分最高的选项作为最终的预测输出。

以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (9)

1.一种基于跨图协同建模的机器阅读理解方法，其特征在于，包括以下步骤：

对给定的上下文、问题和答案进行编码，获得新序列，将所述新序列输入到预训练语言模型中，获得输出向量；

通过逻辑连接词和标点符号将所述输出向量进行划分，获得基本话语单元，基于所述基本话语单元构建逻辑图和语义图；

对所述逻辑图和语义图进行自适应连接节点嵌入，获得逻辑图和语义图的最终表示，对所述逻辑图和语义图进行跨图知识传播分析，获得跨图知识传播分析结果，基于所述逻辑图和语义图的最终表示和跨图知识传播分析结果进行预测计算，获得每个答案的预测分数。

2.根据权利要求1所述的基于跨图协同建模的机器阅读理解方法，其特征在于，所述构建逻辑图的方法包括：

基于标点符号获得节点，根据所述节点获得连接节点的边，基于逻辑连接词得到节点间的逻辑关系，所述逻辑关系包括因果关系、顺序关系、条件关系和未知关系。

3.根据权利要求1所述的基于跨图协同建模的机器阅读理解方法，其特征在于，构建语义图的方法包括：

基于标点符号获得节点，根据所述节点获得连接节点的边，通过节点共现率得到节点间的语义关系。

4.根据权利要求1所述的基于跨图协同建模的机器阅读理解方法，其特征在于，逻辑图进行自适应连接节点嵌入的方法包括：

通过k跳推理路径收集每个节点的信息，通过所述每个节点的信息计算相关性矩阵，基于所述相关性矩阵恢复逻辑图中推理所需的缺失边并基于逻辑损失函数更新所有节点的表示。

5.根据权利要求4所述的基于跨图协同建模的机器阅读理解方法，其特征在于，

所述计算相关性矩阵的表达式为：

式中，表示层l逻辑图中所有节点的表示，T表示矩阵转置。

6.根据权利要求1所述的基于跨图协同建模的机器阅读理解方法，其特征在于，语义图进行自适应连接节点嵌入的方法包括：

通过两跳推理路径收集来自语义图中的每个节点的相邻节点信息，基于相邻节点信息和语义损失函数进行前向消息传递更新所有节点的表示。

7.根据权利要求1所述的基于跨图协同建模的机器阅读理解方法，其特征在于，所述获得每个答案的预测分数的方法包括：

将逻辑图和语义图的最终表示与上下文、选项和问题的表示进行融合，获得融合结果，将融合结果输入到三层感知器中，得到输出结果，通过softmax函数将所述输出结果标准化为概率分布，获得每个答案的预测分数。

8.根据权利要求1所述的基于跨图协同建模的机器阅读理解方法，其特征在于，所述跨图知识传播分析的方法包括：

从初始逻辑图和语义图中选择相同节点，将相同节点映射到同一空间，并基于融合损失函数进行推理获得相同节点的相似度。

9.根据权利要求7所述的基于跨图协同建模的机器阅读理解方法，其特征在于，

所述三层感知器的损失函数基于逻辑损失函数、语义损失函数和融合损失函数获得，三层感知器的损失函数的表达式为：

式中，表示逻辑损失函数，/>表示语义损失函数，/>表示融合损失函数，λ₁表示逻辑损失函数的预定义阈值，λ₂表示语义损失函数的预定义阈值。