CN117764085A - 一种基于跨图协同建模的机器阅读理解方法 - Google Patents
一种基于跨图协同建模的机器阅读理解方法 Download PDFInfo
- Publication number
- CN117764085A CN117764085A CN202410050091.3A CN202410050091A CN117764085A CN 117764085 A CN117764085 A CN 117764085A CN 202410050091 A CN202410050091 A CN 202410050091A CN 117764085 A CN117764085 A CN 117764085A
- Authority
- CN
- China
- Prior art keywords
- diagram
- semantic
- logic
- nodes
- cross
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 238000010586 diagram Methods 0.000 claims abstract description 86
- 238000004458 analytical method Methods 0.000 claims abstract description 12
- 239000013598 vector Substances 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims abstract description 8
- 238000004364 calculation method Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 42
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 17
- 230000004927 fusion Effects 0.000 claims description 14
- 230000001364 causal effect Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 2
- 238000003058 natural language processing Methods 0.000 abstract description 2
- 238000012935 Averaging Methods 0.000 description 2
- 230000004913 activation Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012804 iterative process Methods 0.000 description 2
- 235000008694 Humulus lupulus Nutrition 0.000 description 1
- 229910004523 TaCo Inorganic materials 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Machine Translation (AREA)
Abstract
本发明公开了一种基于跨图协同建模的机器阅读理解方法,属于自然语言处理领域,包括以下步骤:对给定的上下文、问题和答案进行编码,获得新序列,将所述新序列输入到预训练语言模型中,获得输出向量;通过逻辑连接词和标点符号将所述输出向量进行划分,获得基本话语单元,基于所述基本话语单元构建逻辑图和语义图;对逻辑图和语义图进行自适应连接节点嵌入,获得逻辑图和语义图的最终表示,对所述逻辑图和语义图进行跨图知识传播分析,获得跨图知识传播分析结果,基于逻辑图和语义图的最终表示和跨图知识传播分析结果进行预测计算,获得每个答案的预测分数。本发明通过从语义或逻辑角度分析,能够从给定的上下文和多个候选答案中输出正确答案。
Description
技术领域
本发明属于自然语言处理领域,尤其涉及一种基于跨图协同建模的机器阅读理解方法。
背景技术
目前基于逻辑推理的MRC模型大致可以分为两类。第一类涉及基于文本构建图结构,并使用GNN和Graph Transformer等方法对逻辑推理过程进行建模。另一种是根据文本语料中的逻辑关系设计相应的预训练任务。在第一类方法中,DAGN模型是最先出现的。该模型从文本中提取独立的语义单元作为图节点,然后使用消息传递来更新图中的每个节点。与DAGN类似,Focal Reasoner利用共指关系将文本划分为多个节点单元,构建图结构并使用GNN进行逻辑推理。然而,这两种模型都缺乏对文本中逻辑信息的建模。
基于此,自适应逻辑图网络AdaLoGN被提出。该模型通过集成六种预定义的逻辑关系构建有向文本逻辑图,并使用符号推理规则动态更新图节点。但AdaLoGN构建的逻辑图可能会受到节点之间的长程依赖的影响。相比之下,Logiformer基于文本构建逻辑图和语法图,并使用图转换器从两个角度对节点之间的依赖关系进行建模。TaCo的提出是为了增强模型推理类型的感知,基于模拟不同推理类型与上下文和问答对之间的交互的对比学习。MERIt属于第二类预训练方法。它利用元路径策略从未标记的文本数据中提取逻辑信息,然后使用对比学习进行自监督预训练。此外,同样属于第二类的LReasoner提出了一种逻辑驱动的上下文扩展框架,将逻辑识别、逻辑扩展和逻辑文本化三个步骤集成在一起。然而,它严重依赖于标记之间的交互,这不足以推断上下文中存在的复杂逻辑关系。
发明内容
为解决上述技术问题,本发明提出了一种基于跨图协同建模的机器阅读理解方法,以解决现有技术中存在的问题。
为实现上述目的,本发明提供了一种基于跨图协同建模的机器阅读理解方法,包括以下步骤:
对给定的上下文、问题和答案进行编码,获得新序列,将所述新序列输入到预训练语言模型中,获得输出向量;
通过逻辑连接词和标点符号将所述输出向量进行划分,获得基本话语单元,基于所述基本话语单元构建逻辑图和语义图;
对逻辑图和语义图进行自适应连接节点嵌入,获得逻辑图和语义图的最终表示,对所述逻辑图和语义图进行跨图知识传播分析,获得跨图知识传播分析结果,基于逻辑图和语义图的最终表示和跨图知识传播分析结果进行预测计算,获得每个答案的预测分数。
可选的,所述构建逻辑图的方法包括:
基于标点符号获得节点,根据所述节点获得连接节点的边,基于逻辑连接词得到节点间的逻辑关系,所述逻辑关系包括因果关系、顺序关系、条件关系和未知关系。
可选的,构建语义图的方法包括:
基于标点符号获得节点,根据所述节点获得连接节点的边,通过节点共现率得到节点间的语义关系。
可选的,逻辑图进行自适应连接节点嵌入的方法包括:
通过k跳推理路径收集每个节点的信息,通过所述每个节点的信息计算相关性矩阵,基于所述相关性矩阵恢复逻辑图中推理所需的缺失边并基于逻辑损失函数更新所有节点的表示。
可选的,所述计算相关性矩阵的表达式为:
式中,表示层l逻辑图中所有节点的表示,T表示矩阵转置。
可选的,语义图进行自适应连接节点嵌入的方法包括:
通过两跳推理路径收集来自语义图中的每个节点的相邻节点信息,基于相邻节点信息和语义损失函数进行前向消息传递更新所有节点的表示。
可选的,所述获得每个答案的预测分数的方法包括:
将逻辑图和语义图的最终表示与上下文、选项和问题的表示进行融合,获得融合结果,将融合结果输入到三层感知器中,得到输出结果,通过softmax函数将所述输出结果标准化为概率分布,获得每个答案的预测分数。
可选的,所述跨图知识传播分析的方法包括:
从初始逻辑图和语义图中选择相同节点,将相同节点映射到同一空间,并基于融合损失函数进行推理获得相同节点的相似度。
可选的,所述三层感知器的损失函数基于逻辑损失函数、语义损失函数和融合损失函数获得,三层感知器的损失函数的表达式为:
式中,表示逻辑损失函数,/>表示语义损失函数,/>表示融合损失函数,λ1表示逻辑损失函数的预定义阈值,λ2表示语义损失函数的预定义阈值。
与现有技术相比,本发明具有如下优点和技术效果:
本发明所述的基于跨图协同建模的机器阅读理解方法,通过自适应增强节点之间的连接来降低图的稀疏性,并从语义或逻辑角度分析,能够从给定的上下文和多个候选答案中输出正确答案。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明实施例的基于跨图协同建模的机器阅读理解方法流程图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
如图1所示,本发明提出了一种基于跨图协同建模的机器阅读理解方法,包括以下步骤:
对给定的上下文、问题和答案进行编码,获得新序列,将所述新序列输入到预训练语言模型中,获得输出向量;
通过逻辑连接词和标点符号将所述输出向量进行划分,获得基本话语单元,基于所述基本话语单元构建逻辑图和语义图;
对所述逻辑图和语义图进行自适应连接节点嵌入,获得逻辑图和语义图的最终表示,基于逻辑图和语义图的最终表示进行预测计算,获得每个答案的预测分数。
具体包括以下步骤:
文本编码:
对于每个选项Oi,其相应的标记嵌入是通过将c、Oi和q作为输入来生成的。具体来说,第一步涉及在字符级别连接原始句子以形成新序列S={<s>c1…</s>o1…</s>q1…</s>},然后将其输入到预训练语言模型RoBERTa中,以接收令牌嵌入。输出向量表示形式表示为:
其中<s>表示分类器标记,</s>表示分隔符标记,c={c1…c|c|},q={q1…q|q|}。
多视图构建:
从c和Oi生成的序列根据连接词和标点符号分为基本话语单元。我们通常会忽略q,因为它在当前数据集中提供的信息很少。然后,根据这些基本话语单元及其相应的逻辑和语义关系,分别构建逻辑图和语义图。
逻辑视图的构建如下:
首先,上下文c和选项Oi根据逻辑连接词(如“because”和“while”)和标点符号(如“,”和“;”)。例如,节点V1和节点V2由连接词“because”分隔,指示两个节点之间的因果关系。类似地,节点V5和节点V6由因果连词“Hence”分隔。节点V7和节点V8由连接词“if”分隔,表示两个节点之间的条件关系。其余节点之间缺乏连接表明它们之间存在未知的关系。
其次,假设G1=(V,E1)表示一个逻辑图,其中一组节点V={v1,…,vn},由一组边连接。该图中所有节点的初始表示根据它们在文本中的出现顺序存储在矩阵中,其中d是隐藏层的维度,n是逻辑图中的节点数。矩阵的每一行/>表示节点vi的特征向量,该向量是通过应用RoBERTa并对组成节点的句子或短语的令牌特征进行平均而得出的。从节点i到节点j的边eij表示两个节点之间的逻辑关系。节点之间的边的方向由逻辑连接词决定,反映在相邻矩阵中。本文讨论四种常见的逻辑关系类型,包括因果关系、顺序关系、条件关系和未知关系。这些关系由集合R共同表示。图G1的邻接矩阵用表示,其中/>表示节点i到节点j之间存在第一类关系(因果关系),类似地,如果节点i到节点j之间存在第三类关系(条件关系),则/>否则为0。
语义视图的构建如下:
语义图是由标点符号划分的节点组成的无向图。节点之间的关系用共现率来表示,共现率指的是图中两个节点对应的两个初始字符串集之间的重叠程度。例如,节点U1和节点U3、节点U1和节点U7,以及节点U4且节点U6重叠部分较多,因此认为它们具有共现关系。其中,节点U1和节点U7的重叠率较高,说明两者之间的共现关系较强。
与逻辑视图类似,假设G2=(U,E2)表示一个语义图,图中包含一组节点U={u1,…,um},这些节点由一组边连接图中所有节点的初始表示按顺序存储在矩阵中,其中m是语义图中的节点数。同样,每个节点/> 的表示是通过应用RoBERTa并对每个句子或短语的令牌特征进行平均而得出的。图G2的邻接矩阵用表示。/>表示节点i和节点j之间的共现率。
具有自适应连接的节点嵌入:
我们基于构建的逻辑图和语义图进行逻辑推理,这个推理过程是通过在每次迭代中通过消息传递更新节点嵌入来执行的。此外,据观察,在Logiformer中,构建的逻辑图非常稀疏,这阻碍了模型充分学习节点之间的关系。为了解决逻辑图中的稀疏问题,我们在节点之间引入了相关矩阵,以在迭代过程中自适应地建立它们之间的连接。
逻辑视图的节点嵌入如下:
鉴于上面构建的逻辑图是具有多种类型边的异构图,我们依据AdaLoGN中的方法来迭代学习节点表示。然而,AdaLoGN仅捕获一跳邻居节点的信息,缺乏表达力,无法有效传播消息。因此,CGKPN采用多跳消息传递来整合来自多跳邻居的信息关系。此外,节点之间的相关矩阵用于潜在地恢复迭代过程中推理过程所需的缺失边,这使得能够更全面地学习图中的节点表示。详细步骤如下。
首先,基于逻辑图中的所有节点,按照k跳推理路径,从各种关系下的邻居处收集每个节点的信息。假设Ni是节点vi的邻居节点集合,是在逻辑关系r∈R下与节点vi直接相连的所有邻居节点的集合。/>分别表示逻辑关系r∈R下节点vi在k跳推理路径上的邻居集合。(l+1)层节点vi的表示/>通过与其相邻节点进行前向消息传递进行更新:
其中表示第k跳推理路径下节点vi的所有邻居的聚合信息。/>和表示需要学习的矩阵。K是推理路径中的总跳数。聚合所有邻居的信息后,节点vi将自身特征与接收到的邻居信息相结合,获得新的状态/>
被定义为将(l-k)层的节点表示作为输入,允许局部结构推理并避免不必要的信息带来的冗余。此外,相关性矩阵Mrel用于衡量相邻节点的重要性,使得模型能够根据当前逻辑图中的关系动态调整节点的权重。具体来说,/>表示节点vi和节点vj之间的相关性得分,表示关系的权重。每次迭代中更新的Mrel捕获节点之间的相关程度,使模型能够根据这些权重自适应地在节点之间建立连接。因此,该方法的应用有助于CGKPN学习新的边并减少逻辑图的稀疏性。第l层的相关性矩阵/>计算如下:
其中是层l逻辑图中所有节点的表示。T表示矩阵转置。
使用相同的方法,计算每个节点vi∈V,然后连接形成
接下来,用于更新(l+1)层的相关性矩阵/>基于学习到的相关性,CGKPN恢复逻辑图中推理所需的缺失边并更新所有节点的表示:
在执行上述步骤的L次迭代之后,对于逻辑图中的所有节点,我们使用残差连接融合所有迭代的表示。然后将融合结果输入到双向GRU网络中以获得最终表示:
最后,将逻辑图的最终表示与给定上下文c、选项Oi和问题q的表示融合,并输入到以下结构中以预测答案选项Oi的正确性:
其中Linear表示线性变换的层,Tanh表示激活函数,Pool指平均池化层。和/>分别通过对方程(1)中c、Oi和q的令牌表示求平均而获得。/>是中间参数。Oi'表示集合O中的任何选项。通过应用下面的损失函数作为逻辑损失函数来训练逻辑视图的节点嵌入:
其中Oi表示集合O中的任何选项。Oi∈O表示正确答案。γ是预定义参数。
语义视图的节点嵌入如下:
语义图是具有表示节点之间共现的边的同构图,所有节点都具有相同的边类型。邻接矩阵Ms可以用作每个节点的边权重。我们以与上面逻辑图中描述的类似的方式执行消息传递,以便更新语义图中所有节点的表示。
首先,语义图中的每个节点都沿着两跳推理路径收集来自其邻居的信息。假设Ni是节点ui的邻居节点集合,Nk(i)∈Ni分别表示k跳推理路径上的邻居集合。(l+1)层节点ui的表示通过与其相邻节点进行前向消息传递来更新:
其中表示第k跳推理路径下节点ui的所有邻居的聚合信息。/>和表示需要学习的矩阵。/>指的是节点ui与其一跳邻居节点uj之间的共现率。
显然,应用于逻辑图的等式(2)和应用于语义图的等式(10)之间存在两个显着差异。首先,等式(2)考虑了逻辑图中任何关系下的所有邻居节点,而等式(10)仅考虑语义图中由边连接的邻居,因为只有一种类型的边。其次,等式(2)利用相关性矩阵Mrel对相邻节点的表示进行加权,而等式(10)使用共现矩阵Ms作为边的嵌入。
同样地,计算每个节点ui∈U,然后连接形成
在执行上述步骤的L次迭代之后,通过使用残差连接来融合来自所有迭代的语义图中的所有节点的表示。然后将融合结果输入BiGRU网络以获得最终表示:
与逻辑图所采用的方法类似,语义图的最终表示Hse与上下文c、选项Oi和问题q的表示集成在一起。然后将融合结果输入三层感知器,如等式(7)中所述。输出结果通过softmax函数将其标准化为概率分布,从而生成每个选项的最终预测分数。如上所述,等式(8)描述了该过程。最后,使用与逻辑图中应用的等式(9)相同的损失函数作为语义损失函数来训练语义图中的节点嵌入。
三层感知器的损失函数获取方法如下:
跨图知识传播如下:
基于逻辑视图和语义视图的推理过程分别考虑节点之间的逻辑关系和语义关系。这两个视图从不同的角度学习节点的表示。然而,由于两个图中存在相同的节点,因此有必要在两个图中应用跨图知识传播来约束这些相同的节点,从而实现逻辑视图和语义视图之间的交互式学习。下面提供了该过程的具体步骤。
首先,从初始逻辑图和语义图中选择相同的节点vi∈V和uj∈U。值得注意的是,该模块在整个过程中保留了两个图中完全相同的节点索引。换句话说,完全相同的节点是根据初始节点的表示确定的,并且在整个迭代过程中保持不变。随后,CGKPN将成对的相同节点映射到同一空间,并在经历不同的推理过程后计算它们的相似度。最后,它在推理过程的每次迭代中重复计算相同节点的损失值:
其中<,>表示两个向量的点积,两个线性层和一个ReLU激活函数组成一个三层感知器网络。L是上述推理过程的迭代总数。K对应于逻辑视图和语义视图中完全相同的节点对的数量。和/>分别表示逻辑图和语义图第l层中同一节点的表示。vk和uk指的是在初始逻辑视图和语义视图中检测到的一对相同节点的索引。
通过进行跨图知识传播,可以在逻辑视图和语义视图之间建立相互约束并促进协作学习。这种方法有效地解决了推理过程中两个视图中相同节点可能出现的冲突问题。此外,CGKPN从各个角度捕获关键的隐式信息,使其能够学习完整的节点表示并执行准确的逻辑推理。
训练和推理:
我们将基于逻辑和语义视图的推理过程的损失函数与跨图知识传播的损失函数相结合,得到最终的目标损失函数,将最终的目标损失函数应用到三层感知器中,最终的目标损失函数如下所示:
其中λ1和λ2是两个预定义的阈值,用于从不同角度调节学习信息的重要性。最后,CGKPN从|O|个可用选项中选择得分最高的选项作为最终的预测输出。
以上,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。
Claims (9)
1.一种基于跨图协同建模的机器阅读理解方法,其特征在于,包括以下步骤:
对给定的上下文、问题和答案进行编码,获得新序列,将所述新序列输入到预训练语言模型中,获得输出向量;
通过逻辑连接词和标点符号将所述输出向量进行划分,获得基本话语单元,基于所述基本话语单元构建逻辑图和语义图;
对所述逻辑图和语义图进行自适应连接节点嵌入,获得逻辑图和语义图的最终表示,对所述逻辑图和语义图进行跨图知识传播分析,获得跨图知识传播分析结果,基于所述逻辑图和语义图的最终表示和跨图知识传播分析结果进行预测计算,获得每个答案的预测分数。
2.根据权利要求1所述的基于跨图协同建模的机器阅读理解方法,其特征在于,所述构建逻辑图的方法包括:
基于标点符号获得节点,根据所述节点获得连接节点的边,基于逻辑连接词得到节点间的逻辑关系,所述逻辑关系包括因果关系、顺序关系、条件关系和未知关系。
3.根据权利要求1所述的基于跨图协同建模的机器阅读理解方法,其特征在于,构建语义图的方法包括:
基于标点符号获得节点,根据所述节点获得连接节点的边,通过节点共现率得到节点间的语义关系。
4.根据权利要求1所述的基于跨图协同建模的机器阅读理解方法,其特征在于,逻辑图进行自适应连接节点嵌入的方法包括:
通过k跳推理路径收集每个节点的信息,通过所述每个节点的信息计算相关性矩阵,基于所述相关性矩阵恢复逻辑图中推理所需的缺失边并基于逻辑损失函数更新所有节点的表示。
5.根据权利要求4所述的基于跨图协同建模的机器阅读理解方法,其特征在于,
所述计算相关性矩阵的表达式为:
式中,表示层l逻辑图中所有节点的表示,T表示矩阵转置。
6.根据权利要求1所述的基于跨图协同建模的机器阅读理解方法,其特征在于,语义图进行自适应连接节点嵌入的方法包括:
通过两跳推理路径收集来自语义图中的每个节点的相邻节点信息,基于相邻节点信息和语义损失函数进行前向消息传递更新所有节点的表示。
7.根据权利要求1所述的基于跨图协同建模的机器阅读理解方法,其特征在于,所述获得每个答案的预测分数的方法包括:
将逻辑图和语义图的最终表示与上下文、选项和问题的表示进行融合,获得融合结果,将融合结果输入到三层感知器中,得到输出结果,通过softmax函数将所述输出结果标准化为概率分布,获得每个答案的预测分数。
8.根据权利要求1所述的基于跨图协同建模的机器阅读理解方法,其特征在于,所述跨图知识传播分析的方法包括:
从初始逻辑图和语义图中选择相同节点,将相同节点映射到同一空间,并基于融合损失函数进行推理获得相同节点的相似度。
9.根据权利要求7所述的基于跨图协同建模的机器阅读理解方法,其特征在于,
所述三层感知器的损失函数基于逻辑损失函数、语义损失函数和融合损失函数获得,三层感知器的损失函数的表达式为:
式中,表示逻辑损失函数,/>表示语义损失函数,/>表示融合损失函数,λ1表示逻辑损失函数的预定义阈值,λ2表示语义损失函数的预定义阈值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410050091.3A CN117764085B (zh) | 2024-01-11 | 2024-01-11 | 一种基于跨图协同建模的机器阅读理解方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410050091.3A CN117764085B (zh) | 2024-01-11 | 2024-01-11 | 一种基于跨图协同建模的机器阅读理解方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN117764085A true CN117764085A (zh) | 2024-03-26 |
CN117764085B CN117764085B (zh) | 2024-07-05 |
Family
ID=90322102
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410050091.3A Active CN117764085B (zh) | 2024-01-11 | 2024-01-11 | 一种基于跨图协同建模的机器阅读理解方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117764085B (zh) |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180121603A1 (en) * | 2016-10-27 | 2018-05-03 | International Business Machines Corporation | Identification of Related Electronic Medical Record Documents in a Question and Answer System |
CN113297370A (zh) * | 2021-07-27 | 2021-08-24 | 国网电子商务有限公司 | 基于多交互注意力的端到端多模态问答方法及*** |
CN113688207A (zh) * | 2021-08-24 | 2021-11-23 | 思必驰科技股份有限公司 | 基于网络的结构阅读理解的建模处理方法和装置 |
US20220138432A1 (en) * | 2020-10-29 | 2022-05-05 | Oracle International Corporation | Relying on discourse analysis to answer complex questions by neural machine reading comprehension |
CN115496991A (zh) * | 2022-08-22 | 2022-12-20 | 西北工业大学 | 基于多尺度跨模态特征融合的指代表达理解方法 |
CN116028604A (zh) * | 2022-11-22 | 2023-04-28 | 福州大学 | 一种基于知识增强图卷积网络的答案选择方法及*** |
CN116361438A (zh) * | 2023-03-31 | 2023-06-30 | 福州大学 | 基于文本-知识扩展图协同推理网络的问答方法及*** |
CN117252256A (zh) * | 2023-09-12 | 2023-12-19 | 复旦大学 | 论辩知识图谱、文本图谱编码模型、基于图谱的预训练方法 |
CN117312989A (zh) * | 2023-10-24 | 2023-12-29 | 山东省计算中心(国家超级计算济南中心) | 一种基于GCN和RoBERTa的上下文感知的列语义识别方法和*** |
-
2024
- 2024-01-11 CN CN202410050091.3A patent/CN117764085B/zh active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180121603A1 (en) * | 2016-10-27 | 2018-05-03 | International Business Machines Corporation | Identification of Related Electronic Medical Record Documents in a Question and Answer System |
US20220138432A1 (en) * | 2020-10-29 | 2022-05-05 | Oracle International Corporation | Relying on discourse analysis to answer complex questions by neural machine reading comprehension |
CN113297370A (zh) * | 2021-07-27 | 2021-08-24 | 国网电子商务有限公司 | 基于多交互注意力的端到端多模态问答方法及*** |
CN113688207A (zh) * | 2021-08-24 | 2021-11-23 | 思必驰科技股份有限公司 | 基于网络的结构阅读理解的建模处理方法和装置 |
CN115496991A (zh) * | 2022-08-22 | 2022-12-20 | 西北工业大学 | 基于多尺度跨模态特征融合的指代表达理解方法 |
CN116028604A (zh) * | 2022-11-22 | 2023-04-28 | 福州大学 | 一种基于知识增强图卷积网络的答案选择方法及*** |
CN116361438A (zh) * | 2023-03-31 | 2023-06-30 | 福州大学 | 基于文本-知识扩展图协同推理网络的问答方法及*** |
CN117252256A (zh) * | 2023-09-12 | 2023-12-19 | 复旦大学 | 论辩知识图谱、文本图谱编码模型、基于图谱的预训练方法 |
CN117312989A (zh) * | 2023-10-24 | 2023-12-29 | 山东省计算中心(国家超级计算济南中心) | 一种基于GCN和RoBERTa的上下文感知的列语义识别方法和*** |
Non-Patent Citations (6)
Title |
---|
WU MINGLI 等: "DaGATN: A Type of Machine Reading Comprehension Based on Discourse-Apperceptive Graph Attention Networks", 《APPLIED SCIENCES》, vol. 13, no. 22, 9 November 2023 (2023-11-09), pages 1 - 19 * |
ZHAO ZHUO QIANG 等: "A PID parameter tuning method based on the improved QUATRE algorithm", 《ALGORITHMS》, vol. 14, no. 6, 31 May 2021 (2021-05-31), pages 1 - 14 * |
ZHAO ZHUO 等: "CGKPN: Cross-Graph Knowledge Propagation Network with Adaptive Connection for Reasoning-Based Machine Reading Comprehension", 《ACM TRANSACTIONS ON INTELLIGENT SYSTEMS AND TECHNOLOGY》, 17 April 2024 (2024-04-17), pages 1 - 23 * |
刘涛 等: "低资源场景事件抽取研究综述", 《计算机科学》, vol. 51, no. 02, 7 October 2023 (2023-10-07), pages 217 - 237 * |
周光有 等: "基于关系图卷积网络的代码搜索方法", 《软件学报》, 13 July 2023 (2023-07-13), pages 1 - 17 * |
赵妮妮: "基于图神经网络的协同过滤推荐算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》, no. 02, 15 February 2023 (2023-02-15), pages 138 - 4151 * |
Also Published As
Publication number | Publication date |
---|---|
CN117764085B (zh) | 2024-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110083705B (zh) | 一种用于目标情感分类的多跳注意力深度模型、方法、存储介质和终端 | |
CN108073711B (zh) | 一种基于知识图谱的关系抽取方法和*** | |
CN111078836B (zh) | 基于外部知识增强的机器阅读理解方法、***、装置 | |
KR102234850B1 (ko) | 릴레이션 네트워크에 기반한 지식 보완 방법 및 장치 | |
CN108363690A (zh) | 基于神经网络的对话语义意图预测方法及学习训练方法 | |
CN114117220A (zh) | 基于知识增强的深度强化学习交互式推荐***及方法 | |
CN109753571B (zh) | 一种基于二次主题空间投影的场景图谱低维空间嵌入方法 | |
CN113535904B (zh) | 一种基于图神经网络的方面级情感分析方法 | |
CN110222163A (zh) | 一种融合cnn与双向lstm的智能问答方法及*** | |
CN112527966B (zh) | 基于Bi-GRU神经网络和自注意力机制的网络文本情感分析方法 | |
CN111079409B (zh) | 一种利用上下文和方面记忆信息的情感分类方法 | |
CN109743196B (zh) | 一种基于跨双层网络随机游走的网络表征方法 | |
CN113780002A (zh) | 基于图表示学习和深度强化学习的知识推理方法及装置 | |
CN113673535B (zh) | 一种多模态特征融合网络的图像描述生成方法 | |
CN112289467B (zh) | 一种面向低资源场景可迁移的医疗问诊对话***及方法 | |
CN115510814B (zh) | 一种基于双重规划的篇章级复杂问题生成方法 | |
CN111598118A (zh) | 一种视觉问答任务实现方法及*** | |
CN117435715B (zh) | 一种基于辅助监督信号改进时序知识图谱的问答方法 | |
CN113255366B (zh) | 一种基于异构图神经网络的方面级文本情感分析方法 | |
CN112732888A (zh) | 一种基于图推理模型的答案预测方法及装置 | |
CN114254093A (zh) | 多空间知识增强的知识图谱问答方法及*** | |
CN116402352A (zh) | 一种企业风险预测方法、装置、电子设备及介质 | |
CN117131933A (zh) | 一种多模态知识图谱建立方法及应用 | |
CN114841318A (zh) | 基于跨模态知识蒸馏的智能合约漏洞检测方法 | |
CN116384371A (zh) | 一种基于bert和依存句法联合实体及关系抽取方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |