CN116702755A - 一种基于依存句法图和短语结构树的文档级关系抽取方法 - Google Patents

一种基于依存句法图和短语结构树的文档级关系抽取方法 Download PDF

Info

Publication number
CN116702755A
CN116702755A CN202310749338.6A CN202310749338A CN116702755A CN 116702755 A CN116702755 A CN 116702755A CN 202310749338 A CN202310749338 A CN 202310749338A CN 116702755 A CN116702755 A CN 116702755A
Authority
CN
China
Prior art keywords
dependency syntax
document
tree
relation
predicted value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310749338.6A
Other languages
English (en)
Inventor
康昭
田玲
惠孛
柯立
鞠蓁轩
吴旭程
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202310749338.6A priority Critical patent/CN116702755A/zh
Publication of CN116702755A publication Critical patent/CN116702755A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Machine Translation (AREA)

Abstract

本发明公开了一种基于依存句法图和短语结构树的文档级关系抽取方法，包括以下步骤：对文档进行编码，通过预训练语言模型，获取文档的字符级嵌入表示和注意力矩阵；构建短语结构树，计算实体对间关系的预测值；构建包含两类节点和三类边的依存句法图，根据依存句法图和文档中的字符级嵌入表示计算实体对间基于依存句法关系的预测值；根据实体对间基于依存句法关系的预测值和实体对间关系的预测值得到最后的预测值，根据最后的预测值获得损失函数，利用损失函数训练依存句法关系模型，使用训练好的依存句法关系模型对待处理文档进行处理，实现文档级的关系抽取，本方案通过考虑文档的语法信息，来实现文档级关系抽取，提升了文档关系抽取效果。

Description

一种基于依存句法图和短语结构树的文档级关系抽取方法
技术领域
本发明涉及自然语言处理领域，尤其涉及一种基于依存句法图和短语结构树的文档级关系抽取方法。
背景技术
关系提取是信息提取中的一项关键任务，旨在对非结构化文本中实体之间的关系模式进行建模。在关系提取任务中，有两个具体场景：句子级关系提取和文档级关系提取。传统的句子级关系抽取的实体常常在一个句子中，而文档级关系提取不仅局限于一个句子内，更加满足真实场景的需要，受到了越来越多的关注。
文档级关系提取的一个主要挑战是推断长句中多个实体对的关系，长句中可能包含不相关甚至有噪声的信息；现有的文档级关系抽取方法在大量不相关信息的情况下，文档级关系抽取有时会遇到复杂的关系实例，而仅通过上下文来学习实例的关系常常会出现抽取效果差的情况，需要考虑文档的语法信息。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于依存句法图和短语结构树的文档级关系抽取方法解决了现有的文档级关系抽取方法遇到复杂的关系实例时抽取效果差的问题。
为了达到上述发明目的，本发明采用的技术方案为：提供一种基于依存句法图和短语结构树的文档级关系抽取方法，包括以下步骤：
S1、对文档进行编码，并通过预训练语言模型，获取文档的字符级嵌入表示；
S2、构建短语结构树，采用Tree-LSTM模型计算实体对间关系的预测值；
S3、构建包含三类节点和三类边的依存句法图，根据依存句法图和文档中的字符级嵌入表示构建依存句法关系模型，并使用依存句法关系模型计算实体对间基于依存句法关系的预测值；
其中，依存句法图包括若干节点，所述依存句法图中的节点构成依存句法树，依存句法树与依存句法图中的边构成依存句法图；
S4、根据实体对间基于依存句法关系的预测值和基于短语结构关系的预测值得到最后的预测值，根据最后的预测值获得损失函数，利用损失函数训练依存句法关系模型，得到训练好的依存句法关系模型；
S5、使用训练好的依存句法关系模型对待进行关系提取的文档进行处理，实现文档级的关系抽取。
进一步地：所述步骤S1包括以下分步骤：
S11、给文档中的每个提及词前后***特殊符号，完成编码；
S12、将编码后文档中的所有字符输入到预训练语言模型中，获得该文档的字符级嵌入表示。
进一步地：所述步骤S2包括以下分步骤：
S21、构建文档的每个句子的短语结构树，使用Tree-LSTM模型进行建模，获得每个句子的句向量嵌入表示；
S22、将每个句子的句向量嵌入表示，获得文档的向量表示；
S23、根据实体对嵌入表示和文档的向量表示，利用双线性层计算实体对间关系的预测值。
进一步地：所述步骤S21包括以下分步骤：
S2101、计算Tree-LSTM模型中输入门的状态转移方程，其公式如下：
其中，ij为节点j的输入门的输出信息，xj为节点j的输入向量，hjl为节点j的第l个孩子节点的隐藏状态，W(i)为输入门输入特征的变换矩阵，为输入门隐藏层的参数变换矩阵，b(i)为输入门的偏置，N(j)为节点j的相邻节点；
S2102、计算Tree-LSTM模型中遗忘门的状态转移方程，其公式如下：
其中，fjk为节点j的第k个孩子节点的遗忘门输出信息，k＝1,2,..,|N(j)|，W(f)为遗忘门输入特征的变换矩阵，为遗忘门隐藏层的非对角线参数矩阵，b(f)为遗忘门的偏置；
S2103、计算Tree-LSTM模型中的输出门的状态转移方程，其公式如下：
其中，oj为输出门的输出信息，W(o)为输出门输入特征的变换矩阵，为输出门隐藏层的参数变换矩阵，b(o)为输出门的偏置；
S2104、计算Tree-LSTM模型中的记忆细胞的状态转移方程，其公式如下：
其中，cj为表示节点j的当前细胞状态，uj表示输入门的接受状态，⊙为点积符号，cjl为节点j的第l个孩子节点的记忆细胞，tanh(.)为激活函数，W(u)和均为参数矩阵，b(u)为偏置。
S2105、计算Tree-LSTM模型中的更新隐藏状态的状态转移方程，其公式如下：
hj＝oj⊙tanh(cj)
其中，hj为更新后的隐藏状态；
S2106、根据Tree-LSTM模型中输入门的状态转移方程、Tree-LSTM模型中遗忘门的状态转移方程、Tree-LSTM模型中的输出门的状态转移方程、Tree-LSTM模型中的记忆细胞的状态转移方程和Tree-LSTM模型中的更新隐藏状态的状态转移方程，构建Tree-LSTM模型；
S2107、为文档的每个句子构建短语结构树，并使用Tree-LSTM模型在每个短语结构树上建模，获得每个句子的句向量表示。
进一步地：所述步骤S23计算实体对间关系的预测值的公式如下所示：
zconst＝pairs,oWconstvdocu+bconst
其中，zconst为实体对间关系的预测值，pairs,o为实体对嵌入表示，vdocu为文档的向量表示，Wconst和bconst均为可训练的参数。
进一步地：所述步骤S3包括以下分步骤：
S31、将文档中的每个字符作为一个节点，构建依存句法图中的节点；
S32、将文档的每个句子输入到依存句法分析器，产生每个句子对应的依存句法树；
S33、构建依存句法图中的边，并通过文档中的字符级嵌入表示赋予每条边权重，完成依存句法图的构建；
S34、采用图卷积网络层对依存句法图进行特征融合和编码，获得最终的嵌入表示；
S35、通过融合实体所有提及词的最终的嵌入表示得到实体嵌入表示，并利用多层感知机计算实体对嵌入表示；
S36、将实体对嵌入表示及其上下文信息进行拼接，形成实体对的完整编码，完成依存句法关系模型的构建，并通过依存句法关系模型计算实体对间基于依存句法关系的预测值。
进一步地：所述步骤S31中，节点包括字符节点和提及词节点；
所述字符节点的节点特征为字符的编码特征；
所述提及词节点的节点特征为提及词中所有字符特征的平均值。
进一步地：所述步骤S33中，所述依存句法图中的边包括双向边和单向边，其中，赋予双向边的权重值为1，赋予单向边的权重值的计算公式为：
其中，Gij为依存句法树根节点i和j之间单向边的权重值，hi和hj分别表示根节点i和节点j的嵌入。
进一步地：所述步骤S4包括以下分步骤：
S41、根据实体对间基于依存句法关系的预测值和实体对间关系的预测值，计算最终的预测值，其公式如下：
zfinal＝zdep+ηzconst
其中，zfinal为最终的预测值，zdep为实体对间基于依存句法关系的预测值，zconst为实体对间关系的预测值，η为调整两个预测值比例的权值参数；
S42、根据最后的预测值获得损失函数，并利用损失函数训练依存句法关系模型，损失函数的数学表达式为：
其中，α为margin超参数，C表示关系类别的数量，zs表示zfinal中分类为无关系的分数，zi表示zfinal中每个类别的分数，max(.)为取大值函数；当两个实体的关系为正确类别时，ti的值为1，当两个实体的关系为不正确类别时，ti的值为0。
本发明的有益效果为：
1.构建依存图提取单个句子中的句法信息，补充原始文本信息，增强文本表示能力；
2.利用短语结构树组织长句的层次语法信息，实现对其的细粒度划分；
3.通过依存图和短语结构树，实现融合额外语法信息并捕捉长句依赖信息，更好地表示文档，从而提升文档关系抽取效果。
附图说明
图1为本发明的文档级关系抽取方法流程示意图
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，在本发明的一个实施例中，提供一种基于依存句法图和短语结构树的文档级关系抽取方法，包括以下步骤：
S1、对文档进行编码，并通过预训练语言模型，获取文档的字符级嵌入表示和注意力矩阵；
在本实施例中，所述步骤S1包括以下分步骤：
S11、给文档中的每个提及词前后***特殊符号，完成编码；
S12、将编码后文档中的所有字符输入到预训练语言模型中，获得该文档的字符级嵌入表示；
整个过程表示如下：
其中，H∈RT*d为该文档的字符级嵌入表示，A∈RT*T为注意力矩阵，T为字符数量，d为字符嵌入的难度，N为文档包括的句子总数，PN为第N个句子包括的字符数，R用于表示矩阵的大小；
S2、构建短语结构树，采用Tree-LSTM模型计算实体对间关系的预测值；
所述步骤S2包括以下分步骤：
S21、构建文档的每个句子的短语结构树，使用Tree-LSTM模型进行建模，获得每个句子的句向量嵌入表示；
所述步骤S21包括以下分步骤：
S2101、计算Tree-LSTM模型中输入门的状态转移方程，其公式如下：
其中，ij为节点j的输入门的输出信息，xj为节点j的输入向量，hjl为节点j的第l个孩子节点的隐藏状态，W(i)为输入门输入特征的变换矩阵，为输入门隐藏层的参数变换矩阵，b(i)为输入门的偏置，N(j)为节点j的相邻节点；
S2102、计算Tree-LSTM模型中遗忘门的状态转移方程，其公式如下：
其中，fjk为节点j的第k个孩子节点的遗忘门输出信息，k＝1,2,..,|N(j)|，W(f)为遗忘门输入特征的变换矩阵，为遗忘门隐藏层的非对角线参数矩阵，b(f)为遗忘门的偏置；
S2103、计算Tree-LSTM模型中的输出门的状态转移方程，其公式如下：
其中，oj为输出门的输出信息，W(o)为输出门输入特征的变换矩阵，为输出门隐藏层的参数变换矩阵，b(o)为输出门的偏置；
S2104、计算Tree-LSTM模型中的记忆细胞的状态转移方程，其公式如下：
其中，cj为表示节点j的当前细胞状态，uj表示输入门的接受状态，⊙为点积符号，cjl为节点j的第l个孩子节点的记忆细胞，tanh(.)为激活函数，W(u)和均为参数矩阵，b(u)为偏置。
S2105、计算Tree-LSTM模型中的更新隐藏状态的状态转移方程，其公式如下：
hj＝oj⊙tanh(cj)
其中，hj为更新后的隐藏状态；
S2106、根据Tree-LSTM模型中输入门的状态转移方程、Tree-LSTM模型中遗忘门的状态转移方程、Tree-LSTM模型中的输出门的状态转移方程、Tree-LSTM模型中的记忆细胞的状态转移方程和Tree-LSTM模型中的更新隐藏状态的状态转移方程，构建Tree-LSTM模型；
S2107、为文档的每个句子构建短语结构树，并使用Tree-LSTM模型在每个短语结构树上建模，获得每个句子的句向量表示。
S22、将每个句子的句向量嵌入表示，获得文档的向量表示；
S23、根据实体对嵌入表示和文档的向量表示，利用双线性层计算实体对间关系的预测值；
所述步骤S23计算实体对间关系的预测值的公式如下所示：
zconst＝pairs,oWconstvdocu+bconst
其中，zconst为实体对间关系的预测值，pairs,o为实体对嵌入表示，vdocu为文档的向量表示，Wconst和bconst均为可训练的参数。
S3、构建包含三类节点和三类边的依存句法图，根据依存句法图和文档中的字符级嵌入表示构建依存句法关系模型，并使用依存句法关系模型计算实体对间基于依存句法关系的预测值；
其中，依存句法图包括若干节点，所述依存句法图中的节点构成依存句法树，依存句法树与依存句法图中的边构成依存句法图；
所述步骤S3包括以下分步骤：
S31、将文档中的每个字符作为一个节点，构建依存句法图中的节点；
所述步骤S31中，节点包括字符节点和提及词节点；
所述字符节点的节点特征为字符的编码特征；
所述提及词节点的节点特征为提及词中所有字符特征的平均值；
S32、将文档的每个句子输入到依存句法分析器，产生每个句子对应的依存句法树；
S33、构建依存句法图中的边，并通过文档中的字符级嵌入表示赋予每条边权重，完成依存句法图的构建；
所述步骤S33中，所述依存句法图中的边包括双向边和单向边，其中，赋予双向边的权重值为1，赋予单向边的权重值的计算公式为：
其中，Gij为依存句法树根节点i和j之间单向边的权重值，hi和hj分别表示根节点i和节点j的嵌入；
S34、采用图卷积网络层对依存句法图进行特征融合和编码，获得最终的嵌入表示；
S35、通过融合实体所有提及词的最终的嵌入表示得到实体嵌入表示，并利用多层感知机计算实体对嵌入表示；
S36、将实体对嵌入表示及其上下文信息进行拼接，形成实体对的完整编码，并通过实体对的完整编码计算实体对间基于依存句法关系的预测值；
S4、根据实体对间基于依存句法关系的预测值和实体对间关系的预测值得到最后的预测值，根据最后的预测值获得损失函数，利用损失函数训练依存句法关系模型，得到训练好的依存句法关系模型。
所述步骤S4包括以下分步骤：
S41、根据实体对间基于依存句法关系的预测值和实体对间关系的预测值，计算最终的预测值，其公式如下：
zfinal＝zdep+ηzconst
其中，zfinal为最终的预测值，zdep为实体对间基于依存句法关系的预测值，zconst为实体对间关系的预测值，η为调整两个预测值比例的权值参数；
S42、根据最后的预测值获得损失函数，并利用损失函数训练依存句法关系模型，损失函数的数学表达式为：
其中，α为margin超参数，C表示关系类别的数量，zs表示zfinal中分类为无关系的分数，zi表示zfinal中每个类别的分数，max(.)为取大值函数；当两个实体的关系为正确类别时，ti的值为1，当两个实体的关系为不正确类别时，ti的值为0。
S5、使用训练好的依存句法关系模型对待进行关系提取的文档进行处理，实现文档级的关系抽取。
在本发明的描述中，需要理解的是，术语“中心”、“厚度”、“上”、“下”、“水平”、“顶”、“底”、“内”、“外”、“径向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或隐含指明的技术特征的数量。因此，限定由“第一”、“第二”、“第三”的特征可以明示或隐含地包括一个或者更多个该特征。

Claims (9)

1.一种基于依存句法图和短语结构树的文档级关系抽取方法，其特征在于，包括以下步骤：
S1、对文档进行编码，并通过预训练语言模型，获取文档的字符级嵌入表示；
S2、构建短语结构树，采用Tree-LSTM模型计算实体对间关系的预测值；
S3、构建包含三类节点和三类边的依存句法图，根据依存句法图和文档中的字符级嵌入表示构建依存句法关系模型，并使用依存句法关系模型计算实体对间基于依存句法关系的预测值；
其中，依存句法图包括若干节点，所述依存句法图中的节点构成依存句法树，依存句法树与依存句法图中的边构成依存句法图；
S4、根据实体对间基于依存句法关系的预测值和基于短语结构关系的预测值得到最后的预测值，根据最后的预测值获得损失函数，利用损失函数训练依存句法关系模型，得到训练好的依存句法关系模型；
S5、使用训练好的依存句法关系模型对待进行关系提取的文档进行处理，实现文档级的关系抽取。
2.根据权利要求1所述的基于依存句法图和短语结构树的文档级关系抽取方法，其特征在于，所述步骤S1包括以下分步骤：
S11、给文档中的每个提及词前后***特殊符号，完成编码；
S12、将编码后文档中的所有字符输入到预训练语言模型中，获得该文档的字符级嵌入表示。
3.根据权利要求2所述的基于依存句法图和短语结构树的文档级关系抽取方法，其特征在于，所述步骤S2包括以下分步骤：
S21、构建文档的每个句子的短语结构树，使用Tree-LSTM模型进行建模，获得每个句子的句向量嵌入表示；
S22、将每个句子的句向量嵌入表示，获得文档的向量表示；
S23、根据实体对嵌入表示和文档的向量表示，利用双线性层计算实体对间关系的预测值。
4.根据权利要求3所述的基于依存句法图和短语结构树的文档级关系抽取方法，其特征在于，所述步骤S21包括以下分步骤：
S2101、计算Tree-LSTM模型中输入门的状态转移方程，其公式如下：
其中，ij为节点j的输入门的输出信息，xj为节点j的输入向量，为节点j的第/>个孩子节点的隐藏状态，W(i)为输入门输入特征的变换矩阵，/>为输入门隐藏层的参数变换矩阵，b(i)为输入门的偏置，N(j)为节点j的相邻节点；
S2102、计算Tree-LSTM模型中遗忘门的状态转移方程，其公式如下：
其中，fjk为节点j的第k个孩子节点的遗忘门输出信息，k＝1,2,..,|N(j)|，W(f)为遗忘门输入特征的变换矩阵，为遗忘门隐藏层的非对角线参数矩阵，b(f)为遗忘门的偏置；
S2103、计算Tree-LSTM模型中的输出门的状态转移方程，其公式如下：
其中，oj为输出门的输出信息，W(o)为输出门输入特征的变换矩阵，为输出门隐藏层的参数变换矩阵，b(o)为输出门的偏置；
S2104、计算Tree-LSTM模型中的记忆细胞的状态转移方程，其公式如下：
其中，cj为表示节点j的当前细胞状态，uj表示输入门的接受状态，⊙为点积符号，为节点j的第/>个孩子节点的记忆细胞，tanh(.)为激活函数，W(u)和/>均为参数矩阵，b(u)为偏置。
S2105、计算Tree-LSTM模型中的更新隐藏状态的状态转移方程，其公式如下：
hj＝oj⊙tanh(cj)
其中，hj为更新后的隐藏状态；
S2106、根据Tree-LSTM模型中输入门的状态转移方程、Tree-LSTM模型中遗忘门的状态转移方程、Tree-LSTM模型中的输出门的状态转移方程、Tree-LSTM模型中的记忆细胞的状态转移方程和Tree-LSTM模型中的更新隐藏状态的状态转移方程，构建Tree-LSTM模型；
S2107、为文档的每个句子构建短语结构树，并使用Tree-LSTM模型在每个短语结构树上建模，获得每个句子的句向量表示。
5.根据权利要求4所述的基于依存句法图和短语结构树的文档级关系抽取方法，其特征在于，所述步骤S23计算实体对间关系的预测值的公式如下所示：
zconst＝pairs,oWconstvdocu+bconst
其中，zconst为实体对间关系的预测值，pairs,o为实体对嵌入表示，vdocu为文档的向量表示，Wconst和bconst均为可训练的参数。
6.根据权利要求5所述的基于依存句法图和短语结构树的文档级关系抽取方法，其特征在于，所述步骤S3包括以下分步骤：
S31、将文档中的每个字符作为一个节点，构建依存句法图中的节点；
S32、将文档的每个句子输入到依存句法分析器，产生每个句子对应的依存句法树；
S33、构建依存句法图中的边，并通过文档中的字符级嵌入表示赋予每条边权重，完成依存句法图的构建；
S34、采用图卷积网络层对依存句法图进行特征融合和编码，获得最终的嵌入表示；
S35、通过融合实体所有提及词的最终的嵌入表示得到实体嵌入表示，并利用多层感知机计算实体对嵌入表示；
S36、将实体对嵌入表示及其上下文信息进行拼接，形成实体对的完整编码，完成依存句法关系模型的构建，并通过依存句法关系模型计算实体对间基于依存句法关系的预测值。
7.根据权利要求6所述的基于依存句法图和短语结构树的文档级关系抽取方法，其特征在于，所述步骤S31中，节点包括字符节点和提及词节点；
所述字符节点的节点特征为字符的编码特征；
所述提及词节点的节点特征为提及词中所有字符特征的平均值。
8.根据权利要求7所述的基于依存句法图和短语结构树的文档级关系抽取方法，其特征在于，所述步骤S33中，所述依存句法图中的边包括双向边和单向边，其中，赋予双向边的权重值为1，赋予单向边的权重值的计算公式为：
其中，Gij为依存句法树根节点i和j之间单向边的权重值，hi和hj分别表示根节点i和节点j的嵌入。
9.根据权利要求8所述的基于依存句法图和短语结构树的文档级关系抽取方法，其特征在于，所述步骤S4包括以下分步骤：
S41、根据实体对间基于依存句法关系的预测值和实体对间关系的预测值，计算最终的预测值，其公式如下：
zfinal＝zdep+ηzconst
其中，zfinal为最终的预测值，zdep为实体对间基于依存句法关系的预测值，zconst为实体对间关系的预测值，η为调整两个预测值比例的权值参数；
S42、根据最后的预测值获得损失函数，并利用损失函数训练依存句法关系模型，损失函数的数学表达式为：
其中，α为margin超参数，C表示关系类别的数量，zs表示zfinal中分类为无关系的分数，zi表示zfinal中每个类别的分数，max(.)为取大值函数；当两个实体的关系为正确类别时，ti的值为1，当两个实体的关系为不正确类别时，ti的值为0。
CN202310749338.6A 2023-06-21 2023-06-21 一种基于依存句法图和短语结构树的文档级关系抽取方法 Pending CN116702755A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310749338.6A CN116702755A (zh) 2023-06-21 2023-06-21 一种基于依存句法图和短语结构树的文档级关系抽取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310749338.6A CN116702755A (zh) 2023-06-21 2023-06-21 一种基于依存句法图和短语结构树的文档级关系抽取方法

Publications (1)

Publication Number Publication Date
CN116702755A true CN116702755A (zh) 2023-09-05

Family

ID=87844898

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310749338.6A Pending CN116702755A (zh) 2023-06-21 2023-06-21 一种基于依存句法图和短语结构树的文档级关系抽取方法

Country Status (1)

Country Link
CN (1) CN116702755A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117807956A (zh) * 2023-12-29 2024-04-02 兰州理工大学 一种基于临床文本树结构的icd自动编码方法
CN117951313A (zh) * 2024-03-15 2024-04-30 华南理工大学 基于实体关***计关联的文档关系抽取方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117807956A (zh) * 2023-12-29 2024-04-02 兰州理工大学 一种基于临床文本树结构的icd自动编码方法
CN117951313A (zh) * 2024-03-15 2024-04-30 华南理工大学 基于实体关***计关联的文档关系抽取方法
CN117951313B (zh) * 2024-03-15 2024-07-12 华南理工大学 基于实体关***计关联的文档关系抽取方法

Similar Documents

Publication Publication Date Title
CN108984745B (zh) 一种融合多知识图谱的神经网络文本分类方法
CN109284506B (zh) 一种基于注意力卷积神经网络的用户评论情感分析***及方法
CN110263323B (zh) 基于栅栏式长短时记忆神经网络的关键词抽取方法及***
CN105938485B (zh) 一种基于卷积循环混合模型的图像描述方法
CN109002852B (zh) 图像处理方法、装置、计算机可读存储介质和计算机设备
CN111241294B (zh) 基于依赖解析和关键词的图卷积网络的关系抽取方法
CN110083833B (zh) 中文字词向量和方面词向量联合嵌入情感分析方法
CN116702755A (zh) 一种基于依存句法图和短语结构树的文档级关系抽取方法
CN111753024B (zh) 一种面向公共安全领域的多源异构数据实体对齐方法
US20140236578A1 (en) Question-Answering by Recursive Parse Tree Descent
CN112487143A (zh) 一种基于舆情大数据分析的多标签文本分类方法
CN111858932A (zh) 基于Transformer的多重特征中英文情感分类方法及***
CN111160467A (zh) 一种基于条件随机场和内部语义注意力的图像描述方法
CN110795556A (zh) 一种基于细粒度***式解码的摘要生成方法
CN110765775A (zh) 一种融合语义和标签差异的命名实体识别领域自适应的方法
CN106484674A (zh) 一种基于深度学习的中文电子病历概念抽取方法
CN111079409B (zh) 一种利用上下文和方面记忆信息的情感分类方法
CN111125333B (zh) 一种基于表示学习与多层覆盖机制的生成式知识问答方法
CN110879940A (zh) 一种基于深度神经网络的机器翻译方法及***
CN111950296A (zh) 一种基于bert微调模型的评论目标情感分析
Zhang et al. A BERT fine-tuning model for targeted sentiment analysis of Chinese online course reviews
CN113704416A (zh) 词义消歧方法、装置、电子设备及计算机可读存储介质
CN105975497A (zh) 微博话题自动推荐方法及装置
CN112464816A (zh) 基于二次迁移学习的地方手语识别方法、装置
Sadr et al. Improving the performance of text sentiment analysis using deep convolutional neural network integrated with hierarchical attention layer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination