CN116306663B - 语义角色标注方法、装置、设备以及介质 - Google Patents

语义角色标注方法、装置、设备以及介质 Download PDF

Info

Publication number
CN116306663B
CN116306663B CN202211682971.XA CN202211682971A CN116306663B CN 116306663 B CN116306663 B CN 116306663B CN 202211682971 A CN202211682971 A CN 202211682971A CN 116306663 B CN116306663 B CN 116306663B
Authority
CN
China
Prior art keywords
sentence
vector
annotated
word
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211682971.XA
Other languages
English (en)
Other versions
CN116306663A (zh
Inventor
宋彦
董坤磊
王伟
田元贺
郑毅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Resources Digital Technology Co Ltd
Original Assignee
China Resources Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Resources Digital Technology Co Ltd filed Critical China Resources Digital Technology Co Ltd
Priority to CN202211682971.XA priority Critical patent/CN116306663B/zh
Publication of CN116306663A publication Critical patent/CN116306663A/zh
Application granted granted Critical
Publication of CN116306663B publication Critical patent/CN116306663B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Machine Translation (AREA)

Abstract

本申请涉及人工智能领域，提供了一种语义角色标注方法、装置、设备以及介质，该方法获取待标注语句以及待标注语句中的一个目标动词，通过编码器得到待标注语句中每个对应的隐向量，对待标注语句进行依存句法分析，得到每个词语对应的上下文特征信息以及句法特征信息，之后基于隐向量分别对上下文特征信息以及句法特征信息进行注意力计算，得到每个词语对应的增强向量，最后将隐向量以及增强向量输入至预设的解码器对待标注语句进行语义角色标注，本申请在语义角色标注中全面利用依存句法信息，提高了语义角色标注的准确率，并通过注意力机制对依存句法信息进行建模，能够实现不同句法知识在特定语境下中重要程度的识别。

Description

语义角色标注方法、装置、设备以及介质
技术领域
本申请涉及人工智能领域，尤其涉及一种语义角色标注方法、装置、设备以及介质。
背景技术
语句角色标注是自然语言处理领域中的一种重要任务，该任务的目的是给定句子以及句子中的一个动词，分析句子中其他词语在给定动词的语义结构中的语义角色。
相关的语句角色标注方法中通常采用由编码器和解码器组成的模型，普遍存在准确率不高等技术问题，语义角色标注的准确率会直接影响到下游自然语义理解任务的效果，如何提升语义角色标注的准确率成为亟待解决的问题。
发明内容
本申请实施例的主要目的在于提出一种语义角色标注方法、装置、设备以及介质，能够提高语义角色标注的准确性。
为实现上述目的，本申请实施例的第一方面提出了一种语义角色标注方法，所述方法包括：
获取待标注语句以及所述待标注语句中的一个目标动词；
将所述待标注语句输入至预设的编码器，以通过所述编码器得到所述待标注语句中每个词语对应的隐向量；
对所述待标注语句进行依存句法分析，得到所述待标注语句中每个词语对应的至少一个上下文特征信息以及句法特征信息；
基于所述隐向量分别对所述上下文特征信息以及所述句法特征信息进行注意力计算，得到所述待标注语句中每个词语对应的增强向量；
将所述隐向量以及所述增强向量输入至预设的解码器，以通过所述解码器得到所述待标注语句中的词语相对于所述目标动词的语义角色标签。
根据本申请一些实施例提供的语义角色标注方法，所述基于所述隐向量分别对所述上下文特征信息以及所述句法特征信息进行注意力计算，得到所述待标注语句中每个词语对应的增强向量，包括：
基于所述隐向量对所述上下文特征信息进行注意力计算，得到所述待标注语句中每个词语对应的上下文特征增强向量；
基于所述隐向量对所述句法特征信息进行注意力计算，得到所述待标注语句中每个词语对应的句法特征增强向量；
对所述上下文特征增强向量和所述句法特征增强向量进行整合处理，得到所述待标注语句中每个词语对应的增强向量。
根据本申请一些实施例提供的语义角色标注方法，所述基于所述隐向量对所述上下文特征信息进行注意力计算，得到所述待标注语句中每个词语对应的上下文特征增强向量，包括：
对于所述待标注语句中每个词语，基于预设的第一特征嵌入矩阵对所述上下文特征信息进行特征提取，得到每个所述上下文特征信息对应的上下文特征向量；
根据所述隐向量以及所述上下文特征向量，确定每个所述上下文特征向量对应的注意力权重；
对所述上下文特征向量和所述上下文特征向量对应的注意力权重进行整合处理，得到所述待标注语句中每个词语对应的上下文特征增强向量。
根据本申请一些实施例提供的语义角色标注方法，所述基于所述隐向量对所述句法特征信息进行注意力计算，得到所述待标注语句中每个词语对应的句法特征增强向量，包括：
对于所述待标注语句中每个词语，基于预设的第二特征嵌入矩阵对所述句法特征信息进行特征提取，得到每个所述句法特征信息对应的句法特征向量；
根据所述隐向量以及所述句法特征向量，确定每个所述句法特征向量对应的注意力权重；
对所述句法特征向量和所述句法特征向量对应的注意力权重进行整合处理，得到所述待标注语句中每个词语对应的句法特征增强向量。
根据本申请一些实施例提供的语义角色标注方法，所述将所述隐向量以及所述增强向量输入至预设的解码器，以通过所述解码器得到所述待标注语句中的词语相对于所述目标动词的语义角色标签，包括：
将所述待标注语句中的词语对应的所述隐向量、所述增强向量以及所述目标动词对应的隐向量进行串联处理，得到串联向量；
将所述串联向量输入至预设的解码器，以通过所述解码器得到所述待标注语句中的词语相对于所述目标动词的语义角色标签。
根据本申请一些实施例提供的语义角色标注方法，所述上下文特征向量对应的注意力权重通过以下公式得到：
其中，所述exp(·)表征指数函数，所述hi表征所述待标注语句中第i个词语对应的隐向量，所述mi表征所述待标注语句中第i个词语的上下文特征数量，所述表征所述待标注语句中第i个词语对应的第j个上下文特征向量，所述/>表征上下文特征向量/>对应的注意力权重。
根据本申请一些实施例提供的语义角色标注方法，所述句法特征向量对应的注意力权重通过以下公式得到：
其中，所述exp(·)表征指数函数，所述hi表征所述待标注语句中第i个词语对应的隐向量，所述mi表征所述待标注语句中第i个词语的句法特征数量，所述表征所述待标注语句中第i个词语对应的第j个句法特征向量，所述/>表征句法特征向量/>对应的注意力权重。
为实现上述目的，本申请实施例的第二方面提出了一种语义角色标注装置，所述装置包括：
获取模块，用于获取待标注语句以及所述待标注语句中的一个目标动词；
编码模块，用于将所述待标注语句输入至预设的编码器，以通过所述编码器得到所述待标注语句中每个词语对应的隐向量；
句法分析模块，用于对所述待标注语句进行依存句法分析，得到所述待标注语句中每个词语对应的至少一个上下文特征信息以及句法特征信息；
注意力计算模块，用于基于所述隐向量分别对所述上下文特征信息以及所述句法特征信息进行注意力计算，得到所述待标注语句中每个词语对应的增强向量；
解码模块，用于将所述隐向量以及所述增强向量输入至预设的解码器，以通过所述解码器得到所述待标注语句中的词语相对于所述目标动词的语义角色标签。
为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述第一方面的方法。
为实现上述目的，本申请实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，用于计算机可读存储，所述存储介质存储有一个或者多个计算机程序，所述一个或者多个计算机程序可被一个或者多个处理器执行，以实现上述第一方面的方法。
本申请提出一种语义角色标注方法、语义角色标注装置、电子设备和计算机可读存储介质，所述方法包括获取待标注语句以及待标注语句中的一个目标动词，将待标注语句输入至预设的编码器，得到待标注语句中每个对应的隐向量，对待标注语句进行依存句法分析，得到每个词语对应的至少一个上下文特征信息以及句法特征信息，之后基于隐向量分别对上下文特征信息以及句法特征信息进行注意力计算，得到每个词语对应的增强向量，最后将隐向量以及增强向量输入至预设的解码器，以通过解码器得到待标注语句中的词语相对于目标动词的语义角色标签。本申请实施例在语义角色标注中同时利用词与词之间的依存句法关系以及依存句法关系类型，能够全面利用依存句法信息，提高了语义角色标注的准确率，并通过注意力机制对依存句法信息进行建模，能够实现不同句法知识在特定语境下中重要程度的识别。
附图说明
图1是本申请实施例提供的一种语义角色标注方法的流程示意图；
图2是本申请另一实施例提供的一种语义角色标注方法的流程示意图；
图3是本申请另一实施例提供的一种语义角色标注方法的流程示意图；
图4是本申请另一实施例提供的一种语义角色标注方法的流程示意图；
图5是本申请另一实施例提供的一种语义角色标注方法的流程示意图；
图6是本申请实施例提供的一种依存句法结构示意图；
图7是本申请实施例提供的一种双通道注意力网络的结构示意图；
图8是本申请实施例提供的一种语义角色标注装置的结构示意图；
图9是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
应了解，在本申请实施例的描述中，如果有描述到“第一”、“第二”等只是用于区分技术特征为目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示单独存在A、同时存在A和B、单独存在B的情况。其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项”及其类似表达，是指的这些项中的任意组，包括单项或复数项的任意组。例如，a、b和c中的至少一项可以表示：a，b，c，a和b，a和c，b和c，或者，a和b和c，其中a，b，c可以是单个，也可以是多个。
语句角色标注是自然语言处理领域中的一种重要任务，该任务的目的是给定句子以及句子中的一个动词，分析句子中其他词语在给定动词的语义结构中的语义角色。
相关的语句角色标注方法中通常采用由编码器和解码器组成的模型，普遍存在准确率不高等技术问题，语义角色标注的准确率会直接影响到下游自然语义理解任务的效果，如何提升语义角色标注的准确率成为亟待解决的问题。
基于此，本申请实施例提出一种语义角色标注方法、装置、设备以及介质，能够提高语义角色标注的准确性。
请参见图1，图1示出了本申请实施例提供的一种语义角色标注方法的流程示意图，如图1所示，所述语义角色标注方法包括但不限于步骤S110至步骤S150：
步骤S110，获取待标注语句以及所述待标注语句中的一个目标动词。
可以理解的是，通过获取待标注语句以及待标注语句中的一个目标动词，通过语义角色标注得到待标注语句中其他词语在该目标动词的语义结构中的语义角色标签。示例性的，获取待标注语句为“我吃苹果”以及待标注语句中的动词“吃”，通过语义角色标注得到待标注语句中词语“我”和“苹果”在给定动词“吃”的语义结构中的语义角色标签，即“我”是动词“吃”的施事(动作发出者)，“苹果”是动词“吃”的受事(动作承受者)。
步骤S120，将所述待标注语句输入至预设的编码器，以通过所述编码器得到所述待标注语句中每个词语对应的隐向量。
需要说明的是，编码器可以是BERT编码器，通过BERT编码器对待标注语句进行编码，得到待标注语句中每个词语对应的隐向量。示例性的，待标注语句X＝x1x2…xi…xn，其中，n表示待标注语句中词语的个数，xi表示待标注句子中第i个词语，用xv表征目标动词，通过编码器对待标注语句X进行编码，得到待标注语句中每个词语xi对应的隐向量hi，而目标动词xv对应的隐向量为hv。
步骤S130，对所述待标注语句进行依存句法分析，得到所述待标注语句中每个词语对应的至少一个上下文特征信息以及句法特征信息。
应了解，通过依存句法分析工具对待标注语句进行分析，得到待标注语句的依存句法信息，并从依存句法信息中抽取得到每个词语对应的上下文特征集合以及句法特征集合，其中每个词语对应的上下文特征集合包括至少一个上下文特征信息，句法特征集合包括至少一个句法特征信息。
示例性的，请参见图6，图6示出本申请实施例提供的一种依存句法结构示意图，如图6所示，待标注语句“我吃苹果”，其中“我”与“吃”存在依存句法关系，其关系类型为“名词性主语”，即nsubj；“吃”与“苹果”之间存在依存句法关系，其关系类型为“直接宾语”，即dobj。从依存句法信息中抽取得到每个词语对应的上下文特征集合以及句法特征集合，第一个词语“我”对应的上下文特征集合为{吃}，句法特征集合为{nsubj}；第二个词语“吃”对应的上下文特征集合为{我，苹果}，句法特征集合为{nsubj，dobj}；第三个词语“苹果”对应的上下文特征集合为{苹果}，句法特征集合为{dobj}。
步骤S140，基于所述隐向量分别对所述上下文特征信息以及所述句法特征信息进行注意力计算，得到所述待标注语句中每个词语对应的增强向量。
可以理解的是，通过对词与词之间的依存句法关系(即上下文特征信息)以及依存句法关系类型(即句法特征信息)进行注意力计算，得到待标注语句中每个词语的增强向量，最后基于隐向量和增强向量对待标注语句进行语义角色标注。一方面，在语义角色标注中同时利用词与词之间的依存句法关系以及依存句法关系类型，能够全面利用依存句法信息，提高语义角色标注准确率。另一方面，通过注意力机制对依存句法信息进行建模，能够实现不同句法知识在特定语境下中重要程度的识别，并对其有区别地建模与应用。
步骤S150，将所述隐向量以及所述增强向量输入至预设的解码器，以通过所述解码器得到所述待标注语句中的词语相对于所述目标动词的语义角色标签。
需要说明的是，编码器可以是softmax解码器，通过softmax解码器根据隐向量和增强向量映射得到待标注语句中词语的预测概率值，该预测概率值表征该词语最有可能属于哪个语义角色标签。
在一些实施例中，参见图2，图2示出了本申请实施例提供的一种语义角色标注方法的流程示意图，如图2所示，所述基于所述隐向量分别对所述上下文特征信息以及所述句法特征信息进行注意力计算，得到所述待标注语句中每个词语对应的增强向量，包括但不限于步骤S210至步骤S230：
步骤S210，基于所述隐向量对所述上下文特征信息进行注意力计算，得到所述待标注语句中每个词语对应的上下文特征增强向量；
步骤S220，基于所述隐向量对所述句法特征信息进行注意力计算，得到所述待标注语句中每个词语对应的句法特征增强向量；
步骤S230，对所述上下文特征增强向量和所述句法特征增强向量进行整合处理，得到所述待标注语句中每个词语对应的增强向量。
具体的，请参见图7，图7示出了本申请实施例提供的一种双通道注意力网络的结构示意图，如图7所示，双通道注意力网络包括上下文特征注意力通道以及句法特征注意力通道，对于待标注语句中的每个词语，将隐向量和上下文特征信息输入至上下文特征注意力通道进行计算，得到词语对应的上下文特征增强向量；将隐向量和句法特征信息输入至句法特征注意力通道，得到词语对应的句法特征增强向量，之后通过通道整合模块对上下文特征增强向量和句法特征增强向量进行整合处理，得到词语对应的增量向量。
在一个具体实施例中，所述待标注语句中每个词语对应的增强向量通过以下公式确定：
其中，所述ui为待标注语句中第i个词语对应的增强向量，所述为待标注语句中第i个词语对应的上下文特征增强向量，所述/>为待标注语句中第i个词语对应的句法特征增量向量。
在一些实施例中，参见图3，图3示出了本申请实施例提供的一种语义角色标注方法的流程示意图，如图3所示，所述基于所述隐向量对所述上下文特征信息进行注意力计算，得到所述待标注语句中每个词语对应的上下文特征增强向量，包括但不限于步骤S310至步骤S330：
步骤S310，对于所述待标注语句中每个词语，基于预设的第一特征嵌入矩阵对所述上下文特征信息进行特征提取，得到每个所述上下文特征信息对应的上下文特征向量。
可以理解的是，针对待标注语句中的每个词语，首先基于预设的第一特征嵌入矩阵对其对应的上下文特征信息进行特征提取，得到上下文特征向量。示例性的，待标注语句中词语xi对应有上下文特征集合Ci＝{ci,j|1≤j≤mi}，其中mi为词语xi对应的上下文特征集合Ci中上下文特征信息ci,j的数量，通过特征提取可以得到每个上下文特征信息ci,j对应的上下文特征向量
步骤S320，根据所述隐向量以及所述上下文特征向量，确定每个所述上下文特征向量对应的注意力权重。
应了解，针对待标注语句中的每个词语，根据其对应的隐向量以及上下文特征向量，确定该词语每个上下文特征向量对应的注意力权重，以此对不同的句法信息进行加权，实现对不同句法知识在特定语境下重要程度的识别。
在一些实施例中，所述上下文特征向量对应的注意力权重通过以下公式得到：
其中，所述exp(·)表征指数函数，所述hi表征所述待标注语句中第i个词语对应的隐向量，所述mi表征所述待标注语句中第i个词语的上下文特征数量，所述表征所述待标注语句中第i个词语对应的第j个上下文特征向量，所述/>表征上下文特征向量/>对应的注意力权重。
步骤S330，对所述上下文特征向量和所述上下文特征向量对应的注意力权重进行整合处理，得到所述待标注语句中每个词语对应的上下文特征增强向量。
在一个具体实施例中，所述上下文特征增强向量通过以下公式得到：
其中，所述表征待标注语句中词语xi的上下文特征增强向量，所述mi为词语xi中上下文特征数量，所述/>表征词语xi对应的第j个上下文特征向量，所述/>表征上下文特征向量/>对应的注意力权重。
在一些实施例中，参见图4，图4示出了本申请实施例提供的一种语义角色标注方法的流程示意图，如图4所示，所述基于所述隐向量对所述句法特征信息进行注意力计算，得到所述待标注语句中每个词语对应的句法特征增强向量，包括但不限于步骤S410至步骤S430：
步骤S410，对于所述待标注语句中每个词语，基于预设的第二特征嵌入矩阵对所述句法特征信息进行特征提取，得到每个所述句法特征信息对应的句法特征向量。
可以理解的是，针对待标注语句中的每个词语，首先基于预设的第二特征嵌入矩阵对其对应的句法特征信息进行特征提取，得到句法特征向量。示例性的，待标注语句中词语xi对应有句法特征集合ki＝{ki,j|1≤j≤mi}，其中mi为词语xi对应的句法特征集合Ki中上下文特征信息ki,j的数量，通过特征提取可以得到每个句法特征信息ki,j对应的句法特征向量
步骤S420，根据所述隐向量以及所述句法特征向量，确定每个所述句法特征向量对应的注意力权重。
应了解，针对待标注语句中的每个词语，根据其对应的隐向量以及句法特征向量，确定该词语每个上下文特征向量对应的注意力权重，以此对不同的句法信息进行加权，实现对不同句法知识在特定语境下重要程度的识别。
在一些实施例中，所述句法特征向量对应的注意力权重通过以下公式得到：
其中，所述exp(·)表征指数函数，所述hi表征所述待标注语句中第i个词语对应的隐向量，所述mi表征所述待标注语句中第i个词语的句法特征数量，所述表征所述待标注语句中第i个词语对应的第j个句法特征向量，所述/>表征句法特征向量/>对应的注意力权重。
步骤S430，对所述句法特征向量和所述句法特征向量对应的注意力权重进行整合处理，得到所述待标注语句中每个词语对应的句法特征增强向量。
在一个具体实施例中，所述句法特征增强向量通过以下公式得到：
其中，所述表征待标注语句中词语xi的句法特征增强向量，所述mi为词语xi中句法特征数量，所述/>表征词语xi对应的第j个句法特征向量，所述/>表征句法特征向量/>对应的注意力权重。
具体的，如图7所示，双通道注意力网络包括上下文特征注意力通道以及句法特征注意力通道，上下文特征注意力通道和句法特征注意力通道采用相同的网络结构，每个通道均包括嵌入模块、权重计算模块以及整合模块。
将上下文特征信息ci,j以及隐向量hi作为上下文特征注意力通道的输入，在嵌入模块中，使用上下文特征嵌入矩阵，把待标注语句中第i个词对应的第j个上下文特征信息ci,j转换为上下文特征向量在权重计算模块中，计算待标注语句中第i个词对应的第j个上下文特征信息ci,j的注意力权重/>在整合模块中，计算待标注语句中第i个词对应的上下文特征增强向量/>
将句法特征信息ki,j以及隐向量hi作为句法特征注意力通道的输入，在嵌入模块中，使用句法特征嵌入矩阵，把待标注语句中第i个词对应的第j个句法特征信息ki,j转换为句法特征向量在权重计算模块中，计算待标注语句中第i个词对应的第j个句法特征信息ki,j的注意力权重/>在整合模块中，计算待标注语句中第i个词对应的句法特征增强向量/>
最后通过通道整合模块计算待标注语句中第i个词对应的增强向量ui。
在一些实施例中，参见图5，图5示出了本申请实施例提供的一种语义角色标注方法的流程示意图，如图5所示，所述将所述隐向量以及所述增强向量输入至预设的解码器，以通过所述解码器得到所述待标注语句中的词语相对于所述目标动词的语义角色标签，包括但不限于步骤S510至步骤S520：
步骤S510，将所述待标注语句中的词语对应的所述隐向量、所述增强向量以及所述目标动词对应的隐向量进行串联处理，得到串联向量；
步骤S520，将所述串联向量输入至预设的解码器，以通过所述解码器得到所述待标注语句中的词语相对于所述目标动词的语义角色标签。
示例性的，将待标注语句中第i个词语xi对应的隐向量hi，第i个词语xi对应的增强向量ui以及目标动词xv对应的隐向量hv进行串联，得到串联向量oi；将串联向量oi输入至softmax解码器，得到第i个词语xi的语义角色标签。
本申请提出一种语义角色标注方法，所述方法包括获取待标注语句以及待标注语句中的一个目标动词，将待标注语句输入至预设的编码器，得到待标注语句中每个对应的隐向量，对待标注语句进行依存句法分析，得到每个词语对应的至少一个上下文特征信息以及句法特征信息，之后基于隐向量分别对上下文特征信息以及句法特征信息进行注意力计算，得到每个词语对应的增强向量，最后将隐向量以及增强向量输入至预设的解码器，以通过解码器得到待标注语句中的词语相对于目标动词的语义角色标签。本申请实施例在语义角色标注中同时利用词与词之间的依存句法关系以及依存句法关系类型，能够全面利用依存句法信息，提高了语义角色标注的准确率，并通过注意力机制对依存句法信息进行建模，能够实现不同句法知识在特定语境下中重要程度的识别。
请参见图8，本申请实施例还提供了一种语义角色标注装置100，所述装置包括：
获取模块110，用于获取待标注语句以及所述待标注语句中的一个目标动词；
编码模块120，用于将所述待标注语句输入至预设的编码器，以通过所述编码器得到所述待标注语句中每个词语对应的隐向量；
句法分析模块130，用于对所述待标注语句进行依存句法分析，得到所述待标注语句中每个词语对应的至少一个上下文特征信息以及句法特征信息；
注意力计算模块140，用于基于所述隐向量分别对所述上下文特征信息以及所述句法特征信息进行注意力计算，得到所述待标注语句中每个词语对应的增强向量；
解码模块150，用于将所述隐向量以及所述增强向量输入至预设的解码器，以通过所述解码器得到所述待标注语句中的词语相对于所述目标动词的语义角色标签。
需要说明的是，上述装置的模块之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
请参见图9，图9示出本申请实施例提供的一种电子设备的硬件结构，电子设备200的内部结构包括但不限于：
存储器210，用于存储程序；
处理器220，用于执行存储器210存储的程序，当处理器220执行存储器210存储的程序时，处理器220用于执行上述的语义角色标注方法。
处理器220和存储器210可以通过总线或者其他方式连接。
存储器210作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如本发明任意实施例描述的语义角色标注方法。处理器220通过运行存储在存储器210中的非暂态软件程序以及指令，从而实现上述的语义角色标注方法。
存储器210可以包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需要的应用程序；存储数据区可存储执行上述的语义角色标注方法。此外，存储器210可以包括高速随机存取存储器，还可以包括非暂态存储器，比如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器210可选包括相对于处理器220远程设置的存储器，这些远程存储器可以通过网络连接至该处理器220。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
实现上述的语义角色标注方法所需的非暂态软件程序以及指令存储在存储器210中，当被一个或者多个处理器220执行时，执行本发明任意实施例提供的语义角色标注方法。
本申请实施例还提供了一种计算机可读存储介质，存储有计算机可执行指令，计算机可执行指令用于执行上述的语义角色标注方法。
在一实施例中，该存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，比如，被上述电子设备200中的一个或多个处理器220执行，可使得上述一个或多个处理器220执行本发明任意实施例提供的语义角色标注方法。
以上所描述的实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包括计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的。共享条件下还可作出种种等同的变形或替换，这些等同的变形或替换均包括在本发明权利要求所限定的范围内。

Claims (8)

1.一种语义角色标注方法，其特征在于，所述方法包括：
获取待标注语句以及所述待标注语句中的一个目标动词；
将所述待标注语句输入至预设的编码器，以通过所述编码器得到所述待标注语句中每个词语对应的隐向量；
对所述待标注语句进行依存句法分析，得到所述待标注语句中每个词语对应的至少一个上下文特征信息以及句法特征信息；
基于所述隐向量对所述上下文特征信息进行注意力计算，得到所述待标注语句中每个词语对应的上下文特征增强向量；
基于所述隐向量对所述句法特征信息进行注意力计算，得到所述待标注语句中每个词语对应的句法特征增强向量；
对所述上下文特征增强向量和所述句法特征增强向量进行整合处理，得到所述待标注语句中每个词语对应的增强向量；
将所述待标注语句中的词语对应的所述隐向量、所述增强向量以及所述目标动词对应的隐向量进行串联处理，得到串联向量；
将所述串联向量输入至预设的解码器，以通过所述解码器得到所述待标注语句中的词语相对于所述目标动词的语义角色标签。
2.根据权利要求1所述的语义角色标注方法，其特征在于，所述基于所述隐向量对所述上下文特征信息进行注意力计算，得到所述待标注语句中每个词语对应的上下文特征增强向量，包括：
对于所述待标注语句中每个词语，基于预设的第一特征嵌入矩阵对所述上下文特征信息进行特征提取，得到每个所述上下文特征信息对应的上下文特征向量；
根据所述隐向量以及所述上下文特征向量，确定每个所述上下文特征向量对应的注意力权重；
对所述上下文特征向量和所述上下文特征向量对应的注意力权重进行整合处理，得到所述待标注语句中每个词语对应的上下文特征增强向量。
3.根据权利要求1所述的语义角色标注方法，其特征在于，所述基于所述隐向量对所述句法特征信息进行注意力计算，得到所述待标注语句中每个词语对应的句法特征增强向量，包括：
对于所述待标注语句中每个词语，基于预设的第二特征嵌入矩阵对所述句法特征信息进行特征提取，得到每个所述句法特征信息对应的句法特征向量；
根据所述隐向量以及所述句法特征向量，确定每个所述句法特征向量对应的注意力权重；
对所述句法特征向量和所述句法特征向量对应的注意力权重进行整合处理，得到所述待标注语句中每个词语对应的句法特征增强向量。
4.根据权利要求2所述的语义角色标注方法，其特征在于，所述上下文特征向量对应的注意力权重通过以下公式得到：
其中，exp(·)表征指数函数，hi表征所述待标注语句中第i个词语对应的隐向量，mi表征所述待标注语句中第i个词语的上下文特征数量，表征所述待标注语句中第i个词语对应的第j个上下文特征向量，/>表征上下文特征向量/>对应的注意力权重。
5.根据权利要求3所述的语义角色标注方法，其特征在于，所述句法特征向量对应的注意力权重通过以下公式得到：
其中，exp(·)表征指数函数，hi表征所述待标注语句中第i个词语对应的隐向量，mi表征所述待标注语句中第i个词语的句法特征数量，表征所述待标注语句中第i个词语对应的第j个句法特征向量，/>表征句法特征向量/>对应的注意力权重。
6.一种语义角色标注装置，其特征在于，所述装置包括：
获取模块，用于获取待标注语句以及所述待标注语句中的一个目标动词；
编码模块，用于将所述待标注语句输入至预设的编码器，以通过所述编码器得到所述待标注语句中每个词语对应的隐向量；
句法分析模块，用于对所述待标注语句进行依存句法分析，得到所述待标注语句中每个词语对应的至少一个上下文特征信息以及句法特征信息；
注意力计算模块，用于基于所述隐向量对所述上下文特征信息进行注意力计算，得到所述待标注语句中每个词语对应的上下文特征增强向量，基于所述隐向量对所述句法特征信息进行注意力计算，得到所述待标注语句中每个词语对应的句法特征增强向量，对所述上下文特征增强向量和所述句法特征增强向量进行整合处理，得到所述待标注语句中每个词语对应的增强向量；
解码模块，用于将所述待标注语句中的词语对应的所述隐向量、所述增强向量以及所述目标动词对应的隐向量进行串联处理，得到串联向量，将所述串联向量输入至预设的解码器，以通过所述解码器得到所述待标注语句中的词语相对于所述目标动词的语义角色标签。
7.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至5中任一项所述的方法。
8.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法。
CN202211682971.XA 2022-12-27 2022-12-27 语义角色标注方法、装置、设备以及介质 Active CN116306663B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211682971.XA CN116306663B (zh) 2022-12-27 2022-12-27 语义角色标注方法、装置、设备以及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211682971.XA CN116306663B (zh) 2022-12-27 2022-12-27 语义角色标注方法、装置、设备以及介质

Publications (2)

Publication Number Publication Date
CN116306663A CN116306663A (zh) 2023-06-23
CN116306663B true CN116306663B (zh) 2024-01-02

Family

ID=86793063

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211682971.XA Active CN116306663B (zh) 2022-12-27 2022-12-27 语义角色标注方法、装置、设备以及介质

Country Status (1)

Country Link
CN (1) CN116306663B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117436459B (zh) * 2023-12-20 2024-05-31 商飞智能技术有限公司 一种动词加动词的语义关系识别方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005557A (zh) * 2015-08-06 2015-10-28 电子科技大学 一种基于依存分析的中文兼类词处理方法
CN107818081A (zh) * 2017-09-25 2018-03-20 沈阳航空航天大学 基于深度语义模型与语义角色标注的句子相似度评估方法
CN111475635A (zh) * 2020-05-18 2020-07-31 支付宝(杭州)信息技术有限公司 语义补全方法、装置和电子设备
CN112232024A (zh) * 2020-10-13 2021-01-15 苏州大学 一种基于多标注数据的依存句法分析模型训练方法及装置
WO2022052505A1 (zh) * 2020-09-14 2022-03-17 深圳前海微众银行股份有限公司 基于依存句法的句子主干抽取方法、设备和可读存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105005557A (zh) * 2015-08-06 2015-10-28 电子科技大学 一种基于依存分析的中文兼类词处理方法
CN107818081A (zh) * 2017-09-25 2018-03-20 沈阳航空航天大学 基于深度语义模型与语义角色标注的句子相似度评估方法
CN111475635A (zh) * 2020-05-18 2020-07-31 支付宝(杭州)信息技术有限公司 语义补全方法、装置和电子设备
WO2022052505A1 (zh) * 2020-09-14 2022-03-17 深圳前海微众银行股份有限公司 基于依存句法的句子主干抽取方法、设备和可读存储介质
CN112232024A (zh) * 2020-10-13 2021-01-15 苏州大学 一种基于多标注数据的依存句法分析模型训练方法及装置

Also Published As

Publication number Publication date
CN116306663A (zh) 2023-06-23

Similar Documents

Publication Publication Date Title
CN111222317B (zh) 序列标注方法、***和计算机设备
CN109657054B (zh) 摘要生成方法、装置、服务器及存储介质
CN107832299B (zh) 基于人工智能的标题的改写处理方法、装置及可读介质
CN111309915A (zh) 联合学习的自然语言训练方法、***、设备及存储介质
CN110175851B (zh) 一种作弊行为检测方法及装置
WO2019075967A1 (zh) 企业名称识别方法、电子设备及计算机可读存储介质
CN111062217A (zh) 语言信息的处理方法、装置、存储介质及电子设备
CN113158656B (zh) 讽刺内容识别方法、装置、电子设备以及存储介质
CN112613306A (zh) 抽取实体关系的方法、装置、电子设备、及存储介质
CN116661805B (zh) 代码表示的生成方法和装置、存储介质及电子设备
CN116306663B (zh) 语义角色标注方法、装置、设备以及介质
CN112668333A (zh) 命名实体的识别方法和设备、以及计算机可读存储介质
CN114579963A (zh) 基于数据挖掘的用户行为分析方法、***、设备及介质
CN112599211B (zh) 一种医疗实体关系抽取方法及装置
CN111460224B (zh) 评论数据的质量标注方法、装置、设备及存储介质
CN113705207A (zh) 语法错误识别方法及装置
CN116702765A (zh) 一种事件抽取方法、装置及电子设备
CN113032534A (zh) 对话文本的分类方法和电子设备
CN113836308B (zh) 网络大数据长文本多标签分类方法、***、设备及介质
CN115796141A (zh) 文本数据增强方法和装置、电子设备、存储介质
CN115620726A (zh) 语音文本生成方法、语音文本生成模型的训练方法、装置
CN113011162B (zh) 一种指代消解方法、装置、电子设备及介质
CN114911940A (zh) 文本情感识别方法及装置、电子设备、存储介质
CN114417891A (zh) 基于粗糙语义的回复语句确定方法、装置及电子设备
CN115906838A (zh) 文本抽取方法、装置、电子设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant