CN116383387A - 一种基于事理逻辑的联合事件抽取方法 - Google Patents
一种基于事理逻辑的联合事件抽取方法 Download PDFInfo
- Publication number
- CN116383387A CN116383387A CN202310363825.9A CN202310363825A CN116383387A CN 116383387 A CN116383387 A CN 116383387A CN 202310363825 A CN202310363825 A CN 202310363825A CN 116383387 A CN116383387 A CN 116383387A
- Authority
- CN
- China
- Prior art keywords
- word
- matrix
- layer
- event
- sentence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000605 extraction Methods 0.000 title claims abstract description 109
- 238000000034 method Methods 0.000 claims abstract description 57
- 239000011159 matrix material Substances 0.000 claims description 122
- 239000013598 vector Substances 0.000 claims description 110
- 238000013527 convolutional neural network Methods 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 25
- 230000006870 function Effects 0.000 claims description 16
- 230000011218 segmentation Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 11
- 238000004458 analytical method Methods 0.000 claims description 7
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 7
- 230000007246 mechanism Effects 0.000 claims description 7
- 238000006116 polymerization reaction Methods 0.000 claims description 7
- 230000001960 triggered effect Effects 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 4
- 230000002441 reversible effect Effects 0.000 claims description 4
- 238000012546 transfer Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 230000002457 bidirectional effect Effects 0.000 claims description 2
- 230000000694 effects Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 6
- 230000001364 causal effect Effects 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 230000002776 aggregation Effects 0.000 description 4
- 238000004220 aggregation Methods 0.000 description 4
- 235000019580 granularity Nutrition 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 239000013604 expression vector Substances 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 230000000052 comparative effect Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 229940050561 matrix product Drugs 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于事理逻辑的联合事件抽取方法,其包括:将句子输入事理逻辑关系抽取模型,得到句子中的事件关系对;将句子中的事件关系对中每个事件输入基于图注意力网络的联合事件抽取模型,得到句子对应的抽取结果;抽取结果包括触发词分类及论元分类。本发明提高了句子中多个事件抽取的准确性。
Description
技术领域
本发明涉及事件抽取技术领域,特别是一种基于事理逻辑的联合事件抽取方法。
背景技术
随着互联网和文本挖掘技术的快速发展,事件任务的相关研究越来越受到研究人员的重视,一篇文本往往包含多个事件,这些事件可能都是围绕同一个主题进行叙述。在这些事件之间,存在多种事理逻辑,如时序、因果、条件、转折等,通过分析这些事理逻辑,可以更深入地了解文本中事件的演变和发展过程,并有助于推断事件之间的关系。事件抽取是从非结构化数据中提取出结构化的事件信息的重要任务。通常包括四个子任务:触发词识别、事件类型检测、事件论元识别和论元角色检测。句子级事件抽取的研究方法可以分为基于管道方式和基于联合方式。管道方式先识别事件类型,再提取事件论元;联合方式通过联合学习触发词和论元,避免触发词抽取错误对论元抽取的影响。事件抽取在许多领域中都非常有用,例如,将提取出的事件信息存储到知识库中,可以为信息检索提供有用的信息,进而进行知识推理。
现有技术方案:
中国科学院自动化研究所的专利申请“事件抽取方法、装置、电子设备及存储介质”(专利号:202110827424.5),提供了一种事件抽取方法,包括以下步骤:将待抽取文档输入至事件抽取模型,模型包括句子级特征提取层、文档级特征提取层、特征解码层和事件预测层;句子级特征提取层使用Transformer模型编码待抽取文档中每个语句,得到对应的上下文特征向量和事件元素表示向量;文档级特征提取层接着提取特征,得到文档编码向量和文档事件元素表示向量;特征解码层分析得到角色关系表示向量、事件关系表示向量和事件到角色关系表示向量;最后在事件预测层提取多个事件并实现事件元素的分配,输出预测结果。该方法的缺点是,在对事件的抽取中,只考虑了句子序列的特征,但是忽略了句子的句法特征,使得模型难以获取一个句子里多个事件的相关性,没有对不同特征赋予不同的权重信息。
北京明略昭辉科技有限公司的专利申请“因果关系抽取方法,装置,电子设备及可读存储介质”(专利号:202210308591.3),提出了一种事件因果关系抽取方法,包括以下步骤:对待抽取文本进行分词操作得到多个单位词,并对各单位词进行词性标注得到各单位词对应的词性标识;获取预设事件规则集,将词性标识与预设事件规则集中的事件子规则匹配的单位词进行组合,得到多个单位事件;获取训练完成的规则模型,将单位事件输入到训练完成的规则模型中,通过训练完成的规则模型的输出得到待抽取文本的因果关系抽取结果。该方法的缺点是,没有考虑到单词之间的依存关系,也没有使用外部的词汇信息,使得字符的语义性没有得到充分利用。并且人为构造规则的方法虽然对于特定领域来说准确率比较高,但是其可移植性不高、泛化性较弱,无法广泛用于多种领域数据。
山西大学的专利申请“一种基于多粒度实体异构图的篇章级事件抽取方法及装置”(专利号:202210348614.3),提出了一种篇章级事件抽取方法,包括以下步骤:使用基于句子和段落的上下文信息分别进行实体抽取,并基于一种多粒度实体选择策略融合两种粒度的实体集,提高了实体提取的精度;结合句子与筛选出的候选实体,构造融入多粒度实体的异构图,并利用图卷积网络获得具有篇章级上下文感知的实体和句子的向量化表示,提高了句子和实体对于事件的感知能力;最后进行事件类型和事件论元的多标签分类,实现事件检测和论元识别。该方法的缺点是:没有构建词语之间的依赖关系,对不同特征没有计算注意力权重信息,使得重要的文本特征没有对输出结果起到更多的作用。
现有技术的缺点包括:
1、在对事件的抽取中,只考虑了句子序列的特征,但是忽略了句子的句法特征,使得模型难以获取一个句子里多个事件的相关性,没有对不同特征赋予不同的权重信息。
2、没有考虑到单词之间的依存关系,也没有使用外部的词汇信息,使得事件边界模糊、难以确定。并且人为构造规则的方法虽然对于特定领域来说准确率比较高,但是其可移植性不高、泛化性较弱,无法广泛用于多种领域数据。
3、没有构建词语之间的依赖关系,对不同特征没有计算注意力权重信息,使得重要的文本特征没有对输出结果起到更多的作用。
发明内容
鉴于此,本发明提供一种基于事理逻辑的联合事件抽取方法,以解决上述技术问题。
本发明公开了一种基于事理逻辑的联合事件抽取方法,其包括:
将句子输入事理逻辑关系抽取模型,得到所述句子中的事件关系对;
将所述句子中的事件关系对中每个事件输入基于图注意力网络的联合事件抽取模型,得到句子对应的抽取结果;其中,所述抽取结果包括触发词分类及论元分类;
所述事理逻辑关系抽取模型包括编码层、特征提取层、事件关系识别层;
所述将句子输入事理逻辑关系抽取模型,得到所述句子对应的抽取结果,包括:
将句子输入编码层,得到所述编码层输出的句子对应的文本特征矩阵;
将所述文本特征矩阵输入所述特征提取层,得到所述特征提取层输出的全局和局部的特征表示矩阵;
将所述全局和局部的特征表示矩阵输入所述事件关系识别层,识别出句子中的事件关系对。
进一步地,所述将句子输入编码层,得到所述编码层输出的句子对应的文本特征矩阵,包括:
将句子输入所述编码层中的嵌入层,以将句子中每个单词转换成词向量通过BERT模型编码后生成词向量表示矩阵;
使用SoftLexicon方法引入外部词典,将句子中的字符和词典进行匹配,得到字符对应的词语,根据字符在该词语中所处的位置,把该词语分别放到四个词语集合中:B、M、E、S;该词语集合分别表示该字符的位置在词语的开头、中间部分、结尾以及独自构成一个词语;
在得到句子中每个字符的四个词语集合后,把每个词语集合表示成一个固定长度的向量,将词频作为每个词的权重系数,对每个集合中的所有词的词向量嵌入进行加权计算,分别获取每个字符的词语集合的向量;
把一个字符对应的四个词语集合的向量都拼接到该字符对应的BERT字向量中,即得到新的词向量表示矩阵X1;
对事件的触发词特征、事件的顺序特征、关系连接词特征赋予不同的权重进行融合,得到多维度特征矩阵X2;
进一步地,所述将所述文本特征矩阵输入所述特征提取层,得到所述特征提取层输出的全局和局部的特征表示矩阵,包括:
将文本特征矩阵输入所述特征提取层的卷积层,得到多层卷积层的最终特征表示DCNN;DCNN∈Rn×m中每行表示每个单词通过多层卷积提取的词汇级别的特征;m为卷积核的个数,n为句子中词语的个数;
对所有词语进行最大池化操作后,得到矩阵P,P=[p1,p2,...,pn],pi为对第i个词语进行最大池化操作后得到的向量;
将DCNN输入所述特征提取层的自注意力层,得到词汇级别的特征D'CNN,D'CNN∈Rn×m;
把文本特征矩阵输入所述特征提取层的双向门控循环单元,得到输出矩阵HGRU;其中,双向门控循环单元由前向GRU和反向GRU组成,设定隐藏单元的个数为s,那么HGRU∈Rn ×(2×s);HGRU中每行表示每个单词通过双向门控循环单元提取的句子级别的特征;
把矩阵HGRU输入所述特征提取层的另一个自注意力层,得到句子级别的特征H′GRU;
将H′GRU、D'CNN输入所述特征提取层的全局注意力机制层,得到输出特征矩阵G;
进一步地,所述事件关系识别层采用条件随机场CRF模型;
设CRF输出的一个标签序列为L=[l1,l2,...,ln],则一个标签序列L的总得分为:
最大化正确标签序列L*的对数似然估计函数,事理逻辑关系抽取模型的目标函数的计算方法为:
模型的损失函数loss定义为loss=-log(P(L*|Z)),通过反向传播优化参数。
进一步地,所述将所述句子中的事件关系对中所有事件放到一个集合中,形成文本集合,并将该文本集合输入基于图注意力网络的联合事件抽取模型,得到句子对应的抽取结果,包括:
将词向量表示矩阵X1、词性嵌入矩阵X2、实体类别嵌入矩阵X3拼接在一起,即可得到文本特征矩阵X;
将文本特征矩阵X输入双向长短期记忆网络Bi-LSTM模型,得到输出矩阵HLSTM;
使用DDParser对句子进行依存句法分析,得到句法依赖图,并对所述句法依赖图进行扩充;
将句法依赖图的特征节点和关系边作为N阶图注意力神经网络的第m层输入,图注意力网络对图中每个节点特征vi进行聚合计算得到聚合特征v′i;最终得到图注意力网络层的输出V'集合,V'集合中节点数量是n+k+m;
基于图注意力网络的联合事件抽取模型中的触发词及论元识别层对触发词和论元进行联合抽取,使用BIO标注的方法进行多分类任务,把上一层的输出矩阵O先输入一个全连接层,经过激活函数后得到矩阵O',然后接上一个softmax层对所有类型的向量进行归一化操作,从而实现事件触发词分类;
得到候选触发词后,使用O'这个输出矩阵对句子中的实体列表进行论元分类;对触发词包含的多个词向量进行平均池化,得到候选触发词的向量表示Ti,然后把Ti和其他每个词语的向量Ej拼接起来,并输入到全连接网络中,接上一个softmax层来实现论元分类。
进一步地,在所述将词向量表示矩阵X1、词性嵌入矩阵X2、实体类别嵌入矩阵X3拼接在一起,即可得到文本特征矩阵X之前,所述方法还包括:
通过所述基于图注意力网络的联合事件抽取模型中的ERNIE模型编码生成词向量表示矩阵X1;
所述基于图注意力网络的联合事件抽取模型对输入的句子中的事件文本进行分词和词性标注,最终得到句子S对应的词性嵌入矩阵X2;
按照BIO标记规则对文本进行实体类别标注,然后通过随机初始化,并且反向传播进行优化,得到训练好的实体类别向量,获得每个词对应的实体类别嵌入表示,最终得到句子S对应的实体类别嵌入矩阵X3。
进一步地,所述基于图注意力网络的联合事件抽取模型对输入的句子中的事件文本进行分词和词性标注,最终得到句子S对应的词性嵌入矩阵X2,包括:
所述基于图注意力网络的联合事件抽取模型对输入的句子中的事件文本进行分词和词性标注,然后按照BIO标记规则对每个词的词性进行标记,标签包括B-pos,I-pos,E-pos,单个字符组成的词用S-pos表示,pos指的是每个词语的词性,然后通过随机初始化,并且反向传播进行优化,得到训练好的词性向量,获得每个词性对应的词性嵌入表示,最终得到句子S对应的词性嵌入矩阵X2。
进一步地,所述对所述句法依赖图进行扩充的实现过程为:
定义任意之间存在路径的两个词语向量节点vi,vj的最短路径是pij,任意两个相邻词语向量节点间的边定义为(wm,wm+1);wi指的是第i个词语向量节点;
采用BiGRU网络对两个词语向量节点最短路径上的所有节点的特征进行融合,前后向GRU的输出分别为和/>将/>和/>拼接到一起,得到融合后的特征向量h,即BiGRU在t时刻的输出/>将其作为这两个节点各自的周围节点;
最后,得到扩充后的句法依赖图G=(V,E),其中,V是节点的集合,包含三个子集Vc、Vw和Vb,Vc是n个字符向量节点的集合,n为句子长度,Vw是分词后的k个词语向量节点的集合,Vb是由最短路径算法计算出的每个词语向量节点的周围节点集合,大小为m。
进一步地,所述图注意力网络对句法依赖图中每个节点特征vi进行聚合计算得到聚合特征v′i的计算方法如以下公式所示:
经过以上的计算,得到了图注意力网络层的输出V’集合,V’集合中节点数量是n+k+m,但在后续的分类过程中不需要对k个词语向量节点和m个周围节点进行分类,所以将其舍弃,只留下前n个字符节点,将其转换成矩阵表示O。
进一步地,采用如下公式,实现事件触发词分类:
O'=tanh(WOO+bO)
通过如下公式,实现论元分类:
由于采用了上述技术方案,本发明具有如下的优点:针对提取的特征中缺少句法信息的问题,本发明把依存句法分析结果输入图注意力网络中,可以学习到句法结构特征;针对事件边界模糊、难以确定的问题,本发明引入了外部词汇信息和多种特征向量表示,同时考虑了两种不同层次的特征,词汇级别的特征和句子级别的特征,解决了事件边界模糊以及特征选择不够全面的问题;针对没有利用重要文本特征的问题,本发明在事件抽取中使用图注意力网络对句法依赖图进行特征聚合,在事理逻辑关系抽取中使用多种注意力机制构建词语间的依赖关系,对不同特征计算不同的注意力权重,提高了句中多个事件抽取的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明实施例中记载的一些实施例,对于本领域普通技术人员来讲,还可以根据这些附图获得其他的附图。
图1为本发明实施例的基于多特征融合的事理逻辑关系抽取模型框架图;
图2为本发明实施例的BiGRU结构图;
图3为本发明实施例的基于图注意力网络的联合事件抽取模型框架图;
图4为本发明实施例的句法依赖图示例图。
具体实施方式
结合附图和实施例对本发明作进一步说明,显然,所描述的实施例仅是本发明实施例一部分实施例,而不是全部的实施例。本领域普通技术人员所获得的所有其他实施例,都应当属于本发明实施例保护的范围。
参见图1,本发明提供了一种基于事理逻辑的联合事件抽取方法的实施例,其主要包括两大模块,事理逻辑关系抽取模型、联合事件抽取模型。首先基于多特征融合的事理逻辑关系抽取模型分为三层:编码层、特征提取层、关系识别层,框架图如图1所示。
1.文本特征向量构建。
本发明采用BERT作为模型的编码器,为了进一步从文本中提取语义信息和抽象特征,本发明通过微调来提高整个模型的效果。给定句子S,嵌入层会把每个单词转换成d维的词向量,最后通过BERT模型编码后生成词向量表示矩阵X1。
接下来,本发明使用SoftLexicon方法来引入外部的词语信息,将句子中的字符和词典进行匹配,得到字符对应的一些词语,根据字符在这些词语中所处的位置,把这些词语分别放到四个词语集合中:B、M、E、S。这些词语集合分别表示该字符的位置在词语的开头、中间部分、结尾以及独自构成一个词语。倘若在匹配词典之后没有找到对应词集的词语,就用None填充对应词集。四个词集的内容如公式(1)所示。
其中,L表示外部词典,ci表示句子中第i个字符。
在得到句子中每个字符的四个词语集合后,把每个词语集合要表示成一个固定长度的向量,在计算过程中,将词频作为每个词的权重系数,对每个集合中的所有词的词向量嵌入进行加权计算,第i个字符的集合S的向量计算过程如公式(2)所示。
最后,把一个字符对应的四个词语集合的向量都拼接到该字符对应的BERT字向量中,由此得到新的X1矩阵。
随后,本发明对事理逻辑关系相关的三种特征进行向量表示:事件的触发词特征、事件的顺序特征、关系连接词特征。对以上三种多维度的特征向量赋予不同的权重进行融合,得到矩阵X2,计算过程如公式(3)所示。
2.词汇级和句子级特征提取。
卷积层的输入是文本特征矩阵X,卷积运算就是卷积核与输入矩阵的乘积运算,通过使用窗口大小为w的卷积核W(W∈Rw×n),在输入矩阵X上滑动窗口来获得每个词语xi的局部上下文特征di。如果词语的前后没有其他词语,就补零把句子补齐。
设定xi,i+j是从i到i+j的向量xi,xi+1,...,xi+j,每个词语xi的局部上下文特征di的计算过程如公式(4)所示。
di=σ(W*xi-w/2:i+w/2+b) (4)
其中,σ(·)是非线性激活函数,xi-w/2:i+w/2表示词窗口w中i-w/2到i+w/2范围内的输入向量表示,b是偏置参数。
对于输入矩阵X,在通过卷积网络之后,输出特征向量d如公式(5)所示,其中n表示句子的长度。
d=[d1,...,di,...,dn] (5)
为了捕获不同粒度的局部特征,本发明使用两层的CNN结构来获取输入序列中的重要信息,第一层CNN卷积核大小为1,可以减少特征输出后的维度,第二层有两个卷积核分别为2和3的CNN,把第一层CNN的计算结果分别输入到第二层两个不同大小卷积核的CNN中,可以获得较为抽象的特征。最后把两个CNN的输出结果进行拼接,得到多层卷积层的最终特征表示DCNN。
其中,设卷积核的个数为m,那么DCNN∈Rn×m。DCNN里每行表示每个单词通过多层卷积提取的词汇级别的特征。
对每个词语w通过多层卷积网络的特征表示dw进行最大池化操作,来降低其维度,得到pi向量。然后对所有词语进行最大池化操作后,得到矩阵P,如公式(6)所示。
P=[p1,p2,...,pn] (6)
最后,多层卷积层有两种输出表示,把矩阵DCNN作为后续自注意力层的输入,把矩阵P拼接到全局注意力层的输出矩阵中,作为事件关系识别层的输入。
自注意力机制根据重要程度给词汇分配了不一样的权重,考虑了全局中词语之间的联系,最终得到词汇级别的特征D'CNN,D'CNN∈Rn×m。
因为传统循环神经网络RNN在处理长句时存在梯度消失和梯度***的问题,所以本发明引入了门控循环单元,GRU能较好的解决梯度消失问题,并获取长期的依赖关系。
为了获得t时刻的输出,当前时刻隐藏状态ht的基础上,,进行运算获得yt,如公式(7)所示。
yt=σ(Wyht) (7)
由于单向GRU中的状态是从前往后传输计算的,没有考虑到下文对上文状态的影响,所以为了提取文本的上下文语义特征,本发明把输入矩阵X送入双向门控循环单元(Bi-directional Gated Recurrent Unit,BiGRU)。BiGRU由前向GRU和反向GRU组成,其原理如图2所示。输出矩阵HGRU表示如公式(8)所示。
最后,BiGRU层有两种输出表示,把矩阵HGRU作为后续自注意力层的输入;把最后一个一维隐藏层的输出矩阵Hl,拼接到全局注意力层的输出矩阵中,作为事件关系识别层的输入。同样将HGRU输入自注意力层,经过计算最终得到句子级别的特征H'GRU。
将左右两个通道的结果再输入全局注意力机制层进行进一步的处理,得到最终的表示特征。利用两个矩阵间的注意力权重αi,j对BiGRU通道输出的特征矩阵H'GRU进行加权运算,获得全局注意力层的输出特征矩阵G,如公式(9)所示。
3.事理逻辑关系识别层。
条件随机场CRF模型使用转移矩阵考虑标签间的相关性和约束,从而获得全局最优的标签序列。对于一个输入的句子,在之前介绍的特征提取层中获取到全局和局部的特征表示矩阵Z=[z1,z2,...,zn]。设CRF输出的一个标签序列为L=[l1,l2,...,ln],则一个标签序列L的总得分计算方法如公式(10)所示。
CRF优化函数的目的是让正确的标签序列L*的得分占所有标签的比重越大越好,也就是让P(L*|Z)越大越好,最大化正确标签序列L*的对数似然估计函数,模型的目标函数的计算方法如公式(11)所示。
最终,模型的损失函数loss定义为loss=-log(P(L*|Z)),,通过反向传播来优化参数。
识别出句子中的事件关系对后,对其中每个事件,本发明构造了基于图注意力网络的联合事件抽取模型进行事件抽取,其框架图如图3所示。
1)文本特征表示和抽取。
本发明使用ERNIE预训练模型进行句子编码,该模型添加了百度百科、百度贴吧、百度新闻、等中文语料,融合了很多外部的知识,使得其在中文NLP任务上的效果更好。通过ERNIE模型编码生成词向量表示矩阵X1。
为了获取中文词语更多的语义信息,本发明对输入的文本进行分词和词性标注,然后按照BIO标记规则对每个词的词性进行标记,标签包括B-pos,I-pos,E-pos,单个字符组成的词就用S-pos表示,pos指的是每个词语的词性,然后通过随机初始化,并且反向传播进行优化,得到训练好的词性向量,获得每个词性对应的词性嵌入表示,对于句子S就获得了词性嵌入矩阵X2。
并且,本发明按照BIO标记规则对文本进行实体类别标注,然后通过随机初始化,并且反向传播进行优化,得到训练好的实体类别向量,获得每个词对应的实体类别嵌入表示,对于句子S就获得了实体类别嵌入矩阵X3。
最后,将上述三种嵌入拼接在一起,就获得了文本特征矩阵X。
本发明使用双向长短期记忆网络Bi-LSTM模型,获取到句子里从前到后和从后到前的信息。对于单向LSTM,其计算过程如公式(12)到公式(14)所示。
ht=ot⊙tanh(ct) (14)
其中,W是要训练的参数矩阵,b是偏置向量,σ表示sigmoid函数,≌表示向量间进行点乘操作。
2)句法依赖图的构建。
首先,使用DDParser对中文句子进行依存句法分析,得到句法依赖树。把句法依赖树定义成一个无向图G=(V,E),其中V是节点的集合,包含两个子集Vc和Vw,Vc是n个字符的集合,n为句子长度,Vw是分词后的k个词语集合,对每个词语使用预训练好的词向量进行表示,其维度也和字符向量一样。
对于边集合E而言,在分析结果中存在语法关系的两个词语wi,j=S(ci,...,cj)和wu,v=S(cu,...,cv)需要建立边关系,本发明把其中一个词语的头一个和最后一个字符向量都连接到另一个词语的向量表示中,还需要对每条语法关系边添加一个相反的边,同时,相邻字符也都要加上邻接边,并对所有节点添加一个自环边。
例如,对于之前经过依存句法分析的样例句子,在图4展示了其句法依赖图的部分构造结果。“击败”和“梅德韦杰夫”之间是VOB关系,跟“夫”这个字符相连的边有5条,分别是它和词语击败之间的关系、反向关系边、自环边、和相邻字符连接的两个边。
3)图注意力网络算法。
定义任意之间存在路径的俩词语向量节点vi,vj的最短路径是pij,任意俩相邻词语向量节点间的边定义为(wm,wm+1),那么pij的计算方法如公式(15)所示。
pij=[(vi,w1),(w1,w2),...,(wn,vj)] (15)
其中,wi指的是词语向量节点。
得到两个节点间最短路径之后,本发明仍然使用BiGRU网络,对这条路径上的所有节点的特征进行融合,前后向GRU的输出分别为和/>将两个向量拼接到一起,得到融合后的特征向量h,就是BiGRU在t时刻的输出/>h向量融合了两个节点最短路径上所有其他节点的特征,将其作为这两个节点各自的周围节点。
此时经过上面的计算,原先的句法依赖图G=(V,E)又得到了扩充,其中V是节点的集合,现在包含三个子集Vc、Vw和Vb,Vc是n个字符向量节点的集合,n为句子长度,Vw是分词后的k个词语向量节点的集合,Vb是由最短路径算法计算出的每个词语向量节点的周围节点集合,大小为m。所以由这三个子集汇总得到句法依赖图的所有节点集合V如公式(16)所示。
V={v1,v2,...,vn,vn+1,...,vn+k,vn+k+1,...,vn+k+m} (16)
将句法依赖图的特征节点和关系边作为N阶图注意力神经网络的第m层输入,图注意力网络对图中每个节点特征vi进行聚合计算得到聚合特征vi'的过程如公式(17)所示。
经过以上的计算,本发明得到了图注意力网络层的输出V'集合,V'集合中节点数量是n+k+m,但在后续的分类过程中我们不需要对k个词语向量节点和m个周围节点进行分类,所以将其舍弃,只留下前n个字符节点,将其转换成矩阵表示O。
4)触发词及论元分类。
最后在触发词及论元识别层对触发词和论元进行联合抽取,使用BIO标注的方法进行多分类任务,把上一层的输出矩阵O先输入一个全连接层,然后接上一个softmax层对所有类型的向量进行归一化操作,从而实现事件触发词分类。计算过程如公式(18)和公式(19)所示。
O'=tanh(WOO+bO) (18)
通过上面的计算,我们得到了候选触发词,接着使用O'这个输出矩阵对句子中的实体列表进行论元分类。对触发词包含的多个词向量进行平均池化,得到候选触发词的向量表示Ti,然后我们把Ti和其他每个词语的向量Ej拼接起来,并输入到全连接网络中,接上一个softmax层来实现论元分类,计算过程如公式(20)所示。
为了便于理解,本发明给出了一个更为具体的实施例:
在事理逻辑关系抽取任务中,针对事件边界模糊、难以确定的问题,本发明在预训练模型得到的字符向量基础上,使用SoftLexicon方法来引入外部的词语信息,通过对每个词语构建四个词集,把外部的词语信息融入到字符向量中,增强了字符的语义性。同时,针对特征选择不够全面的问题,本发明同时考虑了不同粒度的词汇级别特征以及包含上下文语义信息的句子级别特征,并对事件中的触发词特征、事件顺序特征等多种特征进行向量表示,并通过使用注意力机制构建词语间的依赖关系,对不同特征计算不同的注意力权重,从而使提取的特征更加充分,有助于提升事理逻辑关系抽取的效果。
在事件抽取任务中,针对同一个句子中存在多个事件难以抽取的问题,以及在特征选择时只考虑句子序列的特征,但是忽略了句子的句法特征,导致模型难以获取一个句子里多个事件的相关性的问题,本发明把依存句法分析的结果句法依赖树按照中英文的不同方法转换为句法依赖图,将图输入图注意力网络中,可以学习到句法结构特征,图注意力网络可以对句法依赖图进行特征聚合,找到实体间的最短路径后把对应向量拼接起来提取特征,最后通过联合抽取得到事件触发词和论元及其对应角色,本发明提出的方法显著提升了事件抽取的效果。
Att-GRCNN模型是本发明提出的事理逻辑关系抽取模型,本发明使用三个评价指标对各个基准模型和Att-GRCNN模型在因果关系抽取上的效果进行了评测,在DuEE1.0数据集和CEC数据集上的结果如表1所示。Att-GRCNN模型在DuEE1.0数据集和CEC数据集上都取得了不错的效果,在绝大部分指标中都能超过基准模型的实验结果。其中,Att-GRCNN模型在CEC数据集上的F1指标比表现最好的GAN-BiGRU-CRF模型提升了2%,在DuEE1.0数据集上的F1指标也提高了0.3%。
表1Att-GRCNN模型在因果关系抽取上的对比实验
跟6个基准模型相比,本发明提出的Att-GRCNN模型在召回率和F1值上的表现是最好的,主要原因是:首先模型使用SoftLexicon方法来引入外部的词语信息,增强了字符的语义性。并且,本模型同时考虑了不同粒度的词汇级别特征以及包含上下文语义信息的句子级别特征,并对事件中的触发词特征、事件顺序特征等多种特征进行向量表示,丰富了事件关系的语义特征。除此之外,模型还通过注意力机制构建词语间的依赖关系,对不同特征计算不同的注意力权重,从而使提取的特征更加充分,有助于提升事理逻辑关系抽取的效果。
DEP-GAT模型是本发明提出的联合事件抽取模型,因为事件抽取包含两个子任务,本发明分别对各个模型在触发词识别及分类、论元识别及分类两个任务中的表现进行评价,在ACE-2005英文数据集上的结果如表2和表3所示。
表2DEP-GAT模型在触发词识别和分类上的对比实验
表3 DEP-GAT模型在论元识别和分类上的对比实验
如表2和表3所示,在触发词识别及分类、论元识别及分类两个任务中,本发明提出的DEP-GAT模型都有不错的效果,在以上绝大部分指标中基本能超过基准模型的实验结果。其中,DEP-GAT模型在触发词识别任务中F1指标比表现最好的HPNet模型提升了将近2%,比经典的JRNN模型更是提升了9.2%。此外,在论元识别及分类任务中,DEP-GAT模型跟基准模型比起来效果也有较大的提升,比表现最好的JMEE模型在F1值上各个任务分别提升了3.2%和5.4%,对于经典的基于CNN的DMCNN模型在F1值上提升的效果更加显著。总体而言,通过以上两个表格中的实验结果可以清晰的证明本发明提出的DEP-GAT模型的有效性。
DEP-GAT模型的实验结果也可以在一定程度上表明基于联合方式的事件抽取方法比起基于管道方式的事件抽取方法具有一定的优势。对于基于两阶段流水线方法的StagedMaxent模型,尽管它在第一阶段触发词识别和分类任务中的效果还可以,但是在第二阶段的论元识别和分类任务中,可以看到其召回率较低,只有20.3%和19.3%,说明第一阶段的误差传播到了第二阶段,严重影响了论元抽取任务的性能。而且,在触发词识别任务的F1值上,DEP-GAT模型的实验数值相比那些基于管道的模型比如DMCNN,要提高了7.6%,在论元识别任务的F1值上也提升了12.5%,从而证明了基于联合方式的DEP-GAT模型在事件抽取任务中的有效性。除了简单比较多个模型间的F1值之外,我们可以再对比一下这些模型各自在触发词分类和论元分类任务中F1的差值,比如基于管道的StagedMaxent模型的F1差值达到了36.2%,DMCNN模型的F1差值也达到了15.6%。但是基于联合的JRNN模型,其F1差值是13.9%,JMEE模型的F1差值是13.4%,本发明提出的DEP-GAT模型的F1差值是13.4%,DEP-GAT模型在两个任务中的性能差距较小,说明基于联合方式的事件抽取可以缓解一些错误的传播,因为这种方式在抽取论元时不使用触发词抽取的结果,触发词识别的错误也不会传到论元抽取任务中。
最后应当说明的是:以上实施例仅用以说明本发明的技术方案而非对其限制,尽管参照上述实施例对本发明进行了详细的说明,所属领域的普通技术人员应当理解:依然可以对本发明的具体实施方式进行修改或者等同替换,而未脱离本发明精神和范围的任何修改或者等同替换,其均应涵盖在本发明的权利要求保护范围之内。
Claims (10)
1.一种基于事理逻辑的联合事件抽取方法,其特征在于,包括:
将句子输入事理逻辑关系抽取模型,得到所述句子中的事件关系对;
将所述句子中的事件关系对中每个事件输入基于图注意力网络的联合事件抽取模型,得到句子对应的抽取结果;其中,所述抽取结果包括触发词分类及论元分类;
所述事理逻辑关系抽取模型包括编码层、特征提取层、事件关系识别层;
所述将句子输入事理逻辑关系抽取模型,得到所述句子对应的抽取结果,包括:
将句子输入编码层,得到所述编码层输出的句子对应的文本特征矩阵;
将所述文本特征矩阵输入所述特征提取层,得到所述特征提取层输出的全局和局部的特征表示矩阵;
将所述全局和局部的特征表示矩阵输入所述事件关系识别层,识别出句子中的事件关系对。
2.根据权利要求1所述的方法,其特征在于,所述将句子输入编码层,得到所述编码层输出的句子对应的文本特征矩阵,包括:
将句子输入所述编码层中的嵌入层,以将句子中每个单词转换成词向量通过BERT模型编码后生成词向量表示矩阵;
使用SoftLexicon方法引入外部词典,将句子中的字符和词典进行匹配,得到字符对应的词语,根据字符在该词语中所处的位置,把该词语分别放到四个词语集合中:B、M、E、S;该词语集合分别表示该字符的位置在词语的开头、中间部分、结尾以及独自构成一个词语;
在得到句子中每个字符的四个词语集合后,把每个词语集合表示成一个固定长度的向量,将词频作为每个词的权重系数,对每个集合中的所有词的词向量嵌入进行加权计算,分别获取每个字符的词语集合的向量;
把一个字符对应的四个词语集合的向量都拼接到该字符对应的BERT字向量中,即得到新的词向量表示矩阵X1;
对事件的触发词特征、事件的顺序特征、关系连接词特征赋予不同的权重进行融合,得到多维度特征矩阵X2;
3.根据权利要求1所述的方法,其特征在于,所述将所述文本特征矩阵输入所述特征提取层,得到所述特征提取层输出的全局和局部的特征表示矩阵,包括:
将文本特征矩阵输入所述特征提取层的卷积层,得到多层卷积层的最终特征表示DCNN;DCNN∈Rn×m中每行表示每个单词通过多层卷积提取的词汇级别的特征;m为卷积核的个数,n为句子中词语的个数;
对所有词语进行最大池化操作后,得到矩阵P,P=[p1,p2,...,pn],pi为对第i个词语进行最大池化操作后得到的向量;
将DCNN输入所述特征提取层的自注意力层,得到词汇级别的特征D'CNN,D'CNN∈Rn×m;
把文本特征矩阵输入所述特征提取层的双向门控循环单元,得到输出矩阵HGRU;其中,双向门控循环单元由前向GRU和反向GRU组成,设定隐藏单元的个数为s,那么HGRU∈Rn×(2×s);HGRU中每行表示每个单词通过双向门控循环单元提取的句子级别的特征;
把矩阵HGRU输入所述特征提取层的另一个自注意力层,得到句子级别的特征H′GRU;
将H′GRU、D'CNN输入所述特征提取层的全局注意力机制层,得到输出特征矩阵G;
5.根据权利要求1所述的方法,其特征在于,所述将所述句子中的事件关系对中所有事件放到一个集合中,形成文本集合,并将该文本集合输入基于图注意力网络的联合事件抽取模型,得到句子对应的抽取结果,包括:
将词向量表示矩阵X1、词性嵌入矩阵X2、实体类别嵌入矩阵X3拼接在一起,即可得到文本特征矩阵X;
将文本特征矩阵X输入双向长短期记忆网络Bi-LSTM模型,得到输出矩阵HLSTM;
使用DDParser对句子进行依存句法分析,得到句法依赖图,并对所述句法依赖图进行扩充;
将句法依赖图的特征节点和关系边作为N阶图注意力神经网络的第m层输入,图注意力网络对图中每个节点特征vi进行聚合计算得到聚合特征v′i;最终得到图注意力网络层的输出V'集合,V'集合中节点数量是n+k+m;
基于图注意力网络的联合事件抽取模型中的触发词及论元识别层对触发词和论元进行联合抽取,使用BIO标注的方法进行多分类任务,把上一层的输出矩阵O先输入一个全连接层,经过激活函数后得到矩阵O',然后接上一个softmax层对所有类型的向量进行归一化操作,从而实现事件触发词分类;
得到候选触发词后,使用O'这个输出矩阵对句子中的实体列表进行论元分类;对触发词包含的多个词向量进行平均池化,得到候选触发词的向量表示Ti,然后把Ti和其他每个词语的向量Ej拼接起来,并输入到全连接网络中,接上一个softmax层来实现论元分类。
6.根据权利要求5所述的方法,其特征在于,在所述将词向量表示矩阵X1、词性嵌入矩阵X2、实体类别嵌入矩阵X3拼接在一起,即可得到文本特征矩阵X之前,所述方法还包括:
通过所述基于图注意力网络的联合事件抽取模型中的ERNIE模型编码生成词向量表示矩阵X1;
所述基于图注意力网络的联合事件抽取模型对输入的句子中的事件文本进行分词和词性标注,最终得到句子S对应的词性嵌入矩阵X2;
按照BIO标记规则对文本进行实体类别标注,然后通过随机初始化,并且反向传播进行优化,得到训练好的实体类别向量,获得每个词对应的实体类别嵌入表示,最终得到句子S对应的实体类别嵌入矩阵X3。
7.根据权利要求6所述的方法,其特征在于,所述基于图注意力网络的联合事件抽取模型对输入的句子中的事件文本进行分词和词性标注,最终得到句子S对应的词性嵌入矩阵X2,包括:
所述基于图注意力网络的联合事件抽取模型对输入的句子中的事件文本进行分词和词性标注,然后按照BIO标记规则对每个词的词性进行标记,标签包括B-pos,I-pos,E-pos,单个字符组成的词用S-pos表示,pos指的是每个词语的词性,然后通过随机初始化,并且反向传播进行优化,得到训练好的词性向量,获得每个词性对应的词性嵌入表示,最终得到句子S对应的词性嵌入矩阵X2。
8.根据权利要求5所述的方法,其特征在于,所述对所述句法依赖图进行扩充的实现过程为:
定义任意之间存在路径的两个词语向量节点vi,vj的最短路径是pij,任意两个相邻词语向量节点间的边定义为(wm,wm+1);wi指的是第i个词语向量节点;
采用BiGRU网络对两个词语向量节点最短路径上的所有节点的特征进行融合,前后向GRU的输出分别为和/>将/>和/>拼接到一起,得到融合后的特征向量h,即BiGRU在t时刻的输出/>将其作为这两个节点各自的周围节点;
最后,得到扩充后的句法依赖图G=(V,E),其中,V是节点的集合,包含三个子集Vc、Vw和Vb,Vc是n个字符向量节点的集合,n为句子长度,Vw是分词后的k个词语向量节点的集合,Vb是由最短路径算法计算出的每个词语向量节点的周围节点集合,大小为m。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310363825.9A CN116383387A (zh) | 2023-04-06 | 2023-04-06 | 一种基于事理逻辑的联合事件抽取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310363825.9A CN116383387A (zh) | 2023-04-06 | 2023-04-06 | 一种基于事理逻辑的联合事件抽取方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116383387A true CN116383387A (zh) | 2023-07-04 |
Family
ID=86963046
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310363825.9A Pending CN116383387A (zh) | 2023-04-06 | 2023-04-06 | 一种基于事理逻辑的联合事件抽取方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116383387A (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116757159A (zh) * | 2023-08-15 | 2023-09-15 | 昆明理工大学 | 一种端到端的多任务联合篇章级事件抽取方法及*** |
CN117332377A (zh) * | 2023-12-01 | 2024-01-02 | 西南石油大学 | 一种基于深度学习的离散时间序列事件挖掘方法及*** |
CN117350386A (zh) * | 2023-12-04 | 2024-01-05 | 南京信息工程大学 | 一种事件溯因推理方法及*** |
-
2023
- 2023-04-06 CN CN202310363825.9A patent/CN116383387A/zh active Pending
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116757159A (zh) * | 2023-08-15 | 2023-09-15 | 昆明理工大学 | 一种端到端的多任务联合篇章级事件抽取方法及*** |
CN116757159B (zh) * | 2023-08-15 | 2023-10-13 | 昆明理工大学 | 一种端到端的多任务联合篇章级事件抽取方法及*** |
CN117332377A (zh) * | 2023-12-01 | 2024-01-02 | 西南石油大学 | 一种基于深度学习的离散时间序列事件挖掘方法及*** |
CN117332377B (zh) * | 2023-12-01 | 2024-02-02 | 西南石油大学 | 一种基于深度学习的离散时间序列事件挖掘方法及*** |
CN117350386A (zh) * | 2023-12-04 | 2024-01-05 | 南京信息工程大学 | 一种事件溯因推理方法及*** |
CN117350386B (zh) * | 2023-12-04 | 2024-03-19 | 南京信息工程大学 | 一种事件溯因推理方法及*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109992783B (zh) | 中文词向量建模方法 | |
Shen et al. | Disan: Directional self-attention network for rnn/cnn-free language understanding | |
Chang et al. | Chinese named entity recognition method based on BERT | |
Mueller et al. | Siamese recurrent architectures for learning sentence similarity | |
CN104834747B (zh) | 基于卷积神经网络的短文本分类方法 | |
CN111738003B (zh) | 命名实体识别模型训练方法、命名实体识别方法和介质 | |
CN106599032B (zh) | 一种结合稀疏编码和结构感知机的文本事件抽取方法 | |
CN110321563B (zh) | 基于混合监督模型的文本情感分析方法 | |
CN116383387A (zh) | 一种基于事理逻辑的联合事件抽取方法 | |
CN111414481B (zh) | 基于拼音和bert嵌入的中文语义匹配方法 | |
CN113255320A (zh) | 基于句法树和图注意力机制的实体关系抽取方法及装置 | |
CN114548101B (zh) | 基于可回溯序列生成方法的事件检测方法和*** | |
CN112732921B (zh) | 一种虚假用户评论检测方法及*** | |
CN111027595A (zh) | 双阶段语义词向量生成方法 | |
Li et al. | Text-to-text generative adversarial networks | |
US20240111956A1 (en) | Nested named entity recognition method based on part-of-speech awareness, device and storage medium therefor | |
CN112269874A (zh) | 一种文本分类方法及*** | |
CN114547230A (zh) | 一种智能行政执法案例信息抽取和案由认定方法 | |
CN114547299A (zh) | 一种基于复合网络模型的短文本情感分类方法及装置 | |
Hamzah et al. | The detection of sexual harassment and chat predators using artificial neural network | |
CN117610562B (zh) | 一种结合组合范畴语法和多任务学习的关系抽取方法 | |
Ding et al. | A knowledge-enriched and span-based network for joint entity and relation extraction | |
CN114492459A (zh) | 基于知识图谱与交互图卷积的评论情感分析方法及*** | |
CN113806543A (zh) | 一种基于残差跳跃连接的门控循环单元的文本分类方法 | |
CN113204640A (zh) | 一种基于注意力机制的文本分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |