CN114398500B - 一种基于图增强预训练模型的事件预测方法 - Google Patents
一种基于图增强预训练模型的事件预测方法 Download PDFInfo
- Publication number
- CN114398500B CN114398500B CN202210112341.2A CN202210112341A CN114398500B CN 114398500 B CN114398500 B CN 114398500B CN 202210112341 A CN202210112341 A CN 202210112341A CN 114398500 B CN114398500 B CN 114398500B
- Authority
- CN
- China
- Prior art keywords
- event
- events
- matrix
- relation
- graph
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000012549 training Methods 0.000 title claims abstract description 23
- 239000013598 vector Substances 0.000 claims abstract description 41
- 230000004931 aggregating effect Effects 0.000 claims abstract description 5
- 239000013604 expression vector Substances 0.000 claims abstract description 5
- 239000011159 matrix material Substances 0.000 claims description 41
- 230000006870 function Effects 0.000 claims description 7
- 238000009826 distribution Methods 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- Game Theory and Decision Science (AREA)
- General Business, Economics & Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Development Economics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于图增强预训练模型的事件预测方法,包括:获取事件序列,对事件序列进行预训练获得若干个编码向量,并对若干个编码向量进行聚合,获得事件序列的表示向量;基于事件序列的表示向量,获取事件序列中任两个事件的邻接关系;获取事理图谱,基于事理图谱获取事件的逻辑关系;基于任两个事件的邻接关系和事件的逻辑关系完成事件预测。采用事理图谱作为模型学习事件间关系模式的知识库,事理图谱是描述事件及其逻辑关系的图谱,其知识将为事件预测任务提供有力支撑,将预训练语言模型与图结构信息预测进行融合,既能利用预训练模型中的丰富语言学知识,充分理解各个事件的语义,能通过学习事理图谱结构变量实现图结构信息的预测。
Description
技术领域
本发明属于事件预测领域,特别是涉及一种基于图增强预训练模型的事件预测方法。
背景技术
事件预测任务要求机器为给定的一个或多个事件构成的事件上下文选择合适的后续事件。这一任务需要机器在充分理解事件语义的基础之上,进一步理解事件之间的关系。这种预测的能力可以更好地模拟现实事件的发展规律,能够应用在热点事件预测、金融风险预警、舆情分析等领域。为此,部分前期工作提出建模事件对关系与事件间链状关系,以预测给定的事件上下文的后续事件。为有效预测后续事件,模型还需进一步理解事件间的图结构的密集连接关系。此前工作大多利用检索式方法,向事件预测模型中引入图知识。然而,此类方法的表现高度依赖于事理图谱的覆盖度。如果事件未能被事理图谱所覆盖,则此类方法无从获得相应的结构特征,结构信息的缺失将极大影响模型的性能。但实际情况中几乎不可能构建一个覆盖绝大多数可能事件的事理图谱,因为事件是由多个语义元素组成的复杂语义单位。这种复杂性使得对于同一语义的事件对应多种表达方式,这使得事理图谱难以完全覆盖所有可能的事件。这一特性引起了检索式地利用事理图谱信息的困难。
发明内容
本发明的目的是提供一种基于图增强预训练模型的事件预测方法,以解决上述现有技术存在的问题。
为实现上述目的,本发明提供了一种基于图增强预训练模型的事件预测方法,包括:
获取事件序列,对所述事件序列进行预训练获得若干个编码向量,并对若干个所述编码向量进行聚合,获得事件序列的表示向量;
基于所述事件序列的表示向量,获取所述事件序列中任两个事件的邻接关系;
获取事理图谱,基于所述事理图谱获取事件的逻辑关系;
基于所述任两个事件的邻接关系和所述事件的逻辑关系完成事件预测。
可选的,对所述事件序列进行预训练获得若干个编码向量的过程中包括:
采用预训练语言模型BERT的若干层Transformer作为预训练的编码器;
基于所述编码器将所述事件序列中的若干个字符编码为若干个分布式表示向量,将所述分布式表示向量作为所述编码向量。
可选的,对若干个所述编码向量进行聚合,获得事件的表示向量的过程中包括:
基于注意力机制对所述编码向量进行均值池化,获得向量表示;
将所有所述向量表示集合成表示矩阵,将所述表示矩阵作为所述事件序列的表示向量。
可选的,基于所述事件序列的表示向量,获取所述事件序列中任意两个事件的邻接关系的过程中包括:
基于双线性机制预测任意两个事件间的邻接关系,获得若干个任意两个事件间的关系强度系数;
将若干个所述关系强度系数构成矩阵并进行归一化,获得关系矩阵;
基于所述关系矩阵获得所述事件序列中任意两个事件的邻接关系。
可选的,基于所述双线性机制预测任意两个事件间的邻接关系的过程中,通过如下公式实现:
可选的,将若干个所述关系强度系数构成矩阵并进行归一化,获得关系矩阵的过程中包括:
可选的,获取所述事理图谱,基于所述事理图谱获取事件的逻辑关系的过程中包括:
基于所述事理图谱对所述事件序列获取一个邻接矩阵;
基于邻接矩阵中的元素获得所述事件序列中任意两事件互为后续事件的概率;
基于所述邻接矩阵和所述关系矩阵,获取事件的逻辑关系。
可选的,基于所述事理图谱获取事件的逻辑关系的过程中还包括:
在事件预测误差项之外引入了一项额外的图重构损失,损失函数为:
L=Levent_prediction+Lgraph_reconstruction
其中,Levent_prediction为事件预测误差项,为一交叉熵损失,Lgraph_reconstruction为图重构误差项:
本发明的技术效果为:
本发明提出了一种基于图增强预训练模型的事件预测方法。本方案拟采用事理图谱作为模型学习事件间关系模式的知识库,事理图谱是描述事件及其逻辑关系的图谱,其知识将为事件预测任务提供有力支撑。为了解决图谱覆盖性不足的问题,本方案提出了能够自动预测事理图谱结构信息,并有效利用该信息进行事件预测的框架GraphBERT,将预训练语言模型BERT与图结构信息预测进行融合,既能利用预训练模型中的丰富语言学知识,充分理解各个事件的语义,又能通过学习事理图谱结构变量实现图结构信息的预测。在没有事理图谱信息存在的情况下,也能通过预测该结构变量的取值,从而得到任意两个事件间之间的邻接关系,服务于事件预测任务。通过在脚本事件预测任务和故事结尾预测任务两个经典的事件预测任务数据集上的测试,在相同数据量的情况下,本方法取得了比现有事件预测方法更好的结果。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:
图1为本发明实施例中的一种基于图增强预训练模型的事件预测的结构示意图;
图2为本发明实施例中的一种基于图增强预训练模型的事件预测的方法流程图。
具体实施方式
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
如图1、图2所示,本实施例中提供一种基于图增强预训练模型的事件预测的结构示意图及方法流程图,包括:
1.事件表示与聚合
给定事件序列X,GraphBERT首先利用BERT的第1至s0层Transformer作为编码器,得到事件所包含的各个字符的编码向量。随后,利用事件表示聚合器模块,得到事件的表示向量。
对于事件链X中的T+1个事件而言,他们的向量表示组成了一个表示矩阵注意到,是从BERT内部的Transformer层中获得。以这种方法,GraphBERT能够利用BERT中蕴含的丰富语言学信息,得到高质量的事件表示。
随后,GraphBERT利用这些深度事件表示估计事件间邻接关系。
2.事件间邻居关系强度预测
给定事件表示矩阵GraphBERT引入了一个事件关系推断器模块,以利用估计X中任两个事件间的邻接关系。事件关系推断器模块的输出是一个(t+1)×(t+1)的矩阵中每个元素代表事件i与事件j之间的邻接关系。从而,在测试阶段对于任意两个事件,GraphBERT可以利用事件关系推断器预测出其邻接关系。
随后,利用一个双线性机制预测两个事件之间的邻接关系:
因此,通过事件表示聚合器模块和事件关系推断器模块,GraphBERT可以得到任意事件的表示向量,以及任意两个事件间的邻接关系,不论这些事件是否被事理图谱所覆盖。通过将预测出的与按照通过上述矩阵相乘操作,中任一元素Aij描述了E(I)W1的第i行与E(I)W2的第j行之间的关系强度。注意到E(I)W1的第i行与E(I)W2的第j行是事件Xi与事件Xj的向量表示。因而,Aij可用于描述事件i与事件j之间的邻接关系强度。
将记事件的表示向量组成的表示矩阵为E,并记邻接矩阵为A。随后,GraphBERT以如下形式整合E与A:
E(U)=σ(AEWU)
随后,该基线***进一步将E(U)整合至下游的预测任务中。具体地,GraphBERT利用注意力机制,从E(U)中选取相关信息,以更新BERT内部Transformer层的隐含状态:
其中,是BERT的第s1层Transformer的隐含状态,E(U)为与相关的事理图谱信息。通过将与融合,得到了结合事理图谱信息后的通过将作为后续推理过程的输入,后续推理过程能够得到事理图谱信息的增益。
检索式***的关键缺陷是其高度依赖于事理图谱的覆盖度。换言之,如果某一事件未能被事理图谱覆盖,则无法获取其表示向量,以及与其他事件的邻接关系。这将影响模型的性能。针对这一问题,本项目拟利用一个预测式的框架GraphBERT。GraphBERT能够利用BERT中Transformer层作为编码器,得到事件链中各个事件的表示向量,从而学习利用表示向量预测事件间关系。
3.基于图的事件预测
在训练过程中,利用从已构建的事理图谱中获取相应的事件间邻接关系信息,以有效指导事件关系推断器模块。具体而言,给定事件链X,按以下方式从事理图谱中获得一邻接矩阵A,该矩阵描述X中任意两个事件的邻接关系:
Γ′ij=Wij,if Vi′→Vj′∈R,
Γ′ij=0,others.
其中,Vi′和Vj′是事件链X中第i个、第j个事件在事理图谱中对应的节点。
4.模型最优化方法
L=Levent_prediction+Lgraph_reconstruction
其中,事件预测误差项为一交叉熵损失。图重构误差项的形式如下:
以上所述,仅为本申请较佳的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应该以权利要求的保护范围为准。
Claims (4)
1.一种基于图增强预训练模型的事件预测方法,其特征在于,包括以下步骤:
获取事件序列,对所述事件序列进行预训练获得若干个编码向量,并对若干个所述编码向量进行聚合,获得事件序列的表示向量;
基于所述事件序列的表示向量,获取所述事件序列中任两个事件的邻接关系;
获取事理图谱,基于所述事理图谱获取事件的逻辑关系;
基于所述事理图谱获取事件的逻辑关系的过程中包括:
基于所述事理图谱对所述事件序列获取一个邻接矩阵;
基于邻接矩阵中的元素获得所述事件序列中任意两事件互为后续事件的概率;
基于所述邻接矩阵和关系矩阵,获取事件的逻辑关系;
基于所述事件序列的表示向量,获取所述事件序列中任意两个事件的邻接关系的过程中包括:
基于双线性机制预测任意两个事件间的邻接关系,获得若干个任意两个事件间的关系强度系数;
将若干个所述关系强度系数构成矩阵并进行归一化,获得关系矩阵;
基于所述关系矩阵获得所述事件序列中任意两个事件的邻接关系;
基于所述双线性机制预测任意两个事件间的邻接关系的过程中,通过如下公式实现:
基于所述事理图谱获取事件的逻辑关系的过程中还包括:
在事件预测误差项之外引入了一项额外的图重构损失,损失函数为:
L=Levent_prediction+Lgraph_reconstruction
其中,Levent_prediction为事件预测误差项,为一交叉熵损失,Lgraph_reconstruction为图重构误差项:
基于所述任两个事件的邻接关系和所述事件的逻辑关系完成事件预测。
2.根据权利要求1所述的方法,其特征在于,对所述事件序列进行预训练获得若干个编码向量的过程中包括:
采用预训练语言模型BERT的若干层Transformer作为预训练的编码器;
基于所述编码器将所述事件序列中的若干个字符编码为若干个分布式表示向量,将所述分布式表示向量作为所述编码向量。
3.根据权利要求2所述的方法,其特征在于,对若干个所述编码向量进行聚合,获得事件的表示向量的过程中包括:
基于注意力机制对所述编码向量进行均值池化,获得向量表示;
将所有所述向量表示集合成表示矩阵,将所述表示矩阵作为所述事件序列的表示向量。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210112341.2A CN114398500B (zh) | 2022-01-29 | 2022-01-29 | 一种基于图增强预训练模型的事件预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210112341.2A CN114398500B (zh) | 2022-01-29 | 2022-01-29 | 一种基于图增强预训练模型的事件预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114398500A CN114398500A (zh) | 2022-04-26 |
CN114398500B true CN114398500B (zh) | 2022-09-09 |
Family
ID=81233592
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210112341.2A Active CN114398500B (zh) | 2022-01-29 | 2022-01-29 | 一种基于图增强预训练模型的事件预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114398500B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114707004B (zh) * | 2022-05-24 | 2022-08-16 | 国网浙江省电力有限公司信息通信分公司 | 基于图像模型和语言模型的事理关系抽取处理方法及*** |
CN114926690A (zh) * | 2022-05-31 | 2022-08-19 | 广东省核工业地质局测绘院 | 一种基于计算机视觉的点云自动化分类方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10679007B2 (en) * | 2018-08-30 | 2020-06-09 | Intelligent Fusion Technology, Inc. | Method and system for pattern discovery and real-time anomaly detection based on knowledge graph |
CN109460479A (zh) * | 2018-11-19 | 2019-03-12 | 广州合摩计算机科技有限公司 | 一种基于事理图谱的预测方法、装置和*** |
CN110245787B (zh) * | 2019-05-24 | 2023-11-17 | 创新先进技术有限公司 | 一种目标群体预测方法、装置及设备 |
CN111581396B (zh) * | 2020-05-06 | 2023-03-31 | 西安交通大学 | 一种基于多维特征融合与依存句法的事件图谱构建***及方法 |
US20220019888A1 (en) * | 2020-07-20 | 2022-01-20 | Adobe Inc. | Unified framework for dynamic clustering and discrete time event prediction |
CN112905801B (zh) * | 2021-02-08 | 2023-07-25 | 携程旅游信息技术(上海)有限公司 | 基于事件图谱的行程预测方法、***、设备及存储介质 |
CN113903031A (zh) * | 2021-09-13 | 2022-01-07 | 昆明理工大学 | 一种基于图卷积和对比学习的跨域语义分割方法 |
-
2022
- 2022-01-29 CN CN202210112341.2A patent/CN114398500B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN114398500A (zh) | 2022-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11941522B2 (en) | Address information feature extraction method based on deep neural network model | |
CN114398500B (zh) | 一种基于图增强预训练模型的事件预测方法 | |
CN110688394B (zh) | 面向新型供电城轨列车大数据运维的nl生成sql方法 | |
CN110119449A (zh) | 一种基于序列增强胶囊网络的刑事案件罪名预测方法 | |
CN113761893B (zh) | 一种基于模式预训练的关系抽取方法 | |
CN112001162B (zh) | 基于小样本学习的智能审判*** | |
CN115145551A (zh) | 一种面向机器学习应用低代码开发的智能辅助*** | |
CN114550223B (zh) | 人物交互检测方法、装置及电子设备 | |
CN113065012B (zh) | 一种基于多模态动态交互机制的图文解析方法 | |
CN114898121A (zh) | 基于图注意力网络的混凝土坝缺陷图像描述自动生成方法 | |
CN114331122A (zh) | 重点人员风险等级评估方法及相关设备 | |
CN117033602A (zh) | 一种多模态的用户心智感知问答模型的构建方法 | |
CN114817773A (zh) | 一种基于多级分解和融合的时序预测***及方法 | |
CN113920379B (zh) | 一种基于知识辅助的零样本图像分类方法 | |
CN112766507A (zh) | 基于嵌入式和候选子图剪枝的复杂问题知识库问答方法 | |
CN114168754A (zh) | 一种基于句法依赖和融合信息的关系抽取方法 | |
CN115810351A (zh) | 一种基于视听融合的管制员语音识别方法及装置 | |
CN114238649B (zh) | 一种常识概念增强的语言模型预训练方法 | |
Li et al. | Symbolic expression transformer: A computer vision approach for symbolic regression | |
CN114528971A (zh) | 一种基于异质图神经网络的图谱频繁关系模式挖掘方法 | |
CN114385910A (zh) | 基于知识追踪的在线学习内容推荐方法及*** | |
CN116910190A (zh) | 多任务感知模型获取方法、装置、设备及可读存储介质 | |
CN115455162A (zh) | 层次胶囊与多视图信息融合的答案句子选择方法与装置 | |
Ni et al. | Natural Image Reconstruction from fMRI Based on Self-supervised Representation Learning and Latent Diffusion Model | |
CN114692604A (zh) | 一种基于深度学习的方面级情感分类方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |