CN112633483B - 四元组门图神经网络事件预测方法、装置、设备及介质 - Google Patents

四元组门图神经网络事件预测方法、装置、设备及介质 Download PDF

Info

Publication number
CN112633483B
CN112633483B CN202110026128.5A CN202110026128A CN112633483B CN 112633483 B CN112633483 B CN 112633483B CN 202110026128 A CN202110026128 A CN 202110026128A CN 112633483 B CN112633483 B CN 112633483B
Authority
CN
China
Prior art keywords
event
vector
background
events
new
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110026128.5A
Other languages
English (en)
Other versions
CN112633483A (zh
Inventor
陶建华
车飞虎
杨国花
张大伟
刘通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110026128.5A priority Critical patent/CN112633483B/zh
Publication of CN112633483A publication Critical patent/CN112633483A/zh
Application granted granted Critical
Publication of CN112633483B publication Critical patent/CN112633483B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Neurology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请实施例涉及一种四元组门图神经网络事件预测方法、装置、设备及介质，旨在提高传统事件预测精度。所述方法包括：将多个初始背景事件与多个待选事件构成事理图谱；将事理图谱中的所有事件的向量以四元组的形式进行表示，得到初始背景事件向量与初始待选事件向量；使用四元组门图神经网络对事理图谱进行图网络计算，得到多个新的背景事件向量与多个新的待选事件向量；利用注意力神经网络对事件的向量进行计算，得到背景事件的整体向量；将整体向量与每个新的待选事件向量进行打分，将得分最高的一个待选事件向量对应的待选事件作为预测结果。

Description

四元组门图神经网络事件预测方法、装置、设备及介质
技术领域
本申请实施例涉及数据处理技术领域，具体而言，涉及一种四元组门图神经网络事件预测方法、装置、设备及介质。
背景技术
脚本事件预测是人工智能领域一个重要的研究方向，理解脚本事件是实现真正的人工智能的重要一步，具体来说，脚本时间预测任务是根据已经出现的上下文，从多个可能的答案中选择一个标准答案，脚本事件预测可以应用在阅读理解、意图识别和对话管理等方面。现有的脚本事件预测方法中，主要是对上下文进行建模，利用模型实现事件预测。
现有技术中，一个问题是将事件的不同组成部分直接进行拼接，无法很好地捕捉到事件内部不同组成部分之间相互影响的关系，另一个问题是基于事件或事件链进行建模，无法很好捕捉到不同事件之间相互影响的关系。
发明内容
本申请实施例提供一种四元组门图神经网络事件预测方法、装置、设备及介质。，旨在提高传统事件预测精度。
本申请实施例第一方面提供一种四元组门图神经网络事件预测方法，所述方法包括：
将多个初始背景事件与多个待选事件构成事理图谱；
将所述事理图谱中的所述多个初始背景事件与多个初始待选事件的向量以四元组的形式进行表示，得到初始背景事件向量与初始待选事件向量；
使用四元组门图神经网络对所述事理图谱进行图网络计算，得到多个新的背景事件向量与多个新的待选事件向量；
利用注意力神经网络对所述多个新的背景事件向量与所述多个新的待选事件向量进行计算，得到背景事件的整体向量；
将所述整体向量与每个所述新的待选事件向量进行打分，将得分最高的一个待选事件作为预测结果。
可选地，将多个初始背景事件与多个待选事件构成事理图谱，包括：
设置多个初始背景事件与多个待选事件之间的关系；
以多个初始背景事件与多个待选事件为节点，以多个初始背景事件与多个待选事件之间的关系为边，构成事理图谱。
可选地，将所述事理图谱中的所述多个初始背景事件与多个初始待选事件的向量以四元组的形式进行表示，得到初始背景事件向量与初始待选事件向量，包括：
将包括所述多个初始背景事件与多个初始待选事件在内的所有事件的向量以v(es,eo,ep)的形式进行表示，其中v代表谓语动词，es代表主语，eo代表宾语，ep代表一个和谓语动词有介词关系的实体。
可选地，在使用四元组门图神经网络对所述事理图谱进行图网络计算，得到多个新的背景事件向量与多个新的待选事件向量之前，所述方法还包括：
收集多个相关事件，将所述多个相关事件中的一部分标注为背景事件，另一部分标注为待选事件，作为训练集；
将所述训练集输入所述四元组门图神经网络之中对所述四元组门图神经网络进行训练，得到训练好的四元组门图神经网络。
可选地，使用四元组门图神经网络对所述事理图谱进行图网络计算，得到多个新的背景事件向量与多个新的待选事件向量，包括：
将所述事理图谱中的事件的表示向量和代表事件之间的关系的邻接矩阵输入所述四元组门图神经网络中；
所述四元组门图神经网络对所述事件的表示向量和所述邻接矩阵进行计算，得到所述多个新的背景事件向量与所述多个新的待选事件向量。
可选地，利用注意力神经网络对所述多个新的背景事件向量与所述多个新的待选事件向量进行计算，得到背景事件的整体向量，包括：
将所述多个新的背景事件向量与所述多个新的待选事件向量输入到所述注意力神经网络中；
针对所述多个新的待选事件向量中的每一个新的待选事件向量，将所述多个新的背景事件向量中的每一个新的背景事件向量与其进行注意力机制的运算，得到所述多个新的背景事件向量中的每一个新的背景事向量相对于所述每一个新的待选事件向量的权重系数；
根据所述权重系数，计算得到所述背景事件的整体向量。
可选地，将所述整体向量与每个所述新的待选事件向量进行打分，将得分最高的待选事件向量对应的待选事件作为预测结果，包括：
根据所述背景事件的整体向量，计算每个新的待选事件向量与所述背景事件的整体向量之间的欧氏距离，得到多个欧氏距离的值；
选择多个欧氏距离的值中的最小值所对应的新的待选事件向量作为所述得分最高的待选事件向量，将所述得分最高的待选事件向量对应的待选事件作为预测结果。
本申请实施例第二方面提供一种四元组门图神经网络事件预测装置，所述装置包括：
事理图谱构成模块，用于将多个初始背景事件与多个待选事件构成事理图谱；
四元组事件表示模块，用于将所述事理图谱中的所述多个初始背景事件与多个初始待选事件的向量以四元组的形式进行表示，得到初始背景事件向量与初始待选事件向量；
四元组门图神经网络模块，用于使用四元组门图神经网络对所述事理图谱进行图网络计算，得到多个新的背景事件向量与多个新的待选事件向量；
基于注意力机制的背景融合模块，用于利用注意力神经网络对所述多个新的背景事件向量与所述多个新的待选事件向量进行计算，得到背景事件的整体向量；
背景事件与待选事件打分模块，用于将所述整体向量与每个所述新的待选事件向量进行打分，将得分最高的待选事件向量对应的待选事件作为预测结果。
可选地，所述事理图谱构成模块包括：
关系设置子模块，用于设置多个初始背景事件与多个待选事件之间的关系；
事理图谱构成子模块，用于以多个初始背景事件与多个待选事件为节点，以多个初始背景事件与多个待选事件之间的关系为边，构成事理图谱。
可选地，所述四元组事件表示模块包括：
四元组事件表示子模块，用于将包括所述多个初始背景事件与多个初始待选事件在内的所有事件的向量以v(es,eo,ep)的形式进行表示，其中v代表谓语动词，es代表主语，eo代表宾语，ep代表一个和谓语动词有介词关系的实体。
可选地，所述装置还包括：
事件收集模块，用于收集多个相关事件，将所述多个相关事件中的一部分标注为背景事件，另一部分标注为待选事件，作为训练集；
四元组门图神经网络训练模块，用于将所述训练集输入所述四元组门图神经网络之中对所述四元组门图神经网络进行训练，得到训练好的四元组门图神经网络。
可选地，所述四元组门图神经网络模块包括：
第一向量输入子模块，用于将所述事理图谱中的事件的表示向量和代表事件之间的关系的邻接矩阵输入所述四元组门图神经网络中；
四原子门图神经网络计算子模块，用于所述四元组门图神经网络对所述事件的表示向量和所述邻接矩阵进行计算，得到所述多个新的背景事件向量与所述多个新的待选事件向量。
可选地，所述基于注意力机制的背景融合模块包括：
第二向量输入子模块，用于将所述多个新的背景事件向量与所述多个新的待选事件向量输入到所述注意力神经网络中；
权重系数计算子模块，用于针对所述多个新的待选事件向量中的每一个新的待选事件向量，将所述多个新的背景事件向量中的每一个新的背景事件向量与其进行注意力机制的运算，得到所述多个新的背景事件向量中的每一个新的背景事向量相对于所述每一个新的待选事件向量的权重系数；
整体向量获得子模块，用于根据所述权重系数，计算得到所述背景事件的整体向量。
可选地，所述背景事件与待选事件打分模块包括：
欧氏距离计算子模块，用于根据所述背景事件的整体向量，计算每个新的待选事件向量与所述背景事件的整体向量之间的欧氏距离，得到多个欧氏距离的值；
预测结果获得子模块，选择多个欧氏距离的值中的最小值所对应的新的待选事件向量作为所述得分最高的待选事件向量，将所述得分最高的待选事件向量对应的待选事件作为预测结果。
本申请实施例第三方面提供一种可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时，实现如本申请第一方面所述的方法中的步骤。
本申请实施例第四方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本申请第一方面所述的方法的步骤。
采用本申请提供的四元组门图神经网络事件预测方法，首先将收集到的事件构成一个事理图谱，收集到的事件中包含了背景事件和待选事件，将事理图谱中的每个事件的向量中的四个组成部分和四元组数据的四个组成部分相对应，将每个时间的向量以四元组的形式进行表示，利用训练好的门图神经网络模型对事理图谱中的事件的向量进行计算，得到新的事件的向量，其中包含了新的背景事件向量和新的待选事件向量，采用注意力机制计算每一个背景事件向量对每一个待选事件向量的重要程度，根据每一个背景事件向量对每一个待选事件向量的重要程度得到背景事件的整体向量，计算每一个待选事件向量与整体背景事件向量的欧式距离，选择与整体背景事件向量距离最近的一个待选事件向量作为预测结果。本发明采用四元组对事件进行表示，恰好与事件的组成分相对应，更好的捕捉了事件内部不同组成成分之间的互相影响，使用门图神经网络对事件之间的相互作用进行建模，可以更好地捕捉到事件之间的互相影响，采用注意力机制将背景事件融合，与待选事件进行计算，可以考虑到每个背景事件对待选事件的影响，预测更加准确。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一实施例提出的四元组门图神经网络事件预测方法的流程图；
图2是本发明一实施例提出的基于四元组表示模型进行哈密顿算子运算的不同组成部分计算流程；
图3是本发明一实施例提出的基于四元组表示模型的事件表示示意图；
图4是本发明一实施例提出的基于注意力机制的背景事件与待选事件进行注意力机制运算的示意图；
图5是本发明一实施例提出的基于注意力机制的背景事件与待选事件进行注意力机制运算的示意图；
图6是本申请一实施例提出的基于加权求和后的背景事件与待选事件进行欧氏距离计算的打分模型示意图；
图7是本申请一实施例提出的四元组门图神经网络的训练流程图；
图8是本申请一实施例提出的四元组门图神经网络事件预测装置的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
参考图1，图1是本申请一实施例提出的四元组门图神经网络事件预测方法的流程图。如图1所示，该方法包括以下步骤：
S11：将多个初始背景事件与多个待选事件构成事理图谱。
本实施例中，初始背景事件可以理解为已经发生的事件，初始待选事件是与初始背景事件相对应的接下来可能发生的事件，事理图谱是由多个事件和事件之间的关系构成的图谱。
本实施例中，将多个初始背景事件与多个待选事件构成事理图谱的具体步骤包括：
S11-1：设置多个初始背景事件与多个待选事件之间的关系。
本实施例中，包括初始背景事件与初始待选事件在内的多个事件之间都是相互联系的，具有一定的关系，需要将事件之间的关系预先设置好。
示例地，一个事件是“进入商店”，另一个事件是“购物”，则“进入商店”的目的是“购物”，而“目的”可以记为“进入商店”与“购物”之间的关系。
S11-2：以多个初始背景事件与多个待选事件为节点，以多个初始背景事件与多个待选事件之间的关系为边，构成事理图谱。
本实施例中，事理图谱是一个包含了事理逻辑的知识库，描述了事件之间的演化规律和演化模式。事理图谱的结构是一个有向有环图，其中节点代表关系，有向边代表事件之间顺承、因果、条件和上下位等事理逻辑关系。
本实施例中，将包括多个初始背景事件与多个待选事件在内的所有事件作为事理图谱的节点，将各个事件之间的关系作为事理图谱的边，构成事理图谱，可以清晰的表达各个事件之间的逻辑关系，更加有利于对事件进行建模和计算。
S12：将所述事理图谱中的所述多个初始背景事件与多个初始待选事件的向量以四元组的形式进行表示，得到初始背景事件向量与初始待选事件向量。
本实施例中，将包括所述多个初始背景事件与多个初始待选事件在内的所有事件的向量以v(es,eo,ep)的形式进行表示，其中v代表谓语动词，es代表主语，eo代表宾语，ep代表一个和谓语动词有介词关系的实体。
本实施例中，四元组数据结构是复数数据的扩展，复数数据包括一个实部、一个虚部，四元组数据结构具有一个实部，三个虚部，即Q1＝a1+b1i+c1j+d1k，其中a1为实部，b1、c1、d1为虚部，i、j、k代表虚数，而事件表示的一般模型一般也是具有四个组成部分，即v(es，eo，ep)，，其中v代表谓语动词，es代表主语，eo代表宾语，ep代表一个和谓语动词有介词关系的实体。让a1与v对应，b1、c1、d1分别与es、eo、ep相对应，通过利用四元组数据结构与事件表示模型在结构上的类似，用四元组数据结构建模事件可以捕捉到事件内部的关系。
本实施例中，如图2所示，图2是本发明一实施例提出的基于四元组表示模型进行哈密顿算子运算的不同组成部分计算流程，四元组数据采用哈密顿算子进行运算，通过权重共享可以很好地捕捉到事件内部之间的相互作用的影响。图2中，Qin表示输入，Qout表示输出，W表示总权重，Ws、Wo、Wp是es、eo、ep对应的权重，v’、e’s、e’o、e’p分别是v、es、eo、ep结合各部分影响之后的向量表示。具体的计算流程可以通过如下公式描述：
Figure BDA0002890298930000081
其中Q1＝a1+b1i+c1j+d1k，Q2＝a2+b2i+c2j+d2k。
本实施例中，如图3所示，图3是本发明一实施例提出的基于四元组表示模型的事件表示示意图，其中颜色的深浅代表每个向量不同的组成部分。
示例地，事理图谱中有一个事件为“我去商场购买衣服”其中，“我”是主语es，“衣服”是宾语eo，“商场”是和谓语动词有介词关系的实体ep，“去购买”是谓语动词v。
S13：使用四元组门图神经网络对所述事理图谱进行图网络计算，得到多个新的背景事件向量与多个新的待选事件向量。
本实施例中，四元组门图神经网络，是将循环神经网络中的门结构与图神经网络相结合的一种新型神经网络，其中门结构与GRU的门结构类似，图神经网络是一种用于处理具有图结构的数据的通用神经网络结构。不同的脚本事件具有多重交互作用，为了结合不同事件的交互作用和事件的内部依赖关系，本实施例中将四元数和门控神经网络与图神经网络相结合，得到四元组门图神经网络，可以更好的学习事件的特征表示。
本实施例中，使用四元组门图神经网络对所述事理图谱进行图网络计算，得到多个新的背景事件向量与多个新的待选事件向量的具体步骤是：
S13-1：将所述事理图谱中的事件的表示向量和代表事件之间的关系的邻接矩阵输入所述门图神经网络中。
本实施例中，使用四元组门图神经网络对所述事理图谱进行图网络计算，首先需要将初始背景事件与初始待选事件的向量h(0)和邻接矩阵A输入到神经网络之中。
示例地，设共有8个背景事件与5个待选事件，则h(0)表示这8个背景事件和5个待选事件的初始向量，邻接矩阵A∈R13×13，表示这13个事件之间的互相关系。
S13-2：所述门图神经网络对所述事件的表示向量和所述邻接矩阵进行计算，得到所述多个新的背景事件向量与所述多个新的待选事件向量。
本实施例中，如图4所示，图4是本发明一实施例提出的基于注意力机制的背景事件与待选事件进行注意力机制运算的示意图，其中节点e1、e1……、en代表不同的事件向量，每条边都代表了事件之间的关系。
初始背景事件向量与初始待选事件向量只是将事件以向量的形式表示出来，并未对相互之间的关系进行建模，将背景事件向量与待选事件向量输入四元组门图神经网络进行计算，得到的新的背景事件向量和待选事件向量是融合了不同节点之间的信息，是融合了各个事件之间的影响的新的向量。
本实施例中，使用四元组门图神经网络对事件的表示向量和邻接矩阵进行计算得到多个新的背景事件向量与多个新的待选事件向量，具体计算方法是：
a(t)＝ATh(t-1)+b (2)
Figure BDA0002890298930000091
Figure BDA0002890298930000092
Figure BDA0002890298930000093
ht＝(1-zt)⊙h(t-1)+zt⊙ct (6)
其中，
Figure BDA0002890298930000094
表示哈密顿算子，⊙表示元素级别的乘法，a(t)是一个中间量，AT代表邻接矩阵的转置，h(t-1)代表第t个向量的上一个向量，b代表偏置量，/>
Figure BDA0002890298930000101
Q1、Q2都表示四元组数值，σ()代表四元组划分的sigmoid激活函数，tanh()代表四元组划分的tanh激活函数，zt代表更新门，rt代表重置门，ct代表中间量，ht代表新的背景事件向量或新的待选事件向量。
本实施例中，公式(2)表示的是信息在四元组门图神经网络的不同节点之间的传递过程，公式(3)-(6)表示的是从其余的节点和当前节点的之前的向量一起更新得到新的向量。上述公式中的循环传播过程中有一定的步数K步，步数由向量的数量决定。经过上述公式计算之后，四元组门图神经网络输出新的背景事件向量与新的待选事件向量，可以将新的背景事件向量以hi进行表示，将新的待选事件向量以hcj进行表示。
示例地，将8个初始背景事件和5个初始背景事件的向量与表示这13个事件之间相互关系的邻接矩阵输入四元组门图神经网络之中后，可得到这8背景事件的新的背景事件向量h1，h2，……，h8，和5个待选事件的新的待选事件向量hc1，hc2，……，hc5。
S14：利用注意力神经网络对所述多个新的背景事件向量与所述多个新的待选事件向量进行计算，得到背景事件的整体向量。
本实施例中，在得到多个新的背景事件向量与多个新的待选事件向量之后，使用注意力机制对背景事件向量和待选事件向量进行运算，可以考虑到每个背景事件对待选事件的影响。将多个背景事件融合为背景事件的整体向量，便于下一步计算。
本实施例中，利用注意力神经网络对所述多个新的背景事件向量与所述多个新的待选事件向量进行计算，得到背景事件的整体向量的具体步骤包括：
S14-1：将所述多个新的背景事件向量与所述多个新的待选事件向量输入到所述注意力神经网络中。
本实施例中，注意力神经网络用于对输入的新的背景事件向量和新的待选事件向量进行注意力机制的计算。
S14-2：针对所述多个新的待选事件向量中的每一个新的待选事件向量，将所述多个新的背景事件向量中的每一个新的背景事件向量与其进行注意力机制的运算，得到所述多个新的背景事件向量中的每一个新的背景事向量相对于所述每一个新的待选事件向量的权重系数。
本实施例中，每个背景事件对每个待选事件的有着不同程度的影响，为了将这种影响可以在向量计算中体现出来，本实施例使用了注意力神经网络对新的背景事件向量和新的待选事件向量进行计算。
本实施例中，针对所述多个新的待选事件向量中的每一个新的待选事件向量，将所述多个新的背景事件向量中的每一个新的背景事件向量与其进行注意力机制的运算，得到所述多个新的背景事件向量中的每一个新的背景事向量相对于所述每一个新的待选事件向量的权重的具体方法是：
uij＝tanh(Whhi+Wchcj+bu) (7)
Figure BDA0002890298930000111
其中，uij表示第i个新的背景事件与第j个新的待选事件之间的分数，分数越高表示关联程度越大，tanh()表示四元组划分的tanh激活函数，Wh和Wc表示权重，bu表示偏置参数，αij表示第i个背景事件对于第j个待选事件的权重系数，exp(uij)表示e的uij次方，∑kexp(ukj)表示e的u1j次方到ukj次方之和。
示例地，如图5所示，图5是本发明一实施例基于注意力机制的背景事件与待选事件进行注意力机制运算的示意图，当输入了8个背景事件与5个待选事件，则计算这8个背景事件对每一个待选事件的权重系数。
S14-3：根据所述权重系数，计算得到所述背景事件的整体向量。
本实施例中，根据所述权重系数，计算得到所述背景事件的整体向量的具体方法是：
Figure BDA0002890298930000112
其中，h表示背景事件的整体向量，αij表示第i个背景事件对于第j个待选事件的权重系数，hi表示第i个背景向量。
示例地，当输入8个背景事件时，整体向量h就是这8个背景事件向量的加权求和。
S15：将所述整体向量与每个所述新的待选事件向量进行打分，将得分最高的待选事件向量对应的待选事件作为预测结果。
本实施例中，在得到背景事件的整体向量之后，可以通过将每个新的待选事件向量与背景事件向量进行打分来确定预测结果，即最有可能发生的事情。
本实施例中，将所述整体向量与每个所述新的待选事件向量进行打分，将得分最高的待选事件向量对应的待选事件作为预测结果的步骤为：
S15-1：根据所述背景事件的整体向量，计算每个新的待选事件向量与所述背景事件的整体向量之间的欧氏距离，得到多个欧氏距离的值。
本实施例中，根据所述背景事件的整体向量，计算每个新的待选事件向量与所述背景事件的整体向量之间的欧氏距离，得到多个欧氏距离的值，计算的方法可以表示为：
Figure BDA0002890298930000121
其中，g()表示两个事件的欧几里得距离，sj表示两个事件的欧几里得距离，即欧氏距离。
示例地，两个事件a，b的欧几里得距离可以表示为：
g(a,b)＝‖a-b‖ (11)
S15-2：选择多个欧氏距离的值中的最小值所对应的新的待选事件向量作为所述得分最高的待选事件向量，将所述得分最高的待选事件向量对应的待选事件作为预测结果。
本实施例中，欧氏距离的值代表了两个向量之间的距离，欧氏距离的值越小，两个向量之间的距离越近，得分就越高，欧氏距离的值越大，得分就越低，可以见得，与背景事件整体向量距离最近的待选事件向量对应的待选事件就是预测得到的接下来最有可能发生的事件，也是得分最高的待选事件，即预测结果。
示例地，如图6所示，图6是本申请一实施例提出的基于加权求和后的背景事件与待选事件进行欧氏距离计算的打分模型示意图，其中分别求出了背景事件整体向量和5个待选事件之间的欧氏距离，得出了5个值，对这5个待选事件向量给出了5个分数。
示例地，向四元组门图神经网络中输入的背景事件为“我早晨起床”、“我洗脸刷牙”、“我吃了早饭”、“我背上书包”。待选事件为“我去上学”、“我去上班”、“我去看电影”。则四元组门图神经网络将这几个背景事件的向量融合为整体向量后，经过计算发现“我去上学”对应的向量与背景事件向量的欧氏距离最近，故预测的结果为“我去上学”。
如图7所示，图7是本申请一实施例提出的四元组门图神经网络的训练流程图。如图7所示，该方法包括以下步骤：
S21：收集多个相关事件，将所述多个相关事件中的一部分标注为背景事件，另一部分标注为待选事件，作为训练集。
本实施例中，需要收集多个事件作为训练集来训练四元组门图神经网络，其中包括了背景事件和待选事件，将收集到的事件分为若干组，每一组中有多个背景事件与待选事件，将背景事件进行标注，将这些背景事件对应的正确的待选事件标注为正确待选事件，将剩余的待选事件不进行标注。
示例地，收集到的事件有若干个事件为“小李下课了”、“小李背上书包”、“小李走回宿舍”、“小李拿了篮球”，将这几个事件分为一组，标注为背景事件，这一组中再加入候选事件“小李去食堂吃饭”、“小李去球场打篮球”、“小李去上课”，将“小李去球场打篮球”标注为正确待选事件。
S22：将所述训练集输入所述四元组门图神经网络之中对所述四元组门图神经网络进行训练，得到训练好的四元组门图神经网络。
本实施例中，将训练集中的多组事件分组输入到四元组门图神经网络之中，对神经网络进行训练，其中目标优化函数为：
Figure BDA0002890298930000131
其中N代表背景事件的数量，k代表待选事件的数量，sIj表示第I个背景事件和第j个相对应的待选事件的相关度分数，y表示正确的待选事件的索引，margin是margin损失函数的参数，λ是L2正则化的参数，Θ代表模型的参数，该模型参数的优化基于RMSprop优化器。
基于同一发明构思，本申请一实施例提供一种四元组门图神经网络事件预测装置300。参考图8，图8是本申请一实施例提出的四元组门图神经网络事件预测装置的示意图。如图8所示，该装置包括：
事理图谱构成模块301，用于将多个初始背景事件与多个待选事件构成事理图谱；
四元组事件表示模块302，用于将所述事理图谱中的所述多个初始背景事件与多个初始待选事件的向量以四元组的形式进行表示，得到初始背景事件向量与初始待选事件向量；
四元组门图神经网络模块303，用于使用四元组门图神经网络对所述事理图谱进行图网络计算，得到多个新的背景事件向量与多个新的待选事件向量；
基于注意力机制的背景融合模块304，用于利用注意力神经网络对所述多个新的背景事件向量与所述多个新的待选事件向量进行计算，得到背景事件的整体向量；
背景事件与待选事件打分模块305，用于将所述整体向量与每个所述新的待选事件向量进行打分，将得分最高的待选事件向量对应的待选事件作为预测结果。
可选地，所述事理图谱构成模块包括：
关系设置子模块，用于设置多个初始背景事件与多个待选事件之间的关系；
事理图谱构成子模块，用于以多个初始背景事件与多个待选事件为节点，以多个初始背景事件与多个待选事件之间的关系为边，构成事理图谱。
可选地，所述四元组事件表示模块包括：
四元组事件表示子模块，用于将包括所述多个初始背景事件与多个初始待选事件在内的所有事件的向量以v(es,eo,ep)的形式进行表示，其中v代表谓语动词，es代表主语，eo代表宾语，ep代表一个和谓语动词有介词关系的实体。
可选地，所述装置还包括：
事件收集模块，用于收集多个相关事件，将所述多个相关事件中的一部分标注为背景事件，另一部分标注为待选事件，作为训练集；
四元组门图神经网络训练模块，用于将所述训练集输入所述四元组门图神经网络之中对所述四元组门图神经网络进行训练，得到训练好的四元组门图神经网络。
可选地，所述四元组门图神经网络模块包括：
第一向量输入子模块，用于将所述事理图谱中的事件的表示向量和代表事件之间的关系的邻接矩阵输入所述四元组门图神经网络中；
四原子门图神经网络计算子模块，用于所述四元组门图神经网络对所述事件的表示向量和所述邻接矩阵进行计算，得到所述多个新的背景事件向量与所述多个新的待选事件向量。
可选地，所述基于注意力机制的背景融合模块包括：
第二向量输入子模块，用于将所述多个新的背景事件向量与所述多个新的待选事件向量输入到所述注意力神经网络中；
权重系数计算子模块，用于针对所述多个新的待选事件向量中的每一个新的待选事件向量，将所述多个新的背景事件向量中的每一个新的背景事件向量与其进行注意力机制的运算，得到所述多个新的背景事件向量中的每一个新的背景事向量相对于所述每一个新的待选事件向量的权重系数；
整体向量获得子模块，用于根据所述权重系数，计算得到所述背景事件的整体向量。
可选地，所述背景事件与待选事件打分模块包括：
欧氏距离计算子模块，用于根据所述背景事件的整体向量，计算每个新的待选事件向量与所述背景事件的整体向量之间的欧氏距离，得到多个欧氏距离的值；
预测结果获得子模块，选择多个欧氏距离的值中的最小值所对应的新的待选事件向量作为所述得分最高的待选事件向量，将所述得分最高的待选事件向量对应的待选事件作为预测结果。
基于同一发明构思，本申请另一实施例提供一种可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请上述任一实施例所述的四元组门图神经网络事件预测方法中的步骤。
基于同一发明构思，本申请另一实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请上述任一实施例所述的四元组门图神经网络事件预测方法中的步骤。
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请实施例是参照根据本申请实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种四元组门图神经网络事件预测方法、装置、设备及介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种四元组门图神经网络事件预测方法，所述方法包括：
将多个初始背景事件与多个待选事件构成事理图谱；
将所述事理图谱中的所述多个初始背景事件与多个初始待选事件的向量以四元组的形式进行表示，得到初始背景事件向量与初始待选事件向量，所述初始背景事件向量与所述初始待选事件向量的表示形式为v(es,eo,ep)，其中v代表谓语动词，es代表主语，eo代表宾语，ep代表一个和谓语动词有介词关系的实体；
使用四元组门图神经网络，根据所述初始背景事件向量与所述初始待选事件向量，对所述事理图谱进行图网络计算，得到多个新的背景事件向量与多个新的待选事件向量；
利用注意力神经网络对所述多个新的背景事件向量与所述多个新的待选事件向量进行计算，得到背景事件的整体向量；
根据每个所述新的待选事件向量与所述整体向量之间的欧氏距离，对所述待选事件进行打分，将得分最高的待选事件作为预测结果。
2.根据权利要求1所述的方法，其特征在于，将多个初始背景事件与多个待选事件构成事理图谱，包括：
设置多个初始背景事件与多个待选事件之间的关系；
以多个初始背景事件与多个待选事件为节点，以多个初始背景事件与多个待选事件之间的关系为边，构成事理图谱。
3.根据权利要求1所述的方法，其特征在于，在使用四元组门图神经网络，根据所述初始背景事件向量与所述初始待选事件向量，对所述事理图谱进行图网络计算，得到多个新的背景事件向量与多个新的待选事件向量之前，所述方法还包括：
收集多个相关事件，将所述多个相关事件中的一部分标注为背景事件，另一部分标注为待选事件，作为训练集；
将所述训练集输入所述四元组门图神经网络之中对所述四元组门图神经网络进行训练，得到训练好的四元组门图神经网络。
4.根据权利要求1所述的方法，其特征在于，使用四元组门图神经网络对所述事理图谱进行图网络计算，得到多个新的背景事件向量与多个新的待选事件向量，包括：
将所述事理图谱中的事件的表示向量和代表事件之间的关系的邻接矩阵输入所述四元组门图神经网络中；
所述四元组门图神经网络对所述事件的表示向量和所述邻接矩阵进行计算，得到所述多个新的背景事件向量与所述多个新的待选事件向量。
5.根据权利要求1所述的方法，其特征在于，利用注意力神经网络对所述多个新的背景事件向量与所述多个新的待选事件向量进行计算，得到背景事件的整体向量，包括：
将所述多个新的背景事件向量与所述多个新的待选事件向量输入到所述注意力神经网络中；
针对所述多个新的待选事件向量中的每一个新的待选事件向量，将所述多个新的背景事件向量中的每一个新的背景事件向量与其进行注意力机制的运算，得到所述多个新的背景事件向量中的每一个新的背景事向量相对于所述每一个新的待选事件向量的权重系数；
根据所述权重系数，计算得到所述背景事件的整体向量。
6.根据权利要求1所述的方法，其特征在于，根据每个所述新的待选事件向量与所述整体向量之间的欧氏距离，对所述待选事件进行打分，将得分最高的待选事件作为预测结果，包括：
根据所述背景事件的整体向量，计算每个新的待选事件向量与所述背景事件的整体向量之间的欧氏距离，得到多个欧氏距离的值；
选择多个欧氏距离的值中的最小值所对应的新的待选事件向量作为所述得分最高的待选事件向量，将所述得分最高的待选事件向量对应的待选事件作为预测结果。
7.一种四元组门图神经网络事件预测装置，其特征在于，所述装置包括：
事理图谱构成模块，用于将多个初始背景事件与多个待选事件构成事理图谱；
四元组事件表示模块，用于将所述事理图谱中的所述多个初始背景事件与多个初始待选事件的向量以四元组的形式进行表示，得到初始背景事件向量与初始待选事件向量，所述初始背景事件向量与所述初始待选事件向量的表示形式为v(es,eo,ep)，其中v代表谓语动词，es代表主语，eo代表宾语，ep代表一个和谓语动词有介词关系的实体；
四元组门图神经网络模块，用于使用四元组门图神经网络，根据所述初始背景事件向量与所述初始待选事件向量，对所述事理图谱进行图网络计算，得到多个新的背景事件向量与多个新的待选事件向量；
基于注意力机制的背景融合模块，用于利用注意力神经网络对所述多个新的背景事件向量与所述多个新的待选事件向量进行计算，得到背景事件的整体向量；
背景事件与待选事件打分模块，用于根据每个所述新的待选事件向量与所述整体向量之间的欧氏距离，对所述待选事件进行打分，将得分最高的待选事件作为预测结果。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时，实现如权利要求1至6任一所述的方法中的步骤。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1至6任一所述的方法的步骤。
CN202110026128.5A 2021-01-08 2021-01-08 四元组门图神经网络事件预测方法、装置、设备及介质 Active CN112633483B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110026128.5A CN112633483B (zh) 2021-01-08 2021-01-08 四元组门图神经网络事件预测方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110026128.5A CN112633483B (zh) 2021-01-08 2021-01-08 四元组门图神经网络事件预测方法、装置、设备及介质

Publications (2)

Publication Number Publication Date
CN112633483A CN112633483A (zh) 2021-04-09
CN112633483B true CN112633483B (zh) 2023-05-30

Family

ID=75293864

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110026128.5A Active CN112633483B (zh) 2021-01-08 2021-01-08 四元组门图神经网络事件预测方法、装置、设备及介质

Country Status (1)

Country Link
CN (1) CN112633483B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020232943A1 (zh) * 2019-05-23 2020-11-26 广州市香港科大***研究院 用于事件预测的知识图构建方法与事件预测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080126399A1 (en) * 2006-06-29 2008-05-29 Macgregor Robert M Method and apparatus for optimizing data while preserving provenance information for the data
CN101937430B (zh) * 2010-09-03 2015-04-15 清华大学 一种汉语句子中事件句式的抽取方法
US10303999B2 (en) * 2011-02-22 2019-05-28 Refinitiv Us Organization Llc Machine learning-based relationship association and related discovery and search engines

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020232943A1 (zh) * 2019-05-23 2020-11-26 广州市香港科大***研究院 用于事件预测的知识图构建方法与事件预测方法

Also Published As

Publication number Publication date
CN112633483A (zh) 2021-04-09

Similar Documents

Publication Publication Date Title
Stork et al. A new taxonomy of global optimization algorithms
Chen et al. Fuzzy time series forecasting based on optimal partitions of intervals and optimal weighting vectors
CN110490717B (zh) 基于用户会话及图卷积神经网络的商品推荐方法及***
Chi et al. Learning of fuzzy cognitive maps with varying densities using a multiobjective evolutionary algorithm
Bouckaert Bayesian network classifiers in weka
Shukla Neuro-genetic prediction of software development effort
Gol et al. A formal methods approach to pattern synthesis in reaction diffusion systems
CN112288086A (zh) 一种神经网络的训练方法、装置以及计算机设备
Yang et al. Deep knowledge tracing with convolutions
CN109657792A (zh) 构建神经网络的方法、装置和计算机可读介质
JP2024526504A (ja) リソグラフィマスク生成モデルの訓練方法、装置、機器、及びコンピュータプログラム
CN108062369A (zh) 一种整合情境的多态性泛在学习资源聚合方法及***
CN114331122A (zh) 重点人员风险等级评估方法及相关设备
Bukhtoyarov et al. A comprehensive evolutionary approach for neural network ensembles automatic design
CN112420125A (zh) 分子属性预测方法、装置、智能设备和终端
Costa et al. Demonstrating the evolution of GANs through t-SNE
CN110263136B (zh) 基于强化学习模型向用户推送对象的方法和装置
CN113849725B (zh) 一种基于图注意力对抗网络的社会化推荐方法及***
CN112633483B (zh) 四元组门图神经网络事件预测方法、装置、设备及介质
CN109559345B (zh) 一种服装关键点定位***及其训练、定位方法
Dikopoulou et al. From undirected structures to directed graphical lasso fuzzy cognitive maps using ranking-based approaches
CN113065321B (zh) 基于lstm模型和超图的用户行为预测方法及***
CN112836805B (zh) Krfpv算法、执行装置、电子设备、存储介质以及神经网络
Madeiro et al. Gradient-based algorithms for the automatic construction of fuzzy cognitive maps
Kavipriya et al. Adaptive weight deep convolutional neural network (AWDCNN) classifier for predicting student’s performance in job placement process

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant