CN113128689A - 一种调控知识图谱的实体关系路径推理方法及*** - Google Patents

一种调控知识图谱的实体关系路径推理方法及*** Download PDF

Info

Publication number
CN113128689A
CN113128689A CN202110462388.7A CN202110462388A CN113128689A CN 113128689 A CN113128689 A CN 113128689A CN 202110462388 A CN202110462388 A CN 202110462388A CN 113128689 A CN113128689 A CN 113128689A
Authority
CN
China
Prior art keywords
entity
knowledge graph
regulation
relationship
relation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110462388.7A
Other languages
English (en)
Inventor
陈盛
王新迎
闫冬
徐会芳
彭国政
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
Original Assignee
State Grid Corp of China SGCC
China Electric Power Research Institute Co Ltd CEPRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, China Electric Power Research Institute Co Ltd CEPRI filed Critical State Grid Corp of China SGCC
Priority to CN202110462388.7A priority Critical patent/CN113128689A/zh
Publication of CN113128689A publication Critical patent/CN113128689A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06—Energy or water supply

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Economics (AREA)
  • Water Supply & Treatment (AREA)
  • Public Health (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Databases & Information Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明一种调控知识图谱的实体关系路径推理方法及***，实现调控知识图谱中任意两个实体间的关系路径推理，可进一步应用于调控辅助决策。所述方法包括将调控知识图谱中的实体对进行向量化表示；将向量化表示的实体对，通过预训练的DDPG模型进行推理，得到所述实体对的最优关系路径。通过预训练的DDPG模型进行推理，实现调控知识图谱中任意两个实体间的关系路径推理，可进一步应用于调控辅助决策。其中，利用先验知识库的构建，对调控知识图谱中较好的训练样本进行筛选，从而提高了DDPG模型中经验回放单元内训练样本的质量，提高了神经网络的训练效果；实现了先验知识与深度确定性策略梯度融合的路径推理方法。

Description

一种调控知识图谱的实体关系路径推理方法及***
技术领域
本发明涉及电力调度领域，具体为一种调控知识图谱的实体关系路径推理方法及***。
背景技术
随着电网规模持续扩大和运行特性日趋复杂，电网调控业务复杂度及调控人员承载力强度日益增加。但随着信息化***的不断升级，获取的信息数量及数据维度不断扩增，各类智能化应用越来越多，调度自动化业务逻辑和相关业务知识仅凭人力难以全面掌握。一旦***出现复杂问题，简单的业务逻辑或业务操作不能解决时只能通过增加人力投入来查找可能的故障原因。
故障知识推理任务是进行辅助的逻辑或决策判断，主要可分为基于向量化表示的关系推理和随机游走路径排序两种方法。前者的代表有TransE，TrasH等，其原理是将知识图谱中的不同实体、连接关系以三元组的形式开展迭代训练，将实体和关系进一步转化为不同维度的向量表示，再通过向量之间距离的计算推理不同实体间的关系。向量嵌入表示的方法将“实体-关系-实体”的表示方式转化为向量的加和操作，在知识图谱规模适中且大规模训练优化的基础上可以获得较好的效果，但当知识图谱中出现“一对多”及大量重复关系时，通过向量计算的推理结果准确度将受到大幅影响。路径排序算法PRA(Path RankingAlgorithm)是Ni Lao等人提出，其思想是通过查询知识图谱中任意两个实体间的路径，并以路径长度排序，利用关系路径的特征来判断作为随机游走模型的代表，将两个实体之间存在的路径作为特征，再利用该特征判断两个实体之间是否存在某个关系。这种方法具有更好的可解释性，但它作用在离散的特征空间中，导致难以评估实体和关系之间的相似性，且随着知识图谱规模的扩大，搜索效率将大幅下降。
开展知识推理决策的前提是寻找实体间的关系连接，国内外相关学者作了部分研究，如：XIONG等人提出的DeepPath模型将实体间关系的推理视为关系路径推理，基于Actor-Critic框架的深度强化学习方法进行了求解，并将路径推理结果作为一种关系预测方法；杨瑞达等在文章“基于混合增强智能的知识图谱推理技术研究”中，进一步提出采用混合增强智能的方法进行路径推理，且在训练过程中融合了人工判断，以提高训练收敛效率。不同于常规知识图谱，调控知识图谱中存在大量重复的关系数据，即一个起始实体加上一个关系可对应n个末端实体。但随着实体-关系-实体对数的增加，其连接路径的复杂程度也呈指数级增长，如何在一个具有数十倍于最优路径的选择空间内实现优化选择是待解决的问题。
发明内容
针对现有技术中调控知识图谱具有大量重复关系及数十倍的路径选择问题，本发明提供一种调控知识图谱的实体关系路径推理方法及***，实现调控知识图谱中任意两个实体间的关系路径推理，可进一步应用于调控辅助决策。
本发明是通过以下技术方案来实现：
一种调控知识图谱的实体关系路径推理方法，包括，
将调控知识图谱中的实体对进行向量化表示；
将向量化表示的实体对，通过预训练的DDPG模型进行推理，得到所述实体对的最优关系路径。
优选的，所述预训练的DDPG模型的训练方法如下，
将调控知识图谱中的实体对进行向量化表示；
随机生成一个样本选择概率，若不大于设定的专家经验阈值，则根据调控知识图谱的实体对构建先验知识库，并作为训练样本；
若大于设定的专家经验阈值，则根据调控知识图谱中的实体对，通过DDPG模型的神经网络，生成随机样本，并作为训练样本；
所述的训练样本集合到DDPG模型的经验回放单元，根据对经验回放单元中训练样本的设定采样对DDPG模型的神经网络进行训练。
进一步，所述根据调控知识图谱的实体对构建先验知识库，具体包括，通过深度优先搜索调节知识图谱中任意两个实体之间的存在的所有关系路径，根据训练需要，存储为如下关系路径三元组的格式：
Pn＝{(ehead,r,em),...,(em,r,eend)}
式中，Pn为第n条关系路径；ehead，eend为头部实体及尾部实体；em为与头部实体或尾部实体相连的中间实体；r为知识图谱中的关系。
优选的，所述的将调控知识图谱中的实体对进行向量化表示时，将知识图谱中的任意三元组<实体1、关系、实体2>转化为向量空间的连续表示，即实现实体向量1+关系向量＝实体向量2；具体包括如下，
步骤1，根据任意包含多个三元组<实体1、关系、实体2>的知识图谱，确定向量空间的维度n，实体个数|E|，关系个数|R|，并生成(|E|+|R|)*n个向量参数；
步骤2，筛选固定尺寸的三元组，并根据三元组中实体关系向量计算误差，公式如下：
Figure BDA0003042767610000031
式中，向量ehead为三元组的头实体，向量eend为三元组的尾实体，向量r为连接头实体和尾实体的关系；
步骤3，采用梯度下降的方式更新三元组中的向量参数；
步骤4，循环步骤2和步骤3，直至误差最小，训练结束，得到实体对的向量化表示。
优选的，所述预训练的DDPG模型中，评论网络根据如下损失函数进行网络学习；
Figure BDA0003042767610000041
其中，y是目标行动网络Q值；
Figure BDA0003042767610000042
是目标评论网络的Q值；R是奖励函数；s是状态；a是目标行动网络传给目标评论网络的关系向量；γ是折扣因子；L(θ)为目标行动网络的Q值和目标评论网络的Q值的平方损失；θ为目标行动网络的参数集合；E表示平均值。
进一步，所述奖励函数R如下式所示，
R＝Rcomplete+Rlength
其中，
Figure BDA0003042767610000043
为推理路径是否达到目标点的奖励值；
Figure BDA0003042767610000044
为推理路径长度的奖励值。
优选的，所述预训练的DDPG模型中，行动网络基于确定性策略根据下式进行参数更新；
Figure BDA0003042767610000045
其中，J是目标行动网络的目标函数；θ是目标行动网络的参数集合；s是状态；D是状态空间全集；μ表示目标行动网络输出的确定性动作；Qμ(s,a)为采用确定性动作μ的Q值；a是目标行动网络传给目标评论网络的关系；▽为梯度表示。
一种调控知识图谱的实体关系路径推理***，包括，
实体向量化嵌入模块，用于将调控知识图谱中的实体对进行向量化表示；
关系推理模块，用于将向量化表示的实体对，通过预训练的DDPG模型进行推理，得到所述实体对的最优关系路径。
优选的，所述的关系推理模块还包括先验知识库构建模块，用于根据调控知识图谱的实体对构建先验知识库；具体包括，通过深度优先搜索调节知识图谱中任意两个实体之间的存在的所有关系路径，根据训练需要，存储为如下关系路径三元组的格式：
Pn＝{(ehead,r,em),...,(em,r,eend)}
式中，Pn为第n条关系路径；ehead，eend为头部实体及尾部实体；em为与头部实体或尾部实体相连的中间实体；r为知识图谱中的关系。
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的调控知识图谱的实体关系路径推理方法。
与现有技术相比，本发明具有以下有益的技术效果：
本发明通过预训练的DDPG模型进行推理，实现调控知识图谱中任意两个实体间的关系路径推理，可进一步应用于调控辅助决策。其中，利用先验知识库的构建，对调控知识图谱中较好的训练样本进行筛选，从而提高了DDPG模型中经验回放单元内训练样本的质量，提高了神经网络的训练效果；实现了先验知识与深度确定性策略梯度融合的路径推理方法。
进一步的，神经网络学习可实现状态空间与动作输出的复杂关系映射，无需建立环境状态与动作输出之间的数学关系，从而提高了模型的适应性，且神经网络具有记忆功能，在经过训练后，在实际使用中无需进一步进行训练即可开展路径推理，提高了常规基于查询的路径推理方法的效率。
进一步的，神经网络参数更新方式采用经验知识和随机探索相结合的方式开展，可大幅提高神经网络模型的探索效率，实现模型的快速稳定收敛。
进一步的，奖励函数设计以可达性和路径长度反比双重机制，既能保障路径的可用性，又可以实现尽量短的推理路径，提高了模型的可用性。
附图说明
图1为本发明实例中所述推理方法的流程图。
图2为本发明实例中所述包括预训练过程的推理方法的流程图。
图3为本发明实例中所述DDPG模型训练的架构图。
图4为本发明实例中所述***的结构框图。
具体实施方式
下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。
本发明一种调控知识图谱的实体关系路径推理方法，如图1所示，其包括，将调控知识图谱中的实体对进行向量化表示；将向量化表示的实体对，通过预训练的DDPG模型进行推理，得到所述实体对的最优关系路径。
上述预训练的DDPG模型，是对现有的DDPG模型的，主要在于通过改进的训练方法实现DDPG模型的改进，如图2所示，包括如下步骤，
S1将调控知识图谱中的实体对进行向量化表示；通过实体向量化嵌入，主要实现知识图谱中实体、关系的向量化表示；表示时将知识图谱中的任意三元组<实体1、关系、实体2>转化为向量空间的连续表示，即实现实体向量1+关系向量＝实体向量2；具体包括如下，
步骤1，根据任意包含多个三元组<实体1、关系、实体2>的知识图谱，确定向量空间的维度n，实体个数|E|，关系个数|R|，并生成(|E|+|R|)*n个向量参数；
步骤2，筛选固定尺寸的三元组，并根据三元组中实体关系向量计算误差，公式如下：
Figure BDA0003042767610000071
式中，向量ehead为三元组的头实体，向量eend为三元组的尾实体，向量r为连接头实体和尾实体的关系；
步骤3，采用梯度下降的方式更新三元组中的向量参数；
步骤4，循环步骤2和步骤3，直至误差最小，训练结束，得到实体对的向量化表示。
其中，对于不同的模式选择，S1中的实体向量化嵌入的处理对象不同，在训练时，具体的采用调控知识图谱训练集，而在测试时，具体的采用调控知识图谱测试集，在运行时，具体的采用待推理的调控知识图谱集合。
S2关系推理训练；主要通过先验知识库的构建、深度神经网络学习的改进和行动网络参数更新实现对原有DDPG模型训练进行改进，从而实现对DDPG模型的改进，具体的，如图3所示，
开始训练循环，随机生成一个样本选择概率，若不大于设定的专家经验阈值，则根据调控知识图谱的实体对构建先验知识库，并作为训练样本；若大于设定的专家经验阈值，则根据调控知识图谱中的实体对，通过DDPG模型的神经网络，生成随机样本，并作为训练样本；其中一个完整的样本包括关系向量a，当前时刻状态s，下一时刻状态si+1和奖励函数Ri。本优选实例中，专家经验阈值默认设定为0.5。
构建先验知识库具体包括，通过深度优先搜索调节知识图谱中任意两个实体之间的存在的所有关系路径，根据训练需要，存储为如下关系路径三元组的格式：
Pn＝{(ehead,r,em),...,(em,r,eend)}
式中，Pn为第n条关系路径；ehead，eend为头部实体及尾部实体；em为与头部实体或尾部实体相连的中间实体；r为知识图谱中的关系。
所述的训练样本集合到DDPG模型的经验回放单元，根据对经验回放单元中训练样本的设定采样对DDPG模型的神经网络进行训练。
预训练DDPG模型时，评论网络根据如下损失函数进行网络学习；
Figure BDA0003042767610000081
式中，y是目标行动网络Q值；
Figure BDA0003042767610000082
是目标评论网络的Q值；R是奖励函数；a是目标行动网络传给目标评论网络的关系向量；γ是折扣因子；L(θ)为目标行动网络的Q值和目标评论网络的Q值的平方损失；θ为目标行动网络的参数集合；E表示平均值。具体的，a是目标行动网络传给目标评论网络的关系向量，即执行策略，y等于目标评论网络的Q值乘以折扣因子γ的加和，目标评论网络的Q值则根据奖励函数R及将下一时刻的状态和目标行动网络得到的动作进行计算。L(θ)为目标行动网络的Q值和目标评论网络的Q值的平方损失，用于目标评论网络参数的训练更新。
在上述损失函数中，奖励函数R设计方面主要考虑路径推理中的必要因素：一是，推理路径能够达到目标点；二是，推理路径的长度，具体的奖励函数R如下式所示，
R＝Rcomplete+Rlength
其中，
Figure BDA0003042767610000091
为推理路径是否达到目标点的奖励值；
Figure BDA0003042767610000092
为推理路径长度的奖励值。
预训练DDPG模型时，行动网络基于确定性策略根据下式进行参数更新；
Figure BDA0003042767610000093
其中，J是目标行动网络的目标函数；θ是目标行动网络的参数集合；s是状态；D是状态空间全集；μ表示目标行动网络输出的确定性动作；Qμ(s,a)为采用确定性动作μ的Q值；a是目标行动网络传给目标评论网络的关系；
Figure BDA0003042767610000094
为梯度表示。
通过上述的训练，输出本轮训练结果，判断循环是否结束，结束则保存更新神经网络模型，未结束则重复上的训练循环。
S3训练完成更新DDPG的神经网络后，进行关系推理运行或测试；
步骤1：输入需要进行关系推理的实体对<ehead，eend>；
步骤2：利用S2已训练好的DDPG模型，将实体对<ehead，eend>通过向量化表示输入DDPG模型的神经网络；
步骤3：得到输出结果或者验证输出结果。
本发明提出一种基于先验知识与深度确定性策略梯度融合的路径推理方法，实现调控知识图谱中任意两个实体间的关系路径推理，可进一步应用于调控辅助决策。与此对应的，本发明所述的***，如图4所示，包括，
实体向量化嵌入模块，用于将调控知识图谱中的实体对进行向量化表示；
关系推理模块，用于将向量化表示的实体对，通过预训练的DDPG模型进行推理，得到所述实体对的最优关系路径。
其中，关系推理模块还包括先验知识库构建模块，用于根据调控知识图谱的实体对构建先验知识库；具体包括，通过深度优先搜索调节知识图谱中任意两个实体之间的存在的所有关系路径，根据训练需要，存储为如下关系路径三元组的格式：
Pn＝{(ehead,r,em),...,(em,r,eend)}
式中，Pn为第n条关系路径；ehead，eend为头部实体及尾部实体；em为与头部实体或尾部实体相连的中间实体；r为知识图谱中的关系。
其中，关系推理模块用于关系推理训练及关系推理运行或测试。
实体向量化嵌入模块主要实现知识图谱中实体、关系的向量化表示。
关系推理模块在进行训练时，主要通过先验知识构建模块实现先验知识库构建、深度神经网络构建后进行深度神经网络参数更新、通过奖励机制设计构建奖励函数，并进行模型训练和模型保存等功能。
关系推理模块在运行或测试时，主要实现基于已训练模型开展知识图谱实体关系路径推理。
上述的神经网络构建具体的，根据调节知识图谱实体、关系向量嵌入维度n，定义状态空间s为2*n个参数，对应输入层神经元个数为2*n，动作空间为知识图谱中关系个数，如关系数量为m，则对应输出层神经元个数为m。根据调节知识图谱规模大小，选择隐层数量及神经元参数个数。构建完成后，进行上述的训练过程。
本发明还提供一种计算机设备，包括存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如上述的调控知识图谱的实体关系路径推理方法的步骤。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述的调控知识图谱的实体关系路径推理方法的步骤。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的本发明的权利要求保护范围之内。
由技术常识可知，本发明可以通过其它的不脱离其精神实质或必要特征的实施方案来实现。因此，上述公开的实施方案，就各方面而言，都只是举例说明，并不是仅有的。所有在本发明范围内或在等同于本发明的范围内的改变均被本发明包含。

Claims (10)

1.一种调控知识图谱的实体关系路径推理方法，其特征在于，包括，
将调控知识图谱中的实体对进行向量化表示；
将向量化表示的实体对，通过预训练的DDPG模型进行推理，得到所述实体对的最优关系路径。
2.根据权利要求1所述的一种调控知识图谱的实体关系路径推理方法，其特征在于，所述预训练的DDPG模型的训练方法如下，
将调控知识图谱中的实体对进行向量化表示；
随机生成一个样本选择概率，若不大于设定的专家经验阈值，则根据调控知识图谱的实体对构建先验知识库，并作为训练样本；
若大于设定的专家经验阈值，则根据调控知识图谱中的实体对，通过DDPG模型的神经网络，生成随机样本，并作为训练样本；
所述的训练样本集合到DDPG模型的经验回放单元，根据对经验回放单元中训练样本的设定采样对DDPG模型的神经网络进行训练。
3.根据权利要求2所述的一种调控知识图谱的实体关系路径推理方法，其特征在于，所述根据调控知识图谱的实体对构建先验知识库，具体包括，通过深度优先搜索调节知识图谱中任意两个实体之间的存在的所有关系路径，根据训练需要，存储为如下关系路径三元组的格式：
Pn＝{(ehead,r,em),...,(em,r,eend)}
式中，Pn为第n条关系路径；ehead，eend为头部实体及尾部实体；em为与头部实体或尾部实体相连的中间实体；r为知识图谱中的关系。
4.根据权利要求1或2所述的一种调控知识图谱的实体关系路径推理方法，其特征在于，所述的将调控知识图谱中的实体对进行向量化表示时，将知识图谱中的任意三元组<实体1、关系、实体2>转化为向量空间的连续表示，即实现实体向量1+关系向量＝实体向量2；具体包括如下，
步骤1，根据任意包含多个三元组<实体1、关系、实体2>的知识图谱，确定向量空间的维度n，实体个数|E|，关系个数|R|，并生成(|E|+|R|)*n个向量参数；
步骤2，筛选固定尺寸的三元组，并根据三元组中实体关系向量计算误差，公式如下：
Figure FDA0003042767600000021
式中，向量ehead为三元组的头实体，向量eend为三元组的尾实体，向量r为连接头实体和尾实体的关系；
步骤3，采用梯度下降的方式更新三元组中的向量参数；
步骤4，循环步骤2和步骤3，直至误差最小，训练结束，得到实体对的向量化表示。
5.根据权利要求1或2所述的一种调控知识图谱的实体关系路径推理方法，其特征在于，所述预训练的DDPG模型中，评论网络根据如下损失函数进行网络学习；
Figure FDA0003042767600000022
其中，y是目标行动网络Q值；
Figure FDA0003042767600000023
是目标评论网络的Q值；R是奖励函数；s是状态；a是目标行动网络传给目标评论网络的关系向量；γ是折扣因子；L(θ)为目标行动网络的Q值和目标评论网络的Q值的平方损失；θ为目标行动网络的参数集合；E表示平均值。
6.根据权利要求5所述的一种调控知识图谱的实体关系路径推理方法，其特征在于，所述奖励函数R如下式所示，
R＝Rcomplete+Rlength
其中，
Figure FDA0003042767600000031
为推理路径是否达到目标点的奖励值；
Figure FDA0003042767600000032
为推理路径长度的奖励值。
7.根据权利要求1或2所述的一种调控知识图谱的实体关系路径推理方法，其特征在于，所述预训练的DDPG模型中，行动网络基于确定性策略根据下式进行参数更新；
▽J(θ)＝Es∈D[▽μQμ(s,a)·▽θμθ(s)|a＝μθ(s)]
其中，J是目标行动网络的目标函数；θ是目标行动网络的参数集合；s是状态；D是状态空间全集；μ表示目标行动网络输出的确定性动作；Qμ(s,a)为采用确定性动作μ的Q值；a是目标行动网络传给目标评论网络的关系；▽为梯度表示。
8.一种调控知识图谱的实体关系路径推理***，其特征在于，包括，
实体向量化嵌入模块，用于将调控知识图谱中的实体对进行向量化表示；
关系推理模块，用于将向量化表示的实体对，通过预训练的DDPG模型进行推理，得到所述实体对的最优关系路径。
9.根据权利要求8所述的一种调控知识图谱的实体关系路径推理***，其特征在于，所述的关系推理模块还包括先验知识库构建模块，用于根据调控知识图谱的实体对构建先验知识库；具体包括，通过深度优先搜索调节知识图谱中任意两个实体之间的存在的所有关系路径，根据训练需要，存储为如下关系路径三元组的格式：
Pn＝{(ehead,r,em),...,(em,r,eend)}
式中，Pn为第n条关系路径；ehead，eend为头部实体及尾部实体；em为与头部实体或尾部实体相连的中间实体；r为知识图谱中的关系。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的调控知识图谱的实体关系路径推理方法。
CN202110462388.7A 2021-04-27 2021-04-27 一种调控知识图谱的实体关系路径推理方法及*** Pending CN113128689A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110462388.7A CN113128689A (zh) 2021-04-27 2021-04-27 一种调控知识图谱的实体关系路径推理方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110462388.7A CN113128689A (zh) 2021-04-27 2021-04-27 一种调控知识图谱的实体关系路径推理方法及***

Publications (1)

Publication Number Publication Date
CN113128689A true CN113128689A (zh) 2021-07-16

Family

ID=76780409

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110462388.7A Pending CN113128689A (zh) 2021-04-27 2021-04-27 一种调控知识图谱的实体关系路径推理方法及***

Country Status (1)

Country Link
CN (1) CN113128689A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113988508A (zh) * 2021-09-22 2022-01-28 国网天津市电力公司电力科学研究院 一种基于强化学习的电网调控策略优化方法
CN116089611A (zh) * 2023-01-13 2023-05-09 北京控制工程研究所 基于性能-故障关系图谱的航天器故障诊断方法及装置
CN116304083A (zh) * 2023-01-13 2023-06-23 北京控制工程研究所 性能-故障关系图谱的关系预测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110796254A (zh) * 2019-10-30 2020-02-14 南京工业大学 一种知识图谱推理方法、装置、计算机设备及存储介质
CN112084344A (zh) * 2020-09-11 2020-12-15 清华大学 知识图谱推理方法、装置及存储介质
WO2021054512A1 (ko) * 2019-09-18 2021-03-25 주식회사 솔트룩스 지식 베이스 보강을 위한 시스템 및 방법
CN112668235A (zh) * 2020-12-07 2021-04-16 中原工学院 基于离线模型预训练学习的ddpg算法的机器人控制方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021054512A1 (ko) * 2019-09-18 2021-03-25 주식회사 솔트룩스 지식 베이스 보강을 위한 시스템 및 방법
CN110796254A (zh) * 2019-10-30 2020-02-14 南京工业大学 一种知识图谱推理方法、装置、计算机设备及存储介质
CN112084344A (zh) * 2020-09-11 2020-12-15 清华大学 知识图谱推理方法、装置及存储介质
CN112668235A (zh) * 2020-12-07 2021-04-16 中原工学院 基于离线模型预训练学习的ddpg算法的机器人控制方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
贺兰钦: "基于深度强化学习的虚拟网络功能部署及迁移优化算法研究", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
隋洪建等: "基于渐进式神经网络的机器人控制策略迁移", 《中国科学技术大学学报》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113988508A (zh) * 2021-09-22 2022-01-28 国网天津市电力公司电力科学研究院 一种基于强化学习的电网调控策略优化方法
CN116089611A (zh) * 2023-01-13 2023-05-09 北京控制工程研究所 基于性能-故障关系图谱的航天器故障诊断方法及装置
CN116304083A (zh) * 2023-01-13 2023-06-23 北京控制工程研究所 性能-故障关系图谱的关系预测方法及装置
CN116089611B (zh) * 2023-01-13 2023-07-18 北京控制工程研究所 基于性能-故障关系图谱的航天器故障诊断方法及装置
CN116304083B (zh) * 2023-01-13 2023-09-15 北京控制工程研究所 性能-故障关系图谱的关系预测方法及装置

Similar Documents

Publication Publication Date Title
WO2022083624A1 (zh) 一种模型的获取方法及设备
CN113128689A (zh) 一种调控知识图谱的实体关系路径推理方法及***
Peng et al. Accelerating minibatch stochastic gradient descent using typicality sampling
CN110782015A (zh) 神经网络的网络结构优化器的训练方法、装置及存储介质
US20200167659A1 (en) Device and method for training neural network
CN107544960B (zh) 一种基于变量绑定和关系激活的自动问答方法
Sun et al. Automatically evolving cnn architectures based on blocks
CN113361680A (zh) 一种神经网络架构搜索方法、装置、设备及介质
CN107451230A (zh) 一种问答方法以及问答***
Zhang et al. PS-Tree: A piecewise symbolic regression tree
CN110968512B (zh) 软件质量评估方法、装置、设备及计算机可读存储介质
CN111768004A (zh) 一种基于智能计算框架的模型自适应方法及***
Li et al. Symbolic expression transformer: A computer vision approach for symbolic regression
Cheng et al. Swiftnet: Using graph propagation as meta-knowledge to search highly representative neural architectures
CN110765267A (zh) 一种基于多任务学习的动态不完整数据分类方法
CN115345303A (zh) 卷积神经网络权重调优方法、装置、存储介质和电子设备
Yousif et al. Deep learning-based surrogate modeling for performance-driven generative design systems
CN114462526A (zh) 一种分类模型训练方法、装置、计算机设备及存储介质
CN114625886A (zh) 基于知识图谱小样本关系学习模型的实体查询方法及***
Ding et al. High generalization performance structured self-attention model for knapsack problem
Hinojosa et al. Multi-objective evolutionary algorithm for tuning the Type-2 inference engine on classification task
CN111882124A (zh) 一种基于生成对抗模仿学***台发展效应预测方法
Panda A survey on application of population based algorithm on hyperparameter selection
CN115620807B (zh) 靶点蛋白分子与药物分子之间相互作用强度的预测方法
CN117235533B (zh) 对象变量分析方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210716

RJ01 Rejection of invention patent application after publication