CN116757460A - 基于深度学***台构建方法及*** - Google Patents

基于深度学***台构建方法及*** Download PDF

Info

Publication number
CN116757460A
CN116757460A CN202311061207.5A CN202311061207A CN116757460A CN 116757460 A CN116757460 A CN 116757460A CN 202311061207 A CN202311061207 A CN 202311061207A CN 116757460 A CN116757460 A CN 116757460A
Authority
CN
China
Prior art keywords
emergency
event
model
graph
generator
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311061207.5A
Other languages
English (en)
Other versions
CN116757460B (zh
Inventor
阮峰
张文鹏
杨鹏诚
吴皓
***
杜周银
杜鑫
许小龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Zhengfeng Information Technology Co ltd
Original Assignee
Nanjing Zhengfeng Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Zhengfeng Information Technology Co ltd filed Critical Nanjing Zhengfeng Information Technology Co ltd
Priority to CN202311061207.5A priority Critical patent/CN116757460B/zh
Publication of CN116757460A publication Critical patent/CN116757460A/zh
Application granted granted Critical
Publication of CN116757460B publication Critical patent/CN116757460B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06311—Scheduling, planning or task assignment for a person or group
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06312—Adjustment or analysis of established resource schedule, e.g. resource or task levelling, or dynamic rescheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G06Q10/06313—Resource planning in a project environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Computational Linguistics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Game Theory and Decision Science (AREA)
  • Databases & Information Systems (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Security & Cryptography (AREA)
  • Primary Health Care (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种基于深度学***台构建方法及***，其方法包括以下步骤：对事件原子库数据进行分类、聚类、异常检测，使用基于图生成对抗网络GraphGAN的知识推理技术监测紧急事件节点，产生紧急三元组信息，构建事件知识图谱；使用基于多模态图自编码器MGA，通过将不同类型的节点和边进行编码和解码操作，将知识图谱转化为多模态的表示形式，增强模型的表达能力和推理能力，捕捉节点的相互依赖关系，进行紧急事件判断；引入多任务学习，加入bert做预训练模型方法，进行用户个性化事件应急预案推荐、事件链路的场景推荐以及链路分类任务，通过分配不同的任务权重进行打分计算，得到具有可解释性的事件应急预案推荐。

Description

基于深度学***台构建方法及***
技术领域
本发明涉及应急管理指挥调度技术领域，尤其涉及一种基于深度学***台构建方法及***。
背景技术
应急指挥调度平台作为一种突发或紧急场景下的指挥调度平台，具有重要的应急管理和应急响应功能，可以帮助指挥决策者快速做出正确的决策，协调应急资源和救援行动，最大程度地减少灾害损失和人员伤亡，而由于应急指挥调度平台的复杂性，平台彻底实现自主可控面临一定的挑战。
目前，在新一代对于混沌工程的应急指挥调度平台的场景下，现有技术中的应急指挥调度平台尚存在***可靠性低，紧急事件处理能力差等特点。因此，将深度学***台的构建，进行用户个性化的事件应急预案推荐、事件链路场景推荐以及事件分类任务，提高应急指挥调度平台的紧急事件处理能力与效率，提高交易***的健壮性，具有重要的实际应用意义。
发明内容
本发明所要解决的问题是：提供一种基于深度学***台构建方法及***，用于提高应急指挥调度平台的紧急事件处理能力与效率。
为实现上述目的，本发明采用以下技术方案：
一种基于深度学***台构建方法，包括步骤如下：
步骤1、建立事件原子库数据，使用基于图生成对抗网络GraphGAN的知识推理技术，监测紧急事件节点，产生紧急三元组信息，构建事件知识图谱；
步骤2、使用基于多模态图自编码器MGA，将不同类型的节点和边进行编码和解码操作，将知识图谱转化为多模态表示形式，捕捉节点的相互依赖关系，进行紧急事件判断；
步骤3、引入多任务学习模型MTL-Att，加入注意力机制结合bert预训练模型，构建MTL-Att-bert模型，通过分配不同的任务权重打分计算，进行用户个性化的事件应急预案推荐、事件链路场景推荐以及事件分类任务。
具体的，在步骤1中，使用基于图生成对抗网络GraphGAN的知识推理，获取紧急时间节点来拓展故障知识图谱，所述对抗网络GraphGAN，包括成式模型和判别式模型，具体的，
生成式模型，用于拟合或预估出真实的连接分布概率,在节点集V选择最有可能与节点 连接的节点，表示为：/>，G为生成器；
判别式模型，用于判别节点vC的真实邻居，并计算输出节点和/>之间存在边的可能性，表示为：/>，D为判别器；
生成器G和判别器D的minmax目标函数，如下公式（1）：
（1）
其中，为判别器，用于区分节点对/>的连通性；
输出一个标量，表示节点/>和/>之间存在的边的概率；
为所有节点/>的向量；/>为价值函数；
为数据真实分布，/>表示生成的样本，/>为针对随机变量/>以真实分布来计算期望值；
为是生成器模型，/>是生成器的输入条件，/>是生成器的参数，为在给定条件/>下通过生成器G生成的样本/>的期望值，c为结点下标；
生成器和判别器的参数不断交替训练更新，每次迭代，判别器D通过来自的正样本和来自生成器G的负样本进行训练，生成器G通过判别器D的指导，按照梯度策略进行更新。
进一步的，所述判别器D是sigmoid函数,如下公式（2）：
（2）
其中，是节点/>和/>在判别器中的K维向量表达，因此/>就可看作是所有/>的集合；
为内积运算操作并通过sigmoid函数进行转换，/>为内积取负数并做指数运算，/>为判别器对于给定真实样本/>与预测样本/>的预测结果；
对于给定的节点对，通过梯度下降法更新对应的节点表达向量/>，如下公式（3）：
(3)
其中，为求/>的梯度，/>表示变量/>的真实分布，/>表示从生成器中生成样本/>，/>表示利用梯度下降更新判别器参数/>。
进一步的，所述生成器G，通过梯度下降法优化更新，生成器的梯度，如下公式（4）:
(4)
其中，梯度是权重为/>的梯度/>的期望之和；
生成样本/>在生成器G条件下，利用判别器的期望值；
生成样本/>从生成器G条件下生成样本/>的期望值；
生成器G的实现通过softmax函数定义，如下公式（5）：
(5)
其中，, />∈Rk是节点/>和/>在生成器中的K维向量表达，θG是所有/>的集合；
为内积并做指数运算，/>为生成器G根据指定条件/>生成样本/>。
然后，基于上述公式(5)，提出Graph Softmax，通过softmax嵌入网络结构信息，计算预估的连接分布，具体为：对原网络ω进行BFS宽搜，展开成以vc为根节点的树Tc，NC(v)表示节点/>的邻居节点集合，假设给定节点/>以及邻居节点/>∈Nc(v)，定义/>相当于/>的关联概率,如下公式（6）：
(6)
其中，每一个节点都是由根节点/>开始的唯一一条路径到达，所述唯一路径定义为：/>，其中/>，/>；
为在条件/>下与样本/>相关的条件集合；
Graph Softmax定义的如下公式（7）：
(7)
其中，为给定条件下/>预测下一个样本/>的概率；
为给定条件下/>预测下一个样本/>的概率。
进一步的，在步骤2中，基于多模态图自编码器MGA，通过将不同类型的节点和边使用编码器进行编码和使用解码器进行解码操作，具体如下：
所述多模态自编码器是一个前馈神经网络，包括输入层、第一隐藏层，第二隐藏层、第三隐藏层和输出层，所述输入层从图像特征向量和文本特征向量/>两种模态中获取输入，所述输入层后面是第一隐藏层，对于每个模态，映射输入表示为/>和；将/>和/>连接起来，联合映射到第二隐藏层，表示为联合多模态实体嵌入；
所述解码器阶段与所述编码器具有完全对称的结构，将嵌入的作为输入映射到第三隐藏层，表示为和/>，与相应的/>和/>共享相同维度；所述解码器将和/>映射到所述输出层/>和/>；每个模态的输出层和输入层具有相同维度；
所述多模态自编码器的整个架构定义为:
(8)
(9)
(10)
(11)
(12)
(13)
(14)
其中，f为sigmoid激活函数，和/>分别表示模态图像和文本从层j到层(j+1)的映射权重矩阵，j= 1,2,3,4；/>和/>分别为第j隐层中图像和文本的偏置项，/>为嵌入的/>的偏置项，符号⊕表示连接操作；
所述多模态自编码器以最小化重构误差为目标进行训练，重构误差为两模态输入层和输出层之间的相异度之和，如下公式（15）:
(15)
然后，使用TransE模型将知识图谱转化为多模态的表示形式，所述TransE模型在低维连续向量空间中映射实体和关系，其中头实体h、尾实体t和关系r的嵌入满足如下三元组公式（16）:
（16）
对于知识图谱中的三元组，TransE模型试图最小化h+r和t之间的距离，而对于知识图谱外的三元组，则试图最大化它们之间的距离
训练TransE时，最小化损失，如下公式（17）:
(17)
其中，γ是间隔超参数，max(0,x)旨在获得x的正部分，d是相异度函数，表示预测时三元组头实体、关系和尾实体的符号表示，S表示由知识图谱中存在的三元组组成的原始数据集，而S′表示由知识图谱中未存在的三元组组成的损坏数据集；S′在训练时被认为是负样本，通过替换每个三元组的头实体或尾实体来构造，如下公式(18)所示：
(18)
其中，E为实体集合；
构建TransAE模型，将上述公式（17）和公式（18）两个模型结合起来，同时学习多模态知识和结构知识，包括知识图谱中每个实体对应多张图片和一个句子描述，提取其视觉和文本特征向量，将特征向量输入多模态自编码器得到联合嵌入作为实体表示，关系嵌入在训练开始时随机初始化，所述实体和关系表示用于训练模型；结构损失for (h,r,t)表示为如下公式（19）：
(19)
其中和/>分别表示h和t嵌入的表示形式，/>和；/>分别表示h′和t′嵌入的表示形式；
添加正则化器Ω(θ)用于参数集θ，其权重为α，通过最小化总损失L来训练模型，如下公式（20）:
（20）
自编码器和关系嵌入中的参数,/>,/>,/>在训练开始时随机初始化，选择权重参数β和α来平衡损失/>、/>和正则项/>的大小和重要性。
进一步的，在步骤3中，引入多任务学习模型MTL-Att，加入注意力机制结合bert预训练模型，具体为，在所述多任务学习模型中，提取出各任务的特征，学习共同的特征，并使用共享的bert模型作为特征提取器，构成MTL-Att-bert模型，在训练过程中，所述MTL-Att-bert模型通过注意力机制，为每个任务学习一个权重向量，来加权每个任务的输出，通过调整权重向量的值，调整每个任务的重要性，得到事件应急预案推荐结果，用于进行用户个性化的事件应急预案推荐、相关事件链路的场景推荐以及链路分类任务。
本发明还提供了一种基于深度学***台构建***，使用基于上述任一项应急指挥调度平台构建方法构建，包括以下模块：
事件原子库采集模块，用于采集输入数据，构建数据原子库；
事件知识图谱构建模块；用于基于图生成对抗网络GraphGAN知识推理技术，监测紧急事件节点，产生紧急三元组信息，构建事件知识图谱；
多模态图自编码器模块：用于将不同类型的节点和边进行编码和解码操作，将知识图谱转化为多模态表示形式，捕捉节点的相互依赖关系，进行紧急事件判断；
MTL-Att-bert模型构建模块，用于多任务学习模型通过使用注意力机制，结合bert预训练模型，提取出各个任务的特征；
事件应急预案推荐模块，用于进行用户个性化的事件应急预案推荐、相关事件链路场景推荐以及链路分类任务。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
1：本发明基于图生成对抗网络(GraphGAN)的知识推理技术来产生足够量的紧急三元组信息，构建事件知识图谱。
2：本发明模型使用了基于多模态图自编码器并结合了多任务学***台的场景下紧急事件发生时***的健壮性与效率，弥补了现有技术中对于新一代应急指挥调度业务的不足。
附图说明
图1是本发明基于深度学***台构建方法步骤流程图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对申请的技术方案做进一步地详尽阐述，所描述的实施例，也只是本发明所涉及实施例的一部分。本领域其他研究人员在该实施例上的所有非创新型实施例，都属于本发明的保护范围。
本发明公开了一种基于深度学***台构建方法，如图1所示，包括步骤如下：
步骤1、建立事件原子库数据，使用基于图生成对抗网络GraphGAN的知识推理技术，监测紧急事件节点，产生紧急三元组信息，构建事件知识图谱；
步骤2、使用基于多模态图自编码器MGA，将不同类型的节点和边进行编码和解码操作，将知识图谱转化为多模态表示形式，捕捉节点的相互依赖关系，进行紧急事件判断；
步骤3、引入多任务学习模型MTL-Att，加入注意力机制结合bert预训练模型，构建MTL-Att-bert模型，通过分配不同的任务权重打分计算，进行用户个性化的事件应急预案推荐、事件链路场景推荐以及事件分类任务。
首先，在步骤1中，使用基于图生成对抗网络GraphGAN的知识推理技术，获取紧急时间节点来拓展故障知识图谱，所述对抗网络GraphGAN，包括成式模型和判别式模型，具体的，
生成式模型，用于拟合或预估出真实的连接分布概率,在节点集V选择出最有可能与节点连接的节点，表示为：/>，G为生成器；
判别式模型，用于判别节点vC的真实邻居，并计算输出节点和/>之间存在着边的可能性，表示为：/>，D为判别器；
生成器G和判别器D的minmax目标函数，如下公式：
；
其中，梯度是权重为/>的梯度/>的期望之和；
生成器G的实现通过softmax函数定义，如下公式：
其中，, />∈Rk是节点/>和/>在生成器中的K维向量表达，θG是所有/>的集合;
为内积并做指数运算，/>为生成器G根据指定条件/>生成样本/>。
生成器和判别器的参数不断交替训练更新，每次迭代，判别器D通过来自的正样本和来自生成器G的负样本进行训练，生成器G通过判别器D的指导，按照梯度策略进行更新。
为优化上述技术方案，在本发明的一个具体实施例中，生成器G则通过判别器D的指导，按照梯度策略进行更新。
具体的，判别器优化如下：
判别器D是sigmoid函数,如下公式：
；
其中，是节点/>和/>在判别器中的K维向量表达，因此/>就可看作是所有/>的集合；
特别需要说明的是，判别器也可以用其他方法，如SDNE模型。
对于给定的节点对，通过梯度下降法更新对应的节点表达向量/>，如下公式：
进一步的，生成器优化如下：
对于生成器来说，它的目标函数是最小化minimax函数，因此通过梯度下降法去优化更新，生成器的梯度计算如下式:
；
需要注意的是，梯度是权重为/>的梯度/>的期望之和，也就是说如果一个生成节点被识别出是负样本节点，那么概率就会很小，则生成节点的梯度对应的权重就会很大，从而使得整个梯度会变大。
生产式模型的实现是通过softmax函数定义，如下式：
；
其中，, />∈Rk是节点/>和/>在生成器中的K维向量表达，θG是所有/>的集合；
为内积并做指数运算，/>为生成器G根据指定条件/>生成样本/>。
基于这样的设定，可以计算出预估连接分布，之后根据这个概率值进行随机采样可得到样本集合/>，最后通过SGD的方法去更加/>。
进一步的，生成式模型中的预估连接分布是通过softmax实现，然而传统的softmax模型，一般是要计算整个图中所有的节点的softmax值，这样耗时会很大；同时，网络自身的拓扑结构会隐含着丰富的信息，而softmax函数则完全忽略了这些，因为它是“公平”地看待每一个节点的，只是完成了归一化的任务。
常见的做法有层级softmax以及负采样的方法用来缓解计算开销，但都没有考虑到图的结构信息。像Deepwalk，node2vec这些算法，在(bias)random walk的时候已经将图的结构信息获取到了，因此后续的softmax时只用负采样进行加速即可；而GraphGAN目前实际上是没有考虑到网络结构的，这样的话，学习得到的网络嵌入是没有意义的。
GraphGAN是想通过softmax这里去嵌入网络结构信息，因此在这里将softmax进行修改，提出了Graph Softmax。
Graph Softmax仍然是用于计算预估的连接分布，它需要满足的条件是：
(1)Normalized 归一化：需要满足有效的概率分布，
(2)Graph-structure-aware：利用网络结构信息，简单的想法就是，对于图中的两个顶点，它们的连通概率应该随着其最短距离的增加而降低。
(3)Computationally efficient：的计算，应该仅仅涵盖图中少量节点，比如一些与节点/>较为密切的节点。
为了去求这样的graph softmax，对原网络ω进行BFS宽搜，展开成以vc为根节点的树Tc，NC(v)表示节点的邻居节点集合，假设给定节点/>以及邻居节点/>∈Nc(v)，定义/>相当于/>的关联概率,如下公式：
；
其中，每一个节点都是由根节点/>开始的唯一一条路径到达，所述唯一路径定义为：/>，其中/>，/>；
Graph Softmax定义的，如下公式：
;
其中，为给定条件下/>预测下一个样本/>的概率；
为给定条件下/>预测下一个样本/>的概率。
生成式模型最后要做的是采样，具体来说，
一种简单的方法就计算出所有的graph softmax值,然后再根据这个概率值进行带权重的随机采样。
另一种在线采样策略是从树的根节点/>开始随机游走，如果当前游走到的节点v的下一步是要游走回父母节点，则v即被选择为采样的节点。
在本发明的一个具体实施例中，使用基于多模态图自编码器（Multimodal GraphAutoencoder，MGA），通过将不同类型的节点和边进行编码和解码操作，将知识图谱转化为多模态的表示形式，从而增强模型的表达能力和推理能力，捕捉相互节点的依赖关系，进行紧急事件判断。
首先所述多模态自编码器是一个前馈神经网络，包括输入层、第一隐藏层，第二隐藏层、第三隐藏层和输出层，所述输入层从图像特征向量和文本特征向量/>两种模态中获取输入，所述输入层后面是第一隐藏层，对于每个模态，映射输入表示为/>和/>；将/>和/>连接起来，联合映射到第二隐藏层，表示为联合多模态实体嵌入/>；
所述解码器阶段与所述编码器具有完全对称的结构，将嵌入的作为输入映射到第三隐藏层，表示为和/>，与相应的/>和/>共享相同维度；所述解码器将和/>映射到所述输出层/>和/>。
每个模态的输出层和输入层具有相同维度，输出层也称为重构层，其目的是重构输入的特征向量。
所提出的多模态自编码器的整个架构定义为:
；
；
；
；
；
；
；
其中，f为sigmoid激活函数，和/>分别表示模态图像和文本从层j到层(j+1)的映射权重矩阵，j= 1,2,3,4；/>和/>分别为第j隐层中图像和文本的偏置项，/>为嵌入的/>的偏置项，符号⊕表示连接操作。
最后，整个多模态自编码器以最小化重构误差为目标进行训练，重构误差为两模态输入层和输出层之间的相异度之和，如下公式:
；
在本发明的另一个具体实施例中，使用TransE模型将知识图谱转化为多模态的表示形式，TransE模型在低维连续向量空间中映射实体和关系，其中头实体h、尾实体t和关系r的嵌入满足，如下公式:
；
对于知识图谱中的三元组，TransE试图最小化h+r和t之间的距离，而对于知识图谱外的三元组，则试图最大化它们之间的距离。
在训练TransE时，我们最小化损失:
；
其中γ是间隔超参数，max(0,x)旨在获得x的正部分，d是相异度函数，可以是L1范数或L2范数。S表示由知识图谱中存在的三元组组成的原始数据集，而S′表示由知识图谱中未存在的三元组组成的损坏数据集。S′在训练时被认为是负样本，通过替换每个三元组的头或尾实体来构造它，如下所示：
TransAE模型是一种新的知识图谱表示学习方法，将多模态自编码器与TransE模型相结合，其中TransE是一种简单有效的知识图谱表示学习方法。
TransAE模型中，我们将上述两个模型结合起来，同时学习多模态知识和结构知识。知识图谱中每个实体对应多张图片和一个句子描述，首先提取其视觉和文本特征向量，然后将这些特征向量输入多模态自编码器得到联合嵌入作为实体表示。关系嵌入在训练开始时随机初始化。这些实体和关系表示用于训练我们的模型。
结构损失for (h,r,t)表示为如下式：
；
其中和/>分别表示h和t嵌入的表示形式。为了更好地泛化，我们还添加了正则化器Ω(θ)，用于参数集θ，其权重为α。
因此，我们可以通过最小化总损失L来训练我们的模型，如下公式:
；
自编码器和关系嵌入中的参数,/>,/>,/>在训练开始时随机初始化，选择权重参数β和α来平衡损失/>、/>和正则项/>的大小和重要性。
最后，在本发明的一个具体实施例中，步骤3中，为了提高事件应急预案推荐效果与效率，在步骤2基础上引入多任务学习，并以bert做预训练的方法，进行用户个性化的事件应急预案推荐、相关事件链路的场景推荐以及链路分类任务，通过分配不同的任务的权重进行打分计算，得到具有可解释性的事件应急预案推荐。
具体的，针对单任务学习数据利用率低、泛化能力差、计算复杂度高、可解释性差的缺点，本实施例中使用多任务学习的策略，多个任务共享一个模型，这样就能更好地利用数据，提高泛化性能和降低计算复杂度。
在此任务中，多任务学习的方法可以提高事件应急预案推荐效果与效率，以及进行用户个性化的事件应急预案推荐、相关事件链路的场景推荐以及链路分类任务，通过分配不同的任务的权重进行打分计算，得到具有可解释性的故障应急预案推荐。知识实体也可以提供不同程度的帮助。并且，不同的任务之间也会传递一些信息，通过知识实体来把不同任务之间的标签进行传递，从而对不同任务起到促进作用。
然后，本实施例选用带注意力机制的多任务学习模型（Multi-Task Learningwith Attention，MTL-Att）。该模型通过使用注意力机制结合bert预训练模型，提取出各个任务的特征，从而学习共同的特征，并在多任务学习中，使用共享的BERT模型作为特征提取器。在训练过程中，模型通过学习任务间的关系，为每个任务分别添加特定的输出层，并动态调整注意力机制的权重，从而提高各个任务的性能。
MTL-Att-bert模型可以通过注意力机制来学习如何分配用户个性化的事件应急预案推荐、相关事件链路的场景推荐以及链路分类这三个不同任务的重要性。具体来说，模型可以为每个任务学习一个权重向量，并使用这些权重向量来加权每个任务的输出，从而得到最终的预测结果。模型可以在训练过程中同时学习这三个任务，实现了多任务学习的目标。最终，通过调整权重向量的值，模型更好地调整每个任务的重要性，从而获得更好的事件应急预案推荐结果。
综上，本发明的思想为：首先，针对知识图谱实体、关系单薄的问题，使用基于深度学习的文本分类算法挖掘更多的紧急事件节点，构建更多的相关三元组信息，生成紧急事件知识图谱。然后，使用基于多模态图自编码器，可以通过将不同类型的节点和边进行编码和解码操作，将知识图谱转化为多模态的表示形式，从而增强模型的表达能力和推理能力。捕捉相互节点的依赖关系，进行紧急事件判断。最后，为了提高事件应急预案推荐效果与效率，引入多任务学习，并加入bert做预训练模型的方法，进行用户个性化的事件应急预案推荐、相关事件链路的场景推荐以及链路分类任务，通过分配不同的任务的权重进行打分计算，得到具有可解释性的事件应急预案推荐。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，应当指出：对于本技术领域的普通技术人员来说，凡在不脱离本发明原理的前提下所作的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于深度学***台构建方法，其特征在于，包括以下步骤：
步骤1、建立事件原子库数据，使用基于图生成对抗网络GraphGAN的知识推理技术，监测紧急事件节点，产生紧急三元组信息，构建事件知识图谱；
步骤2、使用基于多模态图自编码器MGA，将不同类型的节点和边进行编码和解码操作，将知识图谱转化为多模态表示形式，捕捉节点的相互依赖关系，进行紧急事件判断；
步骤3、引入多任务学习模型MTL-Att，加入注意力机制结合bert预训练模型，构建MTL-Att-bert模型，通过分配不同的任务权重打分计算，进行用户个性化的事件应急预案推荐、事件链路场景推荐以及事件分类任务。
2.根据权利要求1所述的一种基于深度学***台构建方法，其特征在于，在步骤1中，使用基于图生成对抗网络GraphGAN的知识推理，获取紧急时间节点来拓展故障知识图谱，所述对抗网络GraphGAN，包括成式模型和判别式模型，具体的，
生成式模型，用于拟合或预估真实的连接分布概率,在节点集V选择出最有可能与节点连接的节点，表示为：/>，G为生成器；
判别式模型，用于判别节点的真实邻居，并计算输出节点/>和/>之间存在边的可能性，表示为：/>，D为判别器；
生成器G和判别器D的minmax目标函数，如下公式（1）：
（1）
其中，为判别器，用于区分节点对/>的连通性；
输出一个标量，表示节点/>和/>之间存在的边的概率；
为所有节点/>的向量；/>为价值函数；
为数据真实分布，/>表示生成的样本，/>为针对随机变量/>以真实分布来计算期望值；
为是生成器模型，/>是生成器的输入条件，/>是生成器的参数，/>为在给定条件/>下通过生成器G生成的样本/>的期望值，c为结点下标；
生成器和判别器的参数不断交替训练更新，每次迭代，判别器D通过来自的正样本和来自生成器G的负样本进行训练，生成器G通过判别器D的指导，按照梯度策略更新。
3.根据权利要求2所述的一种基于深度学***台构建方法，其特征在于，所述判别器D是sigmoid函数,如下公式（2）：
（2）
其中，是节点/>和/>在判别器中的K维向量表达，因此/> 是所有的集合；
为内积运算操作并通过sigmoid函数进行转换，/>为内积取负数并做指数运算，/>为判别器对于给定真实样本/>与预测样本/>的预测结果；
对于给定的节点对，通过梯度下降法更新对应的节点表达向量/>，如下公式（3）
(3)
其中，为求/>的梯度，/>表示变量/>的真实分布，/>表示从生成器中生成样本/>，/>表示利用梯度下降更新判别器参数/>。
4.根据权利要求3所述的一种基于深度学***台构建方法，其特征在于，所述生成器G，通过梯度下降法优化更新，生成器的梯度，如下公式（4）:
(4)
其中，梯度是权重为/>的梯度/>的期望之和；
生成样本/>在生成器G条件下，利用判别器的期望值；
生成样本/>从生成器G条件下生成样本/>的期望值；
生成器G的实现通过softmax函数定义，如下公式（5）：
(5)
其中，, />∈Rk是节点/>和/>在生成器中的K维向量表达，θG是所有/>的集合;
为内积并做指数运算，/>为生成器G根据指定条件/>生成样本/>。
5.根据权利要求4所述的一种基于深度学***台构建方法，其特征在于，
基于上述公式(5)，提出Graph Softmax，通过softmax嵌入网络结构信息，计算预估的连接分布，具体为：对原网络ω进行BFS宽搜，展开成以vc为根节点的树Tc，NC(v)表示节点/>的邻居节点集合，假设给定节点/>以及邻居节点/>∈Nc(v)，定义相当于/>的关联概率/>，如下公式（6）：
(6)
其中，每一个节点都是由根节点/>开始的唯一一条路径到达，所述唯一路径定义为：/>，其中m为该路径样本数量，/>，/>，为在条件/>下与样本/>相关的条件集合；
Graph Softmax定义的如下公式（7）：
(7)
其中，为给定条件下样本/>预测下一个样本/>的概率；
为给定条件下样本/>预测下一个样本/>的概率。
6.根据权利要求5所述的一种基于深度学***台构建方法，其特征在于，步骤2中，基于多模态图自编码器MGA，通过将不同类型节点和边使用编码器进行编码和使用解码器进行解码操作，具体如下：
所述多模态自编码器是一个前馈神经网络，包括输入层、第一隐藏层，第二隐藏层、第三隐藏层和输出层，所述输入层从图像特征向量和文本特征向量/>两种模态中获取输入，所述输入层后面是第一隐藏层，对于每个模态，映射输入表示为/>和/>；将/>和/>连接起来，联合映射到第二隐藏层，表示为联合多模态实体嵌入/>；
所述解码器阶段与所述编码器具有完全对称的结构，将嵌入的作为输入映射到第三隐藏层，表示为和/>，与相应的/>和/>共享相同维度；所述解码器将和/>映射到所述输出层/>和/>；每个模态的输出层和输入层具有相同维度；
所述多模态自编码器的整个架构定义为:
(8)
(9)
(10)
(11)
(12)
(13)
(14)
其中，f为sigmoid激活函数，和/>分别表示模态图像和文本从层j到层(j+1)的映射权重矩阵，j = 1,2,3,4；/>和/>分别为第j隐层中图像和文本的偏置项，为嵌入的/>的偏置项，符号⊕表示连接操作；
所述多模态自编码器以最小化重构误差为目标进行训练，重构误差为两模态输入层和输出层之间的相异度之和，如下公式（15）:
(15)。
7.根据权利要求6所述的一种基于深度学***台构建方法，其特征在于，步骤2中，使用TransE模型将知识图谱转化为多模态的表示形式，所述TransE模型在低维连续向量空间中映射实体和关系，其中头实体h、尾实体t和关系r的嵌入满足如下三元组公式（16）:
（16）
对于知识图谱中的三元组，TransE模型试图最小化h+r和t之间的距离，而对于知识图谱外的三元组，则试图最大化它们之间的距离；
训练TransE时，最小化损失，如下公式（17）:
(17)
其中，γ是间隔超参数，max(0,x)旨在获得x的正部分，d是相异度函数，表示预测时三元组头实体、关系和尾实体的符号表示，S表示由知识图谱中存在的三元组组成的原始数据集，而S′表示由知识图谱中未存在的三元组组成的损坏数据集；S′在训练时被认为是负样本，通过替换每个三元组的头实体或尾实体来构造，如下公式(18)所示：
(18)
其中，E为实体集合；
构建TransAE模型，将上述公式（17）和公式（18）两个模型结合起来，同时学习多模态知识和结构知识，包括知识图谱中每个实体对应多张图片和一个句子描述，提取其视觉和文本特征向量，将特征向量输入多模态自编码器得到联合嵌入作为实体表示，关系嵌入在训练开始时随机初始化，所述实体和关系表示用于训练模型；
结构损失for (h,r,t)表示为如下公式（19）：
(19)
其中和/>分别表示h和t嵌入的表示形式，/>和；/>分别表示h′和t′嵌入的表示形式；
添加正则化器Ω(θ)用于参数集θ，其权重为α，通过最小化总损失L来训练模型，如下公式（20）:
（20）
自编码器和关系嵌入中的参数,/>,/>,/>在训练开始时随机初始化，选择权重参数β和α来平衡损失/>、/>和正则项/>的大小和重要性。
8.根据权利要求7所述的一种基于深度学***台构建方法，其特征在于，在步骤3中，引入多任务学习模型MTL-Att，加入注意力机制结合bert预训练模型，具体为，在所述多任务学习模型中，提取出各任务的特征，学习共同的特征，并使用共享的bert模型作为特征提取器，构成MTL-Att-bert模型，在训练过程中，所述MTL-Att-bert模型通过注意力机制，为每个任务学习一个权重向量，来加权每个任务的输出，通过调整权重向量的值，调整每个任务的重要性，得到事件应急预案推荐结果，用于进行用户个性化的事件应急预案推荐、相关事件链路的场景推荐以及链路分类任务。
9.一种基于深度学***台构建***，其特征在于，使用基于权利要求1-8任一项的应急指挥调度平台构建方法构建，包括以下模块：
事件原子库采集模块，用于采集输入数据，构建数据原子库；
事件知识图谱构建模块；用于基于图生成对抗网络GraphGAN知识推理技术，监测紧急事件节点，产生紧急三元组信息，构建事件知识图谱；
多模态图自编码器模块：用于将不同类型的节点和边进行编码和解码操作，将知识图谱转化为多模态表示形式，捕捉节点的相互依赖关系，进行紧急事件判断；
MTL-Att-bert模型构建模块，用于多任务学习模型通过使用注意力机制，结合bert预训练模型，提取出各个任务的特征；
事件应急预案推荐模块，用于进行用户个性化的事件应急预案推荐、相关事件链路场景推荐以及链路分类任务。
CN202311061207.5A 2023-08-23 2023-08-23 基于深度学***台构建方法及*** Active CN116757460B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311061207.5A CN116757460B (zh) 2023-08-23 2023-08-23 基于深度学***台构建方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311061207.5A CN116757460B (zh) 2023-08-23 2023-08-23 基于深度学***台构建方法及***

Publications (2)

Publication Number Publication Date
CN116757460A true CN116757460A (zh) 2023-09-15
CN116757460B CN116757460B (zh) 2024-01-09

Family

ID=87953779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311061207.5A Active CN116757460B (zh) 2023-08-23 2023-08-23 基于深度学***台构建方法及***

Country Status (1)

Country Link
CN (1) CN116757460B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113379053A (zh) * 2020-12-17 2021-09-10 中国人民公安大学 应急响应决策方法、装置及电子设备
WO2022116548A1 (zh) * 2020-12-03 2022-06-09 全球能源互联网研究院有限公司 一种电力应急指挥***
CN115712709A (zh) * 2022-11-18 2023-02-24 哈尔滨工业大学 基于多关系图模型的多模态对话问答生成方法
CN115828863A (zh) * 2022-11-29 2023-03-21 南京争锋信息科技有限公司 混沌工程试验场景下应急预案自动生成方法
CN115840853A (zh) * 2022-12-13 2023-03-24 黑龙江大学 一种基于知识图谱和图注意力网络的课程推荐***
CN116161087A (zh) * 2023-01-03 2023-05-26 重庆交通大学 一种分布式深度学习的列车应急驾驶控制方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022116548A1 (zh) * 2020-12-03 2022-06-09 全球能源互联网研究院有限公司 一种电力应急指挥***
CN113379053A (zh) * 2020-12-17 2021-09-10 中国人民公安大学 应急响应决策方法、装置及电子设备
CN115712709A (zh) * 2022-11-18 2023-02-24 哈尔滨工业大学 基于多关系图模型的多模态对话问答生成方法
CN115828863A (zh) * 2022-11-29 2023-03-21 南京争锋信息科技有限公司 混沌工程试验场景下应急预案自动生成方法
CN115840853A (zh) * 2022-12-13 2023-03-24 黑龙江大学 一种基于知识图谱和图注意力网络的课程推荐***
CN116161087A (zh) * 2023-01-03 2023-05-26 重庆交通大学 一种分布式深度学习的列车应急驾驶控制方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
YICI MAO等: "Research on the intelligent decision support system of the urban emergency command in the cloud computing environment", 《2015 IEEE 10TH CONFERENCE ON INDUSTRIAL ELECTRONICS AND APPLICATIONS (ICIEA)》, pages 902 - 907 *
朱昊天: "基于结构化预案的地铁预警应急联动***研究", 《智能城市》, vol. 7, no. 04, pages 29 - 30 *
项前: "基于多模态和多任务学习的显著目标检测方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 08, pages 138 - 457 *

Also Published As

Publication number Publication date
CN116757460B (zh) 2024-01-09

Similar Documents

Publication Publication Date Title
CN111522962B (zh) 序列推荐方法、装置及计算机可读存储介质
CN111462282B (zh) 一种场景图生成方法
Amiri et al. Adventures in data analysis: A systematic review of Deep Learning techniques for pattern recognition in cyber-physical-social systems
CN109783666B (zh) 一种基于迭代精细化的图像场景图谱生成方法
KR102234850B1 (ko) 릴레이션 네트워크에 기반한 지식 보완 방법 및 장치
CN113159283B (zh) 一种基于联邦迁移学习的模型训练方法及计算节点
CN116635866A (zh) 用于挖掘少数类数据样本以训练神经网络的方法和***
CN113177132A (zh) 基于联合语义矩阵的深度跨模态哈希的图像检索方法
CN107491782B (zh) 利用语义空间信息的针对少量训练数据的图像分类方法
CN111210002B (zh) 一种基于生成对抗网络模型的多层学术网络社区发现方法、***
CN111723930A (zh) 一种应用群智监督学习方法的***
CN113128667B (zh) 一种跨域自适应的图卷积平衡迁移学习方法与***
CN112256870A (zh) 基于自适应随机游走的属性网络表示学习方法
Sun et al. Feature distribution matching for federated domain generalization
CN116403730A (zh) 一种基于图神经网络的药物相互作用预测方法及***
CN114743037A (zh) 一种基于多尺度结构学习的深度医学图像聚类方法
Bayoudh A survey of multimodal hybrid deep learning for computer vision: Architectures, applications, trends, and challenges
Wang et al. Digital-twin-aided product design framework for IoT platforms
CN117009547A (zh) 基于图神经网络与对抗学习的多模态知识图谱补全方法和装置
Zhou et al. Adaptive mutual learning for unsupervised domain adaptation
CN114912572A (zh) 目标识别方法及神经网络的训练方法
CN116882503A (zh) 基于知识推理模型的科技创新服务决策支持方法
CN117390267A (zh) 基于知识图谱的个性化多任务增强推荐模型
WO2023143570A1 (zh) 一种连接关系预测方法及相关设备
CN116757460B (zh) 基于深度学***台构建方法及***

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant