CN113344122B - 一种操作流程诊断方法、装置及存储介质 - Google Patents

一种操作流程诊断方法、装置及存储介质 Download PDF

Info

Publication number
CN113344122B
CN113344122B CN202110728756.8A CN202110728756A CN113344122B CN 113344122 B CN113344122 B CN 113344122B CN 202110728756 A CN202110728756 A CN 202110728756A CN 113344122 B CN113344122 B CN 113344122B
Authority
CN
China
Prior art keywords
node
operation flow
representation
target operation
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110728756.8A
Other languages
English (en)
Other versions
CN113344122A (zh
Inventor
魏忠钰
罗瑞璞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202110728756.8A priority Critical patent/CN113344122B/zh
Publication of CN113344122A publication Critical patent/CN113344122A/zh
Application granted granted Critical
Publication of CN113344122B publication Critical patent/CN113344122B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明的目的是提供一种操作流程诊断方法、装置及存储介质，所述方法包括：根据目标操作描述文本信息，确定目标操作对应的目标操作流程数据集，以生成目标操作流程查询图；根据产品手册中操作类描述文本，确定全局操流程数据集，以生成全局操作流程图；根据所述目标操作流程查询图的节点，确定所述全局操作流程图的最大连通子图；至少根据所述目标操作流程数据集操作流程查询图和所述最大连通子图，计算得到所述目标操作流程查询图的节点的预测值，所述预测值用于诊断该节点对应的操作步骤。上述实施方式将操作查询转换为每个节点对应一个操作符的流程图的方法，进一步的通过制定操作诊断任务，找到错误的操作步骤。

Description

一种操作流程诊断方法、装置及存储介质
技术领域
本发明涉及计算机领域，尤其涉及一种操作流程诊断方法、装置及存储介质。
背景技术
用户遇到产品操作问题时，通常会向厂家咨询以寻求帮助，然而，这种服务往往需要耗费大量的人力和资源。有些人会在网上寻求帮助，但是没有专业的领域知识，也很难找到满意的解决方案。
目前，通常将操作问题作为一个问答(QA)任务，给定产品手册作为上下文，他们将错误操作描述和解决方案分别视为问题和答案。然而，他们不能解释操作中的哪个步骤是不正确的，并提供一个明确的解决方案。此外，基于QA的解决方案通常涉及多轮交互，因此有时非常耗时。
发明内容
本说明书实施方式的目的是提供一种操作流程诊断方法、装置及存储介质，能够通过操作流程查询图结构表示目标操作步骤，并通过产品操作文本描述信息对应的全局过程图，以识别出有问题的步骤。
为实现上述目的，本说明书实施方式提供了一种操作流程诊断方法，所述方法包括：根据目标操作描述文本信息，确定目标操作对应的目标操作流程数据集，以生成目标操作流程查询图；其中，所述目标操作流程数据集中的数据组与所述目标操作流程查询图的节点一一对应，每个所述数据组至少包括对应节点处的执行者、动作和对象；根据产品操作文本描述信息，确定全局操作流程数据集，以生成全局操作流程图；根据所述目标操作流程查询图的节点，确定所述全局操作流程数据集的最大连通子图；至少根据所述目标操作流程数据集和所述最大连通子图，计算得到所述目标操作流程查询图的节点的预测值，所述预测值用于诊断该节点对应的操作步骤。
在一个实施方式中，确定目标操作对应的目标操作流程数据集的步骤中包括：计算所述目标操作对应的开始节点到结束节点的所有路径；将所述路径填充至相同序列长度，以得到所述目标操作流程数据集。
在一个实施方式中，在计算得到所述目标操作流程查询图的节点的预测值的步骤中包括：将所述节点对应的所述目标操作流程数据集和所述最大连通子图中的数据进行表示学习；以得到所述目标操作流程数据集的主表示特征和所述最大连通子图的相关节点表示数据；根据所述目标操作流程数据集的主表示特征和所述最大连通子图的相关节点表示数据，确定所述目标操作流程查询图的节点的预测值。
在一个实施方式中，根据上下文表示数据、所述目标操作流程数据集和所述最大连通子图，计算得到所述目标操作流程查询图的节点的预测值；其中，所述上下文表示数据由对上下文的相关操作进行编码并计算得到。
在一个实施方式中，在诊断到所述节点对应的操作步骤为错误操作步骤的情况，根据候选答案操作数据和所述预测值，对所述操作步骤进行校正。
在一个实施方式中，在对所述操作步骤进行校正的步骤中，所述候选答案操作数据为三组，计算每组所述候选答案操作数据的正确概率值；将最大的所述正确概率值对应的所述候选答案操作数据作为正确答案操作。
本说明书实施方式还提供了一种操作诊断装置，所述装置包括：查询图编码模块、节点表示学习模块；所述查询图编码模块用于根据目标操作描述文本信息，确定目标操作对应的目标操作流程数据集，以生成目标操作流程查询图；其中，所述目标操作流程数据集中的数据组与所述目标操作流程查询图的节点一一对应，每个所述数据组至少包括对应节点处的执行者、动作和对象；根据产品操作文本描述信息，确定全局操作流程数据集，以生成全局操作流程图；根据所述目标操作流程查询图的节点，确定所述全局操作流程数据集的最大连通子图；所述节点表示学习模块用于将所述节点对应的所述目标操作流程数据集和所述最大连通子图中的数据进行表示学习；以得到所述目标操作流程数据集的主表示特征和所述最大连通子图的相关节点表示数据；根据所述目标操作流程数据集的主表示特征和所述最大连通子图的相关节点表示数据，确定所述目标操作流程查询图的节点的预测值。
在一个操作诊断装置中，所述查询图编码模块还用于计算所述目标操作对应的开始节点到结束节点的所有路径；将所述路径填充至相同序列长度，以得到所述目标操作流程数据集。
在一个操作诊断装置中，所述装置还包括：预测模块；所述预测模块用于根据预测值，确定误差节点根据候选答案操作数据和所述预测值，对所述操作步骤进行校正。
本说明书实施方式还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现：根据目标操作描述文本信息，确定目标操作对应的目标操作流程数据集，以生成目标操作流程查询图；其中，所述目标操作流程数据集中的数据组与所述目标操作流程查询图的节点一一对应，每个所述数据组至少包括对应节点处的执行者、动作和对象；根据产品操作文本描述信息，确定全局操作流程数据集，以生成全局操作流程图；根据所述目标操作流程查询图的节点，确定所述全局操作流程数据集的最大连通子图；至少根据所述目标操作流程数据集和所述最大连通子图，计算得到所述目标操作流程查询图的节点的预测值，所述预测值用于诊断该节点对应的操作步骤。
由以上本说明书实施方式提供的技术方案可见，本说明书实施方式根据目标操作描述文本信息，确定目标操作对应的目标操作流程数据集，以生成目标操作流程查询图；根据产品操作文本描述信息，确定全局操作流程数据集，以生成全局操作流程图；根据所述目标操作流程查询图的节点，确定所述全局操作流程数据集的最大连通子图；至少根据所述目标操作流程数据集和所述最大连通子图，计算得到所述目标操作流程查询图的节点的预测值，所述预测值用于诊断该节点对应的操作步骤。上述实施方式将操作查询转换为每个节点对应一个操作符的过程图的方法，进一步的通过制定操作诊断任务，找到错误的操作步骤。
附图说明
为了更清楚地说明本说明书实施方式或现有技术中的技术方案，下面将对实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本说明书提供的一种操作流程诊断方法的流程示意图；
图2是本说明书提供的一个为操作问题寻求解决方案的示例的示意图；
图3是本说明书提供的一个错误节点检测和纠错节点的任务示意图；
图4是本说明书提供的一个查询图的步长分布直方图；
图5是本说明书提供的一个错误节点位置分布直方图；
图6是本说明书提供的一个算法示意图；
图7是本说明书提供的操作流程诊断方法的总体框架示意图；
图8是本说明书提供的不同路径长度对F1得分的影响的示意图；
图9是本说明书提供的一个案例研究的示意图。
具体实施方式
下面将结合本说明书实施方式中的附图，对本说明书实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式仅仅是本说明书一部分实施方式，而不是全部的实施方式。基于本说明书中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都应当属于本申请保护的范围。
请参阅图1。本说明书提供的一种操作流程诊断方法，所述方法可以包括以下步骤。
在本实施方式中，执行所述操作流程诊断方法的客体可以是具有逻辑运算功能的电子设备。所述电子设备可以是服务器和客户端。所述客户端可以为台式电脑、平板电脑、笔记本电脑、工作站等。当然，客户端并不限于上述具有一定实体的电子设备，其还可以为运行于上述电子设备中的软体。还可以是一种通过程序开发形成的程序软件，该程序软件可以运行于上述电子设备中。
为方便本申请的说明，下面定义了与本申请相关一些符号。G(V，E)是针对每个操作问题构造的查询图。V＝{n0，n1，n2，…，nk}为查询图的节点集，每个节点nk＝(ek，ok，ak)是一个三重的操作步骤，其中ek、ok和ak分别是第k个节点的执行者、动作、对象的元素。E＝{(n0，n1)，…，(ni，nj)}是表示操作步骤的复杂度的边集。我们将全局过程知识图表示为Gk(Vk，Ek)。T是与问题相关的上下文，是产品手册的原始文本。ld＝{ld 0，ld 1，ld 2，…，ld k}是查询图中节点的状态标签列表，ld k表示节点k是否有问题。Ca是纠错任务中错误节点的候选答案，由三个选项[C1 a，C2 a，C3 a]组成的。le是在Ca中指出正确选项的标签。
步骤S10：根据目标操作描述文本信息，确定目标操作对应的目标操作流程数据集，以生成目标操作流程查询图；其中，所述目标操作流程数据集中的数据组与所述目标操作流程查询图的节点一一对应，每个所述数据组至少包括对应节点处的执行者、动作和对象。
在本实施方式中，所述目标操作描述文本信息可以是指用户的操作查询的描述信息，即操作问题。请参阅图2。图2的顶部是匹配的全局过程知识图。左侧是一个操作问题的描述。在右图中用一个操作流程查询图结构表示，其中错误步骤用深色标出。所述目标操作表征的问题通常包含一个包含多个操作步骤流程。其次，该问题的解决方案通常需要产品手册的支持。根据技术服务文件构造有向过程流的属性，生成目标操作流程查询图结构表示操作问题。图中的每个节点都是一个三元组(执行者、动作、对象)，用于显式地建模操作步骤。并将有错误节点的问题过程图作为查询图。在本实施方式中，所述目标操作流程查询图也可以称为查询图。
步骤S12：根据产品操作文本描述信息，确定全局操作流程数据集，以生成全局操作流程图。
在本实施方式中，所述产品操作文本描述信息可以是产品手册数据。具体的，在一个实施例中，所述产品操作文本描述信息对应的数据集为采集自某单位的通信基站产品手册。它是一个web文档，web页面的内容主要有两个方面:产品软硬件介绍，产品的安装调试方法。在该实施例中从本产品手册中抓取带有操作程序的网页，将所有HTML页面解析为操作文本描述。然后，在这些文本上添加注释并构建数据集。
在本实施方式中，要在操作流程查询图中表示操作描述，需要识别操作步骤。其中，所述操作流程查询图可以是指所述目标操作流程查询图，也可以是指所述全局操作流程图。每个步骤包括三个元素：(1)执行者、(2)动作和(3)对象，它们被组织成三元组。执行者与对象一般是描述中的实体或电子专有名词，动作则是执行器与对象之间的谓词。在一个实施例中，每个操作描述由2个注释器标记。计算两个注释器之间的Cohen's kappa系数来表示一致性率。在该系数达到预设值时，表征该注释***具有有效性。
在本实施方式中，通过注释器标识所有操作步骤，可以将每个web文档的整个操作过程表示为一个有向操作流程查询图:将每个步骤的三部分(执行者、动作、对象)存储为一个节点，根据操作步骤之间的一致性关系定义边界。
在本实施方式中，根据整个产品手册构造全局过程知识图。图的节点在三元组元素之间通过无向边连接，如[执行者]-[动作]-[对象]，每个节点在全局过程知识图中标识唯一。图2中顶部的图显示了全局过程知识图的一部分。
在本实施方式中，步骤S10与步骤S12先后顺序不做具体限定。
步骤S14：根据所述目标操作流程查询图的节点，确定所述全局操作流程数据集的最大连通子图。
步骤S16：至少根据所述目标操作流程数据集和所述最大连通子图，计算得到所述目标操作流程查询图的节点的预测值，所述预测值用于诊断该节点对应的操作步骤。
在本实施方式中，任务1为得到所述目标操作流程查询图的节点的预测值，即错误节点检测任务。本申请实施方式还可以包括任务2：错误节点纠正。前者识别出有问题的步骤，后者用正确的节点替换有问题的节点。为了充分利用产品手册，构建了一个全局过程图作为外部信息库来辅助完成任务。请参阅图3。任务1这个任务的目的是检测一个有问题的操作流程查询图中的不正确节点。将其视为每个节点的二元分类任务。它以查询图G(V，E)为输入，输出每个节点的标签ld i∈1,0，其中，ld i＝1被识别为错误节点。任务2这个任务接收错误节点检测的输出标签ld，假设已经检测到错误节点。将错误节点设置为查询图中的空白作为输入。给定三个候选操作[C1 a，C2 a，C3 a]，选择概率最大的一个作为输出。该任务本质上是一个多类分类任务。
在本实施方式中，为了构建操作诊断任务的数据集，包括错误节点检测和错误节点修正，首先需要建立错误节点。本实施方式中，收集了两个集合O＝{o1，o2，o3，…，on}与A＝{a1，a2，a3，…，an}，其中O表示包含所有执行者和对象的实体集，A表示包含所有动作操作的操作集。在每个操作流程查询图中随机选择一个节点(一个步骤三元组)，并将其对象或动作随机替换为O或A中的其他元素，从而生成一个带有错误节点的查询图。
在本实施方式中，对于错误节点检测任务，可以为每个查询图分配一个标签来说明哪个节点是错误节点。对于错误节点校正任务，可以采用与前面相同的方法，创建两个错误节点，正确节点作为候选答案，并提供基础真值(ground truth)表。
在本实施方式中，输入的编码方法可以包含四种元素[G，Gk，T，Ca]。候选答案Ca对于任务1来说不是必需的。特别是，在任务2中，G中的错误节点被置为空节点。为了对G进行编码，我们需要应用“graph To sequence”算法(参见算法1)找出从开始节点到结束节点的所有可能路径，然后得到一组被填充到相同长度的序列。请参阅图6，图6为算法1。图7为本申请模型的总体框架(请参阅图7)。深灰色和灰色的点块为检测和校正模型，分别由查询图编码、节点表示学习和预测部分组成。图到序列模块和特征合并模块的详细内容显示在右侧子图中。如图7右上角所示。关于要素[e，a，o]在每个节点中，我们首先将它们连接成一个短语。在本实施方式中，利用预训练模型BERT，使用“[CLS]”标记的输出向量作为每个节点的表示。将所有序列编码为张量S∈R[N×L×768]。N是序列的数量，L是填充序列的最大长度。在本实施方式中，张量S就为所述目标操作流程数据集。
在本实施方式中，对于全局流程图Gk，只需要一个查询图G相关的子图,我们匹配所有在Gk中G(V,E)中的节点V，并找到最大连通子图,表示为Gg。Gg中的每个节点是(执行者、动作、对象)中的某些元素，例如动作或对象。然后将每个节点输入到BERT中，得到子图节点编码向量，记为E∈R[ng，768]，ng为Gg中的节点数。其中，Gg就为与所述目标操作流程查询图相关的所述全局操作流程数据集的最大连通子图。
在本实施方式中，候选答案Ca和相关上下文中的相关操作可以由BERT编码。Ca中的每个编码向量表示为Ai。相关的上下文编码表示为C∈R[L'，768]，L'为BERT分词器分词的上下文长度。
在本实施方式中，在至少根据所述目标操作流程数据集和所述最大连通子图，计算得到所述目标操作流程查询图的节点的预测值的步骤中可以包括节点表示学习步骤和预测步骤。
具体的，节点表示学习步骤中，为了得到输入序列S的表示，在本实施方式中使用了双向LSTM层来捕获序列的信息。BiLSTM层的输出表示为O，表示查询图G的信息，可以称O为主要表示。
为了找到O中每个节点向量的上下文表示，对每个节点Oi和C进行注意计算，注意输出张量D计算如下:
Figure BDA0003138535870000071
与主表示不同，D是上下文表示。
为了更好地利用Gg，我们使用单层GCN来提取Gg的特征，输出为E'[N*，768]。用以下公式找出与主表示最相关的节点Gg的表示，记为P∈R[L，768]。
Figure BDA0003138535870000072
在本实施方式中，将主表示O，上下文表示D和全局知识表示P拼接起来，记为F，Fi＝[Oi，Di，Pi]。
具体的，预测步骤中，对于任务1，由于本实施方式找到了从开始节点到结束节点的所有序列，并且相同的节点在BiLSTM层中会被计算多次，合并这些节点的表示。将对应节点在F中的表示取平均值作为合并表示，表示为M∈R[N’，768×3]，N'为查询图G中的节点数，见图7右下角。将得到的节点表示M送入一层MLP中，其输出通过softmax层得到每个节点的最终预测标签。
对于任务2，本实施方式使用一个BiLSTM层来合并表示F，并以隐藏层H∈R[N，768]作为输出。然后取张量H在一维上的平均值，记为H'∈R[1，768]。任务2的另一个输入是三个候选答案。在一个实施方式中，将候选答案的编码向量与H'连接，表示为[H'，A1，A2，A3]。将串联张量输入MLP和softmax层，得到预测的答案选择。
在一个实施场景中，本申请实施方式标注了1,130个查询图，构造了一个包含4172个节点、5470条边和14331个三元组的全局过程知识图。
在1,130个查询图中，163个是有决策分支的，967个是没有分支的顺序结构。请参阅下表1、图4每个查询图的步长分布直方图和图5错误节点位置分布直方图。表1显示了其中的平均步骤数。所有查询图的步骤数分布如图3所示。大多数查询图包含5到13个步骤，最大的查询图有57个步骤。图5显示了错误操作节点在查询图中的位置分布。我们可以看到，大多数错误节点很可能出现在查询图的前面位置。
Figure BDA0003138535870000081
表1:操作过程数据集的统计属性
在本申请的一个实验中，整个数据集中有1130个实例数据。一个数据包含四个元素：带有错误节点的操作流程的有向图、与流程相关的上下文、节点候选和所有节点的基础真值(ground truth)标签。我们将数据集分为训练集、开发集和测试集分别为791、113、226。在实现细节方面，所有参数都在开发集上进行了调优。由于训练数据量相对较小，所以在微调BERT时，可以冻结了前10层BERT的参数。Adam优化器使用,正则化系数是1e-5。BERT和下游模型的学习速率是不同的，LrBERT＝2e-5和Lrdownstream＝1e-4。epoch大小为40。在本实验中将batch大小设置为1，因为序列形式的数据长度是动态的。
在本申请中，还将本申请提供的方法和模型与一些基线方法进行了比较。
Position-p模型：根据图7，我们可以看到错误节点往往出现在前面的步骤中，因此该模型根据每个位置的条件概率来预测节点的标签。
Random模型：随机方法随机选择误差节点进行校正。
No-BiLSTM模型：No-BiLSTM类似于Base模型去掉BiLSTM层。BERT编码的输入序列将直接输入MLP层和softmax层进行分类。
Base模型：Base是我们提出的没有上下文和全局过程KG作为输入的模型。
Base+C模型：Base+C在我们提出的模型中排除了全局程序KG的帮助。
Base+P模型：Base+P从我们提出的模型中删除相关的产品手册上下文。
Base+C+P模型：Base+C+P是我们提出的具有上下文特征和全局流程图特征的模型，如图7所示，用于任务1和任务2。
对分类任务采用了几个广泛使用的指标，包括准确度、精确度、召回率和F1得分。不同模型对于任务1和任务2的总体性能如表2和表3所示。我们有以下几点发现:
Figure BDA0003138535870000091
表2:不同模型对任务1的结果(粗体:每列的最佳性能)
Figure BDA0003138535870000092
表3:不同模型对任务2的结果(粗体:每列的最佳性能)
实验结果表明，本申请提出的模型Base+C+P在任务1和任务2中都取得了最好的性能。F1得分分别达到0.7645和0.7852。这提高了添加上下文和全局过程KG的效率。通过对比No-BiLSTM方法和Base方法，可以发现添加了BiLSTM的模型在两个任务上都有显著的提高，F1得分提高了5个百分点以上。由于操作过程是串行化的数据，因此BiLSTM层可以有效的捕获上下文节点的信息，并且可以有效的发现冲突信息来识别错误节点。
对比Base、Base+C、Base+P、Base+C+P方法的实验结果，可以发现在任务1中添加上下文非常有帮助。在任务2中，Base+C方法的结果只比Base方法稍微好一点。同时，Base+P和Base+c++P方法在task 2中增加更多。因此，很明显，外部知识在纠正任务中是有用的。
从任务1和任务2的结果可以看出，本申请构建的全局程序KG对两个任务都是有帮助的。结果表明，全局程序KG能够有效地为手术诊断提供全局信息。
通过分析两个任务中添加上下文和添加过程KG所增加的F1得分，可以发现添加上下文对任务1更有帮助，而添加过程KG对任务2更有帮助。
在本实验中还研究了不同路径长度的影响。首先分析数据集中有无分支的查询图的结果，结果如表4所示。有分支的查询图的性能要比没有分支的查询图的性能低得多。
Figure BDA0003138535870000101
表4:查询图中无决策分支的影响
在本实验中还进行了一项研究，以探讨路径长度对模型性能的影响。图8显示了两个任务在不同序列长度方面的F1得分。从图中可以发现，两个任务的趋势是一致的，即路径越长，模型的表现就越差，除了模型在长度范围[14，17)内的路径上修正错误节点似乎表现得比较好。
请参阅图9，图9中展示了一个错误节点检测和节点纠正的示例。查询图是7个节点的单路径。基础真值(ground truth)显示第6个节点(“Cable”、“connect”、“Monitoringsignal line”)为错误节点。本实施方式提供的模型可以检测出这样的错误节点，并用正确的答案对其进行修正，而基模型则不能。结果表明了该方法的有效性。
通过本实施方式，将操作问答任务表述为一个基于图的诊断任务。将操作问题转换为查询图。将有问题步骤搜索问题作为查询图上的两个子任务，即错误节点检测和纠正。基于真实的产品手册构建了第一个用于操作诊断任务的数据集。在实验中，比较了添加上下文和全局过程知识图在错误节点检测和错误节点校正方面所带来的改进。发现在错误节点检测中，添加上下文和程序KG可以提高任务性能，并且添加上下文会带来更多的改进。在纠错节点中，添加上下文对任务的改进不大，而添加过程知识图对纠错节点更有帮助。
在一个实施方式中，确定目标操作对应的目标操作流程数据集的步骤中可以包括：计算所述目标操作对应的开始节点到结束节点的所有路径；将所述路径填充至相同序列长度，以得到所述目标操作流程数据集。
在本实施方式中，为了对G进行编码，需要应用“graph To sequence”算法(参见算法1)找出从开始节点到结束节点的所有可能路径，然后得到一组被填充到相同长度的序列。请参阅图6，图6为算法1。请参阅图7。图7为本申请模型的总体框架。深色和灰色的点块为检测和校正模型，分别由查询图编码、节点表示学习和预测部分组成。图到序列模块和特征合并模块的详细内容显示在右侧子图中。如图7右上角所示。关于要素[e，a，o]在每个节点中，我们首先将它们连接成一个短语。在本实施方式中，利用预训练模型BERT，使用“[CLS]”标记的输出向量作为每个节点的表示。将所有序列编码为张量S∈R[N×L×768]。N是序列的数量，L是填充序列的最大长度。
在一个实施方式中，在计算得到所述目标操作流程查询图的节点的预测值的步骤中可以包括：将所述节点对应的所述目标操作流程数据集和所述最大连通子图中的数据进行表示学习；以得到所述目标操作流程数据集的主表示特征和所述最大连通子图的相关节点表示数据；根据所述目标操作流程数据集的主表示特征和所述最大连通子图的相关节点表示数据，确定所述目标操作流程查询图的节点的预测值。
在本实施方式中，可以利用节点表示学习模块对所述目标操作流程数据集和所述最大连通子图中的数据进行表示学习。具体的，例如，为了得到输入序列S的表示，在本实施方式中使用了双向LSTM层来捕获序列的信息。BiLSTM层的输出表示为O，表示查询图G的信息，可以称O为主要表示。
为了找到O中每个节点向量的上下文表示，对每个节点Oi和C进行注意计算，注意输出张量D计算如下:
Figure BDA0003138535870000121
与主表示不同，D是上下文表示。
为了更好地利用Gg，我们使用单层GCN来提取Gg的特征，输出为E'[N*，768]。用以下公式找出与主表示最相关的节点Gg的表示，记为P∈R[L，768]。
Figure BDA0003138535870000122
在本实施方式中，将主表示O，上下文表示D和全局知识表示P连接起来，记为F，Fi＝[Oi，Di，Pi]。
在本实施方式中，可以利用预测模块根据所述目标操作流程数据集的主表示特征和所述最大连通子图的相关节点表示数据，确定所述目标操作流程查询图的节点的预测值。具体的，例如，由于本实施方式找到了从开始节点到结束节点的所有序列，并且相同的节点在BiLSTM层中会被计算多次，合并这些节点的表示。将对应节点在F中的表示取平均值作为合并表示，表示为M∈R[N’，768×3]，N'为查询图G中的节点数，见图7右下角。将得到的节点表示M送入一层MLP中，其输出通过softmax层得到每个节点的最终预测标签。
在一个实施方式中，根据上下文表示数据、所述目标操作流程数据集和所述最大连通子图，计算得到所述目标操作流程查询图的节点的预测值；其中，所述上下文表示数据由对上下文的相关操作进行编码并计算得到。
在本实施方式中，增加了上下文表示数据，可以得到更加精确的预测值。
在一个实施方式中，在诊断到所述节点对应的操作步骤为错误操作步骤的情况，根据候选答案操作数据和所述预测值，对所述操作步骤进行校正。具体的，例如，本实施方式使用一个BiLSTM层来合并表示F，并以隐藏层H∈R[N，768]作为输出。然后取张量H在一维上的平均值，记为H'∈R[1，768]。任务2的另一个输入是三个候选答案。在一个实施方式中，将候选答案的编码向量与H'连接，表示为[H'，A1，A2，A3]。将串联张量输入MLP和softmax层，得到预测的答案选择。
在一个实施方式中，在对所述操作步骤进行校正的步骤中，所述候选答案操作数据为三组，计算每组所述候选答案操作数据的正确概率值；将最大的所述正确概率值对应的所述候选答案操作数据作为正确答案操作。
本说明书实施方式还提供了一种操作诊断装置，如上面的实施方式所述。由于一种操作诊断装置解决问题的原理与一种操作流程诊断方法相似，因此一种操作诊断装置的实施可以参见一种操作流程诊断方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。该装置具体可以包括：查询图编码模块、节点表示学习模块；所述查询图编码模块用于根据目标操作描述文本信息，确定目标操作对应的目标操作流程数据集，以生成目标操作流程查询图；其中，所述目标操作流程数据集中的数据组与所述目标操作流程查询图的节点一一对应，每个所述数据组至少包括对应节点处的执行者、动作和对象；根据产品操作文本描述信息，确定全局操作流程数据集，以生成全局操作流程图；根据所述目标操作流程查询图的节点，确定所述全局操作流程数据集的最大连通子图；所述节点表示学习模块用于将所述节点对应的所述目标操作流程数据集和所述最大连通子图中的数据进行表示学习；以得到所述目标操作流程数据集的主表示特征和所述最大连通子图的相关节点表示数据；根据所述目标操作流程数据集的主表示特征和所述最大连通子图的相关节点表示数据，确定所述目标操作流程查询图的节点的预测值。
在一个操作诊断装置中，所述查询图编码模块还用于计算所述目标操作对应的开始节点到结束节点的所有路径；将所述路径填充至相同序列长度，以得到所述目标操作流程数据集。
在一个操作诊断装置中，所述装置还包括：预测模块；所述预测模块用于根据预测值，确定误差节点根据候选答案操作数据和所述预测值，对所述操作步骤进行校正。
本说明书实施方式还提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序指令，在所述计算机程序指令被执行时实现：根据目标操作描述文本信息，确定目标操作对应的目标操作流程数据集，以生成目标操作流程查询图；其中，所述目标操作流程数据集中的数据组与所述目标操作流程查询图的节点一一对应，每个所述数据组至少包括对应节点处的执行者、动作和对象；根据产品操作文本描述信息，确定全局操作流程数据集，以生成全局操作流程图；根据所述目标操作流程查询图的节点，确定所述全局操作流程数据集的最大连通子图；至少根据所述目标操作流程数据集和所述最大连通子图，计算得到所述目标操作流程查询图的节点的预测值，所述预测值用于诊断该节点对应的操作步骤。
在本实施方式中，所述存储器包括但不限于随机存取存储器(Random AccessMemory,RAM)、只读存储器(Read-Only Memory,ROM)、缓存(Cache)、硬盘(Hard DiskDrive,HDD)或者存储卡(Memory Card)。所述存储器可以用于存储计算机程序指令。网络通信单元可以是依照通信协议规定的标准设置的，用于进行网络连接通信的接口。
在本实施方式中，该计算机存储介质存储的程序指令具体实现的功能和效果，可以与其它实施方式对照解释，在此不再赘述。
尽管本申请内容中提到一种操作流程诊断方法、装置及存储介质。但是，本申请并不局限于必须是行业标准或实施例所描述的情况等，某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、处理、输出、判断方式等的实施例，仍然可以属于本申请的可选实施方案范围之内。
虽然本申请提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境，甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下，并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。
上述实施例阐明的装置或模块等，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。为了描述的方便，描述以上装置时以功能分为各种模块分别描述。当然，在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现，也可以将实现同一功能的模块由多个子模块的组合实现等。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。
本领域技术人员也知道，除了以纯计算机可读程序代码方式实现控制器以外，完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件，而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至，可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，移动终端，服务器，或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例采用递进的方式描述，各个实施例之间相同或相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。本申请可用于众多通用或专用的计算机***环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。
虽然通过实施例描绘了本申请，本领域普通技术人员知道，本申请有许多变形和变化而不脱离本申请的精神，希望所附的权利要求包括这些变形和变化而不脱离本申请。

Claims (3)

1.一种操作流程诊断方法，其特征在于，所述方法包括：
根据目标操作描述文本信息，确定目标操作对应的目标操作流程数据集，以生成目标操作流程查询图；其中，所述目标操作流程数据集中的数据组与所述目标操作流程查询图的节点一一对应，每个所述数据组至少包括对应节点处的执行者、动作和对象；
根据产品操作文本描述信息，确定全局操作流程数据集，以生成全局操作流程图；
根据所述目标操作流程查询图的节点，确定所述全局操作流程数据集的最大连通子图；
至少根据所述目标操作流程数据集和所述最大连通子图，计算得到所述目标操作流程查询图的节点的预测值，所述预测值用于诊断该节点对应的操作步骤；
在诊断到所述节点对应的操作步骤为错误操作步骤的情况，根据候选答案操作数据和所述预测值，对所述操作步骤进行校正；
其中，“对所述操作步骤进行校正”包括：
输入的编码方法包含四种元素[G，Gk，T，Ca]，其中，G表示查询图，Gk表示全局流程图，T表示与问题相关的上下文，Ca表示纠错任务中错误节点的候选答案；
确定目标操作对应的目标操作流程数据集的步骤中包括：
计算所述目标操作对应的开始节点到结束节点的所有路径；
将所述路径填充至相同序列长度，以得到所述目标操作流程数据集；
关于要素[e，a，o]在每个节点中连接成一个短语；
利用预训练模型BERT，使用CLS标记的输出向量作为每个节点的表示；将所有序列编码为张量s∈R[N×L×768]，N是序列的数量，L是填充序列的最大长度，张量s为所述目标操作流程数据集；
对于全局流程图Gk匹配所有在Gk中G的节点V，并找到最大连通子图,表示为Gg，将每个节点输入到BERT中，得到子图节点编码向量，记为E∈R[ng，768]，ng为Gg中的节点数，其中，Gg就为与所述目标操作流程查询图相关的所述全局操作流程数据集的最大连通子图；
候选答案Ca和相关上下文中的相关操作由BERT编码，Ca中的每个编码向量表示为Ai，相关的上下文编码表示为C∈R[L'，768]，L'为BERT分词器分词的上下文长度；
为了得到输入序列S的表示，使用了双向LSTM层来捕获所述序列的信息，BiLSTM层的输出表示为O，表示查询图G的信息，称O为主表示；
为了找到O中每个节点向量的上下文表示，对每个节点通过Oi和C进行注意计算，注意输出张量D计算如下:
Figure FDA0004225358470000021
与主表示不同，D是上下文表示；
使用单层GCN来提取Gg的特征，输出为E'[N*，768]，用以下公式找出与主表示O最相关的节点的表示，记为P∈R[L，768]，
Figure FDA0004225358470000022
将主表示O，上下文表示D和全局知识表示P拼接起来，记为F，Fi＝[Oi，Di，Pi]；
其中，将对应节点在F中的表示取平均值作为合并表示，表示为M∈R[N’，768]，N'为查询图G中的节点数，将得到的合并表示M送入一层MLP中，其输出通过softmax层得到每个节点的最终预测标签；
其中，使用一个BiLSTM层来合并表示F，并以隐藏层H∈R[N，768]作为输出，然后取张量H在一维上的平均值，记为H'∈R[1，768]，校正的另一个输入是三个候选答案，将候选答案的编码向量与H'连接，表示为[H'，A1，A2，A3]，将串联张量输入MLP和softmax层，得到预测的答案选择。
2.如权利要求1所述方法，其特征在于，在计算得到所述目标操作流程查询图的节点的预测值的步骤中包括：
将所述节点对应的所述目标操作流程数据集和所述最大连通子图的数据进行表示学习；以得到所述目标操作流程数据集的主表示特征和所述最大连通子图的相关节点表示数据；
根据所述目标操作流程数据集的主表示特征和所述最大连通子图的相关节点表示数据，确定所述目标操作流程查询图的节点的预测值。
3.如权利要求1所述方法，其特征在于，根据上下文表示数据、所述目标操作流程数据集和所述最大连通子图，计算得到所述目标操作流程查询图的节点的预测值；其中，所述上下文表示数据由对上下文的相关操作进行编码并计算得到。
CN202110728756.8A 2021-06-29 2021-06-29 一种操作流程诊断方法、装置及存储介质 Active CN113344122B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110728756.8A CN113344122B (zh) 2021-06-29 2021-06-29 一种操作流程诊断方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110728756.8A CN113344122B (zh) 2021-06-29 2021-06-29 一种操作流程诊断方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN113344122A CN113344122A (zh) 2021-09-03
CN113344122B true CN113344122B (zh) 2023-06-16

Family

ID=77481382

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110728756.8A Active CN113344122B (zh) 2021-06-29 2021-06-29 一种操作流程诊断方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN113344122B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111930983A (zh) * 2020-08-18 2020-11-13 创新奇智(成都)科技有限公司 一种图像检索方法、装置、电子设备及存储介质
CN112989004A (zh) * 2021-04-09 2021-06-18 苏州爱语认知智能科技有限公司 面向知识图谱问答的查询图排序方法及***

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106292583B (zh) * 2016-08-16 2018-08-31 苏州朋泰智能科技有限公司 基于分布式mes的柔性制造***的纠错方法及装置
US10845937B2 (en) * 2018-01-11 2020-11-24 International Business Machines Corporation Semantic representation and realization for conversational systems
US10762298B2 (en) * 2018-02-10 2020-09-01 Wipro Limited Method and device for automatic data correction using context and semantic aware learning techniques
CN108984633B (zh) * 2018-06-21 2020-10-20 广东顺德西安交通大学研究院 一种基于节点上下文向量空间的rdf近似答案查询方法
CN109271506A (zh) * 2018-11-29 2019-01-25 武汉大学 一种基于深度学习的电力通信领域知识图谱问答***的构建方法
CN110060087B (zh) * 2019-03-07 2023-08-04 创新先进技术有限公司 异常数据的检测方法、装置和服务器
CN112036153B (zh) * 2019-05-17 2022-06-03 厦门白山耘科技有限公司 工单纠错方法、装置、计算机可读存储介质和计算机设备
CN111460234B (zh) * 2020-03-26 2023-06-09 平安科技（深圳）有限公司 图查询方法、装置、电子设备及计算机可读存储介质
CN111143540B (zh) * 2020-04-03 2020-07-21 腾讯科技（深圳）有限公司 智能问答方法、装置、设备及存储介质
CN111931172B (zh) * 2020-08-13 2023-10-20 中国工商银行股份有限公司 一种金融***业务流程异常预警方法及装置
CN112417885A (zh) * 2020-11-17 2021-02-26 平安科技（深圳）有限公司 基于人工智能的答案生成方法、装置、计算机设备及介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111930983A (zh) * 2020-08-18 2020-11-13 创新奇智(成都)科技有限公司 一种图像检索方法、装置、电子设备及存储介质
CN112989004A (zh) * 2021-04-09 2021-06-18 苏州爱语认知智能科技有限公司 面向知识图谱问答的查询图排序方法及***

Also Published As

Publication number Publication date
CN113344122A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
CN111859960B (zh) 基于知识蒸馏的语义匹配方法、装置、计算机设备和介质
CN106663038B (zh) 用于机器学习的特征处理配方
CN106575246B (zh) 机器学习服务
CN111444320A (zh) 文本检索方法、装置、计算机设备和存储介质
CN113535984A (zh) 一种基于注意力机制的知识图谱关系预测方法及装置
US20190163500A1 (en) Method and apparatus for providing personalized self-help experience
US11507746B2 (en) Method and apparatus for generating context information
US11551151B2 (en) Automatically generating a pipeline of a new machine learning project from pipelines of existing machine learning projects stored in a corpus
CN113723070B (zh) 文本相似度模型训练方法、文本相似度检测方法及装置
US11797281B2 (en) Multi-language source code search engine
EP3968244A1 (en) Automatically curating existing machine learning projects into a corpus adaptable for use in new machine learning projects
CN116361788A (zh) 一种基于机器学习的二进制软件漏洞预测方法
US8650180B2 (en) Efficient optimization over uncertain data
CN115358397A (zh) 一种基于数据采样的并行图规则挖掘方法及装置
WO2014130287A1 (en) Method and system for propagating labels to patient encounter data
Wang et al. Exploring semantics of software artifacts to improve requirements traceability recovery: a hybrid approach
Moor et al. Path imputation strategies for signature models of irregular time series
Harari et al. Automatic features generation and selection from external sources: a DBpedia use case
CN117727043A (zh) 信息重构模型的训练、图像检索方法、装置及设备
CN113344122B (zh) 一种操作流程诊断方法、装置及存储介质
EP3965024A1 (en) Automatically labeling functional blocks in pipelines of existing machine learning projects in a corpus adaptable for use in new machine learning projects
CN114297385A (zh) 模型训练方法、文本分类方法、***、设备及介质
CN111858899B (zh) 语句处理方法、装置、***和介质
Theodorou et al. Synthesize extremely high-dimensional longitudinal electronic health records via hierarchical autoregressive language model
Komorniczak et al. torchosr—A PyTorch extension package for Open Set Recognition models evaluation in Python

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant