CN112585662A - 用于自动共享过程知识的方法和*** - Google Patents

Abstract

本发明涉及一种用于在技术领域的领域专家（E）和受训者（T）之间自动共享过程知识的***（1），所述***包括经由通信网络（2）连接到领域专家（E）的计算设备（3）和受训者（T）的计算设备（3）的至少一个服务器（4）。

Description

用于自动共享过程知识的方法和***

本发明涉及用于在技术领域的领域专家和受训者之间自动共享过程知识的***和方法。

在许多应用中，用户必须执行要在技术领域中执行的过程中的过程步骤。例如，现场维修（service）技术人员必须维护和/或修理制造设施中的特定机器。另一个示例是医学专家，其具有如何在外科手术期间执行特定操作的专门技能并希望与同事共享该知识。面临外科手术操作的处于类似情况中的另一个医生需要来自另一个专家的如何进行的信息。

过程知识的共享按照惯例在教学课程（session）中完成，在教学课程中，领域专家向受训者或一组受训者展示过程。领域专家可以使用指示（instruction）手册或指示视频。

针对技术过程的训练受训者的传统方法有若干缺点。具有关于相应技术过程的专家知识或专门技能的领域专家一次只能教或训练有限数量的受训者。此外，领域专家必须投入资源，特别是用于训练其他需要训练的人的时间。此外，一些领域专家可能发现难以向受训者解释技术细节，因为所述细节被认为对领域专家来说是琐碎的（trivial）或者不言自明的（self-evident），因此使得难以高效地训练受训者。此外，在训练领域专家和具有较少的技术领域中的经验的训练新手之间可能存在语言障碍。

因此，本发明的目的是提供一种***和方法，其提高了在技术领域的领域专家和受训者之间共享过程知识的效率。

根据本发明的第一方面，该目的通过一种用于自动共享过程知识的***来实现，该***包括权利要求1的特征。

根据第一方面，本发明提供了一种用于在技术领域的领域专家和受训者之间自动共享过程知识的***。该***包括：至少一个服务器，其经由通信网络连接到领域专家的计算设备和受训者的计算设备。领域专家的计算设备适于在执行技术领域中的过程时向服务器提供对领域专家的动作和/或评论的观察（observations）。服务器和/或计算设备包括虚拟助理，所述虚拟助理适于在执行技术领域中的过程时与领域专家交互，以触发对相应领域专家的动作和/或评论的观察。由服务器评估接收到的对动作和/或评论的观察，以自动生成针对受训者的指示，所述指示被提供给在执行相应的过程时由受训者穿戴的计算设备。在执行技术领域中的过程的过程步骤时由领域专家的计算设备记录的动作和/或评论包括标记有与相应过程步骤相关联的标签的音频数据和/或视频数据。服务器包括适于存储针对领域专家和/或受训者记录的音频数据和/或视频数据以及相关联的标签的数据库。领域专家的计算设备的用户接口的麦克风被配置成接收领域专家的特定评论，所述评论包括用于对音频数据和/或视频数据加标签的关键词。服务器包括处理单元，所述处理单元适于基于相关联的标签提取存储在数据库中的过程步骤的相关音频数据和/或视频数据，以生成包括所提取的音频数据和/或所提取的视频数据的针对要由受训者执行的过程的训练和/或指导序列。

在根据本发明的第一方面的***的可能实施例中，服务器包括虚拟助理，所述虚拟助理适于在执行技术领域中的过程时与受训者交互，以触发对相应受训者的动作和/或评论的观察。

在根据本发明的第一方面的***的可能实施例中，在服务器或计算设备上实现的虚拟助理包括自主代理，所述自主代理适于在执行技术领域中的过程时自主地执行与领域专家和/或受训者的对话，以触发由他们的计算设备记录并经由***的通信网络提供给服务器的相应领域专家和/或受训者的动作和/或评论。

在根据本发明的第一方面的***的又一个可能的实施例中，通过由相应领域专家或受训者穿戴的计算设备自动检索由领域专家或受训者执行的过程的过程上下文（context）以及包括由相应领域专家E或受训者T在过程中维修的机器的机器数据，并经由通信网络将其提供给服务器。

在根据本发明的第一方面的***的另外的可能的实施例中，由计算设备检索的过程上下文包括在相应过程中由相应领域专家或受训者维修的机器的机器数据。

在根据本发明的第一方面的***的又一个可能的实施例中，在过程期间由领域专家或受训者的计算设备记录的领域专家或受训者的动作和/或评论包括音频数据和/或视频数据，所述音频数据和/或视频数据连同过程的过程上下文一起由服务器的自主代理自动评估，以提供与相应领域专家和/或受训者的对话和/或经由相应领域专家和/或受训者的计算设备向相应领域专家或受训者给出反馈。

在根据本发明的第一方面的***的又一个可能的实施例中，在执行技术领域中的过程的过程步骤时由受训者的计算设备以选择的操作模式记录的动作和/或评论包括标记有与相应过程步骤和/或选择的操作模式相关联的标签的音频数据和/或视频数据。

在根据本发明的第一方面的***的另外的可能的实施例中，基于在执行技术领域中的过程时领域专家或受训者的特定动作和/或评论和/或基于过程的过程上下文自动生成与过程的相应过程步骤相关联的标签。

在根据本发明的第一方面的***的另外的可能的实施例中，服务器的处理单元包括人工智能模块，所述人工智能模块适于基于相关联的标签和/或过程上下文自动提取存储在数据库中的过程步骤的相关音频数据和/或视频数据，以生成训练和/或指导序列。

在根据本发明的第一方面的***的又一个可能的实施例中，训练或指导序列由处理单元用针对相应过程上下文从***的数据库加载的指示数据来丰富。

在根据本发明的第一方面的***的又一个可能的实施例中，用于丰富训练和/或指导序列的指示数据包括从不同数据源收集的数据，包括文档数据、机器数据模型、扫描数据、先前由领域专家或由受训者执行的训练和/或指导序列的记录的音频和/或视频数据。

在根据本发明的第一方面的***的又一个可能的实施例中，每个计算设备以可选择的操作模式来操作，所述可选择的操作模式包括：教学模式，其中由计算设备提供的观察被自动标记为专家观察，以及学习模式，其中由计算设备提供的观察被自动标记为受训者观察。

根据第二方面，本发明进一步提供了一种用于自动共享过程知识的方法，包括权利要求13的特征。

根据第二方面，本发明提供了一种用于在领域专家和受训者之间自动共享过程知识的方法。该方法包括以下步骤：在执行技术领域中的过程时由服务器接收由领域专家做出的并且由领域专家的计算设备提供的观察；由服务器处理接收到的观察，以自动生成针对受训者的指示；以及由服务器向在执行技术领域中的相应的过程时由受训者穿戴的计算设备提供生成的指示。服务器和/或计算设备包括虚拟助理，所述虚拟助理适于在执行技术领域中的过程时与领域专家交互，以触发对相应领域专家的动作和/或评论的观察。在执行技术领域中的过程的过程步骤时由领域专家的计算设备记录的动作和/或评论包括标记有与相应过程步骤相关联的标签的音频数据和/或视频数据。服务器包括适于存储针对多个领域专家和/或受训者记录的音频数据和/或视频数据以及相关联的标签的数据库。领域专家的计算设备的用户接口的麦克风被配置成接收领域专家的特定评论，所述评论包括用于对音频数据和/或视频数据加标签的关键词。服务器包括处理单元，所述处理单元适于基于相关联的标签提取存储在数据库中的过程步骤的相关音频数据和/或视频数据，以生成包括所提取的音频数据和/或所提取的视频数据的针对要由受训者执行的过程的训练和/或指导序列。

在下文中，参考附图更加详细地描述本发明的不同方面的可能实施例。

图1示出了用于说明根据本发明的第一方面的用于自动共享过程知识的***的可能示例性实施例的框图；

图2示出了根据本发明的第二方面的用于自动共享过程知识的方法的可能示例性实施例的流程图；

图3示出了如由根据本发明的***和方法所使用的数据集的示例性数据结构；

图4示意性地示出了可以由根据本发明的方法和***生成的训练和/或指导序列的图示；

图5图示了根据本发明的方法和***的可能操作；以及

图6图示了根据本发明的***和方法作为虚拟现实训练创作***的可能操作。

图1示意性地示出了根据本发明的第一方面的用于在技术领域的领域专家E和受训者T之间自动共享过程知识的***1的可能的示例性实施例。在图示的示例性实施例中，***1包括用于领域专家E和受训者T的计算设备3-1、3-2、3-3、3-4之间的通信的通信网络2。领域专家E和相关联的便携式计算设备3-i的数量以及穿戴便携式计算设备3-i的受训者T的数量可以根据使用情况而变化。在图示的示例性实施例中，不同的便携式计算设备3-i可以经由无线链路被连接到通信网络2的接入点AP，或者间接地经由局域网的接入点和网关GW连接，也如图1中所图示的那样。用于在不同领域专家E和受训者T之间自动共享过程知识的***或平台可以包括连接到通信网络2的至少一个中央服务器4。在图1的所图示的实施例中，服务器4具有对中央数据库5的访问权，中央数据库5形成用于音频数据、视频数据、过程上下文数据、PCD以及指示数据（I数据）的数据存储。如图1中所图示的不同专家E1、E2具有关于要在技术领域中执行的过程的专门技能知识。该过程可以是例如由相应专家E维修的机器M的修理过程或维护过程。如图1中所图示的，机器M_a和M_b经历由技术专家E执行的过程，例如维护或修理过程的过程步骤。领域专家E1、E2的计算设备3-1、3-2适于在执行技术领域中的过程时向平台或***1的服务器4提供领域专家E1、E2的观察。由服务器4接收到的观察由服务器4的处理单元4A评估，以自动生成针对受训者T的指示。生成的指示可以被提供给在其他机器M_c、M_d处执行相应的过程时由受训者T穿戴的计算设备3-3、3-4，如图1中所图示的那样。在图示的实施例中，服务器包括处理单元4A，处理单元4A适于处理接收到的观察，以自动生成针对受训者T的指示。除了处理单元4A之外，在图示的实施例中，服务器4还包括虚拟助理4B，虚拟助理4B适于在执行技术领域中的相应过程时与领域专家E1、E2和/或与受训者T3、T4交互，以触发或引起（provoke）相应领域专家E和/或受训者T的观察、动作和/或评论。在可能的实施例中，服务器4的虚拟助理4B可以包括自主代理，该自主代理适于在执行技术领域中的过程时与领域专家E和/或受训者T执行自主对话，以触发动作和/或以获得由相应领域专家E和/或受训者T的计算设备3记录并经由***1的通信网络2提供给服务器4的相应领域专家E和/或受训者T的评论。在可能的实施例中，由领域专家E或受训者T执行的过程的过程上下文数据PCD通过由相应领域专家E或受训者T穿戴的相关联的计算设备3自动检索，并经由通信网络2提供给服务器4。由计算设备3检索的过程的过程上下文数据PCD可以包括在该过程中由相应领域专家E或受训者T维修的机器M的机器数据。在该过程期间由领域专家E或受训者T的计算设备3-i记录的领域专家E或受训者T的动作和/或评论可以包括音频数据和/或视频数据。音频数据和视频数据可以连同过程的过程上下文数据PCD一起由处理单元4A自动评估，以提供或创建与相应领域专家E和/或受训者T的对话。此外，音频数据和/或视频数据可以与过程的过程上下文数据PCD一起由处理单元4A自动评估，以经由相应领域专家E和/或受训者T的计算设备3-i为相应领域专家E和/或受训者T提供反馈。

如图1中所图示的那样，服务器4具有对数据库5的访问权，数据库5适于存储针对多个领域专家E或受训者T记录的音频数据和/或视频数据以及相关联的过程上下文数据PCD。在可能的实施例中，在执行过程的过程步骤时由领域专家E或受训者T的计算设备3以其计算设备3的所选择的操作模式记录的动作和/或评论被标记有标签L，该标签L与相应的过程步骤和/或所选择的操作模式相关联。在可能的实施例中，与过程的相应过程步骤相关联的这些标签L可以由处理单元4A基于在执行技术领域中的过程时领域专家E或受训者T的特定动作和/或评论和/或基于相应过程的过程上下文数据PCD自动生成。

服务器4的处理单元4A可以包括处理器，该处理器适于基于相关联的标签和/或基于过程上下文数据提取存储在数据库5中的过程步骤的相关音频数据和/或视频数据，以生成包括提取的音频数据和/或提取的视频数据的针对要由受训者T执行的过程的训练序列或指导序列。在可能的实施例中，相关音频数据和/或视频数据的提取可以由在处理单元4A中实现的人工智能模块来执行。在可能的实施例中，训练序列或指导序列可以由处理单元4A用针对相应过程上下文从***的数据库5加载的指示数据来丰富。指示数据可以包括例如从不同数据源收集的数据，特别地包括来自机器M或机器部件的机器数据模型的文档数据、扫描数据和/或先前由领域专家或受训者执行的训练和/或指导序列的记录的音频和/或视频数据。在可能的实施例中，每个计算设备可以以不同的操作模式OM操作。这些可选择的操作模式可以特别地包括：教学操作模式T-OM，其中由计算设备3提供的观察被标记为专家观察；以及学习操作模式L-OM，其中由计算设备3提供的观察被自动标记为受训者观察。

在优选实施例中，由专家E和/或受训者T携带的计算设备3-i是可以由专家或受训者携带或者被附着到专家或受训者的便携式计算设备。在可能的示例性实施例中，该可穿戴计算设备3-i可以包括由用户在其头部、胸部或手臂处穿戴的一个或多个相机。可穿戴计算设备3进一步可以包括用户接口，该用户接口包括一个或多个麦克风，该一个或多个麦克风被布置成记录用户的语音。此外，可穿戴计算设备3的用户接口可以包括一个或多个扬声器或耳机。此外，每个可穿戴计算设备3-i包括允许建立与平台1的服务器4的通信的通信单元。每个可穿戴计算设备3包括至少一个具有适当应用软件的处理器。计算设备3的处理器被连接到可穿戴计算设备3的用户接口UI，以接收传感器数据，特别是来自相机的视频数据和/或来自麦克风的音频数据。在可能的实施例中，可穿戴计算设备3的计算单元或处理器适于在执行技术领域中的过程时提供用户的观察，并且经由计算设备3的通信接口和通信网络2将观察传输到平台的服务器4。在可能的实施例中，设备3-i的计算单元适于预处理从相机和/或麦克风接收的数据，以检测用户的相关动作和/或评论。这些动作可以包括例如在技术领域中的过程（诸如修理或维护过程）期间由专家E或受训者T拿起（pick up）特定工具。在可能的示例性实现中，相关动作的检测可以通过处理用户（即专家E或受训者T）的音频评论或者通过基于处理的视频数据检测特定手势来执行。

在可能的实施例中，服务器4的软件代理4B适于与用户交互，并且可以特别地包括向用户提供基于语音的接口的聊天机器人。包括聊天机器人的虚拟助理VA可以例如适于在执行技术领域中的过程时与领域专家E和/或受训者T交互。虚拟助理VA可以包括聊天机器人，以自主地执行与相应用户的对话。聊天机器人和用户之间执行的对话可以与由用户做出的动作和/或评论一致（align）。例如，如果由用户的计算设备3提供的视频数据示出用户在维护或修理过程期间拿起特定工具来执行过程步骤，则虚拟助理VA的聊天机器人可以生成关于用户的当前动作的问题。例如，虚拟助理VA的聊天机器人可以询问技术专家E关于他当前动作的特定问题，诸如“您刚刚拿起什么工具

”。由专家E响应于该问题做出的评论可以由专家E的计算设备3记录，并且被传输到***的服务器4，以作为由专家E执行的修理或维护过程的过程步骤的音频数据被存储在数据库5中。在专家E已经拿起工具并且已经回答聊天机器人的问题之后，专家E可以开始执行机器的维护或修理。专家E的计算设备3自动记录专家正在做什么的视频以及在用拿起的工具执行修理或维护动作期间由专家E做出的潜在评论。在该过程期间，由领域专家E的计算设备3记录的领域专家E的动作和/或评论可以包括音频数据（其包括专家的评论）和/或示出专家的动作的视频数据，在可能的实施例中，音频数据和/或视频数据可以由虚拟助理VA的自主代理评估，以提供或生成输出到专家E的对话元素，以继续交互式对话。并行地，由专家E执行的过程的过程上下文可以通过由专家穿戴的计算设备3检索，并经由通信网络2提供给服务器4。这些上下文数据可以包括例如从由专家E维护或修理的机器M的本地存储器读取的机器数据。在图1中所图示的示例中，由领域专家E2维修的机器M_b包括存储机器M_b的机器数据的本地存储器6，该机器数据可以由专家的计算设备3-2检索并转发到平台的服务器4。过程的上下文数据可以例如指示用于标识机器M_b的机器类型，该机器类型可以作为过程上下文数据PCD被存储在数据库中。服务器4可以将针对过程的过程步骤记录的音频数据和/或视频数据以及相关联的过程上下文数据PCD存储在数据库5中。在可能的实施例中，这些音频数据和/或视频数据可以被标记有与相应的过程步骤相关联的标签L。标签可以由处理单元4A基于在执行技术领域中的过程时用户的特定动作和/或评论自动生成。在可能的实施例中，可以处理在该过程期间由用户做出的评论以检测关键词，该关键词可以被用作针对相应过程的过程上下文数据PCD。由相应用户的计算设备3作为观察生成的音频数据和/或视频数据的标签和/或标记可以作为针对相应音频数据和/或视频数据的过程上下文数据PCD连同音频数据和/或视频数据一起被存储在***的数据库5中。在可能的实施例中，可以例如基于从机器M的本地存储器读取的机器数据自动地执行标记和/或加标签。在另外的可能的实施例中，可以由专家E或用户在该过程期间通过向计算设备3的用户接口UI的麦克风中说的特定的评论来进行标记，该评论包括例如用于对由用户的计算设备的传感器提供的音频和/或视频数据加标签的关键词。在可能的实施例中，受训者T的可穿戴计算设备3可以包括穿戴在受训者的头部上的附加显示单元，以向受训者T提供关于相应机器的处置的指导或训练序列。

虚拟助理VA的聊天机器人还可以执行与受训者T的对话，例如以在过程期间接收受训者的问题，诸如“我现在需要这些工具中的哪一个

”。虚拟助理VA可以回放专家E的先前记录的视频，所述视频示出他们在维护和/或修理过程期间在特定情况下正在做什么。虚拟助理VA可以进一步允许受训者T向***提供给定的指示对他的目的已经多有用的反馈。

平台的数据库5适于索引或标记针对各个视频和/或音频数据序列的过程步骤。在可能的实施例中，处理单元4A可以包括人工智能模块AIM，该人工智能模块AIM适于提取记录的视频和/或音频序列的相关片段，并根据在该过程的特定情况下由专家E做出的评论以及基于被包括在视频序列或音频序列中的数据对它们进行索引。在可能的实施例中，人工智能模块AIM可以被设计成当受训者T在过程期间需要视频数据时向数据库5查询适当的视频数据。在可能的实施例中，服务器4还可以向用户发送诸如电子邮件的通信消息，并且在可能的实施例中，还可以向已经与受训者T共享有用知识的专家E发送奖励。

图5示意性地示出了说明根据本发明的***与用户的交互的示例。在图示的示例中，两个专家“Jane”（E1）和“Jack”（E2）通过他们的便携式计算设备3与***1连接，以用于与受训者“Joe”（T）自动共享过程知识。

专家E和受训者T之间的可能的对话可以如下。首先，第一专家“Jane”（E1）正在过程中工作，例如正在机器M_a处的修理或维护过程中工作。在操作期间，领域专家“Jane”（E1）的动作和/或评论由其计算设备3-1监视，以在过程期间检测感兴趣的动作和/或评论。在可能的实施例中，计算设备3包括集成的虚拟助理VA，该集成的虚拟助理VA适于通过执行在可能的实现中也可以由集成在服务器4的模块4B中的虚拟助理VA支持的过程来与用户交互。如果计算设备3检测到第一专家“Jane”（E1）正在执行有趣的一些事情，则虚拟助理VA的聊天机器人可以向第一专家“Jane”（E1）询问问题。

“Jane”（E1）的计算设备3：“打扰一下，Jane，您一直在使用什么工具

”

专家“Jane”（E1）的回复：“哦，那是螺丝刀，我需要固定外壳的左上螺钉。”

聊天机器人然后可以经由专家“Jane”的计算设备3询问：“啊，您如何将螺钉固定在外壳中

”这触发了技术专家“Jane”的回复：“看，像这样，就在这里”当领域专家执行将螺钉固定在机器的外壳中的动作时，由其计算设备3的相机记录。对话可以由虚拟助理VA的聊天机器人完成（finalize）如下“谢谢！”

之后如果第二专家“Jack”（E2）正在将类似的机器M拆开，则处理单元可以连续评估由计算设备提供的视频和/或音频数据，以检测由专家执行的过程步骤。在该示例中，处理单元4A的人工智能模块AIM可能已经从另一专家“Jane”（E1）的先前记录学习，视频数据示出了特定的部件或元件，例如由第一专家“Jane”先前组装在机器M的外壳中的螺钉。在已经做了该观察之后，虚拟助理VA的聊天机器人可以向第二专家“Jack”（E2）询问如下问题：“打扰一下，Jack，那是您想要用来组装外壳的螺钉吗

”这可能触发第二专家“Jack”的以下回复：“是的，的确是……”虚拟助理VA的聊天机器人然后可以通过感谢第二专家“Jack”来结束对话：“谢谢！”

之后，受训者T可能具有通过组装螺钉来固定外壳的任务，并且没有按照要求进行的知识或专门技能。受训者T可以经由其计算设备3向平台询问以下对话中的建议。受训者“Joe”可以询问：“好的，人工智能模块，请告诉我，我应该用来固定外壳的这个螺钉是什么

”受训者“Joe”的计算设备3可以输出例如：“是在这里的这个东西……”

相同时刻，平台通过受训者“Joe”的计算设备3的显示器向受训者“Joe”示出先前由第二专家“Jack”（E2）的计算设备3记录的图像或视频，其中突出显示了相应的部件，即螺钉。受训者“Joe”然后可以经由其计算设备3向***询问后续（follow-up）问题：“好的，并且我如何固定它

”gjo

由受训者T的计算设备3的用户接口UI输出的回复：“您可以使用如所示的螺丝刀……”其中受训者“Joe”的显示器输出已经由第一专家“Jane”的计算设备3记录的视频序列。受训者T可以例如通过以下评论来结束对话：“谢谢，那是有帮助的！”

最后，专家“Jack”和“Jane”两者都可以经由他们的便携式计算设备3上的应用从***接收感谢。例如，第一专家“Jane”（E1）的便携式计算设备3可以显示以下消息；“来自Joe的对您在使用螺丝刀组装机器的外壳时的帮助的感谢！”此外在另一专家“Jack”（E2）的计算设备3上，可以如下输出感谢消息：“来自Joe的关于标识螺钉的感谢！”

根据本发明的***可以利用聊天机器人的交互格式来向技术领域中的专家E询问问题。在便携式计算设备3上和/或在平台的服务器4上实现的虚拟助理VA的聊天机器人可以使专家E进入到健谈状态（talkative mood）中，使得专家E愿意共享专家知识。类似地，在受训者T的计算设备a3上或在平台的服务器4上实现的聊天机器人将减少受训者的询问问题的抑制，使得受训者T更愿意寻求建议。***1可以在可穿戴计算设备3上记录和播放视频，使得受训者T可以从与实际过程期间相同的视角看到视频指示。***1可以进一步使用来自被评估或处理的记录视频的音轨来提取视频序列中的某些元素的索引。此外，***可以向专家E提供对与受训者T共享他们的专家知识的奖励。***1不需要任何努力来明确地提供指示。专家E可以在被聊天机器人询问时共享他们的知识，而无需在该过程期间减慢他们的工作过程。因此，领域专家E的观察可以在相应技术领域中的专家E的常规正常过程期间进行。因此，在正常例程中，当被虚拟助理VA的聊天机器人询问时，专家E可以向***1提供知识。

与传统平台相反，本发明的***可以无限地扩展（scale），在传统平台中，专家E明确地教可能站着观看的受训者T。尽管训练者一次只能教两个或更多个受训者，但是由***1记录和共享的内容可以被分发到无限数量的分布式受训者T。

在可能的实施例中，***1还可以使用机器或目标设备的上下文数据。例如，专家E的计算设备3可以从专家E正在维修的机器M的本地存储器检索机器标识数据，包括例如机器的类型。该信息可以连同记录的音频和/或视频数据一起被存储在数据库5中。类似地，受训者T的计算设备3可以查询受训者T正在维修的机器M，并且处理单元4A的人工智能模块AIM然后可以搜索类似机器的视频和/或音频数据。

在另一个可能的实施例中，附加的指示材料或数据被存储在数据库5中，例如零件图（part diagrams）或动画3D数据模型。例如，受训者T的计算设备3可以示出正在由受训者T维修的机器M的三维图。该三维图可以被存储在***1的数据库5中，并且受训者T可以明确地查询它，使得例如人工智能模块AIM将向受训者T如下建议它：“我可以向您示出机器部件的模型吗

”存在用于提供附加的数据、特别是可以被链接到记录的视频和/或音频数据而无需明确注释的附加的指示数据的若干种可能的机制。例如，如果专家E在执行过程或任务时查看他的便携式计算设备3上的特定三维数据模型，则这可以被他的便携式计算设备3记录。当执行相同的任务时，然后可以向受训者T示出相同的模型。此外，如果每个数据模型包括标题，则受训者可以通过在其计算设备3的用户接口UI中输入的语音命令来搜索适当的数据模型。

在可能的实施例中，在服务器4的处理单元4A中实现的人工智能模块AIM可以包括神经网络NN和/或知识图。

在可能的实施例中，受训者T的计算设备3还可以被配置成在受训者的计算设备3的显示器上的增强现实AR视图中突出显示特定的机器零件。受训者T的计算设备3可以包括类似于专家E的计算设备的相机。在可能的实施例中，专家E的计算设备3可以检测也出现在专家E的记录视频中的受训者的当前视图中的条目，并且如果它们是相关的，则受训者T的计算设备3然后可以突出显示它们。

在可能的实施例中，受训者T和专家E的计算设备3在硬件和/或软件方面中可以是相同的。在该实施例中，它们包括相机和显示单元两者。因此，同事可以使用这些计算设备来对称地共享知识，即一个技术领域中的受训者T可能是另一个技术领域中的专家E，并且反之亦然。

图2示出了用于在领域专家E和受训者T之间自动共享过程知识的方法的可能的示例性实施例的流程图。图2中所图示的方法可以使用如图1中所图示的平台来执行。

在第一步骤S1中，服务器接收通过执行技术领域中的过程由领域专家E的计算设备做出的观察。

在进一步的步骤S2中，由服务器处理接收到的观察，以自动生成针对受训者T的指示。

在进一步的步骤S3中，由服务器向在执行技术领域中的相应过程时由受训者T所穿戴的计算设备提供所生成的指示。

图3示意性地图示了可以由根据本发明的方法和***使用的可能的数据结构。记录的音频数据和/或视频数据将连同过程上下文数据PCD一起被存储在平台的数据库5中。过程上下文数据PCD可以包括例如在维护或修理过程期间由相应领域专家E和/或受训者T维修的机器M的机器数据。此外，过程上下文数据PCD可以包括在音频数据和/或视频数据的记录期间生成的标签L。过程上下文数据PCD可以例如包括与相应的过程步骤和/或选择的操作模式OM相关联的标签L。在可能的实施例中，平台的每个计算设备3-i可以以一组可选择的操作模式操作。在可能的实现中，这些操作模式OM可以包括教学操作模式T-OM，其中由计算设备3提供的观察被自动标记为专家观察。此外，操作模式可以包括学***的信息，特别是对于相应过程，用户是被视为专家E还是被视为受训者T的信息。其他可能的过程上下文数据PCD可以包括关于由相应用户所说的语言的信息。

图4图示了由平台使用存储在平台的数据库5中的数据输出的训练和/或指导序列。服务器4的处理单元4A可以适于基于相关联的过程上下文数据PCD提取存储在数据库5中的过程步骤的相关音频数据和/或视频数据，以生成或组装包括提取的音频数据和/或提取的视频数据的针对受训者T的训练和/或指导序列。在图示的实施例中，存储在数据库5中的记录的音频数据和/或记录的视频数据可以根据受训者T和在受训者T的计算设备3-i中或在平台的服务器4上实现的虚拟助理VA的聊天机器人之间执行的对话经由受训者T的计算设备3输出。所记录的音频数据和视频数据可以经由受训者T的便携式计算设备3的显示单元和经由受训者T的计算设备3的用户接口的耳机作为不同的信息通道同时并行输出。在图4的所图示的示例中，从第一专家E1记录的第一音频数据ADATA1可以连同示出该专家E1的动作的视频数据一起被显示给受训者T。可以通过从第二专家E2记录的另外的音频数据ADATA2连同将该另一专家E2的动作示出为VDATA2的视频数据一起向受训者T解释过程中的下一过程步骤。在图示的示例中，视频数据流VDATA2的长度比专家E2的音频数据ADATA2短，并且后面跟着指示数据，特别是在该过程步骤期间由第二专家E2处置的相应机器部件的机器数据模型MDM。图4中所图示的训练序列或指导序列可以后面跟着第三专家E3的声学数据ADATA3，其解释了没有可用视频数据的进一步的过程步骤。如可以看到的那样，训练序列或指导序列包括使用过程上下文数据PCD连接（concatenate）或链接的一系列音频数据集和/或视频数据集。在可能的实施例中，要由受训者T执行的针对过程的训练序列或指导序列包括存储在平台的数据库5中的提取的音频数据和/或提取的视频数据。在可能的实施例中，训练或指导序列可以由处理单元4A用针对相应的过程上下文数据PCD从***的数据库5加载的指示数据来丰富。用于丰富训练和/或指导序列的这些指示数据可以包括从不同数据源收集的数据，包括文档数据、机器数据模型、扫描数据、先前由领域专家或受训者执行的训练和/或指导序列的记录的音频和/或视频数据。

收集的数据可以包括由不同数据源提供的数据，数据源包括要维护的机器M的CAD模型、真实维护过程的照片或视频和/或特殊工具或零件的三维扫描。要维护的机器的CAD模型通常包括不一定针对训练而设计的构建模型。可以例如通过从模型移除与训练过程在视觉上不相关的小零件或部件来简化CAD模型并将其转换成适用于训练的格式。在可能的实施例中，这可以通过由服务器4的处理单元4A执行的自动模型转换和简化过程来实现。

数据源还可以提供真实维护过程的照片或视频。这些可以是从先前的实时（live）训练课程可获得的。可以使用附加的非VR文档，诸如草图（sketch）或幻灯片。在可能的实施例中，这些文档可以被自动转换成形成附加的指示数据的图像。此外，数据源可以包括特殊工具或零件的三维扫描。如果特殊工具或零件作为CAD模型是不可用的，则可以使用激光扫描仪或摄影测量重建（photogrammetric reconstructions）针对来自物理可用的零件的这些用户零件生成或创建三维扫描。

预先存在的数据（诸如CAD模型或照片）可以被平台导入到虚拟现实VR训练创作***中，也如图6中示意性图示的那样。领域专家E可以使用VR训练创作***，该***允许领域专家E指定受训者T应该学***台还可以提供在VR中指定原子动作（atomic actions）的功能，诸如用特定的扳手移除特定的螺钉。在可能的实施例中，平台或***1进一步包括创建动作的序列的功能，例如移除第一螺钉，然后移除第二螺钉等。该平台可以进一步提供将图像、视频、草图和或其他非虚拟现实文档数据布置在三维环境中有帮助的位置中的功能，其可选地与动作的序列中的特定步骤相关联。该平台可以进一步提供保存动作的序列与添加的支持照片作为训练和/或指导序列的功能。

受训者T可以使用由平台提供的VR训练创作***。该***可以允许导入由专家E在创作***中指定的支持图像或照片的动作的序列和布置，使其作为虚拟现实VR训练经验对受训者T是可用的。该平台可以提供在虚拟现实VR中由受训者T穿戴的计算设备3的显示单元上显示CAD模型、专用工具、标准工具和支持照片的功能。受训者T可以在VR中执行原子动作，诸如用特定的扳手移除特定的螺钉。在教学模式中，可以由平台突出显示原子动作序列中的每个原子动作中要使用的零件和工具。在可能的检查模式中，由受训者T维修的机器M的零件或部件未被突出显示，但是受训者T可以接收关于是否已经由他正确执行了过程步骤还是未正确执行过程步骤的反馈。

参考符号的列表：

E：专家；

T：受训者；

1：***；

2：通信网络；

3-i：计算设备；

GW：网关；

AP：接入点；

4：中央服务器；

5：中央数据库；

M：机器；

4A：处理单元；

4B：虚拟助理；

ADATA：音频数据；

VDATA：视频数据；

PCD：过程上下文数据；

S1-S3：用于在领域专家E和受训者T之间自动共享过程知识的方法的步骤；

MDM：机器数据模型。

Claims (13)

1.一种用于在技术领域的领域专家（E）和受训者（T）之间自动共享过程知识的***（1），

所述***包括：

至少一个服务器（4），其经由通信网络（2）连接到领域专家（E）的计算设备（3）和受训者（T）的计算设备（3），

其中领域专家（E）的计算设备（3）适于在执行技术领域中的过程时向服务器（4）提供对领域专家（E）的动作和/或评论的观察，其中服务器（4）和/或计算设备（3）包括虚拟助理（VA），所述虚拟助理（VA）适于在执行技术领域中的过程时与领域专家（E）交互，以触发对相应领域专家（E）的动作和/或评论的观察，

其中由服务器（4）评估接收到的对动作和/或评论的观察，以自动生成针对受训者（T）的指示，所述指示被提供给在执行相应的过程时由受训者（T）穿戴的计算设备（3），

其中在执行技术领域中的过程的过程步骤时由领域专家（E）的计算设备（3）记录的动作和/或评论包括标记有与相应过程步骤相关联的标签的音频数据和/或视频数据，其中服务器包括适于存储针对领域专家和/或受训者记录的音频数据和/或视频数据以及相关联的标签的数据库，

其中领域专家（E）的计算设备的用户接口的麦克风被配置成接收领域专家（E）的特定评论，所述评论包括用于对音频数据和/或视频数据加标签的关键词，并且其中服务器（4）包括处理单元（4A），所述处理单元（4A）适于基于相关联的标签提取存储在数据库（5）中的过程步骤的相关音频数据和/或视频数据，以生成包括所提取的音频数据和/或所提取的视频数据的针对要由受训者（T）执行的过程的训练和/或指导序列。

2.根据权利要求1所述的***，其中服务器（4）和/或计算设备（3）包括虚拟助理（VA），所述虚拟助理（VA）适于在执行技术领域中的过程时与受训者（T）交互，以触发对相应受训者（T）的动作和/或评论的观察。

3.根据权利要求2所述的***，其中在服务器（4）或计算***（3）上实现的虚拟助理（VA）包括自主代理，所述自主代理适于在执行技术领域中的过程时自主地执行与领域专家（E）和/或受训者（T）的对话，以触发由他们的计算设备（3）记录并经由***（1）的通信网络（2）提供给服务器（4）的相应领域专家（E）和/或受训者（T）的动作和/或评论。

4.根据前述权利要求1至3中的任一项所述的***，其中，通过由相应领域专家（E）或受训者（T）穿戴的计算设备（3）自动检索由领域专家（E）或受训者（T）执行的过程的过程上下文以及包括由相应领域专家E或受训者T在过程中维修的机器（M）的机器数据，并经由通信网络（2）将其提供给服务器（4）。

5.根据权利要求4所述的***，其中由计算设备（3）检索的过程的过程上下文包括在所述过程期间由相应领域专家（E）或受训者（T）维修的机器（M）的机器数据。

6.根据权利要求4或5所述的***，其中，在过程期间由领域专家（E）或受训者（T）的计算设备（3）记录的领域专家（E）或受训者（T）的动作和/或评论包括音频数据和/或视频数据，所述音频数据和/或视频数据连同过程的过程上下文一起由服务器（4）的自主代理自动评估，以提供与相应领域专家（E）或受训者（T）的对话和/或经由相应领域专家（E）或受训者（T）的计算设备（3）向相应领域专家（E）或受训者（T）给出反馈。

7.根据前述权利要求中的任一项所述的***，

其中在执行技术领域中的过程的过程步骤时由受训者（T）的计算设备（3）记录的动作和/或评论包括标记有与相应过程步骤相关联的标签的音频数据和/或视频数据。

8.根据权利要求7所述的***，其中，基于在执行技术领域中的过程时领域专家（E）或受训者（T）的特定动作和/或特定评论和/或基于过程的过程上下文自动生成与过程的相应过程步骤相关联的标签。

9.根据权利要求8所述的***，其中处理单元包括人工智能模块，所述人工智能模块适于基于相关联的标签和/或基于过程上下文自动提取存储在数据库（5）中的过程步骤的相关音频数据和/或视频数据，以创建训练和/或指导序列。

10.根据权利要求8或9所述的***，其中，训练或指导序列由处理单元（4A）用针对相应过程上下文从***（1）的数据库（5）加载的指示数据来丰富。

11.根据权利要求10所述的***，其中用于丰富训练和/或指导序列的指示数据包括从不同数据源收集的数据，包括机器数据模型的文档数据、扫描数据、先前由领域专家和/或受训者执行的训练和/或指导序列的记录的音频和/或视频数据。

12.根据前述权利要求1至11中的任一项所述的***，其中每个计算设备（3）以可选择的操作模式来操作，所述可选择的操作模式包括

教学模式，其中由计算设备提供的观察被自动标记为专家观察，以及

学习模式，其中由计算设备提供的观察被自动标记为受训者观察。

13.一种用于在领域专家（E）和受训者（T）之间自动共享过程知识的方法，

所述方法包括以下步骤：

（a）在执行技术领域中的过程时由服务器（4）接收（S1）由领域专家（E）做出的并且由领域专家（E）的计算设备（3）提供的动作和/或评论的观察；

（b）由服务器（4）处理（S2）接收到的动作和/或评论的观察，以自动生成针对受训者（T）的指示；以及

（c）由服务器（4）向在执行技术领域中的相应的过程时由受训者（T）穿戴的计算设备（3）提供（S3）生成的指示，

其中服务器（4）和/或计算设备（3）包括虚拟助理（VA），所述虚拟助理（VA）适于在执行技术领域中的过程时与领域专家（E）交互，以触发对相应领域专家（E）的动作和/或评论的观察，

其中在执行技术领域中的过程的过程步骤时由领域专家（E）的计算设备（3）记录的动作和/或评论包括标记有与相应过程步骤相关联的标签的音频数据和/或视频数据，其中服务器包括适于存储针对多个领域专家和/或受训者记录的音频数据和/或视频数据以及相关联的标签的数据库，

其中领域专家（E）的计算设备的用户接口的麦克风被配置成接收领域专家（E）的特定评论，所述评论包括用于对音频数据和/或视频数据加标签的关键词，并且其中服务器（4）包括处理单元（4A），所述处理单元（4A）适于基于相关联的标签提取存储在数据库（5）中的过程步骤的相关音频数据和/或视频数据，以生成包括所提取的音频数据和/或所提取的视频数据的针对要由受训者（T）执行的过程的训练和/或指导序列。

Images