CN117689507A - 基于虚拟三维技术的装备维修训练模拟*** - Google Patents

Abstract

本发明提供了一种基于虚拟三维技术的装备维修训练模拟***，图像拆分模块，用于获取多种大型复杂设备维修现场的多角度录制视频和图片，将录制视频和图片，根据维修流程对多角度录制视频和图片进行拆分，获得多个类别的图像集，模型建立模块，用于基于多个类别的图像集，建立目标训练设备对应的多场景动态装备维修三维模型；维修训练模块，用于在检测到训练模拟人的训练请求后，基于多场景动态装备维修三维模型对目标训练设备进行维修重现，或者在多场景动态装备维修三维模型上进行分阶段维修训练。本发明能够将大型复杂设备真实的故障处理现场环境、故障处理过程快速、智能、高效地三维化，辅助完成运维人员的维修学习以及训练。

Description

基于虚拟三维技术的装备维修训练模拟***

技术领域

本发明涉及装备维修培训技术领域，特别涉及一种基于虚拟三维技术的装备维修训练模拟***。

背景技术

大型复杂设备具有价值高、体积大、设备重等特点。特别是搬运或者维修过程中有些设备需要拆解和安装，尤其有些设备有密封件，在拆解和安装时应特别注意，机械密封是转动机械本体密封有效的方式之一，其本身加工的精度比较高，尤其是动、静环，如果拆装方法不合适或使用不当，装配后的机械密封不但达不到密封的目的，而且会损坏集结的密封元件。因此大型复杂设备维修过程中需要十分小心精细的操作，而由于设备成本问题导致大型复杂设备维修无法轻易进行实操，因而大型复杂设备维修学习和维修训练就显得尤为重要，但是传统基于文字、图片和视频数据的维修训练仅为知识层面的学习，往往无法达到理想的训练效果，因此本发明提出一种基于虚拟三维技术的装备维修训练模拟***。

发明内容

本发明提供一种基于虚拟三维技术的装备维修训练模拟***，能够将大型复杂设备真实的故障处理现场环境、故障处理过程的快速、智能、高效地三维化，生成多场景动态装备维修三维模型，服务于运维人员，方便运维人员作为训练模拟人随时进行维修学以及维修训练，有效减低运维人员线下培训的时间成本，同时为训练模拟人提供接近真实场景的训练环境，有利于提高维修人员临场维修能力，并且分阶段维修训练实现了对维修人员的个性化针对性训练，可以有效的针对性的提高运维人员的维修能力，减少维修中的失误，减低企业运维成本。

本发明提供一种基于虚拟三维技术的装备维修训练模拟***，包括：

图像拆分模块，用于获取多种大型复杂设备维修现场的多角度录制视频和图片，将录制视频和图片，根据维修流程对多角度录制视频和图片进行拆分，获得多个类别的图像集，

其中，图像集包括设备维修环境、设备本身、设备部件拆卸或更换以及维修人员维修行为四类；

模型建立模块，用于基于多个类别的图像集，建立目标训练设备对应的多场景动态装备维修三维模型；

维修训练模块，用于在检测到训练模拟人的训练请求后，基于多场景动态装备维修三维模型对目标训练设备进行维修重现，或者在多场景动态装备维修三维模型上进行分阶段维修训练。

优选的，在一种基于虚拟三维技术的装备维修训练模拟***中，图像拆分模块，包括：

资料获取单元，用于基于视频标签，对大型复杂设备维修现场的多角度录制视频和图片进行分类，建立多个数据文件夹，存储至数据库中，其中视频标签包括了设备名称、设备维修环境以及设备故障原因；

识别分类单元，用于分别对各个数据文件夹中的多角度录制视频和图片进行逐帧图像识别，并基于目标标记框对相关物品进行标记，根据标记结果，对帧图像进行分类，在当前数据文件夹中建立多个类别的图像集。

优选的，在一种基于虚拟三维技术的装备维修训练模拟***中，模型建立模块，包括：

环境模型建立单元，用于基于目标训练设备对应的设备名称在数据库中进行检索，获取目标训练设备对应的多个设备维修环境图像集，采用设备维修环境图像集对应预设模型进行训练，建立目标训练设备对应的多种维修环境三维模型；

设备模型建立单元，用于基于目标训练设备对应的设备名称在数据库中进行检索，获取目标训练设备对应的多种维修环境下的多个设备本身图像集，并获取目标训练设备对应的设备构造图，基于设备构造图，结合多个设备本身图像集建立目标训练设备对应的设备三维模型；

零件模型建立单元，用于基于目标训练设备对应的设备三维模型建立模型文件，存储至数据库中，并基于设备构造图，对三维模型进行零件拆分，根据零件拆分结果，对模型文件进行文件拆分，获得多个模型子文件，每个模型子文件对应一个设备零件三维模型。

优选的，在一种基于虚拟三维技术的装备维修训练模拟***中，零件模型建立单元，包括：

工具模型建立子单元，用于对目标训练设备的对应全部多角度录制视频和图片进行遍历，确定全部维修使用工具，并获取维修使用工具对应的工具数据，基于工具数据建立辅助工具模型，生成工具模型文件，存储至数据库中。

优选的，在一种基于虚拟三维技术的装备维修训练模拟***中，模型建立模块，还包括：

第一模型组合单元，用于将分别将多种维修环境三维模型于设备三维模型进行组合，生成多场景三维模型；

三维轨迹建立单元，用于获取目标训练设备对应的多个维修人员维修行为图像集，根据维修人员维修行为图像集携带的维修环境标签以及设备故障原因，对多个维修人员维修行为图像集进行分类，获得多个组图集合；

分别基于各个组图集合对维修人员的维修轨迹进行确定，并基于维修轨迹中的零件拆卸或更换结果，向维修轨迹进行维修节点添加；

获取每个维修阶段对应的目标设备部件拆卸或更换图像集，对目标设备部件拆卸或更换图像集进行特征识别，获拆卸或更换零件对应的零件特征，基于零件特征确定每个维修节点对应的目标零件，与对应的模型子文件建立管理关系添加至对应的维修节点，并根据维修轨迹对目标零件进行移动，生成三维维修动态轨迹；

第二模型组合单元，用于将三维维修动态轨迹与对应的场景三维模型进行组合，生成多场景动态装备维修三维模型。

优选的，在一种基于虚拟三维技术的装备维修训练模拟***中，三维轨迹建立单元，包括：

动作模拟子单元，用于基于时间轴对维修轨迹对应的目标设备部件拆卸或更换图像集中的图像进行排序，获得图像序列；

根据图像序列分别对维修人员动作进行定位，确定维修轨迹中维修人员的拆卸或者更换零件的操作姿势以及拆卸以及更换零件的辅助工具，基于图像序列对全部操作姿势进行连贯性排列，获得姿势变化；

基于时间轴在所述姿势变化中，获取对应的工具模型子文件，生成对应辅助工具三维模型，添加至维修人员对应的姿势位置处，生成维修动态变化，

将所述维修动态变化添加至三维维修动态轨迹中，生成最终三维维修动态轨迹，发送至第二模型组合单元。

优选的，在一种基于虚拟三维技术的装备维修训练模拟***中，维修训练模块，包括：

训练选择单元，用于训练模拟人对模拟维修场景、模拟维修设备以及维修故障进行选择；

模型获取单元，用于根据训练模拟人的选择结果，生成对应的训练开放控制指令，根据训练开放指令，打开对应维修场景的多场景动态装备维修三维模型；

指令生成单元，用于按照训练模拟人的选择的训练模式生成对应的训练控制指令，当训练模式为第一模式时，生成重现训练指令，并发送至维修重现单元；

当训练模式为第二模式时，生成自主训练指令，并发送至自主训练单元。

优选的，在一种基于虚拟三维技术的装备维修训练模拟***中，维修训练模块，还包括：

维修重现单元，用于在接收到重现训练指令后，根据训练设置信息，控制对应维修场景的多场景动态装备维修三维模型对目标训练设备的维修过程进行维修重现；

自主训练单元，用于在接收到自主训练指令后，对训练请求信息进行解析，确定训练模拟人自主训练对应的目标维修阶段，获取目标维修阶段对应的对应维修场景的多场景动态装备维修三维模型的阶段维修模型，并对阶段维修模型进行维修操作隐藏后发送至训练模拟人的训练操作界面。

优选的，在一种基于虚拟三维技术的装备维修训练模拟***中，自主训练单元，包括：

动作获取单元，用于基于操作辅助设备，获取训练模拟人的维修操作，并生成实时维修操作动作在训练模拟人操作界面进行同步显示；

速度确定单元，用于获取操作辅助设备的实时移动变换速度，基于实时移动变换速度确定训练模拟人实时维修速度；

同步对比单元，用于基于实时维修速度，对隐藏维修操作的变换速度进行实时调节，根据调节后的隐藏维修操作，结合维修时间对应关系，获取实时维修操作动作对应的隐藏动作；

将实时维修操作动作与其对应的隐藏动作进行对比，获得维修相似度，并在维修相似度小于等于预设值时，生成维修错误提醒，并进行红色维修错误标记。

优选的，在一种基于虚拟三维技术的装备维修训练模拟***中，同步对比单元，包括：

动作定位子单元，用于对每个实时维修操作动作及其对应的隐藏动作进行动作定格，生成动作对比图像，基于动作对比图像借助目标训练设备各个零件之间的几何关系，确定训练模拟人当前实时维修操作位置以及操作角度；

动作对比子单元，用于将训练模拟人当前实时维修操作位置以及操作角度，分别与隐藏动作对应的操作位置以及操作角度进行对比，获得操作位置相似度以及操作角度相似度，基于第一预设权重、操作位置相似度以及操作角度相似度获得维修相似度；

其中，操作位置相似度对应的权重大于操作位置相似度对应的权重。

与现有技术相比，本发明至少存在以下有益效果：

本发明通过图像拆分模块获取多种大型复杂设备维修现场的多角度录制视频和图片，将录制视频和图片，根据维修流程对多角度录制视频和图片进行拆分，获得多个类别的图像集，实现了影像资料的自动分类，为多场景动态装备维修三维模型的分布建立提供基础；通过模型建立模块基于多个类别的图像集，建立目标训练设备对应的多场景动态装备维修三维模型，将大型复杂设备真实的故障处理现场环境、故障处理过程进行三维化，实现了维修训练资料的立体呈现，方便大型复杂设备维修过程中细节的良好呈现，有利于提高维修训练的精准度；通过维修训练模块在检测到训练模拟人的训练请求后，基于多场景动态装备维修三维模型对目标训练设备进行维修重现，或者在多场景动态装备维修三维模型上进行分阶段维修训练，方便训练模拟人随时进行维修学习以及维修训练，有效减低运维人员线下培训时间成本，同时为训练模拟人提供接近真实场景的训练环境，有利于提高维修人员临场维修能力，并且分阶段维修训练实现了对维修人员的个性化针对性训练，可以有效的针对性的提高运维人员的维修能力，减少维修中的失误，减低企业运维成本。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在本申请文件中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明一种基于虚拟三维技术的装备维修训练模拟***的示意图；

图2为本发明一种基于虚拟三维技术的装备维修训练模拟***图像拆分模块的示意图；

图3为本发明一种基于虚拟三维技术的装备维修训练模拟***模型建立模块的示意图；

图4为本发明一种基于虚拟三维技术的装备维修训练模拟***维修训练模块的示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1：

本发明提供一种基于虚拟三维技术的装备维修训练模拟***，如图1所示，包括：

图像拆分模块，用于获取多种大型复杂设备维修现场的多角度录制视频和图片，将录制视频和图片，根据维修流程对多角度录制视频和图片进行拆分，获得多个类别的图像集，

其中，图像集包括设备维修环境、设备本身、设备部件拆卸或更换以及维修人员维修行为四类；

模型建立模块，用于基于多个类别的图像集，建立目标训练设备对应的多场景动态装备维修三维模型；

维修训练模块，用于在检测到训练模拟人的训练请求后，基于多场景动态装备维修三维模型对目标训练设备进行维修重现，或者在多场景动态装备维修三维模型上进行分阶段维修训练。

本实施例中，多场景动态装备维修三维模型是指模拟多种维修环境的动态装备维修三维模型。该动态装备维修三维模型可以根据训练模拟人或者模型中的虚拟维修人员的动作对设备三维模型上的零件进行拆卸或者更换。

本实施例中，训练请求是指训练模拟人向***发送的维修训练请求，该训练请求中包含的训练模拟人希望进行的训练模式。该训练模式包括维修重现和自主训练两个模式。其中，维修重现是指多场景动态装备维修三维模型中的虚拟维修人员向训练模拟人进行维修过程展示；自主训练是指训练模拟人通过操作辅助设备对目标设备进行模拟维修。

本实施例中，分阶段维修训练是指训练模拟人根据自身情况选择的进行模拟维修的阶段，完成针对性维修训练，避免训练模拟人在其他熟练阶段浪费时间。

上述技术方案的有益效果：本发明通过图像拆分模块获取多种大型复杂设备维修现场的多角度录制视频和图片，将录制视频和图片，根据维修流程对多角度录制视频和图片进行拆分，获得多个类别的图像集，实现了影像资料的自动分类，为多场景动态装备维修三维模型的分布建立提供基础；通过模型建立模块基于多个类别的图像集，建立目标训练设备对应的多场景动态装备维修三维模型，将大型复杂设备真实的故障处理现场环境、故障处理过程进行三维化，实现了维修训练资料的立体呈现，方便大型复杂设备维修过程中细节的良好呈现，有利于提高维修训练的精准度；通过维修训练模块在检测到训练模拟人的训练请求后，基于多场景动态装备维修三维模型对目标训练设备进行维修重现，或者在多场景动态装备维修三维模型上进行分阶段维修训练，方便训练模拟人随时进行维修学以及维修训练，有效减低运维人员线下培训时间成本，同时为训练模拟人提供接近真实场景的训练环境，有利于提高维修人员临场维修能力，并且分阶段维修训练实现了对维修人员的个性化针对性训练，可以有效的针对性的提高运维人员的维修能力，减少维修中的失误，减低企业运维成本。

实施例2：

在实施例1的基础上，图像拆分模块，如图2所示，包括：

资料获取单元，用于基于视频标签，对大型复杂设备维修现场的多角度录制视频和图片进行分类，建立多个数据文件夹，存储至数据库中，其中视频标签包括了设备名称、设备维修环境以及设备故障原因；

识别分类单元，用于分别对各个数据文件夹中的多角度录制视频和图片进行逐帧图像识别，并基于目标标记框对相关物品进行标记，根据标记结果，对帧图像进行分类，在当前数据文件夹中建立多个类别的图像集。

本实施例中，数据文件夹是指视频标签一样的大型复杂设备对应的多角度录制视频和图片对应一个数据文件夹。

上述技术方案的有益效果：本发明通过资料获取单元和识别分类单元对海量多角度录制视频和图片进行处理，实现了影像资料的自动分类，为多场景动态装备维修三维模型的分布建立提供基础。

实施例3：

在实施例1的基础上，模型建立模块，如图3所示，包括：

环境模型建立单元，用于基于目标训练设备对应的设备名称在数据库中进行检索，获取目标训练设备对应的多个设备维修环境图像集，采用设备维修环境图像集对应预设模型进行训练，建立目标训练设备对应的多种维修环境三维模型；

设备模型建立单元，用于基于目标训练设备对应的设备名称在数据库中进行检索，获取目标训练设备对应的多种维修环境下的多个设备本身图像集，并获取目标训练设备对应的设备构造图，基于设备构造图，结合多个设备本身图像集建立目标训练设备对应的设备三维模型；

零件模型建立单元，用于基于目标训练设备对应的设备三维模型建立模型文件，存储至数据库中，并基于设备构造图，对三维模型进行零件拆分，根据零件拆分结果，对模型文件进行文件拆分，获得多个模型子文件，每个模型子文件对应一个设备零件三维模型。

本实施例中，设备构造图是指目标训练设备的内外结构的详细图像，标明了目标设备的每个零件的尺寸、型号。

本实施例中，模型文件是指根据设备三维模型上各个部件对应的数据声测文件。

本实施例中，零件拆分是指将目标设备对应的设备三维模型拆分为一个个零件，文件拆分是指根据三维模型的零件拆分结果，将模型文件拆分为多个子文件即模型子文件。一个零件对应一个模型子文件。

上述技术方案的有益效果：本发明根据图像集分类结果，获取目标训练设备对应的多个设备维修环境图像集，采用设备维修环境图像集对应预设模型进行训练，建立目标训练设备对应的多种维修环境三维模型，为多场景动态装备维修三维模型的多场景切换提供基础，然后基于目标训练设备对应的设备名称在数据库中进行检索，获取目标训练设备对应的多种维修环境下的多个设备本身图像集，并获取目标训练设备对应的设备构造图，基于设备构造图，结合多个设备本身图像集建立目标训练设备对应的设备三维模型，实现了大型复杂设备的三维立体呈现；然后基于目标训练设备对应的设备三维模型建立模型文件，并根据设备零件拆分结果，对模型文件进行拆分获得零件对应的模型子文件，为维修过程中的零件的拆卸或更换过程的模拟提供了基础，方便大型复杂设备维修过程中细节的良好呈现，本发明将大型复杂设备真实的故障处理现场环境、大型复杂设备分步进行三维化，确保每个细节最终得到的模拟场景中尽可能多的包括各种细节内容，确保大型复杂设备维修过程进行真实还原，为提高训练模拟人的实战维修适应能力提供基础。

实施例4：

在实施例3的基础上，零件模型建立单元，包括：

工具模型建立子单元，用于对目标训练设备的对应全部多角度录制视频和图片进行遍历，确定全部维修使用工具，并获取维修使用工具对应的工具数据，基于工具数据建立辅助工具模型，生成工具模型文件，存储至数据库中。

本实施例中，辅助工具是指运维人员在对设备进行维修的过程中使用的工具，例如，钳子、十字螺丝刀、扳手等。

上述技术方案的有益效果：本发明通过工具模型建立子单元对目标训练设备的对应全部多角度录制视频和图片进行遍历，确定全部维修使用工具，并获取维修使用工具对应的工具数据，基于工具数据建立辅助工具模型，生成工具模型文件，存储至数据库中，完成辅助工具模型的建立，使得训练模拟人的维修训练更加接近真实维修。

实施例5：

在实施例3的基础上，模型建立模块，如图3所示，还包括：

第一模型组合单元，用于将分别将多种维修环境三维模型于设备三维模型进行组合，生成多场景三维模型；

三维轨迹建立单元，用于获取目标训练设备对应的多个维修人员维修行为图像集，根据维修人员维修行为图像集携带的维修环境标签以及设备故障原因，对多个维修人员维修行为图像集进行分类，获得多个组图集合；

分别基于各个组图集合对维修人员的维修轨迹进行确定，并基于维修轨迹中的零件拆卸或更换结果，向维修轨迹进行维修节点添加；

获取每个维修阶段对应的目标设备部件拆卸或更换图像集，对目标设备部件拆卸或更换图像集进行特征识别，获拆卸或更换零件对应的零件特征，基于零件特征确定每个维修节点对应的目标零件，与对应的模型子文件建立管理关系添加至对应的维修节点，并根据维修轨迹对目标零件进行移动，生成三维维修动态轨迹；

第二模型组合单元，用于将三维维修动态轨迹与对应的场景三维模型进行组合，生成多场景动态装备维修三维模型。

本实施例中，组图集合是指根据维修环境以及设备故障原因一样的维修人员维修行为图像集构建的图像集合，至少包含一个维修人员维修行为图像集。

本实施例中，维修轨迹是指在维修过程中，包括但不限于维修人员手部、肘部等肢体的移动轨迹。

本实施例中，维修节点是指维修移动轨迹中开始进行零件拆卸或更换的位置。

本实施例中，零件特征包括零件的形状、颜色、纹理等特征。

上述技术方案的有益效果：本发明将多种维修环境三维模型于设备三维模型进行组合，生成多场景三维模型，实习了静态三维场景的建立，然后通过三维轨迹建立单元获取目标训练设备对应的多个维修人员维修行为图像集，根据维修人员维修行为图像集携带的维修环境标签以及设备故障原因，对多个维修人员维修行为图像集进行分类，获得多个组图集合；分别基于各个组图集合对维修人员的维修轨迹进行确定，并基于维修轨迹中的零件拆卸或更换结果，向维修轨迹进行维修节点添加；获取每个维修阶段对应的目标设备部件拆卸或更换图像集，对目标设备部件拆卸或更换图像集进行特征识别，获拆卸或更换零件对应的零件特征，基于零件特征确定每个维修节点对应的目标零件，与对应的模型子文件建立管理关系添加至对应的维修节点，并根据维修轨迹对目标零件进行移动，生成三维维修动态轨迹，实现了维修过程三维化，为维修训练提供接近真实维修场景的可围观维修过程，方便训练模拟人自己随时进行维修过程复习以及维修训练；将三维维修动态轨迹与对应的场景三维模型进行组合，生成多场景动态装备维修三维模型，实现了了同一大型复杂设备的不同维修环境的维修过程训练。

实施例6：

在实施例5的基础上，三维轨迹建立单元，包括：

动作模拟子单元，用于基于时间轴对维修轨迹对应的目标设备部件拆卸或更换图像集中的图像进行排序，获得图像序列；

根据图像序列分别对维修人员动作进行定位，确定维修轨迹中维修人员的拆卸或者更换零件的操作姿势以及拆卸以及更换零件的辅助工具，基于图像序列对全部操作姿势进行连贯性排列，获得姿势变化；

基于时间轴在所述姿势变化中，获取对应的工具模型子文件，生成对应辅助工具三维模型，添加至维修人员对应的姿势位置处，生成维修动态变化，

将所述维修动态变化添加至三维维修动态轨迹中，生成最终三维维修动态轨迹，发送至第二模型组合单元。

本实施例中，图像序列是指目标设备部件拆卸或更换图像集中的全部图像根据时间轴进行排列得到的图像序列。

本实施例中，连贯性排列包括时间连贯以及动作连贯。

上述技术方案的有益效果：本发明基于时间轴对维修轨迹对应的目标设备部件拆卸或更换图像集中的图像进行排序，获得图像序列；根据图像序列分别对维修人员动作进行定位，确定维修轨迹中维修人员的拆卸或者更换零件的操作姿势以及拆卸以及更换零件的辅助工具，基于图像序列对全部操作姿势进行连贯性排列，获得姿势变化；基于时间轴在所述姿势变化中，获取对应的工具模型子文件，生成对应辅助工具三维模型，添加至维修人员对应的姿势位置处，生成维修动态变化，将所述维修动态变化添加至三维维修动态轨迹中，生成最终三维维修动态轨迹，实现了维修工具在多场景动态装备维修三维模型中的再现，增加维修训练体验的真实感。

实施例7：

在实施例1的基础上，维修训练模块，如图4所示，包括：

训练选择单元，用于训练模拟人对模拟维修场景、模拟维修设备以及维修故障进行选择；

模型获取单元，用于根据训练模拟人的选择结果，生成对应的训练开放控制指令，根据训练开放指令，打开对应维修场景的多场景动态装备维修三维模型；

指令生成单元，用于按照训练模拟人的选择的训练模式生成对应的训练控制指令，当训练模式为第一模式时，生成重现训练指令，并发送至维修重现单元；

当训练模式为第二模式时，生成自主训练指令，并发送至自主训练单元；

维修重现单元，用于在接收到重现训练指令后，根据训练设置信息，控制对应维修场景的多场景动态装备维修三维模型对目标训练设备的维修过程进行维修重现；

自主训练单元，用于在接收到自主训练指令后，对训练请求信息进行解析，确定训练模拟人自主训练对应的目标维修阶段，获取目标维修阶段对应的对应维修场景的多场景动态装备维修三维模型的阶段维修模型，并对阶段维修模型进行维修操作隐藏后发送至训练模拟人的训练操作界面。

本实施例中，训练开放指令是指某一维修场景的多场景动态装备维修三维模型打开的信号。

本实施例中，第一模式是指维修重现模式；第二模式是指自主训练模式。

本实施例中，重现训练指令是指对通过虚拟维修人员对原维修过程进行播放，训练模拟人可以选择重现开始位置，虚拟维修人员是指多场景动态装备维修三维模型中进行维修操作演示的虚拟人。

本实施例中，自主训练指令是指训练模拟人在多场景动态装备维修三维模型上进行维修练习。

上述技术方案的有益效果：本发明训练模拟人可以通过训练选择单元，对模拟维修场景、模拟维修设备以及维修故障进行选择，方便训练模拟人根据自身情况进行训练重现或者自主训练选择，有利于训练模拟人主动进行针对性学习以及训练。并通过指令生成单元按照训练模拟人的选择的训练模式生成对应的训练控制指令，实现多场景动态装备维修三维模型学习与训练模式切换的自由切换，增加模式多场景动态装备维修三维模型的可使用场景。

实施例8：

在实施例7的基础上，自主训练单元，包括：

动作获取单元，用于基于操作辅助设备，获取训练模拟人的维修操作，并生成实时维修操作动作在训练模拟人操作界面进行同步显示；

速度确定单元，用于获取操作辅助设备的实时移动变换速度，基于实时移动变换速度确定训练模拟人实时维修速度；

同步对比单元，用于基于实时维修速度，对隐藏维修操作的变换速度进行实时调节，根据调节后的隐藏维修操作，结合维修时间对应关系，获取实时维修操作动作对应的隐藏动作；

将实时维修操作动作与其对应的隐藏动作进行对比，获得维修相似度，并在维修相似度小于等于预设值时，生成维修错误提醒，并进行红色维修错误标记。

本实施例中，训练设置信息包括维修重现过程中维修操作的播放速度脉搏访起始点以及播放亮度等等。

本实施例中，目标维修阶段是指训练模拟人进行自主训练的阶段。

本实施例中，阶段维修模型是指多场景动态装备维修三维模型中目标维修阶段对应的部分。

上述技术方案的有益效果：本发明通过维修重现单元根据训练设置信息对维修过程进行维修重现，实现了大型复杂设备维修的自观察学***进行针对性联系，提高维修短板，从而减低维修过程中对设备的损伤概率，有效提高运维人员维修成功率。

实施例9：

在实施例8的基础上，同步对比单元，包括：

动作定位子单元，用于对每个实时维修操作动作及其对应的隐藏动作进行动作定格，生成动作对比图像，基于动作对比图像借助目标训练设备各个零件之间的几何关系，确定训练模拟人当前实时维修操作位置以及操作角度；

动作对比子单元，用于将训练模拟人当前实时维修操作位置以及操作角度，分别与隐藏动作对应的操作位置以及操作角度进行对比，获得操作位置相似度以及操作角度相似度，基于第一预设权重、操作位置相似度以及操作角度相似度获得维修相似度；

其中，操作位置相似度对应的权重大于操作位置相似度对应的权重。

本实施例中，动作对比图像包含了实时维修操作动作及其对应的隐藏动作，二者并排排列。

本实施例中，操作位置是指当前实时维修操作的拆卸或者更换的零件在目标维修设备中的位置，该位置由其他相关零件进行辅助定位得到的；

操作角度是指对零件进行拆卸或者更换时的角度，该角度也是由其他相关零件进行辅助定位得到的。

几何关系包括零件与零件之间的位置关系、角度关系以及距离关系。

本实施例中，操作位置相似度是指是指当前实时维修操作操作位置与隐藏动作对应的操作位置的相似度。

本实施例中，操作角度相似度是指当前实时维修操作角度与隐藏动作对应的操作角度的相似度。

本实施例中，第一预设权重是指操作位置相似度以及操作角度相似度直接权重分配关系。

本实施例中，维修相似度是指操作位置相似度以及操作角度相似分别与其对应的权重相乘的和。

上述技术方案的有益效果：本发明通过动作获取单元基于操作辅助设备，获取训练模拟人的维修操作，并生成实时维修操作动作在训练模拟人操作界面进行同步显示，有利于训练模拟人实时查看自己的维修训练效果，也方便***对训练模拟人的训练过程进行记录，实现训练模拟人自主训练后的进行回放进行操作纠错；通过速度确定单元获取操作辅助设备的实时移动变换速度，基于实时移动变换速度确定训练模拟人实时维修速度；并通过同步对比单元基于实时维修速度，对隐藏维修操作的变换速度进行实时调节，根据调节后的隐藏维修操作，结合维修时间对应关系，获取实时维修操作动作对应的隐藏动作，确保隐藏维修操作与训练模拟人的实际操作速度同步，提高操作动作对比结果的准确性以及实时操作评价的精准性，为训练模拟人的维修训练效果的复盘提供可靠的参考；将实时维修操作动作与其对应的隐藏动作进行对比，获得维修相似度，并在维修相似度小于等于预设值时，生成维修错误提醒，并进行红色维修错误标记，实现了自主维修训练的实时评价，确保训练模拟人进行连后复盘的过程中及时发现操作问题，提高训练模拟人的维修学习效率。

实施例10：

在实施例9的基础上，同步对比单元，还包括：

身份确认子单元，用于获取当前拆卸或更换者零件对应的零件特征，基于零件特征，结合预设关键零件列表，判断当前拆卸或更换零件是否为预设关键零件；

当当前拆卸或更换零件不是预设关键零件时，将维修相似度对比结果作为最终对比结果；

否则，维修相似度对比结果，发送至结果处理子单元；

结果确认子单元，用于当维修相似度小于等于预设值时，将维修相似度对比结果作为最终对比结果；

否则，根据训练模拟人对应的操作辅助设备的预握力测试，参考标准握力，确定训练模拟人的力气系数，获取操作辅助设备采集到的当前操作握力，基于所述力气系数以及当前操作握力，得到训练操作人的当前训练操作力度；

将当前训练操作力度与当前实时维修操作动作对应的预设力度进行对比，获得操作掌控误差，基于预设区间以及操作掌控误差，计算得到操控相似度；

当操控相似度大于等于预设阈值时，判定当前实时维修操作合格；

否则，判定当前实时维修操作不合格，进行黄色维修错误标记；

报告生成子单元，用于基于维修相似度对比结果以及操控相似度对比结果，生成红色维修错误标记或者黄色维修错误标记处对应的错误操作的维修失误报告，并将实时维修失误报告添加到训练模拟人当前自主训练的训练视频的对应位置。

本实施例中，预设关键零件列表是指预先设定的目标维修设备中比较重要或者昂贵的零件对应的名称列表。

本实施例中，预设关键零件是指预设关键零件列表中包含的任意一个零件。

本实施例中，操作辅助设备是指维修模拟训练中用户佩戴的设备。

本实施例中，预握力测试是指训练模拟人在发送训练申请请求前进行操作辅助设备佩戴测试的过程中进行的力量测试。

本实施例中，标准握力是指***默认的力量测试是的力量标准值。

本实施例中，力气系数是指测试力量与标准握力之间的比值，当前操作握力是指训练模拟人对操作辅助设备施加的力量。

本实施例中，当前训练操作力度是指力气系数以及当前操作握力的乘积。

本实施例中，操作掌控误差是指当前训练操作力度与当前实时维修操作动作对应的预设力度的差值。

本实施例中，操控相似度是指当操作掌控误差在预设区间内时，操控相似度为操作掌控误差与预设区间长度之间的比值；否则，操控相似度默认为0。

本实施例中，黄色维修错误标记是指操作动作准确但是操作力度失误的实时维修操作对应的标记；红色维修错误标记是指操作动作(包括操作位置以及操作角度)失误的实时维修操作对应的标记。

上述技术方案的有益效果：本发明在维修相似度对比完成后，对当前拆卸或更换者零件的身份进行确认，判断当前拆卸或更换零件是否为预设关键零件，并根据判断结果，选择不同的训练评价标准，有利于提高训练模拟人对目标维修设备预设关键零件的警觉性；对预设关键零件的操作力度进行训练评价，可以有效减少实际维修中关键零件维修操作把控精准度，减低操作不当导致的零件损失，为降低运维成本提供基础；并基于维修相似度对比结果以及操控相似度对比结果，生成红色维修错误标记或者黄色维修错误标记处对应的错误操作的维修失误报告，并将实时维修失误报告添加到训练模拟人当前自主训练的训练视频的对应位置，方便训练模拟人随时进行训练复盘。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种基于虚拟三维技术的装备维修训练模拟***，其特征在于，包括：

图像拆分模块，用于获取多种大型复杂设备维修现场的多角度录制视频和图片，将录制视频和图片，根据维修流程对多角度录制视频和图片进行拆分，获得多个类别的图像集，

其中，图像集包括设备维修环境、设备本身、设备部件拆卸或更换以及维修人员维修行为四类；

模型建立模块，用于基于多个类别的图像集，建立目标训练设备对应的多场景动态装备维修三维模型；

维修训练模块，用于在检测到训练模拟人的训练请求后，基于多场景动态装备维修三维模型对目标训练设备进行维修重现，或者在多场景动态装备维修三维模型上进行分阶段维修训练。

2.根据权利要求1所述的一种基于虚拟三维技术的装备维修训练模拟***，其特征在于，图像拆分模块，包括：

资料获取单元，用于基于视频标签，对大型复杂设备维修现场的多角度录制视频和图片进行分类，建立多个数据文件夹，存储至数据库中，其中视频标签包括了设备名称、设备维修环境以及设备故障原因；

识别分类单元，用于分别对各个数据文件夹中的多角度录制视频和图片进行逐帧图像识别，并基于目标标记框对相关物品进行标记，根据标记结果，对帧图像进行分类，在当前数据文件夹中建立多个类别的图像集。

3.根据权利要求1所述的一种基于虚拟三维技术的装备维修训练模拟***，其特征在于，模型建立模块，包括：

环境模型建立单元，用于基于目标训练设备对应的设备名称在数据库中进行检索，获取目标训练设备对应的多个设备维修环境图像集，采用设备维修环境图像集对应预设模型进行训练，建立目标训练设备对应的多种维修环境三维模型；

设备模型建立单元，用于基于目标训练设备对应的设备名称在数据库中进行检索，获取目标训练设备对应的多种维修环境下的多个设备本身图像集，并获取目标训练设备对应的设备构造图，基于设备构造图，结合多个设备本身图像集建立目标训练设备对应的设备三维模型；

零件模型建立单元，用于基于目标训练设备对应的设备三维模型建立模型文件，存储至数据库中，并基于设备构造图，对三维模型进行零件拆分，根据零件拆分结果，对模型文件进行文件拆分，获得多个模型子文件，每个模型子文件对应一个设备零件三维模型。

4.根据权利要求3所述的一种基于虚拟三维技术的装备维修训练模拟***，其特征在于，零件模型建立单元，包括：

工具模型建立子单元，用于对目标训练设备的对应全部多角度录制视频和图片进行遍历，确定全部维修使用工具，并获取维修使用工具对应的工具数据，基于工具数据建立辅助工具模型，生成工具模型文件，存储至数据库中。

5.根据权利要求3所述的一种基于虚拟三维技术的装备维修训练模拟***，其特征在于，模型建立模块，还包括：

第一模型组合单元，用于分别将多种维修环境三维模型与设备三维模型进行组合，生成多场景三维模型；

三维轨迹建立单元，用于获取目标训练设备对应的多个维修人员维修行为图像集，根据维修人员维修行为图像集携带的维修环境标签以及设备故障原因，对多个维修人员维修行为图像集进行分类，获得多个组图集合；

分别基于各个组图集合对维修人员的维修轨迹进行确定，并基于维修轨迹中的零件拆卸或更换结果，向维修轨迹进行维修节点添加；

获取每个维修阶段对应的目标设备部件拆卸或更换图像集，对目标设备部件拆卸或更换图像集进行特征识别，获取拆卸或更换零件对应的零件特征，基于零件特征确定每个维修节点对应的目标零件，与对应的模型子文件建立管理关系添加至对应的维修节点，并根据维修轨迹对目标零件进行移动，生成三维维修动态轨迹；

第二模型组合单元，用于将三维维修动态轨迹与对应的场景三维模型进行组合，生成多场景动态装备维修三维模型。

6.根据权利要求5所述的一种基于虚拟三维技术的装备维修训练模拟***，其特征在于，三维轨迹建立单元，包括：

动作模拟子单元，用于基于时间轴对维修轨迹对应的目标设备部件拆卸或更换图像集中的图像进行排序，获得图像序列；

根据图像序列分别对维修人员动作进行定位，确定维修轨迹中维修人员的拆卸或者更换零件的操作姿势以及拆卸以及更换零件的辅助工具，基于图像序列对全部操作姿势进行连贯性排列，获得姿势变化；

基于时间轴在所述姿势变化中，获取对应的工具模型子文件，生成对应辅助工具三维模型，添加至维修人员对应的姿势位置处，生成维修动态变化；

将所述维修动态变化添加至三维维修动态轨迹中，生成最终三维维修动态轨迹，发送至第二模型组合单元。

7.根据权利要求1所述的一种基于虚拟三维技术的装备维修训练模拟***，其特征在于，维修训练模块，包括：

训练选择单元，用于训练模拟人对模拟维修场景、模拟维修设备以及维修故障进行选择；

模型获取单元，用于根据训练模拟人的选择结果，生成对应的训练开放控制指令，根据训练开放指令，打开对应维修场景的多场景动态装备维修三维模型；

指令生成单元，用于按照训练模拟人的选择的训练模式生成对应的训练控制指令，当训练模式为第一模式时，生成重现训练指令，并发送至维修重现单元；

当训练模式为第二模式时，生成自主训练指令，并发送至自主训练单元。

8.根据权利要求7所述的一种基于虚拟三维技术的装备维修训练模拟***，其特征在于，维修训练模块，还包括：

维修重现单元，用于在接收到重现训练指令后，根据训练设置信息，控制对应维修场景的多场景动态装备维修三维模型对目标训练设备的维修过程进行维修重现；

自主训练单元，用于在接收到自主训练指令后，对训练请求信息进行解析，确定训练模拟人自主训练对应的目标维修阶段，获取目标维修阶段对应的对应维修场景的多场景动态装备维修三维模型的阶段维修模型，并对阶段维修模型进行维修操作隐藏后发送至训练模拟人的训练操作界面。

9.根据权利要求8所述的一种基于虚拟三维技术的装备维修训练模拟***，其特征在于，自主训练单元，包括：

动作获取单元，用于基于操作辅助设备，获取训练模拟人的维修操作，并生成实时维修操作动作在训练模拟人操作界面进行同步显示；

速度确定单元，用于获取操作辅助设备的实时移动变换速度，基于实时移动变换速度确定训练模拟人实时维修速度；

同步对比单元，用于基于实时维修速度，对隐藏维修操作的变换速度进行实时调节，根据调节后的隐藏维修操作，结合维修时间对应关系，获取实时维修操作动作对应的隐藏动作；

将实时维修操作动作与其对应的隐藏动作进行对比，获得维修相似度，并在维修相似度小于等于预设值时，生成维修错误提醒，并进行红色维修错误标记。

10.根据权利要求9所述的一种基于虚拟三维技术的装备维修训练模拟***，其特征在于，同步对比单元，包括：

动作定位子单元，用于对每个实时维修操作动作及其对应的隐藏动作进行动作定格，生成动作对比图像，基于动作对比图像借助目标训练设备各个零件之间的几何关系，确定训练模拟人当前实时维修操作位置以及操作角度；

动作对比子单元，用于将训练模拟人当前实时维修操作位置以及操作角度，分别与隐藏动作对应的操作位置以及操作角度进行对比，获得操作位置相似度以及操作角度相似度，基于第一预设权重、操作位置相似度以及操作角度相似度获得维修相似度；

其中，操作位置相似度对应的权重大于操作位置相似度对应的权重。