CN110349467A - 一种基于增强现实的通航维修培训***及方法 - Google Patents

Abstract

本发明提出了一种基于增强现实的通航维修培训***及方法，旨在提高培训效率，降低总体成本。该基于增强现实的通航维修培训***包括：图像采集***，用于获取物理维修培训环境的影像，并经通讯模块传输给虚拟维修培训环境；三维模型导入模块，用于提供虚拟的维修对象三维模型；培训脚本解析模块，用于在虚拟维修培训环境中加载维修培训脚本，获得维修培训的指示；虚实注册模块，用于根据加载的维修培训脚本，加载所需虚拟的维修对象三维模型，与所述物理维修培训环境的影像融合，形成增强现实的维修培训场景；人机交互模块，用于向学员输出维修培训的指示，呈现增强现实的维修培训场景，满足学员对虚拟的维修对象进行操作学习。

Description

一种基于增强现实的通航维修培训***及方法

技术领域

本发明属于一种用于维修培训的辅助***及方法，尤其涉及对增强现实技术的应用。

背景技术

目前我国通用航空器保有量少，专业的通航维修企业仍然很少。虽然近20年我国通用航空器数量每10年翻一番，但与国际上通航发展较为成熟的美国相比，我国通航飞机的数量和飞行时间仍然较少(2009年美国飞机数量23.1万架、飞行2800万小时)。同时，由于我国通用航空制造业相对落后，国内通航飞机大多从国外进口，所以还存在通航飞机型号繁杂、机型规模不大的特点。现有的1000余架通用和私人飞机中包含了80多种机型。我国通航的特点限制了我国专业的通航维修服务企业的发展。

近年来国内通用航空业迅猛发展，但目前中国民航法规体系中通用航空的部分还不健全不完善，存在很多空白，对国内通航维修管理缺少具体且实际的指导。在国内很难找到专业的维修企业为通用航空飞机提供服务，迫使国内的通航企业为了使飞机适航，不得不花费高昂的成本建立维修***为自己的飞机提供必要的服务。这使得通用航空企业在飞机购买之后的运营中常常力不从心。专业从事通航维修企业的缺乏，严重限制了我国通航的发展。

按照民航法规的要求，培养一个成熟的维修人员需要5年以上时间，建立一套成熟的维修体系则需要更长时间。因此，目前运营的大多数通航企业，即便建立了自己的维修***，由于资金、经验等原因，也只能完成基本维护，飞机大修、发动机翻修等还需飞机生产商完成。费用高、耗时长，严重影响通航企业正常运营。

通航维修涉及的机种数量庞大，并且每一个不同的机种的维修过程和方法存在较大的差异。通航已经开始将电子手册、数字化测量等先进的技术运用到了通航维修过程中。然而在通航维修技术培训环节，学员的维修实践时长有限，实践场景很难完全覆盖现有数量庞大的机种，现有的维修实践场景已经很难完全适应我国快速增长的通航维修市场需求。

大型飞机公共运输公司由于人员规模庞大，大部分申请有CCAR-147资质，其机构兼任了公司维修单位的培训工作，培训机构无论是设施、资料、程序和人员都比较完善和齐全。而目前通航企业由于人员、成本和技术的限制，在培训***中的投入都处于低水平状态，导致出现以下情况：

1)、培训人员不够专业

在通航企业中的CCAR-145维修单位，存在：①、一人主管或兼职主管培训的情况，②、招聘非民航专业背景的人员担任培训主管职务。由于培训主管专业知识不足，培训的效率与效果通常较差。

2)、培训资料的缺少

大部分通航适航资料不完整且为英文，对于英文不好的维修人员，学习英文资料较困难。同时，对于培训资源的投入缺乏，导致培训资料和考试题库都不完善。使培训对象不能得到***的学习和验证。

3)、不注重新进人员培训

新进人员培训时间较短且简单，往往以师傅带徒弟的形式参加实际工作。对行业标准和法规都不清楚的情况下，工作中可能依赖于师傅教导的经验，这将影响到后期维修工作执行的标准，不利于维修工作的安全开展。

4)、维修生产任务与培训的冲突

一名维修人员时常兼任多个不同岗位，每个岗位都需要每两年一次的复训，一名维修人员将不得不接受过量的培训，这就导致培训占用大量的休息时间，使维修人员产生抵触心理，培训难以开展。

5)、培训大纲标准过高

目前，CCAR-145维修单位按照咨询通告《维修单位培训大纲编写指南》(编号：AC-145-13)编制自己的培训大纲，培训大纲往往没有考虑单位实际运行情况，培训大纲与培训目标出现差异，培训效果不佳。

常规的培训方式是采用PPT或者视频教学，通过具体的维修实例展示具体的作业方法，来帮助学员理解维修过程。这种通航维修培训方法通常用于理论教学部分，无法与培训实践环节紧密结合，培训方法经常与实践环节产生偏差，这是造成培训效率、质量差的主要原因。

因此，目前的通航维修培训往往在企业内部进行，通过师傅带徒弟的方式完成，不仅造成人力成本的浪费，同时还会影响企业的生产和运用。提升通航维修人员的培训效率和质量已经成为我国通航大发展迫切需要解决的难题。

随着智能制造技术的发展进步，人工作业的智能化技术研究得到了越来越多的关注。近年来美国、欧盟、新加坡、中国等国家和地区的诸多研究机构已经广泛地开展了将VR/AR技术运用到加工、装配、维修等方面的研究。

例如，中国专利文献CN 104484523 A公开了一种增强现实诱导维修***的实现设备与方法，该方案主要是：通过将维修装备的CAD模型转化成虚拟装配模型，并根据约束条件、拆装操作空间定义拆装关系层次树，在维修过程中，通过光学位置***对维修操作人员进行位置跟踪、维修情景识别，明确当前维修步骤，根据拆装层次关系，向维修操作人员提供相应诱导信息；在使用过程中提前导入相应维修设备的CAD模型，从而向设备维修人员提供相应的维修诱导信息，并将虚拟诱导动画叠加至真实场景。

上述方案利用AR技术进行“虚实结合”，将构建的虚拟装配模型与操作者操作的真实维修对象(如航空设备组件)叠加，给出诱导信息，一定程度上提高了维修培训的效率，但每个学员都需要一台真实维修对象，且整个培训过程仍以单向的指导为主，总体的效率仍然有待提高。

发明内容

本发明提出了一种基于增强现实的通航维修培训***及方法，旨在提高培训效率，降低总体成本。

本发明的技术方案如下：

该基于增强现实的通航维修培训***，包括：

图像采集***，用于获取物理维修培训环境的影像，并经通讯模块传输给虚拟维修培训环境；

三维模型导入模块，用于提供虚拟的维修对象三维模型；

培训脚本解析模块，用于在虚拟维修培训环境中加载维修培训脚本，获得维修培训的指示；

虚实注册模块，用于根据加载的维修培训脚本，加载所需虚拟的维修对象三维模型，与所述物理维修培训环境的影像融合，形成增强现实的维修培训场景；

人机交互模块，用于向学员输出维修培训的指示，呈现增强现实的维修培训场景，满足学员对虚拟的维修对象进行操作学习。

进一步地，还包括：检测记录模块，用于实时检测并记录学员的操作动作和虚拟零部件的移动。

进一步地，还包括：可视化子***，用于获取所述检测记录模块的内容，在同一增强现实的维修培训场景中呈现学员的操作动作和虚拟零部件的移动。

进一步地，还包括：作业效果评估子***，用于教员根据可视化子***呈现的学员虚拟作业过程对学习效果进行考评，并支持教员与学员实时交流。

进一步地，所述维修培训脚本中预设有检查动作响应模型，该模型用于响应用户的检查动作以提示用户是否操作正确。例如，某零件在正确维修后敲击会产生特定的声音或发生特定的表面变化，因此学员在虚拟作业过程中通过“敲击”物体，可判断维修结果是否正确。

上述基于增强现实的通航维修培训***的典型运行方法，包括以下步骤：

1)开启物理维修培训环境中的图像采集***，将采集的物理维修培训环境的影像传输给远程的虚拟维修培训环境；

2)获取或建立零部件、工具对应的虚拟三维模型，将虚拟三维模型与物理维修培训环境中传来的影像融合；

3)在虚拟维修培训环境中加载维修培训脚本，并加载融合影像后的虚拟零部件、工具，形成增强现实的维修培训场景；

4)学员根据维修培训脚本中的指示，在增强现实的维修培训场景中逐步完成维修培训作业；

5)学员在增强现实维修环境中的作业过程中，***自动检测学员的手部动作，并与维修培训脚本进行比较，判定作业是否正确。

本发明具有以下优点：

1、通过获取或建立虚拟的维修对象三维模型，与物理维修培训环境中传来的影像进行融合，结合维修培训脚本中给出的指令，形成增强现实的维修培训场景。该培训环境有别于常规的虚实结合，而可认为是一种“虚虚结合”，即用户(学员)操作的对象也是虚拟的，可重构的，从而培训课程只需要一台真实维修对象，降低了真实维修对象方面的成本，提高了培训效率。

2、学员的实际作业效果可以被实时纪录，教员可以在VR/AR环境中浏览学员的作业过程，对学习效果进行考评，实现培训考核有据可依，提升培训的质量。

3、学员在增强现实的维修培训场景中可以实时与教员进行语音/视频交流，接受教官的指导，进一步提升培训效率和质量。

4、通过维修培训脚本中预设检查动作响应模型，可简便扩展应用各种实际维修技巧，有利于学员自我检查。

5、由于学员并不是针对真实维修对象作业而是融合真实影像后的虚拟三维模型，因此本发明尤其适用于多人(学员)协同作业，也有助于提升培训效率和质量。

附图说明

图1为本发明的***架构示意图。

具体实施方式

本发明的***架构如图1所示，其中涉及物理维修培训环境、虚拟维修培训环境两大部分。物理培训环境中的图像采集***将物理培训环境中的影像传递给虚拟培训***，在虚拟培训环境中与零部件、工具的三维模型融合，形成一套虚实融合的培训环境。在虚实融合的培训环境中，学员在维修培训脚本的指导下，交互操作虚拟三维模型完成培训作业，培训过程学员的作业步骤可以被记录并用于判断培训质量。

物理培训环境主要由通航培训所必须的零部件、飞机基体等物理对象以及物理场景数据采集所必须的图像采集***构成。图像采集***通常包括自定位模块、通讯模块、图像特征提取模块等。

虚拟培训环境是一个软硬件结合的***。其中，硬件***由虚拟现实可视化***(设备)、人机交互***(设备)构成；软件***主要包括：三维模型导入模块、培训脚本解析模块、虚实注册模块、人机交互模块、通讯模块等。

培训过程中，***导入培训脚本，形成一套虚实融合的培训场景，在其中的学员可以同时看到物理培训场景、虚拟的维修培训指令，并在虚拟培训指令的指导下完成培训操作。

学员的涉及作业效果可以被实时纪录，教官可以在VR/AR环境中浏览学员的作业过程，对学习效果进行考评。

学员作业过程中对虚拟零部件的移动以及手的动作可以被实时纪录，用于判断作业方法是否正确。

维修培训脚本中预设有检查动作响应模型。例如，某零件在正确维修后敲击会产生特定的声音或发生特定的表面变化，因此学员在虚拟作业过程中通过“敲击”物体，可判断维修结果是否正确。

作业过程中教员可通过模拟声音、影像指导学生进行作业结果的人工检验/判断。

以下给出一个典型的应用实例：

1)教员在物理维修培训环境对真实维修对象进行教学操作；信息采集***获得物理维修培训环境的视频，将视频传输给远程的虚拟维修培训环境；

2)将虚拟维修培训环境中的零部件、工具与物理维修培训环境中传来的视频融合；

3)在虚拟维修培训环境中加载维修脚本，加载虚拟的零部件、工具，形成虚实融合的维修环境；

4)学员根据脚本中的指示，在增强现实环境中一步一步完成维修培训作业；

5)学员在增强现实维修环境中的作业过程中，***自动检测学员的手部动作，并与作业脚本进行比较，判定作业是否正确。

上述应用示例并非对本发明技术方案的限制。例如，物理维修培训环境的影像也可以是预先录制的影像，教员可以与多个学员同处虚拟维修培训环境(空间上可以是同一场地，也仍然可以是在不同场地)，教员也对虚拟的维修对象进行操作体验及示范，并通过相应的通讯模块进行语音/视频交流以及作业效果评估等。

Claims (6)

1.一种基于增强现实的通航维修培训***，其特征在于，包括：

图像采集***，用于获取物理维修培训环境的影像，并经通讯模块传输给虚拟维修培训环境；

三维模型导入模块，用于提供虚拟的维修对象三维模型；

培训脚本解析模块，用于在虚拟维修培训环境中加载维修培训脚本，获得维修培训的指示；

虚实注册模块，用于根据加载的维修培训脚本，加载所需虚拟的维修对象三维模型，与所述物理维修培训环境的影像融合，形成增强现实的维修培训场景；

人机交互模块，用于向学员输出维修培训的指示，呈现增强现实的维修培训场景，满足学员对虚拟的维修对象进行操作学习。

2.根据权利要求1所述的基于增强现实的通航维修培训***，其特征在于，还包括：

检测记录模块，用于实时检测并记录学员的操作动作和虚拟零部件的移动。

3.根据权利要求2所述的基于增强现实的通航维修培训***，其特征在于，还包括：

可视化子***，用于获取所述检测记录模块的内容，在同一增强现实的维修培训场景中呈现学员的操作动作和虚拟零部件的移动。

4.根据权利要求3所述的基于增强现实的通航维修培训***，其特征在于，还包括：

作业效果评估子***，用于教员根据可视化子***呈现的学员虚拟作业过程对学习效果进行考评，并支持教员与学员实时交流。

5.根据权利要求1所述的基于增强现实的通航维修培训***，其特征在于，所述维修培训脚本中预设有检查动作响应模型，该模型用于响应用户的检查动作以提示用户是否操作正确。

6.权利要求1所述基于增强现实的通航维修培训***的运行方法，包括以下步骤：

1)开启物理维修培训环境中的图像采集***，将采集的物理维修培训环境的影像传输给远程的虚拟维修培训环境；

2)获取或建立零部件、工具对应的虚拟三维模型，将虚拟三维模型与物理维修培训环境中传来的影像融合；

3)在虚拟维修培训环境中加载维修培训脚本，并加载融合影像后的虚拟零部件、工具，形成增强现实的维修培训场景；

4)学员根据维修培训脚本中的指示，在增强现实的维修培训场景中逐步完成维修培训作业；

5)学员在增强现实维修环境中的作业过程中，***自动检测学员的手部动作，并与维修培训脚本进行比较，判定作业是否正确。