CN113128716A - 作业指导交互方法及*** - Google Patents

Abstract

本发明公开了一种作业指导交互方法及***。其中，该方法包括：建立铁路施工场景对应的虚拟模型；将虚拟模型通过VR设备进行展示，并接收VR设备与虚拟模型进行作业交互的作业交互数据；根据作业交互数据，生成VR设备在虚拟模型中的实时交互视频，并发送至显示屏进行显示。本发明解决了相关技术中作业指导的方式，不够真实，难以使被指导人员有切身真实的感受，导致指导效率较低的技术问题。

Description

作业指导交互方法及***

技术领域

本发明涉及作业指导领域，具体而言，涉及一种作业指导交互方法及***。

背景技术

我国现代化铁路的高质量快速发展，对确保铁路***的良性运转、降低安全事故的发生概率提出了更高的要求，亟需在专业性和规范性上进一步提升铁路从业人员的事故预防、应急处理和救援能力。

传统的铁路病害整治教学为现场施工教学，流程为理论教学、施工准备、针对不同病害进行相应的整治作业、清理撤场。教学流程复杂，还受到天气、铁路状况等实际情况的影响。

相关技术中，铁路作业指导，通常只是通过传统的教学方式，仅停留在文字图像或者视频上，对于作业人员而言，过于片面，也难以切身感受和体会。从而导致传统的铁路作业指导，对作业人员进行指导的效率较低。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种作业指导交互方法及***，以至少解决相关技术中作业指导的方式，不够真实，难以使被指导人员有切身真实的感受，导致指导效率较低的技术问题。

根据本发明实施例的一个方面，提供了一种作业指导交互方法，包括：建立铁路施工场景对应的虚拟模型；将所述虚拟模型通过VR设备进行展示，并接收所述VR设备与所述虚拟模型进行作业交互的作业交互数据；根据所述作业交互数据，生成所述VR设备在所述虚拟模型中的实时交互视频，并发送至显示屏进行显示。

可选的，建立铁路施工场景对应的虚拟模型包括：根据所述铁路施工场景中的建筑物，设备，工具的真实尺寸进行等比例缩放，得到所述虚拟模型中虚拟建筑物，虚拟设备和虚拟工具的虚拟尺寸；根据所述虚拟尺寸通过物理仿真引擎建立所述虚拟模型。

可选的，根据所述虚拟尺寸通过物理仿真引擎建立所述虚拟模型之后，还包括：根据所述VR设备的作业交互数据，确定所述VR设备在所述虚拟模型中的位姿信息；根据位姿信息通过三维场景渲染引擎，对所述虚拟模型进行渲染，确定对所述VR设备进行展示的所述虚拟模型的显示效果。

可选的，将所述虚拟模型通过VR设备进行展示，并接收所述VR设备与所述虚拟模型进行作业交互的作业交互数据包括：将所述虚拟模型发送给所述VR设备的展示设备进行展示；接收所述VR设备的操作设备的操作信息，确定所述操作设备在所述虚拟模型中的作业交互数据。

可选的，根据所述作业交互数据，生成所述VR设备在所述虚拟模型中的实时交互视频，并发送至显示屏进行显示包括：根据所述作业交互数据对所述虚拟模型进行仿真处理，得到所述VR设备在所述虚拟模型中的实时交互视频；将所述交互视频发送至所述显示屏进行显示。

可选的，将所述交互视频发送至所述显示屏进行显示之后，还包括：接收所述显示屏的控制操作数据；根据所述控制操作数据对所述虚拟模型进行控制操作，其中，所述控制操作包括下列至少之一，提示所述虚拟模型中的故障信息，修改所述虚拟模型的展示进程，暂停或终止所述虚拟模型的展示。

根据本发明实施例的另一方面，还提供了一种作业指导交互***，包括：服务器，VR设备和显示器，所述服务器包括虚拟模型建立模块，所述虚拟模型建立模块用于建立铁路施工场景的虚拟模型；所述VR设备与所述服务器数据连接，所述VR设备用于展示所述虚拟模型，并与所述虚拟模型进行作业交互；所述显示器与所述服务器数据连接，用于展示所述VR设备在所述虚拟模型中的实时交互视频。

可选的，所述VR设备包括：展示设备，操作设备，以及传输与同步设备，所述展示设备用于将所述虚拟模型进行展示；所述操作设备用于在所述虚拟模型中进行作业交互操作；所述传输与同步设备用于将所述操作设备的作业交互操作传输给所述服务器，并将所述作业交互操作与所述虚拟模型进行实时同步。

可选的，所述服务器还包括：仿真处理模块，渲染输出模块，所述仿真处理模块，用于根据所述操作设备的作业交互操作，调整所述展示设备展示的虚拟模型；所述渲染输出模块，用于将所述VR设备的作业交互操作与所述虚拟模型进行整合渲染，得到交互视频，将所述交互视频输出到所述显示器中。

可选的，所述显示器包括：渲染展示设备和控制操作模块，所述渲染展示设备，用于将所述渲染输出模块的交互视频进行渲染和展示；所述控制操作模块，用于对交互中的虚拟模型进行控制。

可选的，还包括：实物展示柜，所述实物展示柜用于展示所述虚拟模型中虚拟物体。

根据本发明实施例的另一方面，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述中任意一项所述的作业指导交互方法。

根据本发明实施例的另一方面，还提供了一种计算机存储介质，所述计算机存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机存储介质所在设备执行上述中任意一项所述的作业指导交互方法。

在本发明实施例中，采用建立铁路施工场景对应的虚拟模型；将虚拟模型通过VR设备进行展示，并接收VR设备与虚拟模型进行作业交互的作业交互数据；根据作业交互数据，生成VR设备在虚拟模型中的实时交互视频，并发送至显示屏进行显示的方式，结合VR设备对作业人员进行作业指导，达到了使作业人员能够身临其境进行作业指导学习，加深了作业人员的印象，更加切身感受体会作业场景的实际情况的目的，从而实现了使作业人员学习的更加深刻，提高对作业人员及性指导的指导效率的技术效果，进而解决了相关技术中作业指导的方式，不够真实，难以使被指导人员有切身真实的感受，导致指导效率较低的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种作业指导交互方法的流程图；

图2是根据本发明实施方式的作业指导交互***的示意图；

图3是根据本发明实施方式的***的硬件设备架构的示意图；

图4是根据本发明实施方式的***的功能模块的示意图；

图5是根据本发明实施例的一种作业指导交互***的示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本发明实施例，提供了一种作业指导交互方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的一种作业指导交互方法的流程图，如图1所示，该方法包括如下步骤：

步骤S102，建立铁路施工场景对应的虚拟模型；

步骤S104，将虚拟模型通过VR设备进行展示，并接收VR设备与虚拟模型进行作业交互的作业交互数据；

步骤S106，根据作业交互数据，生成VR设备在虚拟模型中的实时交互视频，并发送至显示屏进行显示。

通过上述步骤，采用建立铁路施工场景对应的虚拟模型；将虚拟模型通过VR设备进行展示，并接收VR设备与虚拟模型进行作业交互的作业交互数据；根据作业交互数据，生成VR设备在虚拟模型中的实时交互视频，并发送至显示屏进行显示的方式，结合VR设备对作业人员进行作业指导，达到了使作业人员能够身临其境进行作业指导学习，加深了作业人员的印象，更加切身感受体会作业场景的实际情况的目的，从而实现了使作业人员学习的更加深刻，提高对作业人员及性指导的指导效率的技术效果，进而解决了相关技术中作业指导的方式，不够真实，难以使被指导人员有切身真实的感受，导致指导效率较低的技术问题。

上述铁路施工场景可以为铁路施工过程中的各种场景，可以是铁路工务施工场景，简称工务场景，包括铁道铺设，桥涵施工，铁道维修等场景；还可以是铁路供电施工场景，可以是电力线路铺设、维修、检查，还可以是通信线路铺设、维修、检查等；还可以是铁路电务施工场景，可以是地面信号装置的安装、维护，还可以是机车信号装置的安装、维护，以及铁路道岔的控制和维护等；还可以是铁路车务施工场景，可以是车辆检查，车辆设备检查，车辆调度等；还可以是铁路后勤施工场景，可以是铁路物资管理，仓库管理，物资检查等。

其对应的虚拟模型可以包括具体场景中的建筑物模型，背景，放置物体模型，还可以包括该场景的目标物模型，例如，铁路铺设场景，就需要枕木，路基，铁轨等目标物，该目标物用于按照预设顺序和方式进行操作，实现所处场景的作业目的。也即是通过目标物可以实现对操作人员的作业指导。另外，在一些实施例中，上述目标物还可以包括祖业工具，例如，铁轨铺设机车，扳手，电锤等。

上述VR设备也即是虚拟现实设备，Virtual Reality。该VR设备可以为可穿戴式设备，例如，VR眼镜，VR手柄等。作业人员可以通过VR设备通过沉浸式体验，设身处地的感受上述虚拟模型的图像声音，甚至温度，触觉等信息，还可以通过VR设备进行作业操作，在虚拟模型中模拟真实的作业过程，以实现增强作业人员进行作业指导的感受，进而达到了使作业人员能够身临其境进行作业指导学习，加深了作业人员的印象，更加切身感受体会作业场景的实际情况的目的，从而实现了使作业人员学习的更加深刻，提高对作业人员及性指导的指导效率的技术效果，进而解决了相关技术中作业指导的方式，不够真实，难以使被指导人员有切身真实的感受，导致指导效率较低的技术问题。

具体的，在将虚拟模型通过VR设备进行展示，并接收VR设备与虚拟模型进行作业交互的作业交互数据。从而形成虚拟模型与作业人员的交互，实现对作业人员进行作业指导训练的目的。

上述显示屏可以将VR设备在虚拟模型中的实时交互视频进行显示，也即是作业人员在虚拟模型中的实时作业交互视频，通过第三者的视角进行显示，可以供第三者对作业人员在虚拟模型中的作业过程进行查看。

上述显示屏上还可以设置有控制装置，对作业人员通过VR设备在虚拟模型中的作业交互进行提示和指导，使用更加便捷，进一步提高了对作业人员进行作业指导的准确性，并进一步增强作业人员的指导印象和指导效率。

可选的，建立铁路施工场景对应的虚拟模型包括：根据铁路施工场景中的建筑物，设备，工具的真实尺寸进行等比例缩放，得到虚拟模型中虚拟建筑物，虚拟设备和虚拟工具的虚拟尺寸；根据虚拟尺寸通过物理仿真引擎建立虚拟模型。

上述作业指导过程可以是将实际场景进行展现，作业人员只通过VR设备进行观测和查看，体会真实场景的感觉，还可以是在实际场景中进行操作，作业人员通过VR设备查看真实场景，并通过VR设备进行操作。

在建立上述虚拟模型时，对于铁路施工场景中的建筑物，设备、工具等的真实尺寸进行等比例缩放，从而使得虚拟模型更接近真实的施工场景，进一步提高作业人员的真实感受，提高对作业人员的指导效率。

根据对真实建筑物、设备、工具的真实尺寸等比例缩放后的虚拟尺寸，通过物理仿真引擎建立虚拟模型。上述物理仿真引擎为现有技术。

可选的，根据虚拟尺寸通过物理仿真引擎建立虚拟模型之后，还包括：根据VR设备的作业交互数据，确定VR设备在虚拟模型中的位姿信息；根据位姿信息通过三维场景渲染引擎，对虚拟模型进行渲染，确定对VR设备进行展示的虚拟模型的显示效果。

根据作业交互数据，可确定VR设备在虚拟模型中的位姿信息，也即是作业人员在虚拟模型中的位置，对三维场景进行渲染，从而确定虚拟模型对VR设备的显示效果，包括虚拟模型的展现视角，该展示视角包括虚拟模型的形状变化和颜色变化，以及虚拟模型中的各个模型对VR设备的真实作用感觉，从而增强对作业人员进行作业指导的效率和效果。

可选的，将虚拟模型通过VR设备进行展示，并接收VR设备与虚拟模型进行作业交互的作业交互数据包括：将虚拟模型发送给VR设备的展示设备进行展示；接收VR设备的操作设备的操作信息，确定操作设备在虚拟模型中的作业交互数据。

VR设备可以包括展示设备用于展示虚拟模型的场景和内容，操作设备用于获取作业人员通过VR操作设备进行操作的空间手势并进行处理，传输与同步设备用于传输作业交互的空间手势并实时同步虚拟模型的场景和内容。

上述操作信息可以为上述空间手势，还可以包括用户的移动位置，移动速度等。

可选的，根据作业交互数据，生成VR设备在虚拟模型中的实时交互视频，并发送至显示屏进行显示包括：根据作业交互数据对虚拟模型进行仿真处理，得到VR设备在虚拟模型中的实时交互视频；将交互视频发送至显示屏进行显示。

根据作业交互数据，结合虚拟模型生成VR设备在虚拟模型中的实时交互视频，发送给显示屏进行显示，可以使通过第三者的视角进行显示，可以供第三者对作业人员在虚拟模型中的作业过程进行查看。

上述显示屏上还可以设置有控制装置，对作业人员通过VR设备在虚拟模型中的作业交互进行提示和指导，使用更加便捷，进一步提高了对作业人员进行作业指导的准确性，并进一步增强作业人员的指导印象和指导效率。

可选的，将交互视频发送至显示屏进行显示之后，还包括：接收显示屏的控制操作数据；根据控制操作数据对虚拟模型进行控制操作，其中，控制操作包括下列至少之一，提示虚拟模型中的故障信息，修改虚拟模型的展示进程，暂停或终止虚拟模型的展示。

在提示和指导时，可以生成虚拟的提示框，悬浮在在VR设备的视角中央，通过文字或图像进行提示，还可以通过高亮闪烁的故障部件的方式，提示虚拟模型中的故障信息。还可以通过控制，修改虚拟模型的展示进程，也即是虚拟模型在动态变化时，修改相对于VR设备的变化展示进程。还可以暂停或者终止虚拟模型的展示，也即是暂停或终止作业人员在虚拟模型中的作业过程，从而暂停或终止此次对作业人员的作业指导。

需要说明的是，本申请实施例还提供了一种可选的实施方式，下面对该实施方式进行详细说明。

本实施方式基于VR的虚拟现实技术具有高沉浸感、真实准确模拟、安全实用、无风险，低投入、可定制、可拓展等优点，能发挥出其体验式教育上独有的优势，结合朔黄铁路运营管理的定制要求，对铁路安全防护、铁路交通事故应急处理、铁路交通事故救援、铁路安全监控等重点内容开展形象、直观的体验教学，实现日常作业主要内容要点的全覆盖，提高培训力度和观摩学习效率，学习正规的作业规范，强化安全关键风险控制，促进人员熟悉突发事件处理程序，增强员工安全责任意识，培养遵守管理标准与作业标准的良好习惯，构筑起与朔黄铁路运输业务相一致的高科技职业技能培训***，全面提高从业人员业务素质，具有更强的长期竞争优势，有利于稳固朔黄铁路的绿色、高效、数字化的世界一流重载铁路的地位。

开展基于虚拟现实技术的铁路安全体验式教育***研发和应用，在产学研用深度融合的技术创新模式下，结合新一代信息技术、人工智能与企业生产实际需求，在铁路建设、运营、安全等重点领域开展的关键技术创新和产业化应用。

我国对于虚拟现实技术的研究和国外一些发达国家还存在相当大的一段距离，在铁路以及医疗军事方面的应用案例远比例如美国这样的发达国家落后，虚拟现实技术一开始用于美国军方对宇航员和飞行驾驶员的模拟训练。随着科技和社会的不断发展，虚拟现实技术也逐渐转为为各个行业提供使用。到了现在已经实现了多个领域成功案例，包括航空VR训练***，VR医疗手术训练***等，并且随着计算机***工程及计算机图形学技术的发展越来越快，我国各界人士对于虚拟现实也越来越重视，但当今对于铁路工程相关的VR训练***并无很好的成功案例，故该应用前景目前尚处于蓝海状态。

核心技术主要包括环境物理仿真技术。虚拟环境建立时虚拟现实技术的核心内容，如何尽可能的使虚拟环境更接近于真实是技术发展的难题，而物理仿真技术的目的就是通过计算机物理仿真算法，还原真实世界的物理模型，创建出最“真实”的虚拟环境。适人化的自然人机交互的研制。虽然借助虚拟现实头盔等设备能够让沉浸感增强，但人与虚拟环境的交互却缺乏沉浸感与反馈感，交互方式使用最自然的视觉、触觉、听觉和自然的体感动作的化，能够让虚拟性现实的交互性效果得到有效的提高。

铁路安全体验式教育***以虚拟现实技术为基础，配合自主定义的物理仿真引擎、三维场景渲染引擎、全景视频播放引擎等，对工务、供电、电务、车务、后勤等作业过程进行定制化沉浸式场景构建，员工可在自然便捷的场景引导下以舒适的方式进行交互操作，不仅可以通过高还原度的形式“亲历”各种危险发生场景，也可在体验过程中了解导致事故发生的各种因素，并对其进行认知与学习。同时***也支持自由体验模式，在VR环境下亲自进行仿真作业，灵活运用自身掌握的知识，规避危险事件的发生。

关键技术包括：(1)基于虚拟现实的三维渲染方法；(2)基于虚拟场景的物理仿真算法；(3)虚拟现实室内的定位算法；(4)基于手柄定位捕捉识别。

基于虚拟现实技术的铁路安全体验式教育***的技术方案和应用产品。完成虚拟现实铁路员工安全教育模拟方法验证***的开发，实现铁路职工安全实际教育中，新型显示形式下沉浸式的指导案例，通过物理仿真算法、空间定位等技术，定制实时的指导反馈功能及危机体验功能，为铁路职工相关教育领域提供一种全新的指导教育模式，从而加快教育效率，提高职工学习积极性，大幅降低工作风险。

本实施方式的创新点如下：(1)虚拟体验，探索铁路工程培训与虚拟现实技术融合的可能性；(2)虚拟交互，通过物理仿真模拟灾害事故；(3)虚拟学习，通过体验与实操，加深学员记忆，提高学习效率；(4)虚拟扩展，具有扩展可能性，未来可对接更多模块与仿真内容。

铁路安全体验式教育***以虚拟现实技术为基础，配合自主定义的物理仿真引擎、三维场景渲染引擎、全景视频播放引擎等，对工务、供电、电务、车务、后勤等作业过程进行定制化沉浸式场景构建，员工可在自然便捷的场景引导下以舒适的方式进行交互操作，不仅可以通过高还原度的形式“亲历”各种危险发生场景，也可在体验过程中了解导致事故发生的各种因素，并对其进行认知与学习。同时***也支持自由体验模式，在VR环境下亲自进行仿真作业，灵活运用自身掌握的知识，规避危险事件的发生。

图2是根据本发明实施方式的作业指导交互***的示意图，如图2所示，***包括以下部分：

物理仿真引擎：虚拟环境建立是虚拟现实技术的核心内容，而物理仿真引擎的目的就是通过计算机物理仿真算法，还原真实世界的物理模型，通过研制物理模拟算法，形成物体仿真引擎，在虚拟环境下还原物体的重力、速度、加速度、摩擦力等变量，并支持自定义接口，可自主定义关键物理参数，从而创建想要的物理模型，为不同种类的虚拟环境构建提供模拟保障。

三维场景渲染引擎：三维场景渲染引擎是打造虚拟现实铁路安全体验式教育***最基础、最底层的依赖引擎，该引擎为网格数据、模型数据等提供虚拟现实环境下的可视化算法，并提供时序组织、网格散点绘制、面绘制等基础可视化算法，并完成空间映射，颜色映射等内容。

全景视频播放引擎。

虚拟交互引擎。

软硬件一体化设计。

可以实现基于虚拟现实的三维渲染方法，基于虚拟场景的物理仿真算法，虚拟现实室内的定位算法，基于手柄定位捕捉识别的方法。

伴随着我国铁路的快速发展，对铁路从业人员的技术素养提出更高的要求，需要从专业性和规范性上全面熟悉构筑物特点和常见病害，并完成识别、检测及处理，加强安全操作意识，降低安全隐患。

教育培训基地的建设利用集仿真实践教学***和软件平台集成技术解决方案为一体的先进教学实训***，以技术先进、安全性好、功能完善、逼真度的观摩展示和观摩体验***两大部分内容为主体，将从业人员的日常工作和职业技能培训有机联系起来，通过营造一个具有与现实铁路作业***在本质上具有一致性的高精度可拆分缩尺模型及虚拟培训实验环境，逼真、准确、易用、易维护、稳定、可靠、可拓展性强，实用性高，实现日常作业主要内容要点的全覆盖，提高培训力度和观摩学习效率，促进人员熟悉突发事件处理程序，缩短培训时间。构筑起与铁路运输业务相一致的高科技职业技能培训***，全面提高从业人员业务素质，具有更强的长期竞争优势。

本实施方式具有以下优点：

1.可靠性；

***中主要设备均采用成熟技术及工艺，从服务器、渲染工作站到虚拟现实头盔与拼接大屏中所有环节正常运行，满足在功能、性能等方面的要求，以确保技术的成熟可靠性。同时，考虑到***的可靠性、稳定性与安全性，在计算机选型及硬件配置时，预留有一定的资源裕度，以保证***最高运行负荷下各部件可稳定工作，培训教育***可连续长时间使用。

2.易用性；

***界面操作简洁、易用、灵活，风格统一易学。***的使用说明书、指导书等帮助文档齐备，易于进行软件使用。所有操作***均采用中文Windows 10***及以上版本，所有交互***提供中文图形界面，符合常规视窗***的操作模式，经过短期培训即可熟练地掌握整个***的操作。

3.易维护性；

***中的软硬件设备均具有良好的可维护性，可进行模块式拆装与调整，便于日常维护。同时，***须具有较低的维护成本。

4.可升级、可扩展性；

***须采用模块化设计，***能满足远期使用的要求，预留接口满足后期升级与扩展。

5.技术成熟性与先进性；

***从整体结构的设计到关键技术的采用都应遵循先进实用的原则，***整体稳定性高，包括从服务器、渲染工作站运行到虚拟现实头盔及拼接大屏中所有环节正常运行和核心***的综合可靠性均达到较高水平。

6.真实性；

结构模型采用全仿真铁路设备按照一定比例缩小，可以真实展现内部构造，使观摩、学习更具直观感受。

本实施方式的***主要包括以下四大部分内容：

桥隧涵构筑物模型展示、设备常见病害及整治方法、设备强化和检测标准化作业、VR标准化作业及安全教育体验。

(1)桥隧涵构筑物模型展示：

选择代表性地物地貌和构筑物，在***内展示成桥运营状态下的桥隧涵相关设备，各模型按设计图实际尺寸和构造按比例统一缩放，模型细节完全真实、整体美观、维护方便。模型可通过手动拆解、安装，便于边拆边学，或可通过局部展示结构内部主要构造，便于学员熟知构造。

(2)设备常见病害及整治方法、加固材料展示；

采用文字照片展板或大屏幕播放对相应内容进行展示，采用图像与说明相结合方式，实物放置于展示柜内展示，方便学员浏览、学习。

(3)设备强化和检测标准化作业；

由于铁路桥隧涵使用年限的增长以及使用过程中负荷的日趋增大，桥隧涵设备容易产生不同程度的损伤或病害，为保证设备正常使用及铁路运输的安全，需在日常过程中对桥隧涵结构进行标准化检测，依据检测结果确定结构进行加固或重建的方案，对结构老化、疲劳、损伤的设备进行标准化作业强化加固。

采用3D模型动画或视频立体展示各种强化施工或检测的过程，使学员全面了解施工过程，深化标准操作作业的意识，为铁路安全运营提供必要的条件。视频或动画展示方法可通过大屏，设立独立操作台，可人为对展示内容进行操作控制和选择播放。

(4)VR标准化作业及安全教育体验；

基于VR的虚拟现实技术具有高沉浸感、真实准确模拟、安全实用、无风险，低投入、可定制、可拓展等优点，能发挥出其体验式教育上独有的优势，结合朔黄铁路运营管理的定制要求，对铁路安全防护、铁路交通事故应急处理、铁路交通事故救援、铁路安全监控等重点内容开展形象、直观的体验教学，实现日常作业主要内容要点的全覆盖，提高培训力度和观摩学习效率，学习正规的作业规范，强化安全关键风险控制，促进人员熟悉突发事件处理程序，增强员工安全责任意识，培养遵守管理标准与作业标准的良好习惯，构筑起与铁路运输业务相一致的高科技职业技能培训***，全面提高从业人员业务素质，具有更强的长期竞争优势。在产学研用深度融合的技术创新模式下，结合新一代信息技术、人工智能与企业生产实际需求，在铁路建设、运营、安全等重点领域开展的关键技术创新和产业化应用。

铁路安全体验式教育***以虚拟现实技术为基础，配合自主定义的物理仿真引擎、三维场景渲染引擎、全景视频播放引擎等，对工务、供电、电务、车务、后勤等作业过程进行定制化沉浸式场景构建，员工可在自然便捷的场景引导下以舒适的方式进行交互操作，不仅可以通过高还原度的形式“亲历”各种危险发生场景，也可在体验过程中了解导致事故发生的各种因素，并对其进行认知与学习。同时***也支持自由体验模式，在VR环境下亲自进行仿真作业，灵活运用自身掌握的知识，规避危险事件的发生。基于虚拟现实技术的铁路安全体验式教育***的技术方案和应用产品。完成虚拟现实铁路员工安全教育模拟方法验证***的开发，实现铁路职工安全实际教育中，新型显示形式下沉浸式的指导案例，通过物理仿真算法、空间定位等技术，定制实时的指导反馈功能及危机体验功能，为铁路职工相关教育领域提供一种全新的指导教育模式，从而加快教育效率，提高职工学习积极性，大幅降低工作风险。

本实施方式的***还包括VR标准化作业指导子***。

VR标准化作业指导子***基于虚拟现实技术，结合自主定义的交互算法、协同算法等，根据项目中的标准化作业数据，面向VR眼镜的运行环境，根据故事脚本设计，建立待作业的桥隧涵虚拟模型并虚实融合进真实空间，提供基于手势的交互方法，为VR展示和交互提供方法和内容。VR标准化作业指导子***支持多个眼镜终端的协同交互，实时共享多个眼镜终端上的交互参数与场景参数信息，实现多个眼镜终端上的交互式虚拟现实演示工具软件间的信息同步。

VR标准化作业指导子***提供实时传输眼镜终端画面到监测端的功能，教员可以远程实时监控学员的操作画面，对过程全面掌控。

VR标准化作业指导子***由两台一体式VR设备、一台无线路由器、一台计算机、一台显示器、一台分体式VR眼镜、两个操作手柄、两个定位基站组成，学员可通过仿真模拟的形式进入虚拟场景体验正确作业过程，或将待作业的模型虚实融合进真实空间，并通过走动、手势捕捉交互等形式，在***指导下对虚拟模型进行检查作业。

VR安全事故模拟体验***。

VR安全事故模拟体验子***以虚拟现实技术为基础，配合自主定义的物理仿真引擎、三维场景渲染引擎、全景视频播放引擎等，对工务、供电、电务、车务、后勤等作业过程进行沉浸式场景构建，体验者可在自然的交互引导下以舒适的交互方式进行操作，不仅可以通过高还原度的形式“亲历”各种危险发生场景，也可在体验过程中了解导致事故发生的各种因素，并对其进行认知与学习。同时***也支持自由体验模式，在VR环境下亲自进行仿真作业，灵活运用自身掌握的知识，规避危险事件的发生。

VR安全事故模拟体验子***主要由工务事故体验模块、供电事故体验模块、电务事故体验模块、车务事故体验模块、后勤事故体验模块与自由体验模块组成，体验者可在语音引导下自主选择切换想要体验的场景。

VR安全事故模拟体验子***由一台计算机、一台显示器、一台分体式VR眼镜、两个操作手柄、两个定位基站组成。学员可通过仿真模拟的形式进入虚拟场景对各类在作业过程中可能出现的事故进行体验与学习，从而起到安全教育的目的。

图3是根据本发明实施方式的***的硬件设备架构的示意图，如图3所示，上图为***架构图，***硬件为两台一体式VR设备、一台显示器、一台分体式VR眼镜、两个操作手柄。学员可通过仿真模拟的形式进入虚拟场景体验正确作业过程，或将待作业的模型虚实融合进真实空间，并通过走动、手势捕捉交互等形式，在***指导下对虚拟模型进行检查作业。

图4是根据本发明实施方式的***的功能模块的示意图，如图4所示，显示器中有两个模块，包括控制台操作模块和大屏高清渲染模块。

VR设备中有三个模块，展示设备负责展示场景和内容，操作设备负责获取用户的空间手势并进行处理，传输与同步设备负责传输用户交互手势和同步实时场景和内容。

工作站分为三个模块，各个功能如下：

模型预处理模块负责立体模型的解析与组织，完成对三维模型相关的模拟数据、贴图纹理等数据的解析与组织能力。支持不少于三种常用模型网格数据格式输入、不少于三种格式纹理数据输入、自定义路径索引及数据动态加载。

仿真处理模块完成对模拟场景进行仿真处理能力。支持物理仿真模拟算法，支持粒子、二维平面、三维模型渲染。

渲染输出模块完成对多种显示终端的输出显示支撑能力，以及提供传统显示器回显的能力。支持一体式虚拟现实终端的虚实融合画面输出及交互，画面可立体渲染进使用者所在真实环境中、分体式虚拟现实终端沉浸式画面输出及交互、支持终端画面回传至显示器、电视等显示设备。

在实施时，VR标准化作业指导***基于虚拟现实技术，结合自主定义的交互算法、协同算法等，根据项目中的标准化作业数据，面向VR眼镜的运行环境，根据故事脚本设计，建立待作业的桥隧涵虚拟模型并虚实融合进真实空间，提供基于手势的交互方法，为VR展示和交互提供方法和内容。

VR标准化作业指导***总体上采用一体式VR设备与分体式VR设备相结合方式，包括桥梁制作更换作业模块与桥梁制作病害检查作业模块，可根据不同硬件环境提供不同交互形式与画面呈现形式。

VR标准化作业指导***支持多个眼镜终端的协同交互，实时共享多个眼镜终端上的交互参数与场景参数信息，实现多个眼镜终端上的交互式虚拟现实演示工具软件间的信息同步。

VR标准化作业指导***提供实时传输眼镜终端画面到监测端的功能，教员可以远程实时监控学员的操作画面，对过程全面掌控。

本实施方式提供了全新的交互方式，全新的展示方式。并支持多人协同分析。对虚拟模型按比例缩放，细节完全真实、整体美观、维护方便。新型显示形式下沉浸式、虚实融合的指导案例。形成全新的指导教育模式，加快教育效率，提高职工学习积极性，降低工作风险。

图5是根据本发明实施例的一种作业指导交互***的示意图，如图5所示，根据本发明实施例的另一方面，还提供了一种作业指导交互***，包括：服务器52，VR设备54和显示器56，下面对该***进行详细说明。

服务器52包括虚拟模型建立模块，虚拟模型建立模块用于建立铁路施工场景的虚拟模型；VR设备54与服务器52数据连接，VR设备54用于展示虚拟模型，并与虚拟模型进行作业交互；显示器56与服务器52数据连接，用于展示VR设备54在虚拟模型中的实时交互视频。

通过上述***，采用建立铁路施工场景对应的虚拟模型；将虚拟模型通过VR设备进行展示，并接收VR设备与虚拟模型进行作业交互的作业交互数据；根据作业交互数据，生成VR设备在虚拟模型中的实时交互视频，并发送至显示屏进行显示的方式，结合VR设备对作业人员进行作业指导，达到了使作业人员能够身临其境进行作业指导学习，加深了作业人员的印象，更加切身感受体会作业场景的实际情况的目的，从而实现了使作业人员学习的更加深刻，提高对作业人员及性指导的指导效率的技术效果，进而解决了相关技术中作业指导的方式，不够真实，难以使被指导人员有切身真实的感受，导致指导效率较低的技术问题。

上述铁路施工场景可以为铁路施工过程中的各种场景，可以是铁路工务施工场景，简称工务场景，包括铁道铺设，桥涵施工，铁道维修等场景；还可以是铁路供电施工场景，可以是电力线路铺设、维修、检查，还可以是通信线路铺设、维修、检查等；还可以是铁路电务施工场景，可以是地面信号装置的安装、维护，还可以是机车信号装置的安装、维护，以及铁路道岔的控制和维护等；还可以是铁路车务施工场景，可以是车辆检查，车辆设备检查，车辆调度等；还可以是铁路后勤施工场景，可以是铁路物资管理，仓库管理，物资检查等。

其对应的虚拟模型可以包括具体场景中的建筑物模型，背景，放置物体模型，还可以包括该场景的目标物模型，例如，铁路铺设场景，就需要枕木，路基，铁轨等目标物，该目标物用于按照预设顺序和方式进行操作，实现所处场景的作业目的。也即是通过目标物可以实现对操作人员的作业指导。另外，在一些实施例中，上述目标物还可以包括祖业工具，例如，铁轨铺设机车，扳手，电锤等。

上述VR设备也即是虚拟现实设备，Virtual Reality。该VR设备可以为可穿戴式设备，例如，VR眼镜，VR手柄等。作业人员可以通过VR设备通过沉浸式体验，设身处地的感受上述虚拟模型的图像声音，甚至温度，触觉等信息，还可以通过VR设备进行作业操作，在虚拟模型中模拟真实的作业过程，以实现增强作业人员进行作业指导的感受，进而达到了使作业人员能够身临其境进行作业指导学习，加深了作业人员的印象，更加切身感受体会作业场景的实际情况的目的，从而实现了使作业人员学习的更加深刻，提高对作业人员及性指导的指导效率的技术效果，进而解决了相关技术中作业指导的方式，不够真实，难以使被指导人员有切身真实的感受，导致指导效率较低的技术问题。

具体的，在将虚拟模型通过VR设备进行展示，并接收VR设备与虚拟模型进行作业交互的作业交互数据。从而形成虚拟模型与作业人员的交互，实现对作业人员进行作业指导训练的目的。

上述显示屏可以将VR设备在虚拟模型中的实时交互视频进行显示，也即是作业人员在虚拟模型中的实时作业交互视频，通过第三者的视角进行显示，可以供第三者对作业人员在虚拟模型中的作业过程进行查看。

上述显示屏上还可以设置有控制装置，对作业人员通过VR设备在虚拟模型中的作业交互进行提示和指导，使用更加便捷，进一步提高了对作业人员进行作业指导的准确性，并进一步增强作业人员的指导印象和指导效率。

可选的，VR设备包括：展示设备，操作设备，以及传输与同步设备，展示设备用于将虚拟模型进行展示；操作设备用于在虚拟模型中进行作业交互操作；传输与同步设备用于将操作设备的作业交互操作传输给服务器，并将作业交互操作与虚拟模型进行实时同步。

VR设备可以包括展示设备，操作设备，以及传输与同步设备，展示设备用于展示虚拟模型的场景和内容，操作设备用于获取作业人员通过VR操作设备进行操作的空间手势并进行处理，传输与同步设备用于传输作业交互的空间手势并实时同步虚拟模型的场景和内容。

上述操作信息可以为上述空间手势，还可以包括用户的移动位置，移动速度等。

可选的，服务器还包括：仿真处理模块，渲染输出模块，仿真处理模块，用于根据操作设备的作业交互操作，调整展示设备展示的虚拟模型；渲染输出模块，用于将VR设备的作业交互操作与虚拟模型进行整合渲染，得到交互视频，将交互视频输出到显示器中。

上述作业指导过程可以是将实际场景进行展现，作业人员只通过VR设备进行观测和查看，体会真实场景的感觉，还可以是在实际场景中进行操作，作业人员通过VR设备查看真实场景，并通过VR设备进行操作。

在建立上述虚拟模型时，通过仿真处理模块对于铁路施工场景中的建筑物，设备、工具等的真实尺寸进行等比例缩放，从而使得虚拟模型更接近真实的施工场景，进一步提高作业人员的真实感受，提高对作业人员的指导效率。

根据对真实建筑物、设备、工具的真实尺寸等比例缩放后的虚拟尺寸，通过物理仿真引擎建立虚拟模型。上述物理仿真引擎为现有技术。

根据作业交互数据，可确定VR设备在虚拟模型中的位姿信息，也即是作业人员在虚拟模型中的位置，对三维场景进行渲染，从而确定虚拟模型对VR设备的显示效果，包括虚拟模型的展现视角，该展示视角包括虚拟模型的形状变化和颜色变化，以及虚拟模型中的各个模型对VR设备的真实作用感觉，从而增强对作业人员进行作业指导的效率和效果。

可选的，显示器包括：渲染展示设备和控制操作模块，渲染展示设备，用于将渲染输出模块的交互视频进行渲染和展示；控制操作模块，用于对交互中的虚拟模型进行控制。

根据作业交互数据，结合虚拟模型生成VR设备在虚拟模型中的实时交互视频，发送给显示屏进行显示，可以使通过第三者的视角进行显示，可以供第三者对作业人员在虚拟模型中的作业过程进行查看。

上述显示屏上还可以设置有控制装置，对作业人员通过VR设备在虚拟模型中的作业交互进行提示和指导，使用更加便捷，进一步提高了对作业人员进行作业指导的准确性，并进一步增强作业人员的指导印象和指导效率。

在提示和指导时，可以生成虚拟的提示框，悬浮在在VR设备的视角中央，通过文字或图像进行提示，还可以通过高亮闪烁的故障部件的方式，提示虚拟模型中的故障信息。还可以通过控制，修改虚拟模型的展示进程，也即是虚拟模型在动态变化时，修改相对于VR设备的变化展示进程。还可以暂停或者终止虚拟模型的展示，也即是暂停或终止作业人员在虚拟模型中的作业过程，从而暂停或终止此次对作业人员的作业指导。

可选的，还包括：实物展示柜，实物展示柜用于展示虚拟模型中虚拟物体。

通过实物展示柜，作业人员可以将虚拟模型中的虚拟模型与真实的实物对应起来，可以对虚拟模型中的作业交互过程进行反思，并与食物对应起来，加深印象，进一步提高了对作业人员进行作业指导的指导效率。

根据本发明实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述中任意一项的作业指导交互方法。

根据本发明实施例的另一方面，还提供了一种计算机存储介质，计算机存储介质包括存储的程序，其中，在程序运行时控制计算机存储介质所在设备执行上述中任意一项的作业指导交互方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (13)

1.一种作业指导交互方法，其特征在于，包括：

建立铁路施工场景对应的虚拟模型；

将所述虚拟模型通过VR设备进行展示，并接收所述VR设备与所述虚拟模型进行作业交互的作业交互数据；

根据所述作业交互数据，生成所述VR设备在所述虚拟模型中的实时交互视频，并发送至显示屏进行显示。

2.根据权利要求1所述的方法，其特征在于，建立铁路施工场景对应的虚拟模型包括：

根据所述铁路施工场景中的建筑物，设备，工具的真实尺寸进行等比例缩放，得到所述虚拟模型中虚拟建筑物，虚拟设备和虚拟工具的虚拟尺寸；

根据所述虚拟尺寸通过物理仿真引擎建立所述虚拟模型。

3.根据权利要求2所述的方法，其特征在于，根据所述虚拟尺寸通过物理仿真引擎建立所述虚拟模型之后，还包括：

根据所述VR设备的作业交互数据，确定所述VR设备在所述虚拟模型中的位姿信息；

根据位姿信息通过三维场景渲染引擎，对所述虚拟模型进行渲染，确定对所述VR设备进行展示的所述虚拟模型的显示效果。

4.根据权利要求1所述的方法，其特征在于，将所述虚拟模型通过VR设备进行展示，并接收所述VR设备与所述虚拟模型进行作业交互的作业交互数据包括：

将所述虚拟模型发送给所述VR设备的展示设备进行展示；

接收所述VR设备的操作设备的操作信息，确定所述操作设备在所述虚拟模型中的作业交互数据。

5.根据权利要求1所述的方法，其特征在于，根据所述作业交互数据，生成所述VR设备在所述虚拟模型中的实时交互视频，并发送至显示屏进行显示包括：

根据所述作业交互数据对所述虚拟模型进行仿真处理，得到所述VR设备在所述虚拟模型中的实时交互视频；

将所述交互视频发送至所述显示屏进行显示。

6.根据权利要求5所述的方法，其特征在于，将所述交互视频发送至所述显示屏进行显示之后，还包括：

接收所述显示屏的控制操作数据；

根据所述控制操作数据对所述虚拟模型进行控制操作，其中，所述控制操作包括下列至少之一，提示所述虚拟模型中的故障信息，修改所述虚拟模型的展示进程，暂停或终止所述虚拟模型的展示。

7.一种作业指导交互***，其特征在于，包括：服务器，VR设备和显示器，

所述服务器包括虚拟模型建立模块，所述虚拟模型建立模块用于建立铁路施工场景的虚拟模型；

所述VR设备与所述服务器数据连接，所述VR设备用于展示所述虚拟模型，并与所述虚拟模型进行作业交互；

所述显示器与所述服务器数据连接，用于展示所述VR设备在所述虚拟模型中的实时交互视频。

8.根据权利要求7所述的作业指导交互***，其特征在于，所述VR设备包括：展示设备，操作设备，以及传输与同步设备，

所述展示设备用于将所述虚拟模型进行展示；

所述操作设备用于在所述虚拟模型中进行作业交互操作；

所述传输与同步设备用于将所述操作设备的作业交互操作传输给所述服务器，并将所述作业交互操作与所述虚拟模型进行实时同步。

9.根据权利要求8所述的作业指导交互***，其特征在于，所述服务器还包括：仿真处理模块，渲染输出模块，

所述仿真处理模块，用于根据所述操作设备的作业交互操作，调整所述展示设备展示的虚拟模型；

所述渲染输出模块，用于将所述VR设备的作业交互操作与所述虚拟模型进行整合渲染，得到交互视频，将所述交互视频输出到所述显示器中。

10.根据权利要求9所述的作业指导交互***，其特征在于，所述显示器包括：渲染展示设备和控制操作模块，

所述渲染展示设备，用于将所述渲染输出模块的交互视频进行渲染和展示；

所述控制操作模块，用于对交互中的虚拟模型进行控制。

11.根据权利要求7至10中任一项所述的作业指导交互***，其特征在于，还包括：实物展示柜，

所述实物展示柜用于展示所述虚拟模型中虚拟物体。

12.一种处理器，其特征在于，所述处理器用于运行程序，其中，所述程序运行时执行权利要求1至6中任意一项所述的作业指导交互方法。

13.一种计算机存储介质，其特征在于，所述计算机存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机存储介质所在设备执行权利要求1至6中任意一项所述的作业指导交互方法。

Images