CN207319184U - 一种现场设备维修维护及日常检查用*** - Google Patents

Abstract

本实用新型公开了一种现场设备维修维护及日常检查用***，该***包括现场穿戴式设备，所述现场穿戴式设备包括设备主体，远程服务器以及远程专家客户端设备。它利用增强现实技术，将远程专家反馈信息、现场客户采集视频或图像和当前设备的状态信息以及远程服务端提供的设备该部位的手册、规程、图纸等合成增强现实视频，作为维护人员的参考资料供维护人员查询。更甚至于远程专家通过互联网在旁边协助指导，对现场发现的问题直接手把手的叫现场人员如何处置。现场穿戴式设备使用语言指令进行控制，解放了甲方维护维修人员的双手。并且所有的维修、维护、日常巡检的过程与表单通过远程服务器进行不间断记录，供发现问题以后的现场回溯。

Description

一种现场设备维修维护及日常检查用***

技术领域

本实用新型涉及检测辅助设备技术领域，特别是涉及一种基于增强现实技术的交互式现场设备维修维护及日常检查用***。

背景技术

增强现实技术(Augmented Reality，简称AR)它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。增强现实技术，不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用头带显示器，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。增强现实技术包含了多媒体、三维建模、实时视频显示及控制、多传感器融合、实时跟踪及注册、场景融合等新技术与新手段。增强现实提供了在一般情况下，不同于人类可以感知的信息。

随着全球贸易的的迅猛发展，特别是重大装备及复杂***的全球布局，引发针对产品和***服务的一系列问题，特别是针对突发事件的应急处置、设备的日常巡检及故障处置，迫切需要相关服务部门加快反应速度，提高管理效率，为产品和***的正常使用和高效运行保驾护航。随着市场需求的不断变化和网络技术的飞速发展，无论是远程还是本地的重大装备和复杂***，都需要一套完全的远程技术支持和应急处置解决方案。无论是传统的电话、传真还是最新的网络单机解决方案都不能很好的解决重大装备和复杂***的远程支持***的问题，如航空服务、船舶服务、铁道服务、石油化工以及战场服务，还有一些诸如边防、油田、电厂等远程应用。

现阶段，大型设备及复杂***如飞机、轮船、军舰、坦克均由专业人员进行模块化设计制造。以大型飞机为例，***涉及电子、材料学、物理学、动力学、信息科技、通讯、人工智能、模式识别、雷达等多学科知识。当飞机在巡检、维修、日常维护过程中发现任何问题，必须对以前的日常维护过程进行跟踪和检查，以发现解决问题的线索。复杂的问题的解决甚至于需要专门的专家到达现场进行配合，不仅增加了产品维修维护的难度，增加了处理问题的时间，也大大增加了处理问题的成本。

实用新型内容

本实用新型提供了一种现场设备维修维护及日常检查用***。

本实用新型提供了如下方案：

一种现场设备维修维护及日常检查用***，包括：

现场穿戴式设备，所述现场穿戴式设备包括设备主体，所述设备主体上设置有内置增强现实合成处理模块的处理器、第一视频采集器、第一音频采集器、第一音频播放器、第一显示器以及第一无线通信模块；所述第一视频采集器、第一音频采集器、第一音频播放器、第一显示器以及第一无线通信模块分别与所述处理器可通信相连；

远程服务器，所述远程服务器包括第二有线\无线通信模块、视频合成模块、音频合成模块以及储存模块，所述储存模块内储存有产品设计信息；所述远程服务器与所述现场穿戴式设备可通过所述第一无线通信模块以及所述第二有线\无线通信模块实现通信连接；

远程专家客户端设备，所述远程专家客户端设备包括第二视频采集器、第二音频采集器、第二音频播放器、第二显示器、输入器以及第三有线\无线通信模块；所述远程服务器与所述远程专家客户端设备可通过所述第二有线\无线通信模块以及所述第三有线\无线通信模块实现通信连接。

优选的：所述远程服务器用于接收所述现场穿戴式设备发送的所述第一视频采集器采集待检测维修维护的设备的现场视频和\或图像信息，并将所述现场视频和\或图像信息和\或产品设计信息所述发送至所述远程专家客户端设备，并接收所述远程专家客户端设备返回的专家标注的目标区域合成图像信息，并将所述目标区域合成图像信息和\或产品设计信息发送至所述现场穿戴式设备，以便在所述现场穿戴式设备的第一显示器上显示所述目标区域合成图像信息和\或产品设计信息。

优选的：所述设备主体为眼镜或者头盔。

优选的：所述第一视频采集器为广角摄像头，所述广角摄像头连接有标定扫描、特征图像识别算法装置，所述标定扫描、特征图像识别算法装置用于指示所述广角摄像头拍摄时镜头中心对应待检测维修维护的设备的部位。

优选的：所述远程服务器还用于根据所述标定扫描、特征图像识别算法装置指示的对应所述待检测维修维护的设备的位置判断该位置对应的产品部件部位，将所述产品设计信息内对应的所述产品部件部位的设计信息发送至所述远程专家客户端设备。

优选的：所述标定装置为摄像机智能图像识别与特征码扫描器。

优选的：所述现场穿戴式设备还包括本地录像储存模块、表单处理模块。

优选的：所述现场穿戴式设备还包括语音输入模块，所述语音输入模块用于表单填写和过程控制的指令输入。

优选的：所述产品设计信息包括产品维护操作规程、手册、内部结构设计平面图和三维立体图纸。

优选的：所述远程服务器还包括媒体分发模块、语音集群调度模块。

根据本实用新型提供的具体实施例，本实用新型公开了以下技术效果：

通过本实用新型，可以实现一种现场设备维修维护及日常检查用***，在一种实现方式下，该***可以包括现场穿戴式设备，所述现场穿戴式设备包括设备主体，所述设备主体上设置有内有增强现实合成处理模块的处理器、第一视频采集器、第一音频采集器、第一音频播放器、第一显示器以及第一无线通信模块；所述第一视频采集器、第一音频采集器、第一音频播放器、第一显示器以及第一无线通信模块分别与所述处理器可通信相连；远程服务器，所述远程服务器包括第二有线\无线通信模块、视频合成模块、音频合成模块以及储存模块，所述储存模块内储存有产品设计信息；所述远程服务器与所述现场穿戴式设备可通过所述第一无线通信模块以及所述第二有线\无线通信模块实现通信连接；远程专家客户端设备，所述远程专家客户端设备包括第二视频采集器、第二音频采集器、第二音频播放器、第二显示器、输入器以及第三有线\无线通信模块；所述远程服务器与所述远程专家客户端设备可通过所述第二有线\无线通信模块以及所述第三有线\无线通信模块实现通信连接。它利用增强现实技术，将远程专家反馈信息、现场客户采集视频或图像和当前设备的状态信息以及远程服务端提供的设备该部位的手册、规程、图纸等合成增强现实视频，作为维护人员的参考资料供维护人员查询。更甚至于远程专家通过互联网在旁边协助指导，对现场发现的问题直接手把手的教现场人员如何处置，现场穿戴式设备使用语言指令进行控制，解放了甲方维护维修人员的双手，并且所有的维修、维护、日常巡检的过程与表单通过远程服务器进行不间断记录，供发现问题以后的现场回溯。整个***远程帮助现场人员又快又准的找到问题的根源，同时对过程中的不规范和错误的行为进行杜绝与总结。

当然,实施本实用新型的任一产品并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本实用新型实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本实用新型的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本实用新型实施例提供的一种现场设备维修维护及日常检查用***的结构示意图；

图2是本实用新型实施例提供的现场穿戴式设备主体的结构示意图；

图3是本实用新型实施例提供的现场穿戴式设备各部件的连接框图；

图4是本实用新型实施例提供的远程服务器各部件的连接框图；

图5是本实用新型实施例提供的专家客户端设备各部件的连接框图。

图中：现场穿戴式设备10、处理器101、第一视频采集器102、第一音频采集器103、第一音频播放器104、第一显示器105、第一无线通信模块106、本地录像储存模块107、远程服务器20、第二有线\无线通信模块201、视频合成模块202、音频合成模块203、储存模块204、媒体分发模块205、语音集群远程调度模块206、专家客户端设备30、第二视频采集器301、第二音频采集器302、第二音频播放器303、第二显示器304、输入器305、第三有线\无线通信模块306、设备主体4、广角摄像头5、标定扫描装置6、

具体实施方式

下面将结合本实用新型实施例中的附图，对本实用新型实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本实用新型一部分实施例，而不是全部的实施例。基于本实用新型中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本实用新型保护的范围。

本申请的目的就是为了解决上述问题，提供一种基于增强现实技术的交互式现场设备维修维护及日常检查用穿戴式设备及***，它利用增强现实技术，将远程专家反馈信息、现场客户采集视频或图像和当前设备的状态信息以及远程服务端提供的设备该部位的手册、规程、图纸等合成增强现实视频，作为维护人员的参考资料供维护人员查询，更甚至于远程专家通过互联网在旁边协助指导，对现场发现的问题直接手把手的教现场人员如何处置，现场穿戴式设备使用语言指令进行控制，解放了甲方维护维修人员的双手，帮助现场人员又快又准的找到问题的根源。

为了实现上述目的，本申请采用如下技术方案：

基于增强现实技术的交互式现场设备维修维护及日常检查用穿戴式设备及***，包括：现场穿戴式设备和远程服务端及远程专家客户端；

所述现场穿戴式设备用于对待检测维修维护的设备进行视频采集或图像拍摄，并进行现场穿戴式设备处于待维护设备的具体部位进行智能识别。设备将采集的图像信息和识别信息传输给远程服务端，并接收远程服务端与远程专家交互的标注的目标区域图像，设备预留在产品资料库中的手册、规程、平面图纸、三维图纸等方面的产品设计信息，将标注的目标区域图像与现场采集的视频以及预留产品资料库中的设计资料信息进行合成，在现场穿戴式设备中实时显示待维护目标部位的维护详细的资料及专家远程在线指导的音视频画面；***还具备在不需要进行现场图像支持的时候，现场穿戴式设备可以只与远程专家服务端进行语音交流，现场穿戴式设备将语音编码信息发送到远程服务端的语音集群调度***，由语言集群调度***进行语言调度，模拟对讲机的单呼、组呼的功能。实现现场穿戴式设备之间、穿戴式设备与远程专家之间的成组语言集群对讲通讯。

所述远程专家服务端用于接收现场穿戴式设备发来的视频或图像以及穿戴式设备所在待维护设备相关部位的预留在服务器中的设计资料，以及远程服务端合成的画面及文字信息。将上述信息显示在专家面前。同时，接收专家对视频或图像及设计资料的合成信息的标注处理，将处理好的目标区域合成图像发送给现场穿戴式设备。这样现场处置人员就得到各种与维护部位相关的资源，包括专家在线指导。对他们的相关处置工作的准确性和专业性提供顶级的保障。

实施例

参见图1、图2、图3、图4、图5，为本实用新型实施例提供的一种现场设备维修维护及日常检查用***，如图1、图2、图3、图4、图5所示，该***包括现场穿戴式设备10，所述现场穿戴式设备10包括设备主体4，所述设备主体4上设置有增强现实合成处理模块的处理器101、第一视频采集器102、第一音频采集器103、第一音频播放器104、第一显示器105以及第一无线通信模块106；所述第一视频采集器102、第一音频采集器103、第一音频播放器104、第一显示器105以及第一无线通信模块106分别与所述处理器101可通信相连；所述现场穿戴式设备还包括本地录像储存模块、表单处理模块。表单的处理结果及现场处理完成以后的过程与沟通的影像和声音同步上传到远程服务器，供事后的过程回溯。所述现场穿戴式设备还包括语音输入模块，所述语音输入模块用于表单填写和过程控制的指令输入。全部使用语言识别控制，以有利于解放现场操作人员的双手。

远程服务器20，所述远程服务器20包括第二有线\无线通信模块201、视频合成模块202、音频合成模块203以及储存模块204，所述储存模块204内储存有产品设计信息；所述远程服务器20与所述现场穿戴式设备10可通过所述第一无线通信模块106以及所述第二有线\无线通信模块201实现通信连接；所述远程服务器20还包括媒体分发模块205、语音集群调度模块206。

远程专家客户端设备30，所述远程专家客户端设备30包括第二视频采集器301、第二音频采集器302、第二音频播放器303、第二显示器304、输入器305以及第三有线\无线通信模块306；所述远程服务器20与所述远程专家客户端设备30可通过所述第二有线\无线通信模块201以及所述第三有线\无线通信模块306实现通信连接。

具体的，所述远程服务器20用于接收所述现场穿戴式设备10发送的所述第一视频采集器102采集待检测维修维护的设备的现场视频和\或图像信息，并将所述现场视频和\或图像信息和\或产品设计信息所述发送至所述远程专家客户端设备30，并接收所述远程专家客户端设备30返回的专家标注的目标区域合成图像信息，并将所述目标区域合成图像信息和\或产品设计信息发送至所述现场穿戴式设备，以便在所述现场穿戴式设备的第一显示器上显示所述目标区域合成图像信息和\或产品设计信息。

进一步的，所述设备主体4为眼镜或者头盔。所述第一视频采集器102为广角摄像头5，所述广角摄像头连接有标定扫描、特征图像识别算法装置6，所述标定扫描、特征图像识别算法装置6用于指示所述广角摄像头拍摄时镜头中心对应所述待检测维修维护的设备的部位。所述远程服务器20还用于根据所述标定装置指示的对应所述待检测维修维护的设备的部位判断该位置对应的产品部件部位，将所述产品设计信息内对应的所述产品部件部位的设计信息发送至所述远程专家客户端设备。所述标定装置6为摄像机智能图像识别与特征码扫描器。

进一步的，所述现场穿戴式设备还包括本地录像储存模块107。所述产品设计信息包括产品维护操作规程、手册、内部结构设计平面图和三维立体图纸。

需要说明的是，本申请所要保护的主体为上述硬件的布置，***架构与功能配置与实现方案，涉及到的软件程序只需采用现有技术中成熟的技术即可，所有软件程序均不属于本申请所要保护的范围。

本申请提供的***的使用方法如下：

步骤(1)：参与日常维修维护人员戴着穿戴式设备对待检测维修维护的设备进行巡视，穿戴式设备上的摄像机自动进行音视频采集或图像拍摄，获得待检测维修维护设备视频流或图像；这些数据经过编码以后会记录在穿戴式设备的内存卡上。

步骤(2)：摄像机采集的图像经过智能图像识别，会自动知晓目前检测人员目前在待检测设备的哪个部位；

步骤(3)：穿戴式设备将音视频流和所在的待维修维护设备的哪个部位的信息发送给远程服务器。

步骤(4)：远程服务端接收穿戴式设备发来的音视频流或图像与相对于待检测设备的部位信息，接受远程专家发来的图文信息，服务器根据部位信息查询到的该待维修维护设备的该部位的手册、规程、平面图纸、三维立体图纸等资料，将这些信息按照逻辑关系合成新的图像以后，通过媒体分发给各个参与人员。同时还接收专家对检测维修维护部位进行批注的信息；接收专家指示的语音信息；

步骤(5)：过程中的所有信息在任务完成以后，都由穿戴式设备将记录的信息上传到记录服务器。

步骤(6)：记录服务器会提供按照权限的检索功能，获得权限的用户随时可以查询维修维护过程中的资料、影像、结论等材料；

步骤(7)：现场穿戴式设备对远程专家传来的带标注信息的目标区域图像，通过物体跟踪算法完成目标区域图像与现场视频图像中目标区域的识别、定位与跟踪，根据识别信息在服务器侧产品资料库中查询到的该部位的手册、规程、图纸、三维立体图纸。在现场视频图像中目标区域的位置处叠加标记图案或文字批注，并叠加当前设备的状态信息，还有各种设计与资料图纸信息，从而生成增强现实影像视频；

步骤(8)：如果不需要专家指导和远程影像，现场穿戴式设备可以纯粹使用语音通讯。***中心提供对语音流进行混音控制与集群调度的算法与控制。由***参与各方任意一方都可以发起集群通讯，在一个群里面的群呼或点对点的双向语音交流。

步骤(9)：现场穿戴设备内置的显示器将增强现实影像视频显示出来。耳机将声音还原出来供穿戴者接受语音信息。

远程服务端，包括：

第二有线\无线通信模块：用于接收穿戴设备的第一无线通信模块发送的音视频流或图像以及穿戴式设备所在的待维护设备的站位信息，远程专家使用的客户端发来的音视频信息和标注信息；将接收的所有视频流或图像发送给视频图像合成模块、音频合成模块；接收视频图像合成模块以及音频合成模块的反馈信息，将反馈信息发送给穿戴设备的通信模块一；所述反馈信息包括各个参与方的语音信息和图像信息、带专家标注信息的目标区域图像以及现场穿戴式设备所在的待维护设备的部位的手册、规程、平面图纸、三维立体图纸等；

视频图像合成模块：用于将穿戴式设备图像数据、远程专家客户端图像数据、批注信息、位置信息、该部位的手册、规程、平面图纸、三维立体图纸与现场实时图像进行合成，将带专家标注信息的目标区域图像进行裁剪；然后将裁剪的目标区域图像发送给第二通信模块；

记录数据库：用于接受现场穿戴式设备记录的本地音视频资料，过程中专家的标注信息。以及过程中需要记录的文档、资料、过程文件、签字文件的信息。

产品资料数据库：用于记录产品所有部位的手册、规程、平面图纸、三维立体图纸等信息。在***的控制下，根据穿戴式设备反馈的维护人员所在的设备部位，提供该部位相应的信息。

第二有线\无线通信模块：用于接收现场端发来的现场穿戴式设备的音视频流数据；服务器端视频图像合成、音频合成数据。

第二视频采集模块：用于采集远程指导的专家的影像。

第二音频采集模块：用于采集远程指导的专家的发音。

视频编码：对采集的图像数据进行数据编码与压缩。

音频编码：对采集的音频数据进行数据编码与压缩。

图像解码：对从通讯模块三发来的图像编码数据进行解压缩，还原成可以供显示模块显示的数据信息。

音频解码：对从通讯模块三发来的音频编码数据进行解压缩，还原成可以供发声设备输出的数据信息。

第二显示器：接收图像解码模块发来的图像解码数据，将数据还原成图像。

发声设备：接收音频解码模块发来的声音解码数据，将数据还原成声音。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本实用新型的较佳实施例而已，并非用于限定本实用新型的保护范围。凡在本实用新型的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本实用新型的保护范围内。

Claims (10)

1.一种现场设备维修维护及日常检查用***，其特征在于，包括：

现场穿戴式设备，所述现场穿戴式设备包括设备主体，所述设备主体上设置有内有增强现实合成处理模块的处理器、第一视频采集器、第一音频采集器、第一音频播放器、第一显示器以及第一无线通信模块；所述第一视频采集器、第一音频采集器、第一音频播放器、第一显示器以及第一无线通信模块分别与所述处理器可通信相连；

远程服务器，所述远程服务器包括第二有线\无线通信模块、视频合成模块、音频合成模块以及储存模块，所述储存模块内储存有产品设计信息；所述远程服务器与所述现场穿戴式设备可通过所述第一无线通信模块以及所述第二有线\无线通信模块实现通信连接；

远程专家客户端设备，所述远程专家客户端设备包括第二视频采集器、第二音频采集器、第二音频播放器、第二显示器、输入器以及第三有线\无线通信模块；所述远程服务器与所述远程专家客户端设备可通过所述第二有线\无线通信模块以及所述第三有线\无线通信模块实现通信连接。

2.根据权利要求1所述的***，其特征在于，所述远程服务器用于接收所述现场穿戴式设备发送的所述第一视频采集器采集待检测维修维护的设备的现场视频和\或图像信息，并将所述现场视频和\或图像信息和\或产品设计信息所述发送至所述远程专家客户端设备，并接收所述远程专家客户端设备返回的专家标注的目标区域合成图像信息，并将所述目标区域合成图像信息和\或产品设计信息发送至所述现场穿戴式设备，以便在所述现场穿戴式设备的第一显示器上显示所述目标区域合成图像信息和\或产品设计信息。

3.根据权利要求1所述的***，其特征在于，所述设备主体为眼镜或者头盔。

4.根据权利要求1所述的***，其特征在于，所述第一视频采集器为广角摄像头，所述广角摄像头连接有标定扫描、特征图像识别算法装置，所述标定扫描、特征图像识别算法装置用于指示所述广角摄像头拍摄时镜头中心对应待检测维修维护的设备的部位。

5.根据权利要求4所述的***，其特征在于，所述远程服务器还用于根据所述标定扫描、特征图像识别算法装置指示的对应所述待检测维修维护的设备的位置判断该位置对应的产品部件部位，将所述产品设计信息内对应的所述产品部件部位的设计信息发送至所述远程专家客户端设备。

6.根据权利要求4所述的***，其特征在于，所述标定装置为摄像机智能图像识别与特征码扫描器。

7.根据权利要求1所述的***，其特征在于，所述现场穿戴式设备还包括本地录像储存模块、表单处理模块。

8.根据权利要求7所述的***，其特征在于，所述现场穿戴式设备还包括语音输入模块，所述语音输入模块用于表单填写和过程控制的指令输入。

9.根据权利要求1所述的***，其特征在于，所述产品设计信息包括产品维护操作规程、手册、内部结构设计平面图和三维立体图纸。

10.根据权利要求1所述的***，其特征在于，所述远程服务器还包括媒体分发模块、语音集群调度模块。