CN110442486A - 一种基于混合现实技术的远程设备诊断***和方法 - Google Patents

Abstract

本发明公开了一种基于混合现实技术的远程设备诊断***，包括服务器、工业信息***、存储器和多个混合现实智能终端；所述工业信息***包括PAAS平台，所述PAAS平台用于存储工业资料，并将所述工业资料通过服务器上传至混合现实智能终端；所述混合现实智能终端用于获取物理环境信息，进行物理环境建模，生成物理环境模型，并将工业资料投射到物理环境模型中，获得混合现实场景，用于专家进行行远程设备诊断。本发明工厂无需搭建复杂的硬件环境，只需要佩戴混合现实智能终端即可进行远程设备诊断，具备无线、移动化特征，极大降低了时间成本。

Description

一种基于混合现实技术的远程设备诊断***和方法

技术领域

本发明涉及设备诊断技术领域，尤其涉及一种基于混合现实技术的远程设备诊断***和方法。

背景技术

传统远程设备故障诊断依靠手机与平板之间视频通话来进行描述故障点，交流非常麻烦，效率底下。组织者花更多精力进行参会协调，也使与会人员消耗了较多的时间成本。参会人员无法共同观看显示器所展示的内容。

发明内容

为了解决上述技术问题，本发明提供了一种基于混合现实技术的远程设备诊断***，工厂无需搭建复杂的硬件环境，只需要佩戴混合现实智能终端即可进行远程设备诊断，具备无线、移动化特征，极大降低了时间成本。

本发明具体提供一种基于混合现实技术的远程设备诊断***，包括服务器、工业信息***、存储器和多个混合现实智能终端；

所述服务器分别连接所述工业信息***、存储器和多个混合现实智能终端；

所述工业信息***包括PAAS平台，所述PAAS平台用于存储工业资料，并将所述工业资料通过服务器上传至混合现实智能终端；

所述混合现实智能终端用于获取物理环境信息，进行物理环境建模，生成物理环境模型，并将工业资料投射到物理环境模型中，获得混合现实场景，用于专家进行行远程设备诊断；

所述存储器用于存储基于混合现实场景进行远程设备诊断的专家评价信息和设备维修信息。

可选的，所述混合现实智能终端能够对混合现实场景中的工业资料进行查阅、编辑、整理和统计分析。

可选的，所述混合现实智能终端之间通信连接，用于各个佩戴者之间进行音频、视频沟通以及资料共享。

可选的，所述混合现实智能终端为混合现实智能眼镜，所述混合现实智能眼镜包括控制器和与控制器连接的输入模块、通信模块、投射模块和输出模块；

所述输入模块，用于输入用于控制混合现实智能眼镜的程序；

所述控制器用于控制执行所述控制混合现实智能眼镜的程序；

所述通信模块用于各混合现实智能眼镜之间的通信连接，以及混合现实智能眼镜与服务器之间的通信连接；

所述投射模块用于将工业资料投射到物理环境模型中，形成混合现实场景；

所述输出模块包括音频输出子模块和视频输出子模块，分别用于输出音频信号和视频信号。

可选的，所述视频输出子模块包括视域设计单元和文字设计单元，所述视域设计单元用于确定混合现实场景的界面显示区域，所述文字设计单元用于确定混合现实场景的界面文字大小。

可选的，所述视域设计单元用于确定混合现实场景的界面显示区域，具体为：

采用下式确定最佳显示区域：

式中,L表示瞳孔到混合现实智能眼镜镜片的距离，W₁表示界面最佳显示宽度，β₁表示水平直接视野最佳角度,β₂表示眼球水平可偏转角度,H₁表示界面最佳显示高度，γ₁表示垂直直接视野最佳角度,γ₂表示眼球垂直可偏转角度,A表示视力矫正系数，A∈[0.5,1.5]：

采用下式确定最大显示区域：

式中,L表示瞳孔到混合现实智能眼镜镜片的距离，W₂表示界面最大显示宽度，β₃表示水平直接视野最大角度,β₂表示眼球水平可偏转角度,H₂表示界面最佳显示高度，γ₃表示垂直直接视野最大角度,γ₂表示眼球垂直可偏转角度，A表示视力矫正系数，A∈[0.5,1.5]。

可选的，所述文字设计单元用于确定混合现实场景的界面文字大小，具体为：

界面文字大小采用下式确定：

B＝0.05L×C

式中，B表示文字边长，L表示瞳孔到混合现实智能眼镜镜片的距离，C表示文字重要性系数，C∈[1,2]。

可选的，所述物理环境信息包括墙壁、地面、天花板、桌椅和特殊标识。

可选的，所述工业资料包括设备信息、人员信息、维修记录、设备模型和诊断报告。

本发明还提供了一种基于混合现实技术的远程设备诊断方法，包括以下步骤：

步骤一：在现场维修人员所在的空间内和远端专家所在空间内设置混合现实智能终端，并在各混合现实智能终端之间建立通信连接；

步骤二：各混合现实智能终端自动识别佩戴者所处物理环境信息，并进行物理环境建模，生成物理环境模型；

步骤三：现场维修人员和远端专家所在空间内的混合现实智能终端连接工厂的PAAS平台，进行数据同步，获取所需要的工业资料；

步骤四：混合现实智能终端将工业资料以影像的形式投射到物理环境模型中，生成混合现实场景；

步骤五：现场维修人员在混合现实场景中对工业资料进行查阅、编辑、整理和统计分析，远程专家与现场维修人员之间通过混合现实智能终端实时或以留言形式进行沟通交流，使远端专家迅速了解设备故障详情，进行远程设备诊断。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明远程设备诊断***的示意图；

附图标记：

服务器1、工业信息***2、存储器3、混合现实智能终端4。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1，本发明的一个实施例提供一种基于混合现实技术的远程设备诊断***，包括服务器1、工业信息***2、存储器3和多个混合现实智能终端4；

所述服务器1分别连接所述工业信息***2、存储器3和多个混合现实智能终端4；

所述工业信息***2包括PAAS平台，所述PAAS平台用于存储工业资料，并将所述工业资料通过服务器1上传至混合现实智能终端4；

所述混合现实智能终端4用于获取物理环境信息，进行物理环境建模，生成物理环境模型，并将工业资料投射到物理环境模型中，获得混合现实场景，用于专家进行行远程设备诊断；所述存储器3与混合现实智能终端4连接，经过专家诊断后的专家评价信息和设备维修信息传输至存储器3，所述存储器3存储基于混合现实场景进行远程设备诊断的专家评价信息和设备维修信息。存储器3与服务器1连接，可将相应信息传输至服务器1。

混合现实(MR)指的是合并现实和虚拟世界而产生的新的可视化环境。混合现实技术(MR)是虚拟现实和增强现实技术的进一步发展，混合现实技术通过在现实场景呈现虚拟场景信息，在虚拟世界、现实世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。

在本实施例中，现场维修人员使用混合现实智能终端4与远程专家连接，现场维修人员和远程专家从而获得更大的通信自由度和清晰度来诊断设备的故障，现场维修人员能够接受远程专家援助并执行任务。

本实施例现场维修人员所在空间内的混合现实智能终端4自动识别佩戴者所处物理环境信息，并进行物理环境建模，生成物理环境模型；混合现实智能终端4将包含设备资料在内的工业资料以影像的形式投射到物理环境模型中，生成混合现实场景；混合现实智能终端4佩戴者在混合现实场景中通过不同的控制方式实现对设备资料的编辑处理。工厂无需搭建复杂的硬件环境，只需要佩戴混合现实智能终端4即可进行远程设备诊断。同时具备无线、移动化等特征，极大降低时间成本。使用投影技术，可以突破空间的限制，展示更多有效内容，避免扩充更多终端显示设备，极大的提高了远程设备诊断的便利性和高效性。

优选的，所述混合现实智能终端4能够对混合现实场景中的工业资料进行查阅、编辑、整理和统计分析。对混合现实场景中的工业资料进行查阅、编辑、整理和统计分析能够通过多种控制方式实现，控制方式包括走动、视线凝视、手势操作和语音命令。通过多种多样易于实现的控制方式实现现场维修人员与混合现实场景的交互，服务于设备维修。

优选的，所述混合现实智能终端4之间通信连接，用于各个佩戴者之间进行音频、视频沟通以及资料共享。不论是现场维修人员还是远程专家还是其它人员，只要佩戴混合现实智能终端4，就可以获取混合现实场景，进行信息共享和交流。

优选的，所述混合现实智能终端4为混合现实智能眼镜，所述混合现实智能眼镜包括控制器和与控制器连接的输入模块、通信模块、投射模块和输出模块；

所述输入模块，用于输入用于控制混合现实智能眼镜的程序；

所述控制器用于控制执行所述控制混合现实智能眼镜的程序；

所述通信模块用于各混合现实智能眼镜之间的通信连接，以及混合现实智能眼镜与服务器之间的通信连接；

所述投射模块用于将工业资料投射到物理环境模型中，形成混合现实场景；投射模块采用全息投影的方式投射到物理环境模型中，能够获取更加逼真的影像效果。

所述输出模块包括音频输出子模块和视频输出子模块，分别用于输出音频信号和视频信号。音频输出子模块将音频信号通过扬声器输出，视频输出子模块则将视频信号通过混合现实智能眼镜镜片输出。

所述混合现实智能眼镜还可以包括操作模块，用于获取混合现实智能眼镜的状态、混合现实智能眼镜的周围事物的状态、混合现实智能眼镜穿戴者的状态和运动信息，并且将获取到的信息发送到控制器。控制器根据接收到的信息和控制程序执行相应的动作。

由于视频输出子模块则将视频信号输出至智能眼镜镜片，则视频输出的界面会对佩戴者产生直接的影响，影响到混合现实场景的效果，进而影响到远程设备诊断的准确性。为解决上述问题，所述视频输出子模块包括视域设计单元和文字设计单元，所述视域设计单元用于确定混合现实场景的界面显示区域，所述文字设计单元用于确定混合现实场景的界面文字大小。

优选的，所述视域设计单元用于确定混合现实场景的界面显示区域，具体为：

采用下式确定最佳显示区域：

式中,L表示瞳孔到混合现实智能眼镜镜片的距离，W₁表示界面最佳显示宽度，β₁表示水平直接视野最佳角度,β₂表示眼球水平可偏转角度,H₁表示界面最佳显示高度，γ₁表示垂直直接视野最佳角度,γ₂表示眼球垂直可偏转角度,A表示视力矫正系数，A∈[0.5,1.5]：

水平直接视野最佳角度为眼球不动，人在水平观察时的最佳视角，取30度，垂直直接视野最佳角度为眼球不动，人在水平观察时的最佳视角，取20度；设置视力矫正系数，如果佩戴者为近视眼，则A∈(1,1.5]，近视的越厉害，则视力矫正系数取值越大，A＝1+X/200，X表示近视的度数；如果佩戴者为远视眼，则A∈[0.5,1)，远视的越厉害，则视力矫正系数取值越小，A＝1-Y/200，Y表示远视的度数；

采用下式确定最大显示区域：

式中,L表示瞳孔到混合现实智能眼镜镜片的距离，W₂表示界面最大显示宽度，β₃表示水平直接视野最大角度,β₂表示眼球水平可偏转角度,H₂表示界面最佳显示高度，γ₃表示垂直直接视野最大角度,γ₂表示眼球垂直可偏转角度，A表示视力矫正系数，A∈[0.5,1.5]。

水平直接视野最大角度为眼球不动，人在水平观察时的最大视角，取160度，垂直直接视野最大角度为眼球不动，人在水平观察时的最大视角，取100度；设置视力矫正系数，如果佩戴者为近视眼，则A∈(1,1.5]，近视的越厉害，则视力矫正系数取值越大，A＝1+X/200，X表示近视的度数；如果佩戴者为远视眼，则A∈[0.5,1)，远视的越厉害，则视力矫正系数取值越小，A＝1-Y/200，Y表示远视的度数；

通过确定最佳显示区域和最大显示区域，将界面划分为两个部分，其中，大小为W₁×H₁的最佳显示区域设置在中心位置，用于显示重要的内容，提升佩戴者的佩戴体验和注意力，而将不重要的内容显示在大小为W₂×H₂的最大显示区域，通过确定最佳显示区域和最大显示区域，不仅使佩戴者能够获取有效信息，而且能够获得很好的沉浸式体验。

优选的，所述文字设计单元用于确定混合现实场景的界面文字大小，具体为：

界面文字大小采用下式确定：

B＝0.05L×C

式中，B表示文字边长，L表示瞳孔到混合现实智能眼镜镜片的距离，C表示文字重要性系数，C∈[1,2]，文字越重要，则重要性系数越大。通过设置文字重要性系数，对重要的文字机型放大显示，能够突出重点，便于佩戴者迅速获取重要信息。

优选的，所述物理环境信息包括墙壁、地面、天花板、桌椅和特殊标识。

优选的，所述工业资料包括设备信息、人员信息、维修记录、设备模型和诊断报告。

优选的，通过将手机、平板电脑与混合现实智能终端4建立通信连接，可以实现手机、平板电脑与混合现实智能终端4之间的文件共享，音视频通信和远程标注。

本发明的另一个实施例提供一种基于混合现实技术的远程设备诊断方法，包括以下步骤：

步骤一：在现场维修人员所在的空间内和远端专家所在空间内设置混合现实智能终端4，并在各混合现实智能终端4之间建立通信连接；

步骤二：各混合现实智能终端4自动识别佩戴者所处物理环境信息，并进行物理环境建模，生成物理环境模型；

步骤三：现场维修人员和远端专家所在空间内的混合现实智能终端4连接工厂的PAAS平台，进行数据同步，获取所需要的工业资料；

步骤四：混合现实智能终端4将工业资料以影像的形式投射到物理环境模型中，生成混合现实场景；进一步的，可以采用全息投影的方式；

步骤五：现场维修人员在混合现实场景中对工业资料进行查阅、编辑、整理和统计分析，远程专家与现场维修人员之间通过混合现实智能终端4实时或以留言形式进行沟通交流，使远端专家迅速了解设备故障详情，进行远程设备诊断。

进一步地，远程专家在查找资料后，可以对数据归类、统计、分析，把设备故障的详细信息与诊断结果建立直观联系，找出更有效的维修方案。

进一步地，现场维修人员在混合现实场景中对工业资料进行查阅、编辑、整理和统计分析通过多种控制方式实现，控制方式包括走动、视线凝视、手势操作和语音命令。通过多种多样易于实现的控制方式实现现场维修人员与混合现实场景的交互，服务于设备维修。

进一步地，对工业资料的查阅、编辑、整理和统计分析形式包括浏览各种信息、将需要的信息分类集中，移动旋转缩放资料、复制备份资料、圈点标注资料、收藏分享资料和截屏录像录音。

进一步地，所述的混合现实智能终端4可呈现其他与其相连的智能终端的视角，其它智能终端有手机、平板电脑等。在远程协助过程中，现场维修人员，通过佩戴混合现实智能终端4，查看设备维修过程中与设备相关的实时数据，并可呈现给远程专家，与专家进行实时交流。

进一步地，混合现实智能终端4连接有存储器3，专家评价意见、设备维修记录、维修建议及意见存储在存储器3内。

进一步地，处于同一空间内的多个混合现实智能终端4看到的混合现实场景自动进行数据同步合并，各个佩戴者在感官上看到的混合现实场景相同。实现混合现实场景的一致性，避免多种混合现实场景对专家判断带来干扰和影响。

本实施例的诊断方法，工厂无需搭建复杂的硬件环境，成本得到极大的控制，混合现实智能终端4在硬件上高度集成，避免了各种硬件交互运行导致的兼容性问题，同时降低维护成本。

混合现实智能终端4具备无线、移动化等特征，使参与设备故障诊断的现场维修人员和远程专家随时随地开展工作，极大降低时间成本、提高效率。同时，现场维修人员与远程专家只需佩戴混合现实智能终端4并连线，即可面诊交流，现场维修人员与远端专家可以共享画面，并相互交流。

使用全息投影技术，让远程专家身临其境，更直观的进行设备故障诊断，突破了空间的限制，展示更多有效内容，避免扩充更多终端显示设备。

远程专家可随时随地进行故障诊断，并及时交换指导意见；

维修设备时，现场人员佩戴混合现实智能终端4后，远程专家可观察现场情况，而现场人员则可解放双手，采取更有效的维修措施。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解应当理解，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。实现时，可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术目的地应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (10)

1.一种基于混合现实技术的远程设备诊断***，其特征在于，包括服务器、工业信息***、存储器和多个混合现实智能终端；

所述服务器分别连接所述工业信息***、存储器和多个混合现实智能终端；

所述工业信息***包括PAAS平台，所述PAAS平台用于存储工业资料，并将所述工业资料通过服务器上传至混合现实智能终端；

所述混合现实智能终端用于获取物理环境信息，进行物理环境建模，生成物理环境模型，并将工业资料投射到物理环境模型中，获得混合现实场景，用于专家进行行远程设备诊断；

所述存储器用于存储基于混合现实场景进行远程设备诊断的专家评价信息和设备维修信息。

2.根据权利要求1所述的基于混合现实技术的远程设备诊断***，其特征在于，所述混合现实智能终端能够对混合现实场景中的工业资料进行查阅、编辑、整理和统计分析。

3.根据权利要求1所述的基于混合现实技术的远程设备诊断***，其特征在于，所述混合现实智能终端之间通信连接，用于各个佩戴者之间进行音频、视频沟通以及资料共享。

4.根据权利要求1所述的基于混合现实技术的远程设备诊断***，其特征在于，所述混合现实智能终端为混合现实智能眼镜，所述混合现实智能眼镜包括控制器和与控制器连接的输入模块、通信模块、投射模块和输出模块；

所述输入模块，用于输入用于控制混合现实智能眼镜的程序；

所述控制器用于控制执行所述控制混合现实智能眼镜的程序；

所述通信模块用于各混合现实智能眼镜之间的通信连接，以及混合现实智能眼镜与服务器之间的通信连接；

所述投射模块用于将工业资料投射到物理环境模型中，形成混合现实场景；

所述输出模块包括音频输出子模块和视频输出子模块，分别用于输出音频信号和视频信号。

5.根据权利要求4所述的基于混合现实技术的远程设备诊断***，其特征在于，所述视频输出子模块包括视域设计单元和文字设计单元，所述视域设计单元用于确定混合现实场景的界面显示区域，所述文字设计单元用于确定混合现实场景的界面文字大小。

6.根据权利要求5所述的基于混合现实技术的远程设备诊断***，其特征在于，所述视域设计单元用于确定混合现实场景的界面显示区域，具体为：

采用下式确定最佳显示区域：

式中,L表示瞳孔到混合现实智能眼镜镜片的距离，W₁表示界面最佳显示宽度，β₁表示水平直接视野最佳角度,β₂表示眼球水平可偏转角度,H₁表示界面最佳显示高度，γ₁表示垂直直接视野最佳角度,γ₂表示眼球垂直可偏转角度,A表示视力矫正系数，A∈[0.5,1.5]：

采用下式确定最大显示区域：

式中,L表示瞳孔到混合现实智能眼镜镜片的距离，W₂表示界面最大显示宽度，β₃表示水平直接视野最大角度,β₂表示眼球水平可偏转角度,H₂表示界面最佳显示高度，γ₃表示垂直直接视野最大角度,γ₂表示眼球垂直可偏转角度，A表示视力矫正系数，A∈[0.5,1.5]。

7.根据权利要求6所述的基于混合现实技术的远程设备诊断***，其特征在于，所述文字设计单元用于确定混合现实场景的界面文字大小，具体为：

界面文字大小采用下式确定：

B＝0.05L×C

式中，B表示文字边长，L表示瞳孔到混合现实智能眼镜镜片的距离，C表示文字重要性系数，C∈[1,2]。

8.根据权利要求1所述的基于混合现实技术的远程设备诊断方法，其特征在于，所述物理环境信息包括墙壁、地面、天花板、桌椅和特殊标识。

9.根据权利要求1所述的基于混合现实技术的远程设备诊断方法，其特征在于，所述工业资料包括设备信息、人员信息、维修记录、设备模型和诊断报告。

10.一种基于混合现实技术的远程设备诊断方法，其特征在于，包括以下步骤：

步骤一：在现场维修人员所在的空间内和远端专家所在空间内设置混合现实智能终端，并在各混合现实智能终端之间建立通信连接；

步骤二：各混合现实智能终端自动识别佩戴者所处物理环境信息，并进行物理环境建模，生成物理环境模型；

步骤三：现场维修人员和远端专家所在空间内的混合现实智能终端连接工厂的PAAS平台，进行数据同步，获取所需要的工业资料；

步骤四：混合现实智能终端将工业资料以影像的形式投射到物理环境模型中，生成混合现实场景；

步骤五：现场维修人员在混合现实场景中对工业资料进行查阅、编辑、整理和统计分析，远程专家与现场维修人员之间通过混合现实智能终端实时或以留言形式进行沟通交流，使远端专家迅速了解设备故障详情，进行远程设备诊断。