CN109814709A - 基于ar***的操作指导方法及装置 - Google Patents

Abstract

本申请公开了一种基于AR***的操作指导方法及装置，其中，所述基于AR***的操作指导方法包括：对画面内容为待操作设备或零部件的图片进行扫描，获得所述图片中待操作设备或零部件对应的模型；获取对所述模型进行第一操作的待指导虚拟画面以及操作现场的第一真实画面，发送所述待指导虚拟画面以及第一真实画面；其中，所述待指导虚拟画面为对所述模型进行第一操作之前的虚拟画面；接收根据所述第一真实画面对所述待指导虚拟画面进行第一操作的第一操作指导。本申请实施例在获取操作设备或零部件的技术资料时无需翻阅纸质资料或专家到现场指导，从而降低设备或零部件技术资料的获取成本以及降低操作设备或零部件时的环境影响。

Description

基于AR***的操作指导方法及装置

技术领域

本申请属于工业制造技术领域，具体地说，涉及一种基于AR***的操作指导方法及装置。

背景技术

目前工业中设备技术人员在装配、维修设备时常常需要查阅技术资料，以获取技术指导，更好地完成装配、维修设备的工作。通常技术资料的获取方式主要为查阅纸质资料以及邀请专家到实际场地去指导操作。

但上述获取方式中技术人员在操作过程中往往要边操作边查阅，或者需要专家到现场支持才能完成，无疑容易出现错误操作。由此可见，目前技术资料的获取方式操作成本较高、可控性差并且易受环境影响，容易出现错误操作。

发明内容

有鉴于此，本申请所要解决的技术问题是提供了一种基于AR***的操作指导方法及装置，以在获取操作设备或零部件的技术资料时无需翻阅纸质资料或专家到现场指导，从而降低设备或零部件技术资料的获取成本以及降低操作设备或零部件时的环境影响。

为了解决上述技术问题，本申请公开了一种基于AR***的操作指导方法，所述方法包括：

对画面内容为待操作设备或零部件的图片进行扫描，获得所述图片中待操作设备或零部件对应的模型；

获取对所述模型进行第一操作的待指导虚拟画面以及操作现场的第一真实画面，发送所述待指导虚拟画面以及第一真实画面；其中，所述待指导虚拟画面为对所述模型进行第一操作之前的虚拟画面；

接收根据所述第一真实画面对所述待指导虚拟画面进行第一操作的第一操作指导。

为解决上述技术问题，本申请还公开了一种基于AR***的操作指导方法，应用于网络设备，所述方法包括：

接收待指导虚拟画面以及操作现场的第一真实画面，其中，所述待指导虚拟画面为对待操作设备或零部件对应的模型进行第一操作之前的虚拟画面；

根据所述第一真实画面，生成对所述待指导虚拟画面进行第一操作的第一操作指导；

发送所述第一操作指导。

为解决上述技术问题，本申请还公开了一种基于AR***的操作指导装置，所述装置包括：

扫描单元，用于对画面内容为待操作设备或零部件的图片进行扫描，获得所述图片中待操作设备或零部件对应的模型；

第一发送单元，用于获取对所述模型进行第一操作的待指导虚拟画面以及操作现场的第一真实画面，发送所述待指导虚拟画面以及第一真实画面；其中，所述待指导虚拟画面为对所述模型进行第一操作之前的虚拟画面；

第一接收单元，用于接收根据所述第一真实画面对所述待指导虚拟画面进行第一操作的第一操作指导。

为解决上述技术问题，本申请还公开了一种基于AR***的操作指导装置，所述装置包括：

第二接收单元，用于接收待指导虚拟画面以及操作现场的第一真实画面，其中，所述待指导虚拟画面为对待操作设备或零部件对应的模型进行第一操作之前的虚拟画面；

生成单元，用于根据所述第一真实画面，生成对所述待指导虚拟画面进行第一操作的第一操作指导；

第二发送单元，用于发送所述第一操作指导。

与现有技术相比，本申请可以获得包括以下技术效果：

本申请实施例实现了一种基于AR***的操作指导方法及装置，能够实现利用虚拟环境信息引导实际环境中设备或零部件的操作，操作过程中远程终端可直接获取到对模型进行第一操作的待指导虚拟画面以及操作现场的第一真实画面，并根据第一真实画面对所述待指导虚拟画面进行第一操作的第一操作指导，将第一操作指导实时传输到操作者应用的AR设备。本申请实施例将第一操作指导以虚拟影像显示在操作者面前，犹如和专家面对面交流进行操作指导一般，操作者可直观的被指导操作，使指导信息得到了更加有效的传达。本申请实施例在获取操作设备或零部件的技术资料时无需翻阅纸质资料或专家到现场指导，从而降低设备或零部件技术资料的获取成本以及降低操作设备或零部件时的环境影响。本申请实施例改进了传统的操作方式，能够以低成本、智能化方式解决问题。

当然，实施本申请的任一产品必不一定需要同时达到以上所述的所有技术效果。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请某些实施例提供的基于AR***的操作指导方法流程示意图；

图2是本申请某些实施例提供的基于AR***的操作指导方法流程示意图；

图3是本申请某些实施例提供的基于AR***的操作指导方法流程示意图；

图4是本申请某些实施例提供的基于AR***的操作指导方法流程示意图；

图5是本申请某些实施例提供的基于AR***的操作指导装置示意图；

图6是本申请某些实施例提供的基于AR***的操作指导装置示意图。

具体实施方式

以下将配合附图及实施例来详细说明本申请的实施方式，藉此对本申请如何应用技术手段来解决技术问题并达成技术功效的实现过程能充分理解并据以实施。

申请人发现现有技术存在如下问题：

目前工业中设备技术人员在装配、维修设备时常常需要查阅技术资料，通常技术资料的获取方式主要为查阅纸质资料以及邀请专家到实际场地去指导操作。但上述获取方式中技术人员在操作过程中往往要边操作边查阅，或者需要专家到现场支持才能完成，无疑容易出现错误操作。由此可见，目前技术资料的获取方式操作成本较高、可控性差并且易受环境影响，容易出现错误操作。

为降低设备或零部件技术资料的获取成本以及降低操作设备或零部件时的环境影响，申请人提出了一种技术方案，能够将真实的操作场景上叠加待操作设备或零部件的虚拟模型，并为操作过程提供可视化操作指导。

本申请实施例提供一种基于AR***的操作指导方法，本方法应用于包括增强现实AR(英文全称Augmented Reality，简称AR)设备的AR***，该AR***可以包括头戴式AR显示设备和与该头戴式AR显示设备连接的终端设备。其中，头戴式AR显示设备可以具有拍摄装置例如摄像头，能够执行扫描操作。具体的，头戴式AR显示设备可以是AR眼镜，该终端设备可以是PC终端，也可以是移动终端例如IPAD、智能手机等。本文以指导***包括AR眼镜和PC终端为例进行说明，其中，AR眼镜中具有摄像头。

请参阅图1，本申请实施例提供应用于AR眼镜的基于AR***的操作指导方法具体如下。

步骤102，对画面内容为待操作设备或零部件的图片进行扫描，获得所述图片中待操作设备或零部件对应的模型。

当操作者在操作过程中遇到问题需要向专家请教操作指导时，可以将当前的操作现场传送给专家，以寻求操作指导。在本实施例中，操作者可以通过AR眼镜中的摄像头对对画面内容为待操作设备或零部件的图片进行扫描，获得所述图片中待操作设备或零部件对应的模型。在本实施例中，对设备或零部件进行操作可以是装配、维修、拆卸、组装、打包发货等操作。

在一个实施例中，AR眼镜可以存储有模型库，该模型库包括标识与设备或零部件模型的对应关系，AR眼镜对画面内容为待操作设备或零部件的图片进行画面识别，识别出所述待操作设备或零部件的标识。

AR眼镜可以在模型库包括的对应关系中查找所述待操作设备或零部件的标识，以确定所述待操作设备或零部件的标识对应的模型。AR眼镜查找到所述待操作设备或零部件的标识对应的模型后，显示查找到的模型。

步骤104，获取对所述模型进行第一操作的待指导虚拟画面以及操作现场的第一真实画面，发送所述待指导虚拟画面以及第一真实画面；其中，所述待指导虚拟画面为对所述模型进行第一操作之前的虚拟画面。

当操作者在操作过程中进行第一操作时遇到问题需要向专家请教操作指导，可以获取对所述模型进行第一操作的待指导虚拟画面以及操作现场的第一真实画面，并将待指导虚拟画面以及第一真实画面传送给专家应用的PC终端，寻求专家操作指导。在此可以看出，第一真实画面是对操作现场进行拍摄得到的，而操作现场是在对待操作设备或零部件进行第一操作时的现场，因此第一真实画面与待指导虚拟画面是对应关系，即第一真实画面是待指导虚拟画面的真实现场。

步骤106，接收根据所述第一真实画面对所述待指导虚拟画面进行第一操作的第一操作指导。

当专家根据第一真实画面作出如何进行第一操作的过程后，可以依据此过程通过PC终端对待指导虚拟画面进行第一操作，生成第一操作指导。然后PC终端将第一操作指导发送给AR眼镜。AR眼镜接收并显示该第一操作指导，以指导操作者在操作现场对待操作设备或零部件进行第一操作。

在一个实施例中，PC端可以将第一操作指导实时专发送给AR眼镜，即专家通过PC终端对待指导虚拟画面进行第一操作的过程可以实时发送给AR眼镜。这样操作者可以通过AR眼镜实时观看专家进行第一操作的过程，提高了指导效率。

在一个实施例中，操作者通过AR眼镜观看到第一操作指导后，可以在操作现场对待操作设备或零部件进行第一操作，然后AR眼镜通过摄像头获取依据所述第一操作指导对所述待操作设备或零部件进行第一操作的第二真实画面，然后AR眼镜将所述第二真实画面发送至PC终端。PC终端接收并显示该第二真实画面，专家通过PC终端观看到该第二真实画面后，可以依据所述第二真实画面生成第二操作指导，并将该第二操作指导发送到AR眼镜。该第二操作指导可以是对操作者执行第一操作的建议，以指导操作者更好地执行第一操作。

例如若操作者执行第一操作时未注意到某些事项，或执行错误，专家均可以通过PC终端将操作建议携带在第二操作指导中发达给AR眼镜。

本申请实施例能够实现利用虚拟环境信息引导实际环境中设备或零部件的操作，操作过程中远程终端可直接获取到对模型进行第一操作的待指导虚拟画面以及操作现场的第一真实画面，并根据第一真实画面对所述待指导虚拟画面进行第一操作的第一操作指导，将第一操作指导实时传输到操作者应用的AR设备。本申请实施例将第一操作指导以虚拟影像显示在操作者面前，犹如和专家面对面交流进行操作指导一般，操作者可直观的被指导操作，使指导信息得到了更加有效的传达。本申请实施例在获取操作设备或零部件的技术资料时无需翻阅纸质资料或专家到现场指导，从而降低设备或零部件技术资料的获取成本以及降低操作设备或零部件时的环境影响。本申请实施例改进了传统的操作方式，能够以低成本、智能化方式解决问题。

请参阅图2，本申请实施例提供应用于AR眼镜的基于AR***的操作指导方法具体如下。

步骤202，对画面内容为待操作设备或零部件的图片进行扫描，获得所述图片中待操作设备或零部件对应的模型以及所述模型的操作说明。

当操作者在操作过程中遇到问题需要向专家请教操作指导时，可以将当前的操作现场传送给专家，以寻求操作指导。在本实施例中，操作者可以通过AR眼镜中的摄像头对对画面内容为待操作设备或零部件的图片进行扫描，获得所述图片中待操作设备或零部件对应的模型。

在一个实施例中，AR眼镜可以存储有模型库，该模型库包括标识、设备或零部件模型、模型操作说明的对应关系，AR眼镜对画面内容为待操作设备或零部件的图片进行画面识别，识别出所述待操作设备或零部件的标识。

AR眼镜可以在模型库包括的对应关系中查找所述待操作设备或零部件的标识，以确定所述待操作设备或零部件的标识对应的模型、该模型的操作说明。AR眼镜查找到所述待操作设备或零部件的标识对应的模型及操作说明后，显示查找到的模型及操作说明。其中，操作说明为对该模型进行操作的指导说明，例如对该模型进行操作过程中的每一画面、文字或语音说明、注意事项等。

步骤204，接收展示所述操作说明的手势指令，依据所述操作说明展示对所述模型进行每一操作之前的第一操作虚拟画面，并从所述第一操作虚拟画面中获取对所述模型进行第一操作的待指导虚拟画面；获取操作现场的第一真实画面，发送所述待指导虚拟画面以及第一真实画面；其中，所述待指导虚拟画面为对所述模型进行第一操作之前的虚拟画面。

当AR眼镜通过摄像头检测到操作者的预设确认手势时，确认接收到展示所述操作说明的手势指令。然后依据所述操作说明展示对所述模型进行每一操作之前的第一操作虚拟画面。在一个示例中，AR眼镜还会依据所述操作说明展示对所述模型进行每一操作之时的第二操作虚拟画面、和/或进行每一操作之后的第三操作虚拟画面。

当操作者在操作过程中进行第一操作时遇到问题需要向专家请教操作指导，可以向专家使用的PC终端发起连接请求，寻求专家的指导。具体的，当接收到用于发送连接请求的第一手势/语音指令时，发送连接请求至PC终端，当接收到PC终端基于所述连接请求返回的响应时，与该PC终端建立通信连接。

然后，AR眼镜可以从所述第一操作虚拟画面中获取对所述模型进行第一操作的待指导虚拟画面，并通过摄像头对操作现场进行拍摄，获得第一真实画面。AR眼镜再将待指导虚拟画面以及第一真实画面传送给专家应用的PC终端，寻求专家操作指导。在此可以看出，第一真实画面是对操作现场进行拍摄得到的，而操作现场是在对待操作设备或零部件进行第一操作时的现场，因此第一真实画面与待指导虚拟画面是对应关系，即第一真实画面是待指导虚拟画面的真实现场。

步骤206，接收根据所述第一真实画面对所述待指导虚拟画面进行第一操作的第一操作指导。

当专家根据第一真实画面作出如何进行第一操作的过程后，可以依据此过程通过PC终端对待指导虚拟画面进行第一操作，生成第一操作指导。然后PC终端将第一操作指导发送给AR眼镜。AR眼镜接收并显示该第一操作指导，以指导操作者在操作现场对待操作设备或零部件进行第一操作。

在一个实施例中，PC端可以将第一操作指导实时专发送给AR眼镜，即专家通过PC终端对待指导虚拟画面进行第一操作的过程可以实时发送给AR眼镜。这样操作者可以通过AR眼镜实时观看专家进行第一操作的过程，提高了指导效率。

可选的，AR眼镜还向所述终端设备发送对所述第一操作进行操作问题描述的语音信息。在实施中，为能使专家更好地了解操作者的问题，操作者可以对执行第一操作产生的操作问题进行语音描述，然后将该语音描述实时发送给PC终端。PC终端接收并播放该语音描述，以使专家更好地了解操作者的问题。

本申请实施例通过扫描图像获取相应的模型，通过和实际环境融合，用虚拟信息指导实际零部件的操作，能够通过体感交互的方式快速获取操作指导，并通过实时画面传输以获取专家指导。本申请实施例将第一操作指导以虚拟影像显示在操作者面前，犹如和专家面对面交流进行操作指导一般，操作者可直观的被指导操作，使指导信息得到了更加有效的传达。本申请实施例在获取操作设备或零部件的技术资料时无需翻阅纸质资料或专家到现场指导，从而降低设备或零部件技术资料的获取成本以及降低操作设备或零部件时的环境影响。本申请实施例改进了传统的操作方式，能够以低成本、智能化方式解决问题。

请参阅图3，本申请实施例提供应用于终端设备(以下以PC终端为例)的基于AR***的操作指导方法具体如下。

步骤302，接收AR(以下以AR眼镜为例)设备发送的待指导虚拟画面以及操作现场的第一真实画面，其中，所述待指导虚拟画面为对待操作设备或零部件对应的模型进行第一操作之前的虚拟画面。

当操作者在操作过程中进行第一操作时遇到问题需要向专家请教操作指导，可以获取对所述模型进行第一操作的待指导虚拟画面以及操作现场的第一真实画面，并将待指导虚拟画面以及第一真实画面传送给专家应用的PC终端，寻求专家操作指导。在此可以看出，第一真实画面是对操作现场进行拍摄得到的，而操作现场是在对待操作设备或零部件进行第一操作时的现场，因此第一真实画面与待指导虚拟画面是对应关系，即第一真实画面是待指导虚拟画面的真实现场。

步骤304，根据所述第一真实画面，生成对所述待指导虚拟画面进行第一操作的第一操作指导。

当专家根据第一真实画面作出如何进行第一操作的过程后，可以依据此过程通过PC终端对待指导虚拟画面进行第一操作，生成第一操作指导。

在一个实施例中，可以通过如下方式生成第一操作指导：PC终端显示所述待指导虚拟画面，并对所述待指导虚拟画面进行第一操作的操作过程进行标记，生成第一操作指导。

在另一个实施例中，可以通过如下方式生成第一操作指导：PC终端获取对所述待指导虚拟画面进行第一操作时的操作过程，将所述操作过程作为第一操作指导。在此种方式中，PC终端可以直接从本地云资源库中选中第一操作指导，并将该第一操作指导传送给AR眼镜。其中，云资源库中可以存储有对各模型的操作说明，还可以存储有设备或零件的模型、图像等。当然，云资源库也可以存储在云端或其他设备上，本申请不作特别限定。

步骤306，发送所述第一操作指导。

专家可以通过PC终端将第一操作指导发送给AR眼镜。AR眼镜接收并显示该第一操作指导，以指导操作者在操作现场对待操作设备或零部件进行第一操作。

在一个实施列中，图3所示方法还可以包括步骤308和310。

步骤308，接收依据所述第一操作指导对所述待操作设备或零部件进行第一操作的第二真实画面。

操作者通过AR眼镜观看到第一操作指导后，可以在操作现场对待操作设备或零部件进行第一操作，然后AR眼镜通过摄像头获取依据所述第一操作指导对所述待操作设备或零部件进行第一操作的第二真实画面，然后AR眼镜将所述第二真实画面发送至PC终端。PC终端接收并显示该第二真实画面。

步骤310，依据所述第二真实画面，生成对所述第二真实画面进行操作的第二操作指导。

专家通过PC终端观看到该第二真实画面后，可以依据所述第二真实画面生成第二操作指导，并将该第二操作指导发送到AR眼镜。该第二操作指导可以是对操作者执行第一操作的建议，以指导操作者更好地执行第一操作。例如若操作者执行第一操作时未注意到某些事项，或执行错误，专家均可以通过PC终端将操作建议携带在第二操作指导中发达给AR眼镜。

为能更好地理解本申请实施例提供的方案，以下以一具体的实施例进行说明。本实施例应用场景的组网如图4所示，包括AR眼镜和PC终端，以下以对零部件进行装配为例进行说明。

步骤401、操作者带上AR眼镜，并拿出待装配零部件的图片和装配的零部件，作出启动手势。当AR眼镜通过摄像头检测该启动手势时，启动AR眼镜中，此时AR眼镜视野呈现扫描图片提示。通过AR眼镜扫描待装配零部件的图片，AR眼镜视野中出现装配的零部件3D模型以及操作说明，其中，该操作说明可以包括装配动画。操作者进入到场景默认看到对待配置零部件的第一步操作步骤，并默认听到第一操作步骤的语音提示。

步骤402、操作者可以将视线焦点聚焦到“下一步”的按钮上，作出预设确认手势，AR眼镜通过摄像头检测到操作者的预设确认手势时，确认接收到展示操作说明的手势指令，进入第二步。

步骤403、AR眼镜会依据操作说明展示对模型进行每一操作之前的第一操作虚拟画面、每一操作之时的第二操作虚拟画面和进行每一操作之后的第三操作虚拟画面。即操作者会看到每一装配步骤的操作虚拟画面、文字提示和语音提示，同时会显示装配过程中可能出现的注意事项。

操作者可以按照步骤402的交互方式进入到操作说明后面的步骤，通过每一步引导信息指导操作过程，所有的操作过程实时同步至专家端。

步骤404、当操作者在操作过程中遇到问题需要向专家请教操作指导时，可以选择连接远程专家，向专家使用的PC终端发起连接请求。操作者将视线焦点聚焦在“连接专家”的按钮上，作出预设确认手势，确认连接远程专家，同时“连接专家”按钮变成红色的“取消连接”按钮。具体的，AR眼镜通过摄像头检测到操作者的预设确认手势时，向PC端发送连接请求。当接收到PC终端基于所述连接请求返回的响应时，与该PC终端建立通信连接。

步骤405、连接完成后AR眼镜会将真实画面和虚拟画面同步传输至专家端，操作端和专家端之间可以通过语音的方式进行交流沟通。即AR眼镜还向PC终端发送对所述第一操作进行操作问题描述的语音信息。步骤406、专家通过PC终端显示真实画面和虚拟画面。其中PC终端还可以显示专家可操作的“云资源”、“标记”、“删除标记”的UI界面。

步骤407、专家通过PC终端接收选择的“标记”按钮，在标记状态下，可以标记画面中要标记的地方，以对每个步骤进行标记，生成操作指导。具体的，可以在虚拟画面中在执行第一操作时的第一个地方进行标记：“1”，以表示进行第一操作时的步骤1。然后对执行第二操作时的第二个地方进行标记：“2”，以表示进行第一操作时的步骤2。以此类推，标记完一个地方可后再对下一个地方进行标记，标记的路线以及标识也会实时传输到AR眼镜，操作者可以通过AR眼镜看到专家标记的地方，进行可视化指导装配。

当然，专家也可以通过PC终端选择“删除标记”按钮，删除画面中的所有标记，同样删除画面中标记也会传输至AR眼镜。

专家还可以通过PC终端选择云资源，云资源中可以存储有对各模型的操作说明，还可以存储有设备或零件的3D模型、图像等。专家可以通过PC终端选择这些资源，点击“上传”按钮，将资源上传，供操作者查看。

应当理解的是，操作者通过AR眼镜接收到专家上传的云资源后，会弹出“查看”或者“取消”UI界面，操作者将视线焦点聚焦“查看”或者“取消”按钮，当AR眼镜检测到预设手势时，选择“查看”，AR眼镜会显示传过来的资料。

具体的，操作者将视线焦点聚焦在“云资源”按钮上，当AR眼镜检测到预设打开手势时，打开云资源菜单，会呈现出云资源列表，列表中显示的是专家上传的云资源，操作者可以通过查看云资源，指导操作。

步骤408、操作者不再需要专家帮助时，操作者将视线焦点聚焦“取消连接”按钮，AR眼镜通过摄像头检测到操作者的预设确认手势时，选中“取消连接”，结束专家请求，如果需要二次请求专家，采用之前步骤404的操作方式进行操作。

请参阅图5，本申请实施例还提供一种基于AR***的操作指导装置，所述装置包括：扫描单元500、第一发送单元501和第一接收单元502。

扫描单元500，用于对画面内容为待操作设备或零部件的图片进行扫描，获得所述图片中待操作设备或零部件对应的模型；

第一发送单元501，用于获取对所述模型进行第一操作的待指导虚拟画面以及操作现场的第一真实画面，发送所述待指导虚拟画面以及第一真实画面；其中，所述待指导虚拟画面为对所述模型进行第一操作之前的虚拟画面；

第一接收单元502，用于接收根据所述第一真实画面对所述待指导虚拟画面进行第一操作的第一操作指导。

可选的，所述扫描单元500，具体用于：

对画面内容为待操作设备或零部件的图片进行画面识别，识别出所述待操作设备或零部件的标识；

根据所述标识，从预设的模型库中确定所述标识对应模型。

可选的，所述基于AR***的操作指导装置中的扫描单元还用于：获得所述模型的操作说明；则所述第一发送单元501，具体用于：接收展示所述操作说明的手势指令，依据所述操作说明展示对所述模型进行每一操作之前的第一操作虚拟画面，并从所述第一操作虚拟画面中获取对所述模型进行第一操作的待指导虚拟画面。

可选的，所述第一发送单元501，还用于：所述依据所述操作说明展示对所述模型进行每一操作之时的第二操作虚拟画面、和/或进行每一操作之后的第三操作虚拟画面；和/或，

发送对所述第一操作进行操作问题描述的语音信息。

可选的，所述基于AR***的操作指导装置的第一发送单元501，还用于：获取依据所述第一操作指导对所述待操作设备或零部件进行第一操作的第二真实画面，发送所述第二真实画面；

所述基于AR***的操作指导装置的第一接收单元501，还用于：接收依据所述第二真实画面发送的第二操作指导。

请参阅图6，本申请实施例还提供一种基于AR***的操作指导装置，所述装置包括：第二接收单元600、生成单元601、第二发送单元602。

第二接收单元600，用于接收待指导虚拟画面以及操作现场的第一真实画面，其中，所述待指导虚拟画面为对待操作设备或零部件对应的模型进行第一操作之前的虚拟画面；

生成单元601，用于根据所述第一真实画面，生成对所述待指导虚拟画面进行第一操作的第一操作指导；

第二发送单元602，用于发送所述第一操作指导。

可选的，所述基于AR***的操作指导装置的第二接收单元600，还用于：接收依据所述第一操作指导对所述待操作设备或零部件进行第一操作的第二真实画面；

所述基于AR***的操作指导装置的生成单元601，还用于：依据所述第二真实画面，生成对所述第二真实画面进行操作的第二操作指导。

可选的，所述生成单元601，具体用于：

显示所述待指导虚拟画面，并对所述待指导虚拟画面进行第一操作的操作过程进行标记，生成第一操作指导；或

获取对所述待指导虚拟画面进行第一操作时的操作过程，将所述操作过程作为第一操作指导。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括非暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

如在说明书及权利要求当中使用了某些词汇来指称特定组件。本领域技术人员应可理解，硬件制造商可能会用不同名词来称呼同一个组件。本说明书及权利要求并不以名称的差异来作为区分组件的方式，而是以组件在功能上的差异来作为区分的准则。如在通篇说明书及权利要求当中所提及的“包含”为一开放式用语，故应解释成“包含但不限定于”。“大致”是指在可接收的误差范围内，本领域技术人员能够在一定误差范围内解决所述技术问题，基本达到所述技术效果。此外，“耦接”一词在此包含任何直接及间接的电性耦接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表所述第一装置可直接电性耦接于所述第二装置，或通过其他装置或耦接手段间接地电性耦接至所述第二装置。说明书后续描述为实施本申请的较佳实施方式，然所述描述乃以说明本申请的一般原则为目的，并非用以限定本申请的范围。本申请的保护范围当视所附权利要求所界定者为准。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的商品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的商品或者***中还存在另外的相同要素。

上述说明示出并描述了本发明的若干优选实施例，但如前所述，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (10)

1.一种基于AR***的操作指导方法，其特征在于，所述方法包括：

对画面内容为待操作设备或零部件的图片进行扫描，获得所述图片中待操作设备或零部件对应的模型；

获取对所述模型进行第一操作的待指导虚拟画面以及操作现场的第一真实画面，发送所述待指导虚拟画面以及第一真实画面；其中，所述待指导虚拟画面为对所述模型进行第一操作之前的虚拟画面；

接收根据所述第一真实画面对所述待指导虚拟画面进行第一操作的第一操作指导。

2.根据权利要求1所述的方法，其特征在于，所述对画面内容为待操作设备或零部件的图片进行扫描，获得所述图片中待操作设备或零部件对应的模型，包括：

对画面内容为待操作设备或零部件的图片进行画面识别，识别出所述待操作设备或零部件的标识；

根据所述标识，从预设的模型库中确定所述标识对应模型。

3.根据权利要求1所述的方法，其特征在于，在获得所述图片中待操作设备或零部件对应的模型时，还包括：获得所述模型的操作说明；则所述获取对所述模型进行第一操作的待指导虚拟画面包括：

接收展示所述操作说明的手势指令，依据所述操作说明展示对所述模型进行每一操作之前的第一操作虚拟画面，并从所述第一操作虚拟画面中获取对所述模型进行第一操作的待指导虚拟画面。

4.根据权利要求3所述的方法，其特征在于，还包括：所述依据所述操作说明展示对所述模型进行每一操作之时的第二操作虚拟画面、和/或进行每一操作之后的第三操作虚拟画面；和/或，

发送对所述第一操作进行操作问题描述的语音信息。

5.根据权利要求1所述的方法，其特征在于，还包括：

获取依据所述第一操作指导对所述待操作设备或零部件进行第一操作的第二真实画面，发送所述第二真实画面发送；

接收依据所述第二真实画面发送的第二操作指导。

6.一种基于AR***的操作指导方法，其特征在于，所述方法包括：

接收待指导虚拟画面以及操作现场的第一真实画面，其中，所述待指导虚拟画面为对待操作设备或零部件对应的模型进行第一操作之前的虚拟画面；

根据所述第一真实画面，生成对所述待指导虚拟画面进行第一操作的第一操作指导；

发送所述第一操作指导。

7.根据权利要求6所述的方法，其特征在于，还包括：

接收依据所述第一操作指导对所述待操作设备或零部件进行第一操作的第二真实画面；

依据所述第二真实画面，生成对所述第二真实画面进行操作的第二操作指导。

8.根据权利要求6所述的方法，其特征在于，所述生成对所述待指导虚拟画面进行第一操作的第一操作指导，包括：

显示所述待指导虚拟画面，并对所述待指导虚拟画面进行第一操作的操作过程进行标记，生成第一操作指导；或

获取对所述待指导虚拟画面进行第一操作时的操作过程，将所述操作过程作为第一操作指导。

9.一种基于AR***的操作指导装置，其特征在于，所述装置包括：

扫描单元，用于对画面内容为待操作设备或零部件的图片进行扫描，获得所述图片中待操作设备或零部件对应的模型；

第一发送单元，用于获取对所述模型进行第一操作的待指导虚拟画面以及操作现场的第一真实画面，发送所述待指导虚拟画面以及第一真实画面；其中，所述待指导虚拟画面为对所述模型进行第一操作之前的虚拟画面；

第一接收单元，用于接收根据所述第一真实画面对所述待指导虚拟画面进行第一操作的第一操作指导。

10.一种基于AR***的操作指导装置，其特征在于，应用于网络设备，所述装置包括：

第二接收单元，用于接收待指导虚拟画面以及操作现场的第一真实画面，其中，所述待指导虚拟画面为对待操作设备或零部件对应的模型进行第一操作之前的虚拟画面；

生成单元，用于根据所述第一真实画面，生成对所述待指导虚拟画面进行第一操作的第一操作指导；

第二发送单元，用于发送所述第一操作指导。