CN115334274A - 一种基于增强现实的远程协助的方法及装置 - Google Patents

Abstract

本发明公开了一种基于增强现实的远程协助的方法及装置，具体包括以下步骤：步骤一、眼镜端设定；步骤二、服务端设定；步骤三、视频对接，本发明涉及工业产品检修技术领域。该基于增强现实的远程协助的方法及装置，利用AR眼镜作为主体，有效解放双手的同时，利用双目语言摄像头进行画面的摄取，配合服务端的设置，构成操作***，实现近端现场画面和远端展示画面的有效同步，并且扬声器和麦克风的设置下，为近端和远端的沟通提供便捷调节，同时利用手部建模的方式，对手部关节进行关键点标识，保证操作过程中的有效监督，利用对手势的捕捉，实现对画面的控制，自动化程度高的同时，为AR眼镜的穿戴者提供更为便捷的操作环境。

Description

一种基于增强现实的远程协助的方法及装置

技术领域

本发明涉及工业产品检修技术领域，具体为一种基于增强现实的远程协助的方法及装置。

背景技术

伴随着科技的进步制造业等领域对专业技工的技能要求越来越高，软硬件作为互联网技术发展中主要的支撑，如今已经渗透到了各行各业中，特别一些专门提供软件或硬件技术支持的企业，专家资源是稀缺资源，专业技能需要时间沉淀。另外，不管是因为偶发性的事件，还是常态性的事件影响，出差经常受到时间、空间的限制，导致服务专家很难在第一时间赶赴现场。

在当下日益变化的环境中，更需要通过高效的服务模式和技术产品来维护客户关系，比如在一些技术型公司在服务客户过程会派遣技术人员驻场运维，尽管这样给客户带来不错的服务体验，但是极大增加了企业的运营成本，而一些通过远程协助的方式来解决远程技术问题的公司，不仅保障了客户对于技术处理的时效要求，提高满意度，还能够帮助企业降低企业成本。

工业现场维修或装配中，一线操作人员常遇到技术障碍，而技术专家往往都在远端，协作较难，影响工作效率，严重时甚至造成“停工”等风险，直接影响企业经济效益。

传统远程协助的方法如手机，ipad等智能设备都需要手持操作无法解放双手，在绝大多数维修维护场景中，解放双手是非常有必要的并且服务的过程中，缺乏有效的过程监督手段，因此很难评判现场作业过程或远程指导过程是否标准，难以发现服务过程中的问题，并且传统远程协助的方法，会遇到轻重问题难区分，电话描述易误解，标记位置难描述，交互记录无存档等问题。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种基于增强现实的远程协助的方法及装置，解决了传统远程协助方法中，往往无法解放双手，并且缺乏有效过程监督手段的问题。

(二)技术方案

为实现上述目的，本发明提供了如下技术方案：一种基于增强现实的远程协助的方法，具体包括以下步骤：

步骤一、眼镜端设定：以AR眼镜为主体，内置光学显示模组进行成像展示，在眼镜上装配双目语言摄像头，AR眼镜中设置光机，并且内嵌矢量处理器，与服务端对接，构成操作***后，在AR眼镜上设置扬声器和麦克风，用于进行声音交互；

步骤二、服务端设定：服务端接收双目语言摄像头摄取画面，在AR眼镜中通过光波导成像进行展示，同时进行手部建模，将手部关节作为关键点进行标记，在双目语言摄像头摄取画面中，对手部进行动作时的关键点进行捕捉；

步骤三、视频对接：近端人员佩戴AR眼镜，并确定联网后，向远端发起视频请求，远端工程师同意视频请求后，建立视频通话，近端人员佩戴AR眼镜进行现场操作，双目语言摄像头将现场画面实时传输到远端工程师佩戴的AR眼镜中，此时远端工程师根据实时传输画面进行手部动作，远端工程师佩戴的AR眼镜上的双目语言摄像头捕捉工程师手部动作，通过服务端传输到近端人员佩戴的AR眼镜中进行展示。

通过采用上述技术方案，利用AR眼镜作为主体，有效解放双手的同时，利用双目语言摄像头进行画面的摄取，配合服务端的设置，构成操作***，实现近端现场画面和远端展示画面的有效同步，并且扬声器和麦克风的设置下，为近端和远端的沟通提供便捷调节，同时利用手部建模的方式，对手部关节进行关键点标识，保证操作过程中的有效监督。

本发明进一步设置为：所述步骤二中进行手部建模时，服务端预设定不同手势与画面控制的映射关系，根据双目语言摄像头摄取画面中的手部手势，对摄取画面进行播放控制，其中画面的播放控制包含但不限于画面放大、画面拉近、画面暂停。

通过采用上述技术方案，利用对手势的捕捉，实现对画面的控制，自动化程度高的同时，为AR眼镜的穿戴者提供更为便捷的操作环境。

本发明进一步设置为：所述步骤三的视频通话建立完成后，建立近端AR眼镜和远端AR眼镜上扬声器和麦克风的声音交互通道。

本发明进一步设置为：所述步骤三中的近端AR眼镜摄取画面数据、近端与远端进行交互的全程数据存储在服务端中。

通过采用上述技术方案，通过对交互数据的存储，将现场处置问题的方案和经验快速有效的转化成实际操作教程，从而避免新人培训停留在理论配合和基础操作培训上，实际操作培训不足的情况，交互数据以视频形式存储，作为教学素材可以更好的指导更多人员，为企业内部管理、员工满意度及未来成长空间提供更多可能性。

本发明进一步设置为：所述步骤一中的AR眼镜预装离线免唤醒语音操控功能。

本发明进一步设置为：所述步骤一中的AR眼镜上设置物理按钮，用于进行快捷触控操作。

本发明进一步设置为：所述步骤一中内置的光学显示模组采用光波导技术进行成像。

本发明还公开了一种基于增强现实的远程协助的方法的装置，包括：

AR眼镜，作为穿戴载体，佩戴于眼睛前方；

双目语言摄像头，用于进行画面的摄取，并将摄影画面的视频数据进行数据转换后传送到矢量处理器中；

矢量处理器，用于接收双目语言摄像头传输的转换后的视频数据，传输到光学显示模组中；

光学显示模组，用于采用光波导技术将转换后的视频数据在AR眼镜中进行画面的播放；

麦克风，用于进行语音信号的接收；

扬声器，用于进行语音信号的播放。

(三)有益效果

本发明提供了一种基于增强现实的远程协助的方法及装置。具备以下有益效果：

(1)该基于增强现实的远程协助的方法及装置，通过利用AR眼镜作为主体，有效解放双手的同时，利用双目语言摄像头进行画面的摄取，配合服务端的设置，构成操作***，实现近端现场画面和远端展示画面的有效同步，并且扬声器和麦克风的设置下，为近端和远端的沟通提供便捷调节，同时利用手部建模的方式，对手部关节进行关键点标识，保证操作过程中的有效监督。

(2)该基于增强现实的远程协助的方法及装置，通过利用对手势的捕捉，实现对画面的控制，自动化程度高的同时，为AR眼镜的穿戴者提供更为便捷的操作环境。

(3)该基于增强现实的远程协助的方法及装置，通过对交互数据的存储，将现场处置问题的方案和经验快速有效的转化成实际操作教程，从而避免新人培训停留在理论配合和基础操作培训上，实际操作培训不足的情况，交互数据以视频形式存储，作为教学素材可以更好的指导更多人员，为企业内部管理、员工满意度及未来成长空间提供更多可能性。

(4)该基于增强现实的远程协助的方法及装置，通过AR眼镜进行近端和远端视频画面的统一展示，实现以远程协助的方式来解决近端问题，从而避免传统企业生产经营活动中，如遇现场人员解决不了，需远程专家协作时，往往会带来交通、住宿、人工等成本，并且一旦现场问题造成停工等情况，等待时间会对企业造成巨大经济损失的问题。

(5)该基于增强现实的远程协助的方法及装置，在近端遇到问题时，通过佩戴AR眼镜，在第一时间和工程师进行线上协作处置，减少了因为维修不及时、不专业造成的退换货损失，提高客户满意度，品牌形象提升。

(6)该基于增强现实的远程协助的方法及装置，通过AR眼镜以第一视角进行音视频通讯，便于远端工程师准确获取现场、设备情况，在实物上标注指导信息，从而有效指导近端作业人员。

附图说明

图1为本发明的***原理框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明实施例提供一种技术方案：一种基于增强现实的远程协助的方法，具体包括以下步骤：

步骤一、眼镜端设定：以AR眼镜为主体，内置光学显示模组采用光波导技术进行成像展示，在眼镜上装配双目语言摄像头，AR眼镜中设置光机，并且内嵌矢量处理器，与服务端对接，构成操作***后，在AR眼镜上设置扬声器和麦克风，用于进行声音交互；

步骤二、服务端设定：服务端接收双目语言摄像头摄取画面，在AR眼镜中通过光波导成像进行展示，同时进行手部建模，将手部关节作为关键点进行标记，在双目语言摄像头摄取画面中，对手部进行动作时的关键点进行捕捉；

步骤三、视频对接：近端人员佩戴AR眼镜，并确定联网后(其中网络以5G为主，保证数据的传输速度)，向远端发起视频请求，远端工程师同意视频请求后，建立视频通话，近端人员佩戴AR眼镜进行现场操作，双目语言摄像头将现场画面实时传输到远端工程师佩戴的AR眼镜中，此时远端工程师根据实时传输画面进行手部动作，远端工程师佩戴的AR眼镜上的双目语言摄像头捕捉工程师手部动作，通过服务端传输到近端人员佩戴的AR眼镜中进行展示。

作为优选方案，步骤一中的AR眼镜预装离线免唤醒语音操控功能，进一步说明，预装功能的设计，给一线工人带来操作上的便利，从而实现各类问题的快速处置，有效提高了团队协作能力。

作为优选方案，步骤一中的AR眼镜上设置物理按钮，用于进行快捷触控操作。

作为优选方案，步骤二中进行手部建模时，服务端预设定不同手势与画面控制的映射关系，根据双目语言摄像头摄取画面中的手部手势，对摄取画面进行播放控制，进一步说明，采用双目语言摄像头可对双手实现毫秒级检测和追踪，在手部建模时，对单手做21个关键点标记，单根手指4个关节标记点，可精准识别手势，实现指关节微动的细节捕捉，从而保证远程协作信息的精准传递。

作为优选方案，步骤三的视频通话建立完成后，建立近端AR眼镜和远端AR眼镜上扬声器和麦克风的声音交互通道。

作为优选方案，为了实现教学素材的收集，步骤三中的近端AR眼镜摄取画面数据、近端与远端进行交互的全程数据存储在服务端中，进一步说明，交互数据即协作视频可作为教学素材指导更多人员，为企业内部管理、员工满意度及未来成长空间提供更多可能性。

进一步说明，服务端的数据库及文件服务器全部采用HA机制，即主备工作模式确保数据的安全性和完整性，使用Redis缓存机制，响应速度快，数据查找和操作时间大幅减少，并支持丰富的数据类型。

进一步的说明，在遇棘手的问题时，支持多达数十方的远端AR眼镜进行实时联合会诊，让现场棘手问题第一时间得到解决，为企业减低损失。

上述的一种基于增强现实的远程协助的方法的装置，包括：

AR眼镜，作为穿戴载体，佩戴于眼睛前方；

双目语言摄像头，用于进行画面的摄取，并将摄影画面的视频数据进行数据转换后传送到矢量处理器中；

矢量处理器，用于接收双目语言摄像头传输的转换后的视频数据，传输到光学显示模组中；

光学显示模组，用于采用光波导技术将转换后的视频数据在AR眼镜中进行画面的播放；

麦克风，用于进行语音信号的接收；

扬声器，用于进行语音信号的播放。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于增强现实的远程协助的方法，其特征在于：具体包括以下步骤：

步骤一、眼镜端设定：以AR眼镜为主体，内置光学显示模组进行成像展示，在眼镜上装配双目语言摄像头，AR眼镜中设置光机，并且内嵌矢量处理器，与服务端对接，构成操作***后，在AR眼镜上设置扬声器和麦克风，用于进行声音交互；

步骤二、服务端设定：服务端接收双目语言摄像头摄取画面，在AR眼镜中通过光波导成像进行展示，同时进行手部建模，将手部关节作为关键点进行标记，在双目语言摄像头摄取画面中，对手部进行动作时的关键点进行捕捉；

步骤三、视频对接：近端人员佩戴AR眼镜，并确定联网后，向远端发起视频请求，远端工程师同意视频请求后，建立视频通话，近端人员佩戴AR眼镜进行现场操作，双目语言摄像头将现场画面实时传输到远端工程师佩戴的AR眼镜中，此时远端工程师根据实时传输画面进行手部动作，远端工程师佩戴的AR眼镜上的双目语言摄像头捕捉工程师手部动作，通过服务端传输到近端人员佩戴的AR眼镜中进行展示。

2.根据权利要求1所述的一种基于增强现实的远程协助的方法，其特征在于：所述步骤二中进行手部建模时，服务端预设定不同手势与画面控制的映射关系，根据双目语言摄像头摄取画面中的手部手势，对摄取画面进行播放控制。

3.根据权利要求1所述的一种基于增强现实的远程协助的方法，其特征在于：所述步骤三的视频通话建立完成后，建立近端AR眼镜和远端AR眼镜上扬声器和麦克风的声音交互通道。

4.根据权利要求1所述的一种基于增强现实的远程协助的方法，其特征在于：所述步骤三中的近端AR眼镜摄取画面数据、近端与远端进行交互的全程数据存储在服务端中。

5.根据权利要求1所述的一种基于增强现实的远程协助的方法，其特征在于：所述步骤一中的AR眼镜预装离线免唤醒语音操控功能。

6.根据权利要求1所述的一种基于增强现实的远程协助的方法，其特征在于：所述步骤一中的AR眼镜上设置物理按钮，用于进行快捷触控操作。

7.根据权利要求1所述的一种基于增强现实的远程协助的方法，其特征在于：所述步骤一中内置的光学显示模组采用光波导技术进行成像。

8.一种基于增强现实的远程协助的方法的装置，其特征在于：包括：

AR眼镜，作为穿戴载体，佩戴于眼睛前方；

双目语言摄像头，用于进行画面的摄取，并将摄影画面的视频数据进行数据转换后传送到矢量处理器中；

矢量处理器，用于接收双目语言摄像头传输的转换后的视频数据，传输到光学显示模组中；

光学显示模组，用于采用光波导技术将转换后的视频数据在AR眼镜中进行画面的播放；

麦克风，用于进行语音信号的接收；

扬声器，用于进行语音信号的播放。

Images