CN116402497B - 基于ar的设备检修维护方法及*** - Google Patents

基于ar的设备检修维护方法及*** Download PDF

Info

Publication number
CN116402497B
CN116402497B CN202310672525.9A CN202310672525A CN116402497B CN 116402497 B CN116402497 B CN 116402497B CN 202310672525 A CN202310672525 A CN 202310672525A CN 116402497 B CN116402497 B CN 116402497B
Authority
CN
China
Prior art keywords
equipment
overhauled
glasses
overhaul
remote
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310672525.9A
Other languages
English (en)
Other versions
CN116402497A (zh
Inventor
车啸平
李芮萱
曲晨鑫
常恩耀
刘海明
邸晓飞
苏景昕
张仲为
郭宇
林秝
苑博韬
陈文杰
郭昕
宋军
曾冰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Weein Software Technology Co ltd
Beijing Jiaotong University
Original Assignee
Beijing Weein Software Technology Co ltd
Beijing Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Weein Software Technology Co ltd, Beijing Jiaotong University filed Critical Beijing Weein Software Technology Co ltd
Priority to CN202310672525.9A priority Critical patent/CN116402497B/zh
Publication of CN116402497A publication Critical patent/CN116402497A/zh
Application granted granted Critical
Publication of CN116402497B publication Critical patent/CN116402497B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/20Administration of product repair or maintenance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Quality & Reliability (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明实施例提供基于AR的设备检修维护方法及***,涉及AR设备技术领域,其中,该方法包括:AR眼镜扫描并获取待检修设备的三维数据;利用三维识别算法对所述三维数据进行识别处理,根据所述待检修设备的型号获取所述待检修设备的检修指导信息;以所述AR眼镜的摄像头为中心,计算所述AR眼镜和所述待检修设备的相对位置;根据所述相对位置确定虚拟界面的显示位置,并在所述显示位置上将所述虚拟界面和所述待检修设备进行虚实叠加显示,在所述虚拟界面中以所述待检修设备为中心显示所述检修指导信息。由于该方案通过三维识别算法,因而避免提前对物体进行标识,提高了待检修设备的维修效率。

Description

基于AR的设备检修维护方法及***
技术领域
本发明涉及AR设备技术领域,特别涉及一种基于AR的设备检修维护的方法及***。
背景技术
在设备日常运维工作中,经常对多种设备进行维护、维修和抢修,技术人员需要大量的维修维护、故障处理经验,并且由于技术人员需要维修设备的时间、地点等因素并不确定,常规的方法难以提供高效便捷的维修指导支持。
公开号为“CN206672041U”的专利文献公开了“一种基于增强现实的矿用设备智能巡检和维护辅助***”,其针对矿用设备,需要事先对设备所处环境进行扫描以提取场景特征用于后续工作人员佩戴AR眼镜时匹配以定位设备,适用于矿用设备所在的矿井环境变化少、且矿用设备不易移动等情形,然而现实中,很多需要被检修维护的设备所在的环境事先并不能确定,其只适用于位置固定且不会发生移动的设备,不能做到在任意场景下对设备的识别与维修指导,致使维修效率较低。
公开号为“CN113393536A”的专利文献公开了“一种基于AR眼镜的远程维护指导***和方法”,其需要复杂的定制的硬件设备支持,如,摄像机需要配备电动云台,借助电动云台才能实现摄像头控制与拍摄中的画面稳定,不具备对待检修设备的自动识别功能,其对人体姿态、移动趋势等的判断也是通过二维图像识别,成本较高且维修效率较低。
发明内容
有鉴于此,本发明实施例提供了一种基于AR的设备检修维护方法,以解决现有技术中使用AR眼镜对待检修设备维修效率较低的技术问题。该方法包括:
第一方面提供一种基于AR的设备检修维护方法,所述方法包括:
基于AR眼镜扫描并获取待检修设备的三维数据;
利用三维识别算法对所述三维数据进行识别处理,输出所述待检修设备的型号,并对所述待检修设备定位,其中,所述三维识别算法已对允许提供检修指导的设备的特征进行学习;
根据所述待检修设备的型号获取所述待检修设备的检修指导信息;
以所述AR眼镜的摄像头为中心,计算所述AR眼镜和所述待检修设备的相对位置;
根据所述相对位置确定虚拟界面的显示位置,并在所述显示位置上将所述虚拟界面和所述待检修设备进行虚实叠加显示,在所述虚拟界面中以所述待检修设备为中心显示所述检修指导信息。
第二方面提供一种基于AR的设备检修维护***,所述***包括:
识别模块,基于AR眼镜扫描并获取待检修设备的三维数据,并利用三维识别算法对所述三维数据进行识别处理,输出所述待检修设备的型号,并对所述待检修设备定位,其中,所述三维识别算法已对允许提供检修指导的设备的特征进行学习;
检修指导数据库模块,用于根据所述待检修设备的型号获取所述待检修设备的检修指导信息;
增强现实显示模块,用于以所述AR眼镜的摄像头为中心,计算所述AR眼镜和所述待检修设备的相对位置,及根据所述相对位置确定虚拟界面的显示位置,并在所述显示位置上将所述虚拟界面和所述待检修设备进行虚实叠加显示,在所述虚拟界面中以所述待检修设备为中心显示所述检修指导信息。
第三方面提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意的基于AR的设备检修维护方法,以解决现有技术中使用AR眼镜对待检修设备维修效率较低的技术问题。
第四方面提供一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述任意的基于AR的设备检修维护方法的计算机程序,以解决现有技术中使用AR眼镜对待检修设备维修效率较低的技术问题。
与现有技术相比,本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括:
能数字化大量设备维护检修的经验和信息,通过实时三维识别算法使得AR眼镜能识别出视野内可以提供检修维护指导的设备,并显示设备相关信息、提供对应的操作维护教程,使工作人员能更好地对设备进行日常的运维,减少返修的次数,节约了维修成本,提高了维护维修效率。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的一种基于AR的设备检修维护方法的流程图;
图2是本发明实施例提供的一种计算机设备的示意图;
图3是本发明实施例提供的一种基于AR的设备检修维护***的示意图。
具体实施方式
下面结合附图对本申请实施例进行详细描述。
以下通过特定的具体实例说明本申请的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本申请的其他优点与功效。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。本申请还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本申请的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
在本发明实施例中,提供了一种基于AR的设备检修维护方法,如图1所示,该方法包括:
S101:基于AR眼镜扫描并获取待检修设备的三维数据;
S102:利用三维识别算法对三维数据进行识别处理,输出待检修设备的型号,并对待检修设备定位,其中,三维识别算法已对允许提供检修指导的设备的特征进行学习。利用三维识别算法进行识别处理,三维识别算法事先已经对可以提供指导的一类或多类设备的特征进行学习(可利用设备的深度图、点云、网格、CAD等不同形式的三维数据进行学习,具体可以根据识别算法选用不同类型的三维数据),可实现随时随地对AR眼镜佩戴者视野范围内的目标设备定位与识别。替代现有技术中通过扫描待检修设备上的条形码或二维码等,对待检修设备进行识别的方式。利用三维识别算法不依赖于事先对设备位置的标记、或是事先对设备所处环境特征的记忆,具有灵活性和实用性,提高对目标设备(即待检修设备)的维修效率。
S103:根据待检修设备的型号获取待检修设备的检修指导信息;
S104:以AR眼镜的摄像头为中心,计算AR眼镜和待检修设备的相对位置,例如,建立三维坐标系,通过三维坐标系计算出相对位置;
S105:根据相对位置确定虚拟界面的显示位置,并在显示位置上将虚拟界面和待检修设备进行虚实叠加显示,在虚拟界面中以待检修设备为中心显示检修指导信息。
该方法在检修人员佩戴AR眼镜时,将通过对周围物体扫描获取其三维数据,利用三维目标识别相关算法实时对周围物体进行识别,判断其是否为该***可以提供检修维护指导的设备,如果是,将通过AR眼镜在待检修设备的对应位置显示相应的画面(即上述虚拟界面),提供相关设备信息介绍、分步骤的图文维修指导,以及可以选择远程连线的设备维修专家,通过AR眼镜在设备旁显示与专家实时沟通的视频流,进行实时维修交流。
由图1所示的流程可知,在本发明实施例中,根据待检修设备的型号获取待检修设备的检修指导信息,包括:
根据待检修设备的型号自动生成对应的SQL查询语句,待检修设备的型号,如,A型号和B型号的电表,通过三维识别算法确定出是A型号;
运行SQL查询语句在数据库中查询并获取待检修设备的检修指导信息,其中,数据库中预先存储有不同设备型号对应的检修指导信息,检修指导信息包括故障信息、维修步骤及可提供远程指导的专家信息,也可通过SQL查询语句从数据库中导出A型号设备信息、故障信息、维修步骤等检修指导信息;
进一步的,基于AR眼镜扫描并获取待检修设备的三维数据,包括:
采集待检修设备的多种数据格式的三维数据,从中输出分辨率或精度最高的一种数据格式所对应的三维数据,具体的:
分别采集待检修设备的深度图、点云、网格、CAD等不同的数据格式的三维数据,输入分辨率或精度最高的数据格式所对应的三维数据被三维识别算法所识别,以提高用于三维识别算法识别的三维数据的准确性、有效性,相对于现有技术中采用单一的二维码的识别或条形码的识别方法,该方法可随时随地对AR眼镜佩戴者视野范围内的目标设备的定位与识别,不依赖于事先对设备位置的标记、或是事先对设备所处环境特征的记忆、或是GPS定位,具有灵活性和实用性,且可以进一步提高识别的准确率。
由图1所示的流程可知,在本发明实施例中,根据相对位置确定虚拟界面的显示位置,并在显示位置上将虚拟界面和待检修设备进行虚实叠加显示,在虚拟界面中以待检修设备为中心显示检修指导信息,包括:
以AR眼镜的摄像头为中心计算出AR眼镜和待检修设备在三维坐标系下的相对位置,例如,建立三维世界坐标系,摄像头的中心作为该三维世界坐标系的原点或是初始点,在获取三维数据的过程中可确定出在三维世界坐标系中AR眼镜与待检修设备在各个方向上的相对位置,如,通过坐标差的方式来确定相对位置;
基于所述相对位置,计算出虚拟界面的所述显示位置,在显示位置上将所述虚拟界面和待检修设备进行虚实叠加显示,虚拟界面至少包括待检修设备说明界面、维修步骤界面及用户选项按钮界面;例如,当识别到待检修设备后,会通过AR眼镜显示定位框叠加在待检修设备上,并以待检修设备为中心,在其上、下、左、右以及待检修设备需要被框选的部件上等合适的、易于用户理解和使用的位置上显示虚拟界面;
在虚拟界面中以待检修设备界面为中心,对待检修设备说明界面、维修步骤界面及用户选项按钮界面进行展开式增强显示。展开式增强显示是指虚拟投影,如,待检修设备在AR眼镜的界面为中心,分别投影出各个说明界面、维修步骤界面或菜单、操作说明、具体设备检修指导教程步骤中对设备部件的标明和指示、用户选项按钮等界面。
由图1所示的流程可知,在本发明实施例中,基于上述内容方法还包括:
在对待检修设备进行检修的过程中,开设线程以AR眼镜的摄像头为中心,实时计算AR眼镜和待检修设备的相对位置,在预设时间段计算出相对位置的变化;
根据相对位置的变化实时调整AR眼镜叠加在待检修设备实物上的虚拟界面的显示位置,具体的:
待维修设备的移动可能造成虚拟界面晃动或显示内容不完整等情况出现,和/或,AR眼镜的携带者自身在操作过程中出现的晃动、移动等行为,也会导致增强显示界面(即虚拟界面)发生晃动或偏移等,进而影响维修效率,因此,为避免上述情况的出现,可以采用非线性函数对虚拟界面的显示位置进行偏差补偿,例如,在世界坐标系下采用双曲线非线性函数实时获取三维坐标系下的坐标原点和待维修设备各自的坐标差,根据预设时间间隔对坐标差进行输出,从而根据坐标差对晃动的虚拟界面的显示位置进行补偿,避免因待维修设备的移动或AR眼镜的晃动干扰待维修设备的维修效率。
由图1所示的流程可知,在本发明实施例中,包括:
在对待检修设备进行检修的过程中,设置实时识别线程,实时识别线程按照预设时间间隔扫描并获取待检修设备的三维数据,并利用三维识别算法对三维数据进行识别处理,为满足要求待维修设备的识别和虚拟界面显示的稳定性的需求,当输出的待检修设备的型号与上述待检修设备的型号不一致时,停止实时识别线程的识别,具体的,对当前某一设备维修完成后,对下个设备进行维修时,停止当前设备的数据输出,开始采集下一个设备的数据,如,对电表和机箱的维修,当对电表维修完成后,AR识别的物体为机箱时,停止电表所述数据的输出和显示,仅对机箱的采集数据进行相关显示。
由图1所示的流程可知,在本发明实施例中,还包括:
基于AR眼镜通过人机交互的方式接收佩戴者对专家界面的操作,响应于操作向对应的专家的远程通讯设备发送远程连接的第一请求;
将通过AR眼镜的摄像头采集的检修现场画面及通过AR眼镜的麦克风采集的检修现场音频携带在第一请求中;
接收远程通讯设备响应第一请求后回传的远程指导画面和远程指导音频;
基于AR眼镜在显示位置上将远程指导画面与虚拟界面和待检修设备进行虚实叠加显示,基于AR眼镜的麦克风对远程指导音频进行实时播放,具体的:不同型号的设备对应不同的专家,对该列表进行界面显示,当AR携带者遇到自身无法解决的问题时,对该列表进行操作,连接对应的专家。
在操作人员在现场操作远程连线,且远程连接成功后,调用麦克风获取现场实时音频,并使用摄像头拍摄到的实时画面,将音频和现场画面视频实时传输给对应专家的远程设备,同时,实时接收远程指导端(即专家的远程设备)传来的实时音视频,及将远程传来的视频画面进行增强显示,如,通过光学投影的方式进行虚拟显示,在待维修设备旁合适的位置进行投影增强显示,以达到实时远程沟通指导效果。
由图1所示的流程可知,在本发明实施例中,还包括:将通过AR眼镜的摄像头采集的检修现场画面及通过AR眼镜的麦克风采集的检修现场音频携带在第一请求中时,分别对检修现场音频和检修现场画面的数据的报头位置添加第一标识,第一标识用于远程通讯设备对AR眼镜的检修现场音频和检修现场画面的数据进行识别;
在接收远程通讯设备响应第一请求后回传的远程指导画面和远程指导音频时,判断远程指导画面和远程指导音频的数据在报尾是否存在第二标识,若是,判断出接收的远程指导画面和远程指导音频的数据是完整的。
具体的,上述第一标识可以是不同形式的标记数据,例如,以全零填充或其他形式的标记数据,远程通讯设备在接收AR眼镜传输的数据时,通过第一标识,能够知晓该AR眼镜传输的数据段的起点,便于快速识别,对于第一标识之前的数据,可以过滤掉或是不进行接收。
上述第二标识用于识别、判断AR眼镜接收远程指导画面和远程指导音频的数据的完整性。第二标识可以是不同形式的标记数据,例如,以全1填充或其他形式进行标记,AR眼镜在接收远程指导画面和远程指导音频时,如,没有识别到第二标识时,持续接收远程通讯设备的数据,直至识别到第二标识,表示数据接收完毕。
进一步的,上述AR眼镜还可以预设有不同频率的数据通道,远程指导画面和远程指导音频通过匹配的对应的数据通道被接收后,分别通过AR眼镜的麦克风和摄像头进行远程指导音频和远程指导画面的播放,避免延迟过高,致使AR眼镜所接收的画面出现卡滞情况,进而提高AR眼镜的使用效率。
在本实施例中,提供了一种计算机设备,如图2所示,包括存储器201、处理器202及存储在存储器上并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述任意的基于AR的设备检修维护方法。
具体的,该计算机设备可以是计算机终端、服务器或者类似的运算装置。
在本实施例中,提供了一种计算机可读存储介质,计算机可读存储介质存储有执行上述任意的基于AR的设备检修维护方法的计算机程序。
具体的,计算机可读存储介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机可读存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读存储介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
基于同一发明构思,本发明实施例中还提供了一种基于AR的设备检修维护***,如下面的实施例。由于基于AR的设备检修维护***解决问题的原理与基于AR的设备检修维护方法相似,因此基于AR的设备检修维护***的实施可以参见基于AR的设备检修维护方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图3是本发明实施例的基于AR的设备检修维护***的一种结构框图,如图3所示,结构框图包括:
识别模块01,基于AR眼镜扫描并获取待检修设备的三维数据,并利用三维识别算法对三维数据进行识别处理,输出待检修设备的型号,并在待检修设备中对待检修设备定位,其中,三维识别算法已对允许提供检修指导的设备的特征进行学习;
检修指导数据库模块02,用于根据待检修设备的型号获取待检修设备的检修指导信息;
增强现实显示模块03,用于以AR眼镜的摄像头为中心,计算AR眼镜和待检修设备的相对位置,及根据相对位置确定虚拟界面的显示位置,并在显示位置上将虚拟界面和待检修设备进行虚实叠加显示,在虚拟界面中以待检修设备为中心显示检修指导信息。
在一个实施例中,检修指导数据库模块,用于根据所述待检修设备的型号自动生成对应的SQL查询语句;运行所述SQL查询语句在数据库中查询并获取所述待检修设备的检修指导信息,其中,所述数据库中预先存储有不同设备型号对应的检修指导信息,检修指导信息包括故障信息、维修步骤及可提供远程指导的专家信息。
在一个实施例中,增强现实显示模块,用于以所述AR眼镜的摄像头为中心计算出所述AR眼镜和所述待检修设备在三维坐标系下的相对位置;基于所述相对位置,计算出所述虚拟界面的所述显示位置,在所述显示位置上将所述虚拟界面和所述待检修设备进行虚实叠加显示,所述虚拟界面至少包括待检修设备说明界面、维修步骤界面及用户选项按钮界面;在所述虚拟界面中以所述待检修设备界面为中心,对所述待检修设备说明界面、所述维修步骤界面及所述用户选项按钮界面进行展开式增强显示。
在一个实施例中,上述***还包括:
显示位置更新模块,用于在对所述待检修设备进行检修的过程中,开设线程以所述AR眼镜的摄像头为中心,实时计算所述AR眼镜和所述待检修设备的相对位置,在预设时间段计算出所述相对位置的变化;根据所述相对位置的变化实时调整所述AR眼镜叠加在所述待检修设备实物上的所述虚拟界面的显示位置。
在一个实施例中,上述***还包括:
线程识别模块,用于在对所述待检修设备进行检修的过程中,设置实时识别线程,所述实时识别线程按照预设时间间隔扫描并获取所述待检修设备的三维数据,并利用三维识别算法对所述三维数据进行识别处理,当输出的待检修设备的型号与所述待检修设备的型号不一致时,停止所述实时识别线程的识别。
在一个实施例中,上述***还包括:
远程连线模块,用于基于所述AR眼镜通过人机交互的方式接收佩戴者对所述专家界面的操作,响应于所述操作向对应的专家的远程通讯设备发送远程连接的第一请求;将通过所述AR眼镜的摄像头采集的检修现场画面及通过所述AR眼镜的麦克风采集的检修现场音频携带在所述第一请求中;接收远程通讯设备响应所述第一请求后回传的远程指导画面和远程指导音频;基于所述AR眼镜在所述显示位置上将所述远程指导画面与所述虚拟界面和所述待检修设备进行虚实叠加显示,基于所述AR眼镜的麦克风对所述远程指导音频进行实时播放。
在一个实施例中,远程连线模块,还用于将通过所述AR眼镜的摄像头采集的检修现场画面及通过所述AR眼镜的麦克风采集的检修现场音频携带在所述第一请求中时,分别对所述检修现场音频和所述检修现场画面的数据的报头位置添加第一标识,所述第一标识用于所述远程通讯设备对所述AR眼镜的检修现场音频和检修现场画面的数据进行识别;在接收所述远程通讯设备响应所述第一请求后回传的远程指导画面和远程指导音频时,判断所述远程指导画面和所述远程指导音频的数据在报尾是否存在第二标识,若是,判断出接收的所述远程指导画面和所述远程指导音频的数据是完整的。
本发明实施例实现了如下技术效果:能数字化大量设备维护检修的经验和信息,通过实时三维识别算法使得AR眼镜能识别出视野内可以提供检修维护指导的设备,并显示设备相关信息、提供对应的操作维护教程及远程在线指导,使工作人员能更好地对设备进行日常的运维,减少返修的次数,节约了维修成本,提高了维护维修效率。
显然,本领域的技术人员应该明白,上述的本发明实施例的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明实施例不限制于任何特定的硬件和软件结合。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于AR的设备检修维护方法,其特征在于,包括:
基于AR眼镜扫描并获取待检修设备的三维数据;
利用三维识别算法对所述三维数据进行识别处理,输出所述待检修设备的型号,并对所述待检修设备定位,其中,所述三维识别算法已对允许提供检修指导的设备的特征进行学习;
根据所述待检修设备的型号获取所述待检修设备的检修指导信息;
以所述AR眼镜的摄像头为中心,计算所述AR眼镜和所述待检修设备的相对位置,包括:在对所述待检修设备进行检修的过程中,开设线程以所述AR眼镜的摄像头为中心,实时计算所述AR眼镜和所述待检修设备的相对位置,在预设时间段计算出所述相对位置的变化;根据所述相对位置的变化实时调整所述AR眼镜叠加在所述待检修设备实物上的虚拟界面的显示位置;
根据所述相对位置确定虚拟界面的显示位置,并在所述显示位置上将所述虚拟界面和所述待检修设备进行虚实叠加显示,在所述虚拟界面中以所述待检修设备为中心显示所述检修指导信息;
在对所述待检修设备进行检修的过程中,设置实时识别线程,所述实时识别线程按照预设时间间隔扫描并获取所述待检修设备的三维数据,并利用三维识别算法对所述三维数据进行识别处理,当输出的待检修设备的型号与所述待检修设备的型号不一致时,停止所述实时识别线程的识别;
基于所述AR眼镜通过人机交互的方式接收佩戴者对专家界面的操作,响应于所述操作向对应的专家的远程通讯设备发送远程连接的第一请求;将通过所述AR眼镜的摄像头采集的检修现场画面及通过所述AR眼镜的麦克风采集的检修现场音频携带在所述第一请求中;接收远程通讯设备响应所述第一请求后回传的远程指导画面和远程指导音频;基于所述AR眼镜在所述显示位置上将所述远程指导画面与所述虚拟界面和所述待检修设备进行虚实叠加显示,基于所述AR眼镜的麦克风对所述远程指导音频进行实时播放,包括:将通过所述AR眼镜的摄像头采集的检修现场画面及通过所述AR眼镜的麦克风采集的检修现场音频携带在所述第一请求中时,分别对所述检修现场音频和所述检修现场画面的数据的报头位置添加第一标识,所述第一标识用于所述远程通讯设备对所述AR眼镜的检修现场音频和检修现场画面的数据进行识别;在接收所述远程通讯设备响应所述第一请求后回传的远程指导画面和远程指导音频时,判断所述远程指导画面和所述远程指导音频的数据在报尾是否存在第二标识,若是,判断出接收的所述远程指导画面和所述远程指导音频的数据是完整的。
2.如权利要求1所述的基于AR的设备检修维护方法,其特征在于,根据所述待检修设备的型号获取所述待检修设备的检修指导信息,包括:
根据所述待检修设备的型号自动生成对应的SQL查询语句;
运行所述SQL查询语句在数据库中查询并获取所述待检修设备的检修指导信息,其中,所述数据库中预先存储有不同设备型号对应的检修指导信息,检修指导信息包括故障信息、维修步骤及可提供远程指导的专家信息。
3.如权利要求1所述的基于AR的设备检修维护方法,其特征在于,根据所述相对位置确定虚拟界面的显示位置,并在所述显示位置上将所述虚拟界面和所述待检修设备进行虚实叠加显示,在所述虚拟界面中以所述待检修设备为中心显示所述检修指导信息,包括:
以所述AR眼镜的摄像头为中心计算出所述AR眼镜和所述待检修设备在三维坐标系下的相对位置;
基于所述相对位置,计算出所述虚拟界面的所述显示位置,在所述显示位置上将所述虚拟界面和所述待检修设备进行虚实叠加显示,所述虚拟界面至少包括待检修设备说明界面、维修步骤界面及用户选项按钮界面;
在所述虚拟界面中以所述待检修设备界面为中心,对所述待检修设备说明界面、所述维修步骤界面及所述用户选项按钮界面进行展开式增强显示。
4.一种基于AR的设备检修维护***,其特征在于,所述***包括:
识别模块,基于AR眼镜扫描并获取待检修设备的三维数据,并利用三维识别算法对所述三维数据进行识别处理,输出所述待检修设备的型号,并对所述待检修设备定位,其中,所述三维识别算法已对允许提供检修指导的设备的特征进行学习;
检修指导数据库模块,用于根据所述待检修设备的型号获取所述待检修设备的检修指导信息;
增强现实显示模块,用于以所述AR眼镜的摄像头为中心,计算所述AR眼镜和所述待检修设备的相对位置,及根据所述相对位置确定虚拟界面的显示位置,并在所述显示位置上将所述虚拟界面和所述待检修设备进行虚实叠加显示,在所述虚拟界面中以所述待检修设备为中心显示所述检修指导信息,包括:
在对所述待检修设备进行检修的过程中,开设线程以所述AR眼镜的摄像头为中心,实时计算所述AR眼镜和所述待检修设备的相对位置,在预设时间段计算出所述相对位置的变化;根据所述相对位置的变化实时调整所述AR眼镜叠加在所述待检修设备实物上的虚拟界面的显示位置;
根据所述相对位置确定虚拟界面的显示位置,并在所述显示位置上将所述虚拟界面和所述待检修设备进行虚实叠加显示,在所述虚拟界面中以所述待检修设备为中心显示所述检修指导信息;在对所述待检修设备进行检修的过程中,设置实时识别线程,所述实时识别线程按照预设时间间隔扫描并获取所述待检修设备的三维数据,并利用三维识别算法对所述三维数据进行识别处理,当输出的待检修设备的型号与所述待检修设备的型号不一致时,停止所述实时识别线程的识别;
基于所述AR眼镜通过人机交互的方式接收佩戴者对专家界面的操作,响应于所述操作向对应的专家的远程通讯设备发送远程连接的第一请求;将通过所述AR眼镜的摄像头采集的检修现场画面及通过所述AR眼镜的麦克风采集的检修现场音频携带在所述第一请求中;接收远程通讯设备响应所述第一请求后回传的远程指导画面和远程指导音频;基于所述AR眼镜在所述显示位置上将所述远程指导画面与所述虚拟界面和所述待检修设备进行虚实叠加显示,基于所述AR眼镜的麦克风对所述远程指导音频进行实时播放,包括:将通过所述AR眼镜的摄像头采集的检修现场画面及通过所述AR眼镜的麦克风采集的检修现场音频携带在所述第一请求中时,分别对所述检修现场音频和所述检修现场画面的数据的报头位置添加第一标识,所述第一标识用于所述远程通讯设备对所述AR眼镜的检修现场音频和检修现场画面的数据进行识别;在接收所述远程通讯设备响应所述第一请求后回传的远程指导画面和远程指导音频时,判断所述远程指导画面和所述远程指导音频的数据在报尾是否存在第二标识,若是,判断出接收的所述远程指导画面和所述远程指导音频的数据是完整的。
5.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至3中任一项所述的基于AR的设备检修维护方法。
6.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有执行权利要求1至3中任一项所述的基于AR的设备检修维护方法的计算机程序。
CN202310672525.9A 2023-06-08 2023-06-08 基于ar的设备检修维护方法及*** Active CN116402497B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310672525.9A CN116402497B (zh) 2023-06-08 2023-06-08 基于ar的设备检修维护方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310672525.9A CN116402497B (zh) 2023-06-08 2023-06-08 基于ar的设备检修维护方法及***

Publications (2)

Publication Number Publication Date
CN116402497A CN116402497A (zh) 2023-07-07
CN116402497B true CN116402497B (zh) 2023-10-10

Family

ID=87014651

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310672525.9A Active CN116402497B (zh) 2023-06-08 2023-06-08 基于ar的设备检修维护方法及***

Country Status (1)

Country Link
CN (1) CN116402497B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011723A (zh) * 2021-03-04 2021-06-22 北京计算机技术及应用研究所 一种基于增强现实的远程装备维保***
CN115331002A (zh) * 2022-08-23 2022-11-11 北京宇乾能源科技有限责任公司 一种基于ar眼镜实现热力站故障远程处理方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9628783B2 (en) * 2013-03-15 2017-04-18 University Of Southern California Method for interacting with virtual environment using stereoscope attached to computing device and modifying view of virtual environment based on user input in order to be displayed on portion of display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113011723A (zh) * 2021-03-04 2021-06-22 北京计算机技术及应用研究所 一种基于增强现实的远程装备维保***
CN115331002A (zh) * 2022-08-23 2022-11-11 北京宇乾能源科技有限责任公司 一种基于ar眼镜实现热力站故障远程处理方法

Also Published As

Publication number Publication date
CN116402497A (zh) 2023-07-07

Similar Documents

Publication Publication Date Title
CN110427917B (zh) 用于检测关键点的方法和装置
CN108830894B (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
CN110675489B (zh) 一种图像处理方法、装置、电子设备和存储介质
CN110189416B (zh) 检修现场的远程指导方法及***
CN112950785B (zh) 点云标注方法、装置及***
CN110728670A (zh) 一种基于ar技术的低压设备运维方法
KR102322773B1 (ko) 전극편의 버를 검출하기 위한 방법 및 장치
CN113222184A (zh) 基于增强现实ar的设备巡检***及方法
CN110793548B (zh) 基于gnss接收机硬件在环的虚实结合的导航仿真测试***
CN114299390A (zh) 一种确定维修部件演示视频的方法及装置、安全帽
US7377650B2 (en) Projection of synthetic information
JP2019095876A (ja) 3次元点群表示装置、3次元点群表示システム、3次元点群表示方法および3次元点群表示プログラム、記録媒体
CN111563961B (zh) 一种变电站的三维建模方法和相关装置
CN115984486A (zh) 一种融合激光雷达与深度相机的桥梁模型生成方法及装置
CN113627005B (zh) 一种智能视觉监控方法
CN116402497B (zh) 基于ar的设备检修维护方法及***
CN113838193A (zh) 数据处理方法、装置、计算机设备及存储介质
CN112291550A (zh) 自由视点图像生成方法、装置、***及可读存储介质
CN112102490A (zh) 一种用于变电站三维模型的建模方法
CN109816791B (zh) 用于生成信息的方法和装置
WO2023103883A1 (zh) 对象自动标注方法、装置、电子设备及存储介质
KR20130039173A (ko) 매칭 정보에 의한 입체 영상 보정 장치 및 그 방법
CN112652056B (zh) 一种3d信息展示方法及装置
CN113823129A (zh) 基于混合现实的调头轮设备拆装指导方法及装置
CN114239774A (zh) 一种变电站设备台账与实景同步方法、装置及计算机设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100044 Beijing city Haidian District Xizhimen Shangyuan Village No. 3

Applicant after: Beijing Jiaotong University

Applicant after: BEIJING WEEIN SOFTWARE TECHNOLOGY CO.,LTD.

Address before: 804, 8th Floor, Science and Education Building, No. 89, Zone 1, No. 44 Gaoliangqiao Xiejie Street, Haidian District, Beijing, 100044

Applicant before: BEIJING WEEIN SOFTWARE TECHNOLOGY CO.,LTD.

Applicant before: Beijing Jiaotong University

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant