CN117213468B - 飞机机外巡检方法、装置和电子设备 - Google Patents

飞机机外巡检方法、装置和电子设备 Download PDF

Info

Publication number
CN117213468B
CN117213468B CN202311445734.6A CN202311445734A CN117213468B CN 117213468 B CN117213468 B CN 117213468B CN 202311445734 A CN202311445734 A CN 202311445734A CN 117213468 B CN117213468 B CN 117213468B
Authority
CN
China
Prior art keywords
inspection
patrol
glasses
target
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311445734.6A
Other languages
English (en)
Other versions
CN117213468A (zh
Inventor
张世涵
马林
刘天一
吴斐
梁祥龙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing LLvision Technology Co ltd
Original Assignee
Beijing LLvision Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing LLvision Technology Co ltd filed Critical Beijing LLvision Technology Co ltd
Priority to CN202311445734.6A priority Critical patent/CN117213468B/zh
Publication of CN117213468A publication Critical patent/CN117213468A/zh
Application granted granted Critical
Publication of CN117213468B publication Critical patent/CN117213468B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本发明提供一种飞机机外巡检方法、装置和电子设备,涉及飞机巡检技术领域。该方法包括:在接收到巡检人员的开始巡检指令后,通过巡检人员佩戴的增强现实AR眼镜向所述巡检人员展示虚拟巡检地图,所述虚拟巡检地图上包括被巡检的目标飞机的标准点云地图;基于所述AR眼镜上的信息采集组件实时采集当前环境中所述AR眼镜的空间位置信息;基于同步定位与建图SLAM算法,根据所述空间位置信息和所述目标飞机的标准点云地图确定所述AR眼镜相对所述目标飞机的位姿信息;基于所述位姿信息,实时更新所述虚拟巡检地图上表征所述巡检人员的虚拟光标和表征所述巡检人员的巡检路线的巡检运动轨迹。该方法能够减少巡检人员的巡检过程中的漏检情况。

Description

飞机机外巡检方法、装置和电子设备
技术领域
本发明涉及飞机巡检技术领域,尤其涉及一种飞机机外巡检方法、装置和电子设备。
背景技术
飞机机外巡检是指对于飞机在日常的航前、短停和航后时段,需要巡检人员对飞机的外部机身进行故障检查和评估,以保障飞机的飞行安全。通常,飞机机外巡检为一个巡检人员进行巡检,巡检过程一般持续在半小时左右。传统的巡检方式一般是巡检人员手持纸质或电子类型的巡检清单,通过目视或使用一些携带的工具,按照巡检清单上的检查点环绕飞机一圈逐一检查各检查点的项目。检查过程中,巡检人员根据巡检进度对各检查点进行勾选和评估,检查结束后将检查结果传递给塔楼和机组人员。
但是,传统的巡检方式中,巡检人员是基于巡检清单上列出的检查点,基于个人经验对各检查点进行检查和评估,由于人为因素可能会造成某些检查点遗漏的问题。
发明内容
本发明提供一种飞机机外巡检方法、装置和电子设备,用以解决现有技术中可能遗漏检查点的缺陷,实现通过SLAM定位技术定位巡检人员的当前巡检位置,通过巡检人员佩戴的AR眼镜展示能够表征巡检人员当前巡检位置和巡检运动轨迹的虚拟巡检地图,通过虚拟巡检地图上的当前位置和巡检运动轨迹,巡检人员可以清楚的了解当前的巡检进度以及巡检是否有遗漏之处,进而提高巡检的准确性。
本发明提供一种飞机机外巡检方法,包括:
在接收到巡检人员的开始巡检指令后,通过巡检人员佩戴的AR(AugmentedReality,增强现实)眼镜向所述巡检人员展示虚拟巡检地图,所述虚拟巡检地图上包括被巡检的目标飞机的标准点云地图;
基于所述AR眼镜上的信息采集组件实时采集当前环境中所述AR眼镜的空间位置信息;
基于SLAM(Simultaneous Localization and Mapping,同步定位与建图)算法,根据所述空间位置信息和所述目标飞机的标准点云地图确定所述AR眼镜相对所述目标飞机的位姿信息;
基于所述位姿信息,在所述虚拟巡检地图上实时更新表征所述巡检人员的虚拟光标的位置和表征所述巡检人员的巡检路线的巡检运动轨迹。
根据本发明提供的一种飞机机外巡检方法,所述信息采集组件包括多目相机和惯性传感器,所述空间位置信息包括空间影像信息和惯性测量数据;
所述基于所述AR眼镜上的信息采集组件实时采集当前环境中所述AR眼镜的空间位置信息,包括:
基于所述多目相机获取当前环境中所述AR眼镜的所述空间影像信息;
基于所述惯性传感器获取所述AR眼镜的所述惯性测量数据。
根据本发明提供的一种飞机机外巡检方法,所述位姿信息包括位置信息和姿态信息;
所述基于同步定位与建图SLAM算法,根据所述空间位置信息和所述目标飞机的标准点云地图确定所述AR眼镜相对所述目标飞机的位姿信息,包括:
基于SLAM算法,采用所述空间影像信息在所述标准点云地图中进行检索,确定所述AR眼镜的位置信息;
基于所述惯性测量数据确定所述AR眼镜的姿态信息。
根据本发明提供的一种飞机机外巡检方法,所述巡检方法还包括:
基于所述位姿信息和所述标准点云地图,确定所述巡检人员在当前环境中的位置和所述巡检人员的头部朝向;
基于所述巡检人员的位置和头部朝向,通过所述AR眼镜展示当前巡检目标对应的虚拟对象,所述虚拟对象表征所述当前巡检目标对应的巡检信息。
根据本发明提供的一种飞机机外巡检方法,所述基于所述巡检人员的位置和头部朝向,通过所述AR眼镜展示当前巡检目标对应的虚拟对象,包括:
根据所述巡检人员的位置和头部朝向确定所述巡检人员的当前巡检目标;
基于所述当前巡检目标从所述标准点云地图中的多个巡检区块中确定目标巡检区块,其中,所述标准点云地图被预先划分为多个巡检区块;
通过所述AR眼镜展示所述目标巡检区块对应的所述虚拟对象。
根据本发明提供的一种飞机机外巡检方法,所述巡检方法还包括:
通过所述AR眼镜向所述巡检人员展示用户主界面,并基于所述巡检人员的操作控制指令对以下中的至少一种进行设置:所述当前巡检目标对应的所述虚拟对象、所述虚拟巡检地图和所述用户主界面。
根据本发明提供的一种飞机机外巡检方法,所述巡检方法还包括:
通过所述AR眼镜向所述巡检人员展示虚拟检查清单;
根据所述巡检人员的检查标记指令对所述虚拟检查清单中的检查点进行标记。
根据本发明提供的一种飞机机外巡检方法,所述巡检方法还包括:
在接收到所述巡检人员的开始巡检指令后,生成位姿信息记录文件;
在所述巡检人员巡检时,将所述巡检人员对应的位姿信息写入所述位姿信息记录文件中;
根据查询人员的历史查询指令读取目标巡检文件,并根据所述目标巡检文件在所述虚拟巡检地图上动态展示目标巡检运动轨迹,所述目标巡检文件包括至少一个所述位姿信息记录文件,或包括标准轨迹记录文件和至少一个所述位姿信息记录文件;
其中,在所述目标巡检文件包括至少一个所述位姿信息记录文件的情况下,各所述位姿信息记录文件对应的目标飞机的型号均一致;在所述目标巡检文件包括所述标准轨迹记录文件和至少一个所述位姿信息记录文件的情况下,各所述位姿信息记录文件和所述标准轨迹记录文件对应的目标飞机的型号均一致。
本发明还提供一种飞机机外巡检装置,包括:
展示模块,用于在接收到巡检人员的开始巡检指令后,通过巡检人员佩戴的增强现实AR眼镜向所述巡检人员展示虚拟巡检地图,所述虚拟巡检地图上包括被巡检的目标飞机的标准点云地图;
采集模块,用于基于所述AR眼镜上的信息采集组件实时采集当前环境中所述AR眼镜的空间位置信息;
重定位模块,用于基于同步定位与建图SLAM算法,根据所述空间位置信息和所述目标飞机的标准点云地图确定所述AR眼镜相对所述目标飞机的位姿信息;用于基于所述位姿信息,在所述虚拟巡检地图上实时更新表征所述巡检人员的虚拟光标的位置和表征所述巡检人员的巡检路线的巡检运动轨迹。
本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述飞机机外巡检方法。
本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述飞机机外巡检方法。
本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述飞机机外巡检方法。
本发明提供的飞机机外巡检方法、装置和电子设备,通过AR眼镜在开始巡检后向巡检人员展示虚拟巡检地图,通过AR眼镜上信息采集组件在巡检人员巡检过程中采集当前环境中巡检人员佩戴的AR眼镜的空间位置信息,根据该空间位置信息和被巡检的目标飞机的标准点云地图,通过SLAM算法可以确定该AR眼镜相对目标飞机的位姿信息,进而可以根据该位姿信息确定巡检人员的当前巡检位置,以在虚拟巡检地图上实时更新表征巡检人员的虚拟光标的位置和表征巡检人员的巡检路线的巡检运动轨迹,从而为巡检人员提供可视化的方位和运动信息,使得巡检人员能够根据虚拟光标和巡检运动轨迹在巡检过程中直观的了解巡检是否存在遗漏,以及当前的巡检进度。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的飞机机外巡检方法的流程示意图;
图2是本发明实施例提供的飞机机外巡检装置的结构示意图;
图3是本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合本发明中的附图,对本发明中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
针对现有技术中巡检质量难以保证的问题,下面结合图1描述本发明实施例提供一种飞机机外巡检方法。图1是本发明实施例提供的飞机机外巡检方法的流程示意图,如图1中所示,该飞机机外巡检方法包括下述步骤:
步骤110:在接收到巡检人员的开始巡检指令后,通过巡检人员佩戴的增强现实AR眼镜向所述巡检人员展示虚拟巡检地图,所述虚拟巡检地图上包括被巡检的目标飞机的标准点云地图;
具体地,巡检人员在佩戴并开启AR眼镜的巡检功能后即进入了巡检状态,可以在接收到巡检人员的开始巡检指令后,通过AR眼镜向巡检人员展示虚拟巡检地图,该虚拟巡检地图上包括被巡检的目标飞机的标准点云地图,标准点云地图虚拟了目标飞机的3D模型,以模拟当前巡检环境。示例性地,巡检人员可以通过按键、触屏或手势等方式下达开始巡检指令。
步骤120:基于所述AR眼镜上的信息采集组件实时采集当前环境中所述AR眼镜的空间位置信息。
具体地,巡检人员巡检时需要佩戴AR眼镜,该AR眼镜上设置有信息采集组件,巡检人员开始巡检时,即接收到开始巡检指令时可以同步开启AR眼镜上的信息采集组件,以对当前环境中AR眼镜的空间位置信息进行采集。可以理解的是,AR眼镜是巡检人员佩戴着的,因此AR眼镜的空间位置信息也是巡检人员的空间位置信息。AR技术是一种将虚拟信息与真实世界巧妙融合的技术,广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段,将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后,应用到真实世界中,两种信息互为补充,从而实现对真实世界的“增强”。
在一个实施例中,所述信息采集组件包括多目相机和惯性传感器,所述空间位置信息包括空间影像信息和惯性测量数据;
所述基于所述AR眼镜上的信息采集组件实时采集当前环境中所述AR眼镜的空间位置信息,包括:
基于所述多目相机获取当前环境中所述AR眼镜的所述空间影像信息;
基于所述惯性传感器获取所述AR眼镜的所述惯性测量数据。
具体地,设置在AR眼镜上的信息采集组件包括多目相机和惯性传感器,多目相机例如可以设置在AR眼镜上眼镜主体的两侧。多目相机为多个摄像头同步进行拍摄的相机,通过将多个摄像头拍摄的影像信息进行拼接,可以获得当前环境中AR眼镜的空间影像信息。惯性传感器是一种传感器,主要是用于检测和测量加速度、倾斜、冲击、振动、旋转和多自由度(DoF)运动,是解决导航、定向和运动载体控制的重要部件。本实施例中,通过惯性传感器可以获得AR眼镜的惯性测量数据。
上述实施例中的飞机机外巡检方法,通过设置的多目相机和惯性传感器,可以为后续基于SLAM算法的定位提供数据支持。进一步的,通过在AR眼镜上设置多目相机,相对于单目相机仅能够获得二维的空间影像信息而言,本实施例可以获得三维的空间影像信息,能够提高后续确定的AR眼镜相对目标飞机的位姿信息的准确性。
步骤130:基于同步定位与建图SLAM算法,根据所述空间位置信息和所述目标飞机的标准点云地图确定所述AR眼镜相对所述目标飞机的位姿信息。
具体地,针对每个型号的飞机,在进行初次飞机机外巡检之前,均需要先获取该型号的飞机的标准点云地图,该标准点云地图的获取方法可以为:用户佩戴AR眼镜按照航空公司规定的进行飞机机外巡检的标准路线,围绕飞机根据巡检的标准路线和巡检流程对飞机的各个检查点进行目视检查;开启AR眼镜上的目标采集组件,目标采集组件随着用户的移动采集AR眼镜的空间位置信息;基于SLAM算法根据飞机的全部空间位置信息生成飞机的标准点云地图。标准点云地图可以保存在服务器端,AR眼镜可以从服务器端调用该标准点云地图,也可以直接将该标准点云地图保存在AR眼镜上,本实施例在此不做具体地限定。
在巡检时,基于SLAM算法,根据空间位置信息和被巡检的目标飞机的标准点云地图,可以确定巡检人员佩戴的AR眼镜相对目标飞机的位姿信息。
在一个实施例中,所述位姿信息包括位置信息和姿态信息;
所述基于同步定位与建图SLAM算法,根据所述空间位置信息和所述目标飞机的标准点云地图确定所述AR眼镜相对所述目标飞机的位姿信息,包括:
基于SLAM算法,采用所述空间影像信息在所述标准点云地图中进行检索,确定所述AR眼镜的位置信息;
基于所述惯性测量数据确定所述AR眼镜的姿态信息。
具体地,位姿信息包括位置信息和姿态信息,位置信息即表征AR眼镜(也即巡检人员)当前所处的位置,姿态信息即表征AR眼镜当前的姿态,如AR眼镜的旋转向量。
在确定AR眼镜相对所述目标飞机的位姿信息时,通过SLAM算法基于多目相机采集的空间影像信息在目标飞机的标准点云地图上进行检索,进而确定AR眼镜的位置信息,即AR眼镜相对目标飞机的位置信息。根据惯性测量数据可以确定AR眼镜的姿态信息,如AR眼镜的朝向。可选地,该SLAM算法可以是集成在AR眼镜中的SLAM算法模块。
步骤140:基于所述位姿信息,在所述虚拟巡检地图上实时更新表征所述巡检人员的虚拟光标的位置和表征所述巡检人员的巡检路线的巡检运动轨迹。
具体地,可以在该虚拟巡检地图上显示表征巡检人员的虚拟光标,该虚拟光标在虚拟巡检地图上的位置即为巡检人员当前的位置,随着巡检人员的移动,基于确定的位姿信息可以实时更新该虚拟光标,进而在虚拟巡检地图上展示巡检人员动态移动位置的动画效果。进一步的还可以在该虚拟巡检地图上根据巡检人员的移动,显示表征巡检人员的巡检路线的巡检运动轨迹。虚拟光标和巡检运动轨迹能够向巡检人员提供必要的方向指导。
示例性的,在Unity虚拟空间中,通过SLAM算法生成的标准点云地图提供的坐标信息,可以部署虚拟光标并将此虚拟光标的坐标系和现实空间的坐标系对齐,进而完成混合现实显示和交互。
本发明提供的飞机机外巡检方法,通过AR眼镜在开始巡检后向巡检人员展示虚拟巡检地图,通过AR眼镜上信息采集组件在巡检人员巡检过程中采集当前环境中巡检人员佩戴的AR眼镜的空间位置信息,根据该空间位置信息和被巡检的目标飞机的标准点云地图,通过SLAM算法可以确定该AR眼镜相对目标飞机的位姿信息,进而可以根据该位姿信息确定巡检人员的当前巡检位置,以在虚拟巡检地图上实时更新表征巡检人员的虚拟光标的位置和表征巡检人员的巡检路线的巡检运动轨迹,从而为巡检人员提供可视化的方位和运动信息,使得巡检人员能够根据虚拟光标和巡检运动轨迹在巡检过程中直观的了解巡检是否存在遗漏,以及当前的巡检进度。
在一个实施例中,所述巡检方法还包括:
基于所述位姿信息和所述标准点云地图,确定所述巡检人员在当前环境中的位置和所述巡检人员的头部朝向;
基于所述巡检人员的位置和头部朝向,通过所述AR眼镜展示当前巡检目标对应的虚拟对象,所述虚拟对象表征所述当前巡检目标对应的巡检信息。
具体地,在获取AR眼镜相对目标飞机的位姿信息后,可以根据该位姿信息和标准点云地图确定巡检人员在当前环境中的位置以及巡检人员的头部朝向。根据巡检人员的位置和头部朝向确定当前巡检目标,进而通过AR眼镜展示当前巡检目标对应的虚拟对象。可以理解的是,虚拟对象表征当前巡检目标对应的巡检信息,巡检信息例如可以包括:当前巡检目标处需要检查的内容有哪些、检查引导标识、上一个检查点是什么、下一个检查点是什么和历史检查过程中出现过什么故障等信息,以对巡检人员进行巡检辅助提醒。
示例性的,可以在AR眼镜中内置Unity应用程序,Unity应用程序可以通过SDK(Software Development Kit,软件开发包工具)接收SLAM算法模块发送的位姿信息,Unity应用程序可以执行上述方法步骤。
Unity应用程序为预先编写好的,可以针对每个型号的飞机分别编写对应的Unity应用程序,本实施例在此不做具体地限定。Unity官方提供的交互工具包(XR InteractionToolkits)可以为Unity应用程序提供必要的AR交互组件。通过添加各种组件到虚拟对象上(包括但不限于Unity引擎自带的组件、插件提供的组件、自定义组件),虚拟对象会进行相应的逻辑运作,进而Unity应用程序会具备相应的功能。在此原理基础上,可以导入所需的美术模型,创建各虚拟对象、设计虚拟对象间的关系,并且为每个虚拟对象添加组件,加以完善,进而能够获得Unity应用程序。
在一个实施例中,所述基于所述巡检人员的位置和头部朝向,通过所述AR眼镜展示当前巡检目标对应的虚拟对象,包括:
根据所述巡检人员的位置和头部朝向确定所述巡检人员的当前巡检目标;
基于所述当前巡检目标从所述标准点云地图中的多个巡检区块中确定目标巡检区块,其中,所述标准点云地图被预先划分为多个巡检区块;
通过所述AR眼镜展示所述目标巡检区块对应的所述虚拟对象。
具体地,可以预先将目标飞机的标准点云地图进行区域划分,即将标准点云地图划分为多个巡检区块。在巡检人员巡检过程中可以根据巡检人员的位置和头部朝向确定当前巡检目标,进而根据当前巡检目标从标准点云地图中确定当前巡检目标所属的巡检区块,并将该巡检区块确定为目标巡检区块,通过AR眼镜展示该目标巡检区块对应的所有的虚拟对象。
上述实施例中的飞机机外巡检方法,将虚拟空间和真实物理空间进行重合,将巡检人员当前巡检的目标巡检区块的对应的虚拟对象渲染至AR眼镜的镜片上,进而可以为巡检人员提供辅助判断的各类巡检信息,该巡检信息能够辅助巡检人员对各检查点进行检查,帮助巡检人员高质量完成巡检任务。
可选地,该虚拟对象可以和虚拟巡检地图在一个窗口中显示,例如该虚拟巡检地图可以为等比例缩小的较小的虚拟巡检地图,该虚拟巡检地图可以显示在靠近窗口边缘的位置处,以避免影响巡检人员对虚拟对象的查看。
可选地,还可以在虚拟对象所属的窗口外设置悬浮窗口,该悬浮窗口中可以显示巡检进度和目标飞机的航班信息等,巡检进度例如可以通过百分比的方式直观的向巡检人员展示。
在一个实施例中,所述巡检方法还包括:
通过所述AR眼镜向所述巡检人员展示用户主界面,并基于所述巡检人员的操作控制指令对以下中的至少一种进行设置:所述当前巡检目标对应的所述虚拟对象、所述虚拟巡检地图和所述用户主界面。
具体地,该巡检方法还包括通过所述AR眼镜向所述巡检人员展示用户主界面,该用户主界面提供虚拟对象的设置、虚拟巡检地图的设置和用户主界面的设置等功能。因此巡检人员可以通过在用户主界面上输入操作控制指令以对当前巡检目标对应的虚拟对象、虚拟巡检地图和用户主界面中的至少一种进行设置。
在开始巡检后,该用户主界面可以被隐藏,即开始巡检后显示虚拟巡检地图的窗口和/或虚拟对象对应的窗口。当巡检人员需要在用户主界面进行操作时,巡检人员可以从当前的窗口切换至用户主界面窗口,进而在用户主界面上进行设置操作。
示例性的,用户主界面上包括有专门控制虚拟巡检地图的控制组件,针对虚拟巡检地图,例如可以在多目相机的视野范围内设置固定锚点,使巡检人员移动时,该虚拟巡检地图会随之移动,即能够一直在虚拟对象对应的窗口中显示。通过控制虚拟巡检地图的控制组件可以调整虚拟巡检地图的属性,例如对虚拟巡检地图进行旋转、缩放、拖动和隐藏等操作,还可以对虚拟巡检地图是否启用进行设置,对虚拟巡检地图上的虚拟光标和/或巡检运动轨迹的风格进行设置等。可选地,虚拟巡检地图对应有默认的属性。
用户主界面上还包括有专门控制虚拟对象的控制组件,针对各虚拟对象,可以设置各虚拟对象是否加载或是否禁用等。可选地,各虚拟对象均可以对应有默认的属性。
在用户主界面上,还可以对用户主界面的属性进行调整和设置。
在一个实施例中,所述巡检方法还包括:
通过所述AR眼镜向所述巡检人员展示虚拟检查清单;
根据所述巡检人员的检查标记指令对所述虚拟检查清单中的检查点进行标记。
具体地,该方法还包括:通过AR眼镜可以向巡检人员展示虚拟检查清单,该虚拟检查清单中包括该目标飞机的所有检查点。该虚拟检查清单基于巡检人员的指令可以进行隐藏或显示,用户可以根据自己的检查进度对虚拟检查清单中的检查点进行标记,以便于巡检人员能够通过虚拟检查清单确定已经检查的检查点和未检查的检查点,进而帮助巡检人员完成对巡检过程的把控。
示例性的,当AR眼镜为能够进行手势交互的AR眼镜时,则AR眼镜通过和巡检人员进行手势交互既可以对虚拟检查清单进行隐藏或显示,以及对检查点进行标记。
结合虚拟巡检地图中的巡检运动轨迹和虚拟检查清单,巡检人员能够更加清楚的获知当前的巡检进度以及巡检过程中有无遗漏之处,进一步提高了巡检的准确性。
在一个实施例中,所述巡检方法还包括:
在接收到所述巡检人员的开始巡检指令后,生成位姿信息记录文件;
在所述巡检人员巡检时,将所述巡检人员对应的位姿信息写入所述位姿信息记录文件中;
根据查询人员的历史查询指令读取目标巡检文件,并根据所述目标巡检文件在所述虚拟巡检地图上动态展示目标巡检运动轨迹,所述目标巡检文件包括至少一个所述位姿信息记录文件,或包括标准轨迹记录文件和至少一个所述位姿信息记录文件;
其中,在所述目标巡检文件包括至少一个所述位姿信息记录文件的情况下,各所述位姿信息记录文件对应的目标飞机的型号均一致;在所述目标巡检文件包括所述标准轨迹记录文件和至少一个所述位姿信息记录文件的情况下,各所述位姿信息记录文件和所述标准轨迹记录文件对应的目标飞机的型号均一致。
具体地,该方法还包括,在接收到巡检人员的开始巡检指令后,即针对本次巡检生成记录位姿信息的位姿信息记录文件。在巡检人员巡检时,将巡检人员对应的位姿信息,即巡检人员佩戴的AR眼镜相对目标飞机的位姿信息写入位姿信息记录文件中以进行存储。例如可以每间隔固定的刷新帧率将位姿信息写入位姿信息记录文件中。
当接收到查询人员的历史查询指令后可以读取目标巡检文件,并根据目标巡检文件在虚拟巡检地图上展示目标巡检文件对应的目标巡检运动轨迹。目标巡检文件可以包括至少一个位姿信息记录文件,即查询人员可以指示读取一次巡检的位姿信息记录文件并在虚拟巡检地图中显示目标巡检运动轨迹,也可以指示读取同一型号或同一飞机的多次巡检的位姿信息记录文件并在虚拟巡检地图中显示目标巡检运动轨迹,同时显示多次巡检的目标巡检运动轨迹,可以便于查询人员进行多条轨迹的对比查验。目标巡检文件在包括至少一个位姿信息记录文件的基础上,还可以包括标准轨迹记录文件,各位姿信息记录文件和标准轨迹记录文件均属于同一型号的飞机或者均属于同一飞机。飞机的标准轨迹记录文件可以是预先存储在AR眼镜中的,通过标准轨迹记录文件对应的目标巡检运动轨迹,可以对位姿信息记录文件对应的目标巡检运动轨迹进行比对查验,通过对比查验,可以清楚的查找出历史巡检过程中存在的疏漏之处。
上述实施例中的飞机机外巡检方法,提供历史巡检数据的查询,并可以以可视化的形式重现巡检运行轨迹,方便查询人员回溯历史巡检任务。
下面对本发明提供的飞机机外巡检装置进行描述,下文描述的飞机机外巡检装置与上文描述的飞机机外巡检方法可相互对应参照。
图2是本发明实施例提供的飞机机外巡检装置的结构示意图,如图2中所示,该飞机机外巡检装置200,包括:
展示模块210,用于在接收到巡检人员的开始巡检指令后,通过巡检人员佩戴的增强现实AR眼镜向所述巡检人员展示虚拟巡检地图,所述虚拟巡检地图上包括被巡检的目标飞机的标准点云地图;
采集模块220,用于基于所述AR眼镜上的信息采集组件实时采集当前环境中所述AR眼镜的空间位置信息;
重定位模块230,用于基于同步定位与建图SLAM算法,根据所述空间位置信息和所述目标飞机的标准点云地图确定所述AR眼镜相对所述目标飞机的位姿信息;用于基于所述位姿信息,在所述虚拟巡检地图上实时更新表征所述巡检人员的虚拟光标的位置和表征所述巡检人员的巡检路线的巡检运动轨迹。
本发明提供的飞机机外巡检装置,通过AR眼镜在开始巡检后向巡检人员展示虚拟巡检地图,通过AR眼镜上信息采集组件在巡检人员巡检过程中采集当前环境中巡检人员佩戴的AR眼镜的空间位置信息,根据该空间位置信息和被巡检的目标飞机的标准点云地图,通过SLAM算法可以确定该AR眼镜相对目标飞机的位姿信息,进而可以根据该位姿信息确定巡检人员的当前巡检位置,以在虚拟巡检地图上实时更新表征巡检人员的虚拟光标的位置和表征巡检人员的巡检路线的巡检运动轨迹,从而为巡检人员提供可视化的方位和运动信息,使得巡检人员能够根据虚拟光标和巡检运动轨迹在巡检过程中直观的了解巡检是否存在遗漏,以及当前的巡检进度。
在一个实施例中,所述信息采集组件包括多目相机和惯性传感器,所述空间位置信息包括空间影像信息和惯性测量数据;
所述采集模块220具体用于:
基于所述多目相机获取当前环境中所述AR眼镜的所述空间影像信息;
基于所述惯性传感器获取所述AR眼镜的所述惯性测量数据。
在一个实施例中,所述位姿信息包括位置信息和姿态信息;
所述重定位模块230具体用于:
基于SLAM算法,采用所述空间影像信息在所述标准点云地图中进行检索,确定所述AR眼镜的位置信息;
基于所述惯性测量数据确定所述AR眼镜的姿态信息。
在一个实施例中,所述巡检装置还包括:
虚拟对象模块,用于基于所述位姿信息和所述标准点云地图,确定所述巡检人员在当前环境中的位置和所述巡检人员的头部朝向;
基于所述巡检人员的位置和头部朝向,通过所述AR眼镜展示当前巡检目标对应的虚拟对象,所述虚拟对象表征所述当前巡检目标对应的巡检信息。
在一个实施例中,虚拟对象模块具体还用于:
根据所述巡检人员的位置和头部朝向确定所述巡检人员的当前巡检目标;
基于所述当前巡检目标从所述标准点云地图中的多个巡检区块中确定目标巡检区块,其中,所述标准点云地图被预先划分为多个巡检区块;
通过所述AR眼镜展示所述目标巡检区块对应的所述虚拟对象。
在一个实施例中,所述巡检装置还包括:
主界面模块,用于通过所述AR眼镜向所述巡检人员展示用户主界面,并基于所述巡检人员的操作控制指令对以下中的至少一种进行设置:所述当前巡检目标对应的所述虚拟对象、所述虚拟巡检地图和所述用户主界面。
在一个实施例中,所述巡检装置还包括:
虚拟清单模块,用于通过所述AR眼镜向所述巡检人员展示虚拟检查清单;
根据所述巡检人员的检查标记指令对所述虚拟检查清单中的检查点进行标记。
在一个实施例中,所述巡检装置还包括:
历史查询模块,用于在接收到所述巡检人员的开始巡检指令后,生成位姿信息记录文件;
在所述巡检人员巡检时,将所述巡检人员对应的位姿信息写入所述位姿信息记录文件中;
根据查询人员的历史查询指令读取目标巡检文件,并根据所述目标巡检文件在所述虚拟巡检地图上动态展示目标巡检运动轨迹,所述目标巡检文件包括至少一个所述位姿信息记录文件,或包括标准轨迹记录文件和至少一个所述位姿信息记录文件;
其中,在所述目标巡检文件包括至少一个所述位姿信息记录文件的情况下,各所述位姿信息记录文件对应的目标飞机的型号均一致;在所述目标巡检文件包括所述标准轨迹记录文件和至少一个所述位姿信息记录文件的情况下,各所述位姿信息记录文件和所述标准轨迹记录文件对应的目标飞机的型号均一致。
图3示例了一种电子设备的实体结构示意图,如图3所示,该电子设备可以包括:处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340,其中,处理器310,通信接口320,存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令,以执行飞机机外巡检方法,该方法包括:
在接收到巡检人员的开始巡检指令后,通过巡检人员佩戴的增强现实AR眼镜向所述巡检人员展示虚拟巡检地图,所述虚拟巡检地图上包括被巡检的目标飞机的标准点云地图;
基于所述AR眼镜上的信息采集组件实时采集当前环境中所述AR眼镜的空间位置信息;
基于同步定位与建图SLAM算法,根据所述空间位置信息和所述目标飞机的标准点云地图确定所述AR眼镜相对所述目标飞机的位姿信息;
基于所述位姿信息,在所述虚拟巡检地图上实时更新表征所述巡检人员的虚拟光标的位置和表征所述巡检人员的巡检路线的巡检运动轨迹。
此外,上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面,本发明还提供一种计算机程序产品,所述计算机程序产品包括计算机程序,计算机程序可存储在非暂态计算机可读存储介质上,所述计算机程序被处理器执行时,计算机能够执行上述各方法所提供的飞机机外巡检方法,该方法包括:
在接收到巡检人员的开始巡检指令后,通过巡检人员佩戴的增强现实AR眼镜向所述巡检人员展示虚拟巡检地图,所述虚拟巡检地图上包括被巡检的目标飞机的标准点云地图;
基于所述AR眼镜上的信息采集组件实时采集当前环境中所述AR眼镜的空间位置信息;
基于同步定位与建图SLAM算法,根据所述空间位置信息和所述目标飞机的标准点云地图确定所述AR眼镜相对所述目标飞机的位姿信息;
基于所述位姿信息,在所述虚拟巡检地图上实时更新表征所述巡检人员的虚拟光标的位置和表征所述巡检人员的巡检路线的巡检运动轨迹。
又一方面,本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以执行上述各方法提供的飞机机外巡检方法,该方法包括:
在接收到巡检人员的开始巡检指令后,通过巡检人员佩戴的增强现实AR眼镜向所述巡检人员展示虚拟巡检地图,所述虚拟巡检地图上包括被巡检的目标飞机的标准点云地图;
基于所述AR眼镜上的信息采集组件实时采集当前环境中所述AR眼镜的空间位置信息;
基于同步定位与建图SLAM算法,根据所述空间位置信息和所述目标飞机的标准点云地图确定所述AR眼镜相对所述目标飞机的位姿信息;
基于所述位姿信息,在所述虚拟巡检地图上实时更新表征所述巡检人员的虚拟光标的位置和表征所述巡检人员的巡检路线的巡检运动轨迹。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种飞机机外巡检方法,其特征在于,包括:
在接收到巡检人员的开始巡检指令后,通过巡检人员佩戴的增强现实AR眼镜向所述巡检人员展示虚拟巡检地图,所述虚拟巡检地图上包括被巡检的目标飞机的标准点云地图;
基于所述AR眼镜上的信息采集组件实时采集当前环境中所述AR眼镜的空间位置信息;
基于同步定位与建图SLAM算法,根据所述空间位置信息和所述目标飞机的标准点云地图确定所述AR眼镜相对所述目标飞机的位姿信息;
基于所述位姿信息,在所述虚拟巡检地图上实时更新表征所述巡检人员的虚拟光标的位置和表征所述巡检人员的巡检路线的巡检运动轨迹;
所述信息采集组件包括多目相机和惯性传感器,所述空间位置信息包括空间影像信息和惯性测量数据;
所述基于所述AR眼镜上的信息采集组件实时采集当前环境中所述AR眼镜的空间位置信息,包括:
基于所述多目相机获取当前环境中所述AR眼镜的所述空间影像信息;
基于所述惯性传感器获取所述AR眼镜的所述惯性测量数据;
所述位姿信息包括位置信息和姿态信息;
所述基于同步定位与建图SLAM算法,根据所述空间位置信息和所述目标飞机的标准点云地图确定所述AR眼镜相对所述目标飞机的位姿信息,包括:
基于SLAM算法,采用所述空间影像信息在所述标准点云地图中进行检索,确定所述AR眼镜的位置信息;
基于所述惯性测量数据确定所述AR眼镜的姿态信息。
2.根据权利要求1所述的飞机机外巡检方法,其特征在于,所述巡检方法还包括:
基于所述位姿信息和所述标准点云地图,确定所述巡检人员在当前环境中的位置和所述巡检人员的头部朝向;
基于所述巡检人员的位置和头部朝向,通过所述AR眼镜展示当前巡检目标对应的虚拟对象,所述虚拟对象表征所述当前巡检目标对应的巡检信息。
3.根据权利要求2所述的飞机机外巡检方法,其特征在于,所述基于所述巡检人员的位置和头部朝向,通过所述AR眼镜展示当前巡检目标对应的虚拟对象,包括:
根据所述巡检人员的位置和头部朝向确定所述巡检人员的当前巡检目标;
基于所述当前巡检目标从所述标准点云地图中的多个巡检区块中确定目标巡检区块,其中,所述标准点云地图被预先划分为多个巡检区块;
通过所述AR眼镜展示所述目标巡检区块对应的所述虚拟对象。
4.根据权利要求2所述的飞机机外巡检方法,其特征在于,所述巡检方法还包括:
通过所述AR眼镜向所述巡检人员展示用户主界面,并基于所述巡检人员的操作控制指令对以下中的至少一种进行设置:所述当前巡检目标对应的所述虚拟对象、所述虚拟巡检地图和所述用户主界面。
5.根据权利要求2所述的飞机机外巡检方法,其特征在于,所述巡检方法还包括:
通过所述AR眼镜向所述巡检人员展示虚拟检查清单;
根据所述巡检人员的检查标记指令对所述虚拟检查清单中的检查点进行标记。
6.根据权利要求2所述的飞机机外巡检方法,其特征在于,所述巡检方法还包括:
在接收到所述巡检人员的开始巡检指令后,生成位姿信息记录文件;
在所述巡检人员巡检时,将所述巡检人员对应的位姿信息写入所述位姿信息记录文件中;
根据查询人员的历史查询指令读取目标巡检文件,并根据所述目标巡检文件在所述虚拟巡检地图上动态展示目标巡检运动轨迹,所述目标巡检文件包括至少一个所述位姿信息记录文件,或包括标准轨迹记录文件和至少一个所述位姿信息记录文件;
其中,在所述目标巡检文件包括至少一个所述位姿信息记录文件的情况下,各所述位姿信息记录文件对应的目标飞机的型号均一致;在所述目标巡检文件包括所述标准轨迹记录文件和至少一个所述位姿信息记录文件的情况下,各所述位姿信息记录文件和所述标准轨迹记录文件对应的目标飞机的型号均一致。
7.一种飞机机外巡检装置,其特征在于,包括:
展示模块,用于在接收到巡检人员的开始巡检指令后,通过巡检人员佩戴的增强现实AR眼镜向所述巡检人员展示虚拟巡检地图,所述虚拟巡检地图上包括被巡检的目标飞机的标准点云地图;
采集模块,用于基于所述AR眼镜上的信息采集组件实时采集当前环境中所述AR眼镜的空间位置信息;
重定位模块,用于基于同步定位与建图SLAM算法,根据所述空间位置信息和所述目标飞机的标准点云地图确定所述AR眼镜相对所述目标飞机的位姿信息;用于基于所述位姿信息,在所述虚拟巡检地图上实时更新表征所述巡检人员的虚拟光标的位置和表征所述巡检人员的巡检路线的巡检运动轨迹;
所述信息采集组件包括多目相机和惯性传感器,所述空间位置信息包括空间影像信息和惯性测量数据;
所述采集模块具体用于:基于所述多目相机获取当前环境中所述AR眼镜的所述空间影像信息;基于所述惯性传感器获取所述AR眼镜的所述惯性测量数据;
所述位姿信息包括位置信息和姿态信息;
所述重定位模块具体用于:基于SLAM算法,采用所述空间影像信息在所述标准点云地图中进行检索,确定所述AR眼镜的位置信息;基于所述惯性测量数据确定所述AR眼镜的姿态信息。
8.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至6任一项所述飞机机外巡检方法。
CN202311445734.6A 2023-11-02 2023-11-02 飞机机外巡检方法、装置和电子设备 Active CN117213468B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311445734.6A CN117213468B (zh) 2023-11-02 2023-11-02 飞机机外巡检方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311445734.6A CN117213468B (zh) 2023-11-02 2023-11-02 飞机机外巡检方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN117213468A CN117213468A (zh) 2023-12-12
CN117213468B true CN117213468B (zh) 2024-04-05

Family

ID=89039244

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311445734.6A Active CN117213468B (zh) 2023-11-02 2023-11-02 飞机机外巡检方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN117213468B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113222184A (zh) * 2021-01-29 2021-08-06 国网辽宁省电力有限公司大连供电公司 基于增强现实ar的设备巡检***及方法
WO2022021739A1 (zh) * 2020-07-30 2022-02-03 国网智能科技股份有限公司 一种语义智能变电站机器人仿人巡视作业方法及***
CN114636422A (zh) * 2021-11-26 2022-06-17 广西电网有限责任公司 用于信息机房场景的定位导航方法
CN115469744A (zh) * 2022-09-09 2022-12-13 南方电网调峰调频发电有限公司信息通信分公司 一种基于ar技术的机房设备巡检作业方法
CN115661966A (zh) * 2022-09-16 2023-01-31 武汉烽火技术服务有限公司 一种基于增强现实的巡检***和方法
CN116824102A (zh) * 2023-07-05 2023-09-29 中国南方电网有限责任公司超高压输电公司贵阳局 一种基于ar设备的设备智能巡检方法
CN116843867A (zh) * 2023-05-15 2023-10-03 北京航空航天大学 增强现实虚实融合方法、电子设备和存储介质
CN116911823A (zh) * 2023-07-05 2023-10-20 中国南方电网有限责任公司超高压输电公司贵阳局 一种基于ar眼镜的变电站的巡检交互方法、***

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9463574B2 (en) * 2012-03-01 2016-10-11 Irobot Corporation Mobile inspection robot

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022021739A1 (zh) * 2020-07-30 2022-02-03 国网智能科技股份有限公司 一种语义智能变电站机器人仿人巡视作业方法及***
CN113222184A (zh) * 2021-01-29 2021-08-06 国网辽宁省电力有限公司大连供电公司 基于增强现实ar的设备巡检***及方法
CN114636422A (zh) * 2021-11-26 2022-06-17 广西电网有限责任公司 用于信息机房场景的定位导航方法
CN115469744A (zh) * 2022-09-09 2022-12-13 南方电网调峰调频发电有限公司信息通信分公司 一种基于ar技术的机房设备巡检作业方法
CN115661966A (zh) * 2022-09-16 2023-01-31 武汉烽火技术服务有限公司 一种基于增强现实的巡检***和方法
CN116843867A (zh) * 2023-05-15 2023-10-03 北京航空航天大学 增强现实虚实融合方法、电子设备和存储介质
CN116824102A (zh) * 2023-07-05 2023-09-29 中国南方电网有限责任公司超高压输电公司贵阳局 一种基于ar设备的设备智能巡检方法
CN116911823A (zh) * 2023-07-05 2023-10-20 中国南方电网有限责任公司超高压输电公司贵阳局 一种基于ar眼镜的变电站的巡检交互方法、***

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于头戴式双目相机的智能变电站巡检巡视***设计;刘广振等;《计算机测量与控制》(第2期);全文 *

Also Published As

Publication number Publication date
CN117213468A (zh) 2023-12-12

Similar Documents

Publication Publication Date Title
US20150062123A1 (en) Augmented reality (ar) annotation computer system and computer-readable medium and method for creating an annotated 3d graphics model
Dini et al. Application of augmented reality techniques in through-life engineering services
CN103456025B (zh) 虚拟和实际环境中的传感器增强的定位
US20180300551A1 (en) Identifying a Position of a Marker in an Environment
CN106662925B (zh) 使用头戴式显示器设备的多用户注视投影
Zollmann et al. Augmented reality for construction site monitoring and documentation
CN105144249B (zh) 零件安装作业支持***及零件安装方法
EP2208021B1 (en) Method of and arrangement for mapping range sensor data on image sensor data
US20150294505A1 (en) Head mounted display presentation adjustment
US9235933B2 (en) Wearable display system that displays previous runners as virtual objects on a current runner's path
US20170168306A1 (en) Device and method for testing function or use of a head worn see through augmented reality device
JP2021524014A (ja) コンピュータによる検査システム及び方法
EP3136964A1 (en) Improved registration for vehicular augmented reality using auto-harmonization
US20230206565A1 (en) Providing augmented reality in a web browser
CN104049742A (zh) 三维指尖追踪
CN105701261A (zh) 近场飞机自动跟踪与监测方法
JP2020160944A (ja) 点検作業支援装置、点検作業支援方法及び点検作業支援プログラム
CN110969687A (zh) 一种碰撞检测方法、装置、设备和介质
JP6061334B2 (ja) 光学式シースルー型hmdを用いたarシステム
CN113302667A (zh) 传递可视化
JP6345381B2 (ja) 拡張現実システム
KR20190016841A (ko) 10축 센서를 이용한 멀티콥터 무인비행장치 시뮬레이터 시스템
CN117213468B (zh) 飞机机外巡检方法、装置和电子设备
CN113409444A (zh) 三维重建方法、装置、电子设备及存储介质
CN115357500A (zh) 自动驾驶***的测试方法、装置、设备和介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant