CN114299519A - 一种基于xml格式电子飞行手册的辅助飞行方法 - Google Patents

Abstract

本发明公开了一种基于XML格式电子飞行手册的辅助飞行方法。该辅助飞行方法包括将原始飞行手册按照行业规范结构化以生成能够被AR眼镜读取的XML格式电子飞行手册，再将XML格式电子飞行手册中具有相同标签的内容按照其在手册中的步骤顺序形成工作流；利用3D扫描仪扫描飞机驾驶舱生成三维模型以形成素材库，并将三维模型与XML格式电子飞行手册中的标签进行配对；用户通过AR眼镜选择XML格式电子飞行手册的内容，由此触发与选定内容相关的工作流，并按照触发的工作流中的顺序依次调用三维模型来跟AR眼镜视线中的物体做比较，从而识别操作对象；识别操作对象成功后，AR眼镜将显示与操作对象相对应的操作指引和警示信息来辅助用户操作以辅助飞行。

Description

一种基于XML格式电子飞行手册的辅助飞行方法

技术领域

本发明涉及飞行器的辅助飞行领域，尤其涉及一种基于XML格式电子飞行手册的辅助飞行方法。

背景技术

可扩展标记语言(Extensible Markup Language，XML)是一种国际通用的程序语言，如图1和图2所示，民航领域用XML语言按照“S1000D行业规范”根据手册底稿编写飞行手册，完成后的XML文件按照自定义的发布规则发布成PDF、网页等各种形式的文件供用户查看能够辅助操作飞行。同时，AR眼镜能够读取XML格式的电子飞行手册，通过其上的显示功能为飞行操作人员提供操作设备的文本知识或指导性说明。

但是，目前在民航领域，飞行手册XML数据仅用于生成PDF类或网页类文本供用户阅读并被动地提供操作指导。虽然国内已初步探索基于增强现实(Augmented Reality，AR)的飞行操作辅助设备方法，能够通过AR眼镜读取XML格式电子飞行手册后扫描识别操作设备以自动显示相应的指导性说明。但是还需要用户人工触发AR眼镜的识别功能，识别成功后再弹出显示相应的说明。

因此，无法提供一种能够快速、直观、主动的显示操作设备对应的操作信息的辅助飞行方法，从而无法降低人工操作错误率和缩减故障处置时间，无法有效优化飞行器的安全飞行。

发明内容

因此，本发明要解决的技术问题是克服现有技术中存在的无法快速、直观、主动的为用户提供操作设备对应的操作信息以辅助飞行的问题，提供一种基于XML电子飞行手册的新的辅助飞行方法。通过该方法能够主动识别待操作设备以辅助用户快速定位操作对象，并在识别到操作设备后主动显示相应的操作与警示信息，从而能够降低工操作错误率和检索故障处置时间，保证飞行器的安全飞行。

具体而言，本发明是通过下述技术方案来解决上述技术问题的：

本发明提供了一种基于XML格式电子飞行手册的辅助飞行方法，其特点在于，该辅助飞行方法包括以下步骤：

将原始飞行手册按照行业规范结构化处理以生成能够被AR眼镜读取的XML格式电子飞行手册文件，其中XML格式电子飞行手册文件中的每段内容被赋予独立的标签和能够赋值的属性，提取具有操作类标签的内容并按照在电子飞行手册文件中描述的步骤顺序形成工作流；

利用3D扫描仪扫描飞机驾驶舱中的各种设备和开关，以生成三维模型素材库，并将各种设备和开关的三维模型与XML格式电子飞行手册文件中的标签进行配对；

用户通过AR眼镜选择XML格式电子飞行手册文件的内容，由此触发与所选定内容相关的工作流，并按照触发的工作流中的顺序依次调用三维模型与AR眼镜视野中的物体做比较；

当所调用的三维模型与AR眼镜视野中的物体一致时，表明识别操作对象成功，AR眼镜将显示与操作对象相关的操作指引和警示信息来辅助用户操作以辅助飞行。

本发明所公开的基于XML格式电子飞行手册的辅助飞行方法，不仅能够生成用户阅读的文本内容如PDF文本、网页文本，还可作为操作步骤程序的输入，由XML标签直接转化为程序代码，并自动调用后台配对过的三维模型，免去了为操作步骤编程的工作。此外，还能够通过AR眼镜按照工作流主动搜索操作设备，并在用户视线中标记显示相应的操作设备及其对应的操作信息，为用户提供操作指导，从而降低错误率和缩减查询时间，有效保证飞行安全。

根据本发明的一种实施方式，该辅助飞行方法还包括：为XML格式电子飞行手册文件的操作类标签和警示类标签关联触发事件，从而在用户通过AR眼镜成功识别操作对象后触发前述触发事件，由此调用与识别的操作对象相关联的内容；以及在AR眼镜中读取调用的内容。通过触发事件，能够自动读取有关操作对象的信息，也无需用户手动调取有关操作对象的信息，大大简便了用户获得信息的流程。

根据本发明的另一种实施方式，该辅助飞行方法还包括：用户通过点击AR眼镜的显示界面中的读取文件按钮而按章节手动检索XML格式电子飞行手册文件，并阅读XML格式电子飞行手册。

根据本发明的另一种实施方式，该辅助飞行方法还包括：在AR眼镜中验证XML格式电子飞行手册内容是否满足要求的验证步骤，其中验证人员通过AR眼镜读取已经发布的所有待确认的XML格式电子飞行手册文件，并在选择指定的手册文件后按指定手册文件中记载的操作顺序执行所有工作流，以确认所有指示是否都符合规范要求。

根据本发明的另一种实施方式，AR眼镜配置有处理器，所述处理器被配置成能够通过数据线与计算机相连；所述辅助飞行方法还包括：所述AR眼镜的处理器接收经过计算机编辑和更新的所述XML格式电子飞行手册文件，并生成新的工作流。

根据本发明的另一种实施方式，AR眼镜被配置为能够通过识别类标签而读取XML格式电子飞行手册文件中的与前述识别类标签对应的内容。

根据本发明的另一种实施方式，AR眼镜设置有摄像头，并被配置为在触发工作流后能够不断扫描视线里的画面，并将扫描画面显示在AR眼镜上；同时，将扫描的物体与所调用的三维模型进行比对，并在成功识别操作对象后，在AR眼镜上显示的画面内直接标出该操作对象。

根据本发明的另一种实施方式，AR眼镜设置有用于向用户显示与操作对象相关联的操作指引和警示信息的显示屏。

根据本发明的另一种实施方式，AR眼镜能够通过语音的方式向用户发出与操作对象相关联的操作指引和警示信息。

根据本发明的另一种实施方式，AR眼镜包括存储器，三维模型素材库和XML格式电子飞行手册文件被保存在前述存储器中。

根据本发明的另一种实施方式，XML格式电子飞行手册文件中包含文字，以及以标签形式***的图片、音频、视频等多媒体素材。能够通过XML格式电子飞行手册文件的标签调取***的图片，并调取的图片与三维模型进行对比，当图片中的物体与三维模型一致时，实现XML格式电子飞行手册与三维模型的匹配。

在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本发明各较佳实例。

根据本发明上述实施方式的基于XML格式电子飞行手册的辅助飞行方法所能实现的有益技术效果和优点在于：

根据本发明的基于XML格式电子飞行手册的辅助飞行方法，通过先将原始飞行手册结构化以生成能够被AR眼镜读取的XML格式电子飞行手册，再将手册中的内容根据XML格式电子飞行手册中的标签和步骤顺序形成工作流，能够将XML标签直接转化为程序代码，免去操作步骤编程的工作。而且，通过将XML标签与三维模型配对，能够在触发执行工作流时，自动调用后台配对过的三维模型。此外，AR眼镜能够按照工作流主动搜索操作对象，并在用户视线中识别标记出来，直观主动的为用户提供操作指导，从而降低错误率和缩减查询时间。由此，能够通过AR眼镜快速、直观、主动的显示操作设备对应的操作信息，实现飞行器的辅助飞行，有效的保证飞行安全。

附图说明

图1为现有技术中使用XML语言生成PDF或者网页显示的原理框架图。

图2为现有技术中使用飞行手册XML文件生成PDF文档的示意图。

图3为根据本发明优选实施方式的一种基于XML格式电子飞行手册的辅助飞行方法的流程图。

图4为根据图3所示辅助飞行方法中生成XML格式电子飞行手册的步骤的示意图。

图5为根据图3所示辅助飞行方法中识别操作对象成功后的AR眼镜显示信息的示意图。

图6为采用根据本发明优选实施方式的辅助飞行方法的飞行辅助***的框架图。

图7为根据图6所示飞行辅助***中AR电子飞行手册应用业务***的用户操作步骤的流程图。

具体实施方式

下面结合说明书附图，进一步对本发明的优选实施例进行详细描述，以下的描述为示例性的，并非对本发明的限制，任何的其他类似情形也都落入本发明的保护范围之中。

除非另有定义，本申请所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本申请中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。

本申请的说明书和权利要求书及上述附图说明中的术语“包括”、“包含”、“有”、“具有”等为开放式的用词。因此，“包括”、“包含”、“有”例如一个或多个步骤或元件的一种方法或装置，其具有一个或多个步骤或元件，但不限于仅具有这一个或多个元件。在以下的具体描述中，数量性的术语，例如“一种”、“一套”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量，数量性的术语是用于示例的目的而非限制性的。

XML是一种国际通用的程序语言,民航领域用XML语言按照“S1000D行业规范”编写飞行手册，完成后的XML文件按照自定义的发布规则发布成PDF、网页等各种形式。因此，只需要修改后台的发布规则，就能改变整套飞行手册的结构、格式、内容筛选等特征。由此，通过改变发布规则，同一套飞行手册的XML文件源数据可以满足不同航空公司、不同工作人员如用户、维修人员、性能计算人员的定制化要求。此外，通过编程，还可以让各类硬件运行XML格式电子飞行手册，拓展出丰富的应用方法。

但是，目前民航领域，飞行手册XML数据仅用于生成PDF类或网页类文本供用户阅读并被动地提供操作指导，需要手动编程来设定操作步骤。国内已初步探索基于AR的飞行操作辅助设备方法，能够通过AR眼镜为用户提供文本知识或针对识别对象的指导性说明，但是需要用户手动触发识别功能。此外，辅助飞行方法如何在现有设备基础上，采集素材、建立数据库并进行验证方面尚未见有公开发表的学术论文和专利。

针对上述问题，本发明基于XML格式电子飞行手册，结合AR技术，提出了一种新的辅助飞行方法，可以根据XML格式电子飞行手册自动生成工作流，AR眼镜按照工作流主动调取三维模型、搜索识别操作对象，从而识别成功后自动显示与操作对象相关的操作指引和警示信息。将飞行操作手册内容转变为XML格式电子飞行手册，利用AR飞行操纵智能辅助设备实现用户的理论知识查询和交互式程序执行，以此实现辅助飞行。

本发明所公开的基于XML格式电子飞行手册的辅助飞行方法，不仅能够通过AR眼镜在人的视线中直接显示标出操作对象，还能在识别出操作对象后主动提供相关操作指引、警示信息，从而无需用户通过阅读并理解相关的描述后再操作。此外，还能够在飞机给出故障告警时自动识别告警文字，并且给出对应的操作程序和背景知识，从而辅助用户无需翻查手册即可快速定位到操作对象。

由此，本发明所公开的辅助飞行方法能够快速、直观、主动的显示操作设备对应的操作信息，降低人工操作错误率和缩减故障处置时间，实现更强的辅助功能，获得更高的安全性。下面，将结合附图对根据本发明的基于XML格式电子飞行手册的辅助飞行方法进行详述。

如图3所示，本发明所提供的基于XML格式电子飞行手册的辅助飞行方法大致包括以下步骤：

S1：生成XML格式电子飞行手册；

S2：形成工作流；

S3：生成驾驶舱三维模型；

S4：三维模型与XML标签配对；

S5：选择指定内容并触发工作流；

S6：识别操作对象；

S7：显示操作指引与警示信息。

具体来说，首先将原始飞行手册按照行业规范结构化以生成能够被AR眼镜读取的XML格式电子飞行手册，再将XML格式电子飞行手册中具有相同标签的内容按照其在手册中的步骤顺序形成工作流。接着利用3D扫描仪扫描飞机驾驶舱生成三维模型以形成素材库，并将三维模型与XML格式电子飞行手册中的标签(以下简称XML标签)进行配对。随后用户通过AR眼镜选择XML格式电子飞行手册的内容，由此触发与选定内容相关的工作流。然后AR眼镜将按照触发的工作流中的顺序依次调用三维模型来跟AR眼镜视线中的物体做比较，从而识别操作对象。最后，当调用的三维模型与AR眼镜视线中的物体一致时，操作对象识别成功，AR眼镜将显示与操作对象相对应的操作指引和警示信息来辅助用户操作以辅助飞行。

其中，XML格式电子飞行手册可由手册制作人员根据手册需求制作，每段内容被赋予独立的标签和能够赋值的属性，能够被AR眼镜读取。示例性地，把word或者PDF格式的飞行手册底稿按S1000D行业规范结构化改造后成为XML格式电子飞行手册，生成的XML格式电子飞行手册按照航空业S1000D标准，对其内容规定了各种标签。

如图4所示，生成的XML格式电子飞行手册中，“title”标签内的内容是标题，“para”标签内的内容是文字，“listItem”标签内为可定义文字列表，XML格式电子飞行手册中的每段内容可通过XML标签进行编程和查找调用。通过编制运行软件，能够使AR眼镜读取XML格式电子飞行手册中的内容。

优选地，AR眼镜能够通过配置的软件按照手册中的各类标签进行运行(类似于电脑驱动)。示例性地，在AR眼镜提示栏通过其内置显示器显示“description”标签中的内容。优选地，AR眼镜还设备设置有识别物体用的摄像头和内置显示器，能够通过电线连接到主机，主机内集成了处理器、存储器和电池。

此外，XML格式电子飞行手册中除了文字，还能以标签的形式***图片、音频、视频等多媒体素材。AR眼镜运行由XML标签形成的程序时，能够根据标签在数据库中调用多媒体素材。示例性地，XML格式电子飞行手册和数据库打包保存在AR眼镜的存储芯片中。

进一步地，AR眼镜能够通过配置的软件将XML格式电子飞行手册中具有相同标签的内容按照其在手册中的步骤顺序形成工作流。优选地，AR眼镜根据XML格式电子飞行手册中的“action”标签了解到操作对象及其对应的操作顺序，提取各“action”标签内的内容形成工作流。

而且，AR电子飞行手册作为结构化数据存在，既可以在电脑端用XML文件编辑软件进行修改，也可以在AR编辑器中进行修改。在电脑端修改完的XML格式电子飞行手册能够通过数据线从电脑端复制到AR眼镜的存储器中，AR眼镜的处理器运行软件读取XML文件后生成新的工作流。因此操作内容更新时只需要在上版本基础上修改，无需从头创建。

然后，AR眼镜能够按照该工作流的顺序调用配对的三维模型，来跟AR眼镜视线中的物体做比较。其中，三维模型通过3D扫描仪扫描飞机驾驶舱中的各种设备、开关，采集AR识别所需的素材，分别保存为三维模型以形成素材库。不同三维模型按照XML格式电子飞行手册中的标签来分别配对。示例性地，将三维模型与XML格式电子飞行手册中的用于描述操作步骤的“action id”标签配对，当三维模型与“action id”标签内的图片一致时，则三维模型配对成功。

随后，用户通过AR眼镜选择XML格式电子飞行手册的内容，由此触发与选定内容相关的工作流，并按照触发的工作流中的顺序依次调用三维模型来跟AR眼镜视线中的物体做比较，从而按照XML格式电子飞行手册中写的操作顺序来识别操作对象。示例性地，用户能够通过AR眼镜上的配置的“读取文件”模块，根据自身需要按章节手动检索并阅读，由此呈现完整的手册页面。

具体地，当选定内容相关的工作流触发时，AR眼镜的摄像头不断扫描驾驶舱内视线里的画面，并与调用的三维模型一一比对。当调用的三维模型与AR眼镜视线中的物体一致时，识别操作对象成功，AR眼镜定位到了需要操作的设备，AR眼镜将显示与操作对象相对应的操作指引和警示信息来辅助用户操作以辅助飞行。

进一步地，能够通过AR眼镜上配置的运行软件为XML格式电子飞行手册的标签关联上“触发事件”，当AR眼镜识别成功后将启动触发事件，由此在XML格式电子飞行手册中调用文字或在数据库中调用其它多媒体文件。由此，能够指定飞机器上某操作对象在被AR眼镜识别成功后，AR眼镜将显示对应的文字、图片说明。

示例性地，将XML格式电子飞行手册的各“action”标签或“EICAS”标签关联上“触发事件”，当AR眼镜识别成功后将启动触发事件，AR眼镜将从XML格式电子飞行手册或数据库中调用有关操作对象的操作指引或警告信息相关的文字或图片，AR眼镜将显示与操作对象相对应的操作指引和警示信息来辅助用户操作以辅助飞行。

图5示出了AR眼镜中看到的实际画面，AR眼镜在视线中识别到操作对象后显示“识别成功”方框，一秒后消失。识别成功后操作完成前，“操作对象”标定框与“操作指引与警示信息”提示栏会持续显示。示例性地，完成操作后，AR眼镜将自动识别操作对象的状态，进行工作流的下一步。在另一示例中，用户能够通过按压AR眼镜上的按钮进入工作流的下一步。优选地，“识别成功”方框为青色，操作对象标定框为白色，“操作指引与警示信息”提示框为白色，以此直观区分不同框代表的内容。

此外，验证人员能够通过AR眼镜验证生成的XML格式电子飞行手册是否满足要求。验证人员戴上AR眼镜登陆后，就能看到所有已经发布的待确认的XML格式电子飞行手册。选择指定内容后，AR眼镜就开始按手册中书写的步骤顺序执行XML标签形成的工作流。在执行工作流的每个执行步骤中，一旦识别操作对象成功，AR眼镜都会有相应的操作指引和警告信息辅助用户操作。

然后，验证人员通过查看AR眼镜所显示的操作指引和警告信息，能够确认所有指示项与信息是否都符合规范。如果指示项或者信息有问题，则回到AR编辑器或电脑端AR文件编辑软件中重新修改更新后，再进行验证，直到确认XML格式电子飞行手册已经满足要求。此外，AR眼镜的处理器运行软件能够读取由修改后的XML格式电子飞行手册生成新的“工作流”。因此操作内容更新时只需要在上版本基础上修改，无需从头创建。

图6示出了可采用根据本发明优选实施方式中的辅助飞行方法的飞行辅助***，该飞行辅助***包括XML手册素材单元、识别素材采集单元、手册编辑模块、管理服务器单元和AR眼镜终端。手册编辑模块能够接收来自XML手册素材单元的数据生成XML格式电子飞行手册，并能够接收来自识别素材采集单元的三维模型来完成手册标签与三维模型的配对，再通过管理服务器将手册与三维模型上传到AR眼镜终端。AR眼镜终端将解析XML格式电子飞行手册生成工作流，并在执行工作流时调用配对的三维模型以识别操作对象，从而在识别成功时显示有关操作对象的操作指引和警示信息。

其中，XML手册素材单元包括传统XML电子手册、XML解析模块、手册结构化数据和手册多媒体内容，XML解析模块能够将输入的传统XML电子手册XML代码转化为编制人员可读取的标签形式手册结构化数据，然后通过数据接口将手册结构化数据和手册多媒体内容传输到手册编辑模块以生成XML格式电子飞行手册。

手册编辑模块包括编辑界面、手册多媒体素材库和识别素材与手册内容配对工具，能够接收来自XML手册素材单元的手册结构化数据和手册多媒体内容以及来自识别素材采集单元的三维模型。手册编辑模块接收到手册结构化数据和手册多媒体内容后，能够通过编辑界面对手册XML结构化数据做挑选、排序等操作，并***手册多媒体内容形成XML格式电子飞行手册。

然后，手册编辑模块通过识别素材与手册中的内容配对工具将生成的XML格式电子飞行手册中的标签与对应的三维模型进行配对，获得配对的三维模型。随后，手册编辑模块通过管理服务器将生成的XML格式电子飞行手册和配对的三维模型传输到AR眼镜终端。其中，管理服务器通过手册换版的管理和分发模块决定传输哪一版本的手册和三维模型到AR眼镜终端。

AR眼镜终端包括手册解析模块、识别素材库模块、工作流管理和运行模块、物体识别模块、人机交互模块、目视显示模块和视频记录模块。其中，手册解析模块能够用于对XML文件中的标签译码，生成按照手册的操作步骤执行的工作流，并通过工作流管理和运行模块管理眼镜的运行。

在执行工作流的过程中，AR眼镜终端能够通过物体识别模块在识别物体时进行扫描,并将物体扫描结果与存储在识别素材库中的三维模型进行比对，输出识别结果。当识别结果为成功时，工作流管理和运行模块根据识别结果，调用对应的手册页面、多媒体素材和处置程序，从而能够显示有关操作对象的操作指引和警示信息以辅助飞行。

在执行工作流的过程中，AR眼镜终端还能够通过人机交互模块和目视显示模块用于接收和反馈用户对眼镜的各种操作，然后工作流管理和运行模块根据用户的操作调用对应的手册页面、多媒体素材和处置程序，从而能够显示有关操作对象的操作指引和警示信息以辅助飞行。

此外，AR眼镜终端还能够通过视频记录模块记录和存储使用过程的录像，并将记录存储的录像视频上传到管理服务器。管理服务器的视频记录存储模块将存储每次上传的录像视频，用户能够调取存储的录像视频以便于回放观看，从而总结经验提供飞行操纵能力。

优选地，AR眼镜端手册应用是手册运行和显示的执行平台。为了利于手册内容的更新和扩展，手册内容的制作模块和AR执行应用是松耦合的，即：手册内容常常会应航空公司的要求做修改，会在XML文件中添加新的标签或属性，这种修改不会影响AR软件的运行。AR眼镜终端和手册编辑模块以标准协议规范为约束，用手册解析模块做对接(类似于上网用的译码器)。

也就是说，XML格式电子飞行手册自身就形成了所有的手册执行逻辑流程，AR眼镜的运行软件不负责管理单一手册的逻辑流程(相当于用电脑播放电影，XML文件中的文字、图片相当于电影的视频文件，XML格式电子飞行手册中的各类标签形成了程序相当于视频播放软件，AR眼镜的运行软件相当于电脑上安装的视频驱动)。这种架构模式，可以把手册内容包作为独立的内容插件来使用，极大提高了框架逻辑的扩展性(相当于一台电脑可以装很多软件，各有不同功能)。

示例性地，该飞行辅助***还包括飞行手册内容管理平台，能够完成按手册状态分发手册验证、评审等流程工单，可派发给具体飞行程序的负责人去执行相应的手册校对、审核任务，审核完成后手册定稿，才可由用户使用。

具体使用时，飞行人员登录后可以检索到派发给自己的所有手册，点击后可以执行飞行程序。程序执行过程中读到“action”标签则表示要操作某一开关，***触发物体识别功能。AR眼镜的摄像头不断扫描视线里的画面，跟预先配对的三维模型做比较，实现物体识别，识别成功就表示定位到了需要操作的开关，此时AR眼镜用文字或语音的方式提示操作动作。

图7示出了采用图3所示的辅助飞行方法和图6所示的辅助飞行***进行飞行操作培训的具体操作步骤的流程。如图7所示，首先，用户佩戴AR眼镜打开应用后进行账号登录，然后加载原始飞行手册，选择指定的飞机型号以及架次等信息，并导入任务内容包开始培训用户的飞行操作。

随后，根据导入的任务内容包，用户选择加载服务匹配库，加载XML格式飞行手册内容包并初始化手册内容。当手册初始化完成后，用户再选择加载物体识别匹配库，通过UI指示到飞行模拟器进行识别扫描，AR眼镜将开始进行飞行模拟器识别定位。当识别定位坐标匹配完成，***进入监听事件状态。

当***接收到用户输入的光标、手势、按键或遥控器的指定操作后，可以选择浏览对应的素材内容或者直接进入到下一步操作步骤。如果碰到交互逻辑判断，则需要用户判断当前的交互选择，随后在根据用户的不同选择跳转到对应操作对象的内容。

示例性地，在XML文件中以“choose”标签编写交互逻辑判断内容。在燃油泄漏的工作流中，需要用户判断剩余油量是否足够飞往目的地机场，选择“是”则程序进入继续飞行并排除故障的分支，选择“否”则进入紧急备降的分支。

最后培训任务完成后，用户能够通过***上传操作状态统计和上传操作过程的视频监控以进一步提高飞行操作水平。

本申请具体实施例中所公开的辅助飞行方法能够采用的飞行手册已开发出完整的XML文件数据包，既可用于生成用户阅读的文本内容(PDF、网页)，也可作为操作步骤程序的输入，由XML标签直接转化为程序代码，并自动调用后台配对过的三维模型，免去了为操作步骤编程的工作。还能够主动为用户提供操作指引和警示，即：按照飞行操作的逻辑顺序主动搜索操作目标物，并在用户视线中用红框标记出来，为其提供操作指导，从而降低错误率和缩减查询时间。

本发明的上述具体实施方式的有益技术效果如下：

能够按照飞行手册的操作步骤顺序自动生成操作步骤的工作流，无需额外的编程，简便了操作流程。

AR眼镜能够在人的视线中直接标出操作对象，不像看书本或阅读器那样需要人来理解相关的描述后才能确定操作对象，使待操作动作更直观。

能够在识别到用户操作某一开关时快速给予相关知识、在飞机给出故障告警时自动识别告警文字，并给出对应的操作程序、背景知识，无需人工翻查手册，从而辅助用户快速定位到下一步要操作的开关。

因为该辅助飞行方法能够快速、直观、主动的显示操作设备对应的操作信息，从而能够降低人工操作错误率和缩减故障处置时间，实现更强的辅助功能和更高的飞行安全性。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这些仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (11)

1.一种基于XML格式电子飞行手册文件的辅助飞行方法，其特征在于，所述辅助飞行方法包括以下步骤：

将原始飞行手册按照行业规范结构化处理以生成能够被AR眼镜读取的XML格式电子飞行手册文件，其中所述XML格式电子飞行手册文件中的每段内容被赋予独立的标签和能够赋值的属性，提取具有操作类标签的内容并按照在电子飞行手册文件中描述的步骤顺序形成工作流；

利用3D扫描仪扫描飞机驾驶舱中的各种设备和开关，以生成三维模型素材库，其中将各种设备和开关的三维模型与所述XML格式电子飞行手册文件中的标签进行配对；

用户通过所述AR眼镜选择所述XML格式电子飞行手册文件的内容，由此触发与所选定内容相关的工作流，并按照触发的工作流中的顺序依次调用所述三维模型与所述AR眼镜视野中的物体做比较；

当所调用的三维模型与所述AR眼镜视野中的物体一致时，表明识别操作对象成功，所述AR眼镜将显示与所述操作对象相关的操作指引和警示信息来辅助用户操作以辅助飞行。

2.如权利要求1所述的辅助飞行方法，其特征在于，所述辅助飞行方法还包括：为所述XML格式电子飞行手册文件的操作类标签和警示类标签关联触发事件，从而在用户通过所述AR眼镜成功识别所述操作对象后触发所述触发事件，由此调用与所述操作对象相关联的内容；以及在所述AR眼镜中读取调用的内容。

3.如权利要求1所述的辅助飞行方法，其特征在于，所述辅助飞行方法还包括：用户通过点击所述AR眼镜的显示界面中的读取文件按钮而按章节手动检索所述XML格式电子飞行手册文件，并阅读XML格式电子飞行手册。

4.如权利要求1所述的辅助飞行方法，其特征在于，所述辅助飞行方法还包括：在AR眼镜中验证XML格式电子飞行手册内容是否满足要求的验证步骤，其中验证人员通过所述AR眼镜读取已经发布的所有待确认的XML格式电子飞行手册文件，并在选择指定的手册文件后按指定手册文件中记载的操作顺序执行所有工作流，以确认所有指示是否都符合规范要求。

5.如权利要求1所述的辅助飞行方法，其特征在于，所述AR眼镜配置有处理器，所述处理器被配置成能够通过数据线与计算机相连；所述辅助飞行方法还包括：所述AR眼镜的处理器接收经过计算机编辑和更新的所述XML格式电子飞行手册文件，并生成新的工作流。

6.如权利要求1所述的辅助飞行方法，其特征在于，所述AR眼镜被配置为能够通过识别类标签而读取所述XML格式电子飞行手册文件中的与所述识别类标签对应的内容。

7.如权利要求1所述的辅助飞行方法，其特征在于，所述AR眼镜设置有摄像头，并被配置为在触发所述工作流后能够不断扫描视线里的画面，并将扫描画面显示在AR眼镜上；同时，将扫描的物体与所调用的三维模型进行比对，并在成功识别所述操作对象后，在所述AR眼镜上显示的画面内直接标出所述操作对象。

8.如权利要求1所述的辅助飞行方法，其特征在于，所述AR眼镜设置有用于向用户显示与所述操作对象相关联的操作指引和警示信息的显示屏。

9.如权利要求1所述的辅助飞行方法，其特征在于，所述AR眼镜能够通过语音的方式向用户发出与所述操作对象相关联的操作指引和警示信息。

10.如权利要求1所述的辅助飞行方法，其特征在于，所述AR眼镜包括存储器，所述三维模型素材库和所述XML格式电子飞行手册文件被保存在所述存储器中。

11.如权利要求1所述的辅助飞行方法，其特征在于，所述XML格式电子飞行手册文件中包含文字，以及以标签形式***的图片、音频、视频等多媒体素材。

Images