CN112578984A - 一种合成视景***人机交互事件的处理方法和*** - Google Patents

Abstract

本发明公开了一种合成视景***人机交互事件的处理方法和***，方法包括了以下步骤：S1、多功能显示器发送原始报文数据；S2、将原始报文数据转换成待切换状态数据；S3、若待切换状态数据相对当前的状态数据有变化，则生成事件，并将事件保存；S4、将事件分发给多功能显示器的图形界面交互控件；图形界面交互控件执行所述事件相应的回调函数，并对事件进行响应；S5、清除事件缓存中已经响应的事件。本发明的方法和***使得图形界面主绘制线程或任务对事件缓存中的事件进行分发，不占用主绘制线程，大大提升了事件数据处理效率，提高了有限交互元件的可复用性，也提高了交互操作的界面响应。

Description

一种合成视景***人机交互事件的处理方法和***

技术领域

本发明涉及航空电子设备合成视觉技术领域，尤其涉及一种合成视景***人机交互事件的处理方法和***。

背景技术

合成视景***（SVS，Synthetic Vision System）是一种新型机载***，使用高程地形、地图瓦片、导航数据库等数据，通过图形处理计算机生成三维视景场景和叠加显示速度、高度、姿态等主飞行参数信息图像输出给多功能显示器显示，提高飞行员在能见度较差或地形情况较复杂环境下态势感知能力。

现有的合成视景***主要用于显示三维场景和飞行参数，并没有较多的人机交互操作和交互逻辑，因此，人机交互的方式很简单，通过几个交互元件就完成了所有的交互操作和交互逻辑。

然而，随着计算机图形处理能力的不断增强，合成视景***的功能也日渐强大，***中融合了航路管理、飞行计划管理、***维护等功能，功能的增强对图形化交互界面的要求也越来越高，图形化控件的人机交互逻辑也越来越复杂。然而目前大多数机载的多功能显示器为了节约座舱内占用的空间，用于交互操作的交互元件非常有限，如何利用有限的交互元件实现日渐复杂的交互操作，并能高效率响应交互操作成为亟待解决的关键问题。

发明内容

本发明的目的在于，解决如何利用有限的交互元件实现日渐复杂的交互操作，并能提高响应效率，提出了一种合成视景***人机交互事件的处理方法。

为了实现上述目的，本发明采用的技术方案包括以下各方面。

一种合成视景***人机交互事件处理方法，包括以下步骤：

S1、多功能显示器发送原始报文数据；

S2、将原始报文数据转换成待切换状态数据；

S3、若待切换状态数据相对当前的状态数据，有变化，则生成事件，并将事件保存；

S4、将事件分发给多功能显示器的图形界面交互控件；图形界面交互控件执行事件相应的回调函数，并对事件进行响应；

S5、清除事件缓存中已经响应的事件。

作为本发明的优选方案，步骤S1中原始报文数据包括数据头、数据长度、循环计数器、状态信息以及校验和。

作为本发明的优选方案，步骤S2具体是指，从原始报文数据中的状态信息字段提取出交互元件的状态信息，交互元件的状态信息就是原始报文数据相应的待切换状态数据。

作为本发明的优选方案，步骤S3中，事件包括但不限于按下、释放、左旋、右旋、触摸开始、触摸中或触摸结束事件。

作为本发明的优选方案，步骤S4具体包括以下步骤：

S41，遍历事件缓存；

S42，读取出事件；

S43，根据事件在事件回调函数映射表中查找回调函数；

S44，如果回调函数不为空，提取出该回调函数，并执行回调函数；

S45，判断事件缓存中的事件是否遍历完毕，如果是，则结束，否则返回步骤S41，循环执行S41-S45。

作为本发明的优选方案，步骤S4中，图形界面交互控件以树形结构组织成图形界面***，包括根节点控件、子控件和叶子节点控件。

作为本发明的优选方案，步骤S44中，执行回调函数具体包括以下步骤：

S441，找到回调函数对应的图形界面交互控件的根节点控件；

S442，从根节点控件开始，依次判断树形结构控件每一级是否可见并且可用，当控件可见并且可用时，对控件的下一级子控件进行是否可见并可用的判断；

S443，遍历树形结构控件的每一级，直到找到回调函数对应的图形界面交互控件，回调函数对应的图形界面交互控件执行回调函数，并返回执行参数。

基于相同的构思，还提出了一种合成视景***人机交互事件处理***，包括事件处理器单元、事件管理器单元、事件缓存单元和交互控件单元，

事件处理器单元用于接收多功能显示器发送的原始报文数据，并将原始报文数据转换为交互元件的待切换状态数据，事件处理器单元还用于根据待切换状态数据相对于当前的状态数据的变化，生成事件，并将事件存放至事件缓存单元中；

事件管理器单元用于管理事件缓存中的事件，包括事件缓存中未响应事件的分发和已经响应事件的清除，以及为交互控件单元提供注册和移除事件响应函数接口，以及预先保存事件、交互控件和交互控件事件响应函数的映射关系；

事件缓存单元用于存储事件，使得事件的生成、分发和消除可运行于不同线程中；

交互控件单元用于接收事件管理器单元分发的事件，并根据相应的交互控件事件响应函数，使得生成的事件在交互软件上得以响应。

作为本发明的优选方案，交互控件单元中的控件都按照EventWidget类定义数据格式。

作为本发明的优选方案，交互控件单元中的控件采用树形的组织结构，每个控件的EventWidget类包括EventPage、MenuItem或SpinBox。

综上所述，由于采用了上述技术方案，本发明至少具有以下有益效果：

1、本发明的方法和***将交互元件状态信息数据转换成事件，通过回调函数控制交互控件做出事件响应，并且采用事件缓存机制保存生成的事件，图形界面主绘制线程或任务对事件缓存中的事件进行分发，不占用主绘制线程，大大提升了事件数据处理效率，提高了有限交互元件的可复用性，也提高了交互操作的界面响应。

2、本发明采用面向对象的思想将***划分为多个模块，各模块间功能相对独立，降低***耦合度增加模块内聚度；将所需响应事件的图形交互控件抽象成基类，其他需响应事件的交互控件继承于该类，快速获得父类在事件处理上的特征，提高开发效率，增强应用***拓展性；

3、采用树形结构组织图形界面交互控件，定义EventRootPage对象，该对象作为图形界面页面根节点，管理了该页面上所有从事件管理器分发过来的事件，同时对这些事件进行进一步处理，如将按压和释放事件合并成点击事件等，简化了交互控件的事件处理，由于每个EventRootPage对象在显示时接管了事件管理器分发过来的所有事件，对象只需控制其子交互控件的显示或隐藏，可用或不可用来控制由哪个子交互控件来响应事件，降低事件响应流程复杂度，同时提高了硬件按键、旋钮等交互元件的复用性，增强了硬件交互元件在不同页面，不同交互控件响应时的控制表现。

附图说明

图1是实施例1中一种合成视景***人机交互事件处理方法流程图；

图2是实施例1中数据报文的格式；

图3是实施例1中事件分发流程示意图；

图4是实施例1中事件响应流程示意图；

图5是实施例2中一种合成视景***人机交互事件处理***结构图；

图6是实施例2中事件处理***类图；

图7是实施例2中交互控件组织方式示意图。

具体实施方式

下面结合附图及实施例，对本发明进行进一步详细说明，以使本发明的目的、技术方案及优点更加清楚明白。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

一种合成视景***人机交互事件处理方法和***通过数据处理模块获取多功能显示器发送出来的交互元件状态信息，该方法和***将这些数据信息处理成人机交互界面能够识别的事件，这里的事件指多功能显示器上的交互元件状态发生变化时软件所能识别的操作，如多功能显示器上某个按键状态从无效变为有效时，此时识别为按键按下事件，当由有效转为无效时，此时识别为按键释放事件。这些事件包括按键按下、按键释放、旋钮按下、旋钮释放、旋钮旋转等，人机交互界面根据自身需要对所需事件进行处理，达到人机交互目的。

实施例1

一种合成视景***人机交互事件处理方法主要流程如图1所示，主要包括以下步骤：

S1、多功能显示器向图形处理板发送原始报文数据；

S2、图形处理板接收原始报文数据并对数据进行处理，形成待切换状态数据；

S3、图形处理板通过当前状态数据和待切换状态数据，生成事件，并将事件存放至事件缓存中；

S4、图形处理板的每帧图形界面帧从事件缓存中取出事件向外分发事件，并循环执行本步骤；

S5、多功能显示器的图形界面交互控件执行回调函数并对事件进行响应；

S6、图形处理板清除事件缓存中已经响应的事件。事件缓存中所有事件被分发，交互控件完成事件响应后，清除事件缓存中已经响应的事件。

作为优选方案，步骤S1中具体包括以下步骤：

S11，多功能显示器的处理器采集电子元件的电信号信息。由于多功能显示器包含多种交互式电子元件，包括但不限于触屏、按键、旋钮，多功能显示器的处理器采集这些交互式电子元件的电信号信息。

S12，多功能显示器的处理器将采集到的电子元件的电信号信息按与图形处理板制定的通信协议转换成对应的二进制数据报文，得到原始报文数据，其报文格式如图2所示，通过硬件接口将原始报文数据发送至图形处理板，这里的硬件通信接口包括但不限于RS422、RS232、TCP、UDP、SPI接口。

报文中包括数据头、数据长度、循环计数器、状态信息和校验和，各字段的含义如下：

数据头：作为***中报文数据的标识，使用不同的数据头标识所表示的报文数据，如5A5A两个字节作为数据头；

数据长度：报文数据总字节长度；

循环计数器：数据包计数，一般使用一个字节从0-255，超过时又从0开始，可以用于判断数据包是否有丢失；

状态信息：设备各交互元件的状态信息，如按键按下或释放状态、旋钮旋转状态、触摸按下或释放状态、触摸位置信息等，根据多功能显示器所获取的状态灵活增加或减少；

校验和：对传输数据按位累加超过255时，使用其补码作为校验和，用于数据通信中保证数据的完整性和准确性。

作为优选方案，步骤S2中，图形处理板与多功能显示器通过硬件通信接口进行数据交互，图形处理板软件通过调用***API或嵌入式底层驱动提供的通信接口接收多功能显示器发送的原始报文数据。接收原始报文数据后，对原始报文数据进行处理，对原始报文数据的处理包括数据的校验和数据转换。

对数据进行校验步骤如下：

首先从报文数据中取出数据头字节，判断是否为多功能显示器发送过来的数据；如果是，则读取数据长度字节，获取传输字节长度，并根据传输字节长度取出整包数据。

其次，计算整包数据除校验位外所有字节校验和得到校验和计算结果；将计算结果与数据校验位上的值进行比对，以确定接收的整包数据是否正确。

数据转换是指：校验成功后，将数据包中表示状态信息的数据取出，转换成各交互元件的状态信息，并将交互元件的状态信息保存至内存中，等待后续事件分发使用。图形处理板不断接收多功能显示器发送过来的原始报文数据，并将原始报文数据转换得到各交互元件的状态信息。

作为优选方案，步骤S3具体包括以下内容：，将当前转换得到的交互元件的状态信息与交互元件上一次的状态进行对比，根据交互元件的状态信息显示交互元件的状态发生变化，则相应生成事件，否则，不产生任何事件。例如使用0、1表示按键L1的状态，0表释放，1表按下，当按键L1上一时刻状态为释放，此刻接收到的状态为按下时，则产生一个L1按下事件，如果此刻状态还是释放，则不产生任何事件。

通过不断对比当前时刻和上一时刻交互元件的状态变化生成各种事件，事件包括但不限于按下、释放、左旋、右旋、触摸开始、触摸中、触摸结束事件等。产生的事件将存放至事件缓存中。

为了更为高效的生成功能显示器状态数据和事件，使用多线程或多任务形式处理数据和事件生成，在不影响主绘制线程或任务下，完成状态数据接收、处理和事件生成。

作为优选方案，步骤S4中图形界面在帧绘制前开始对事件进行分发，按事件类型从事件缓冲区中取出事件，根据事件从对应事件回调函数映射表中取出对应的回调函数，调用相应的回调函数执行事件响应。事件分发接口处理流程图如图3所示，事件分发主要包括以下步骤：

S41，遍历事件缓存；

S42，读取出事件；

S43，根据事件在事件回调函数映射表中查找回调函数；

S44，如果回调函数为空，则说明该回调函数不存在，如果回调函数不为空，说出该回调函数存在，提取出该回调函数；

S45，判断事件缓存中的事件是否遍历完毕，如果是，则结束，否则返回步骤S41，循环执行S41-S45。

作为优选方案，步骤S5中，图形界面交互控件注册的回调函数得到调用时，执行该回调函数就是实现事件响应，因为图形化界面中控件的大多以树形结构组织成图形界面***，即控件包含其子控件，子控件可能又包含他的子控件，依次递归。所以在事件响应处理时也是一个递归的处理过程，首先由根节点控件的事件响应处理函数被调用，先将该事件交由其子控件去处理，子控件又交由他的子控件去处理，到达叶子节点控件时才真正响应事件。结合图***响应流程示意图说明根节点的控件事件响应处理函数被调用时事件响应过程步骤：

S51、首先判断根节点上控件的可见性和可用性，根节点上的控件可见或可用时执行步骤S52，否则直接返回FALSE，结束事件响应。

S52、遍历当前控件的子控件，获取每一个子控件，判断其可见性和可用性，可见并可用时判断其是否拥有子控件，包含子控件则递归执行步骤52，直到子控件不再拥有子控件时，执行其事件响应函数。执行事件响应函数后，判断事件响应结果是否为TRUE，如果是则事件响应结束，否则，遍历其他子控件，并执行相应的事件响应函数，直到所有子控件事件响应结束，则将事件响应结果置为TRUE事件响应结束。

实施例2

本发明还提供一种合成视景***人机交互事件处理***，其模块包括：事件处理器单元、事件管理器单元、事件缓存单元和交互控件单元。事件处理***结构示意图如图5所示，相应的事件处理***类图如图6所示。

下参照图5事件处理***结构示意图和图6事件处理***类图对***中各单元和类型设计及其实现依赖关系进行说明。

事件处理器单元

事件处理单元用于接收多功能显示器发送过来的该设备上各类交互元件的原始报文数据，并对原始报文数据进行校验和解析，生成事件存放至事件缓存单元，在整个事件处理***设计中使用EventHandler类完成该单元所需实现的流程。EventHandler为事件处理器类，主处理函数运行于单独线程或任务中，不占用图形界面主绘制线程或任务的CPU执行时间片，对主绘制流程不会产生影响。

EventHandler依赖于EventBuffer，将处理生成后的事件存放至该类提供的缓存中。

事件管理器单元

事件管理器单元用于管理事件缓存中的事件，包括事件缓存中事件的分发和销毁，以及为交互控件单元提供注册和移除事件响应函数接口，形成事件、交互控件和交互控件事件响应函数的映射。事件管理器分发事件时，从事件缓存中依次取出事件处理器单元生成的事件，同时找出注册了该事件响应函数的交互控件对象，依次调用交互控件的事件响应函数执行事件响应。

EventManager为事件管理器类，主要包含分发接口和为交互控件提供注册事件响应接口。交互控件对于事件的响应在事件管理器类的分发接口被调用时得到执行，在执行事件响应时很可能会产生对控件重绘操作，而此操作需在主绘制线程中执行，则事件管理器的分发接口应在主绘至线程或任务的每次帧循环中执行。

EventManager依赖于EventBuffer，将事件处理器单元生成的事件依次取出并分发。

事件缓存单元

事件缓存单元作为事件处理单元和事件管理器单元的中间层，使得事件的生成和分发可运行于不同线程中，增强***运行效率。事件缓存单元采用队列的数据结构对事件进行管理，先生成的事件应在分发时优先得到执行。

EventBuffer为事件缓存类，为事件处理器单元提供事件的保存接口，为事件管理器单元体提供事件获取接口。

交互控件单元

交互控件单元作为应用***和用户之间的交互媒介，将应用***实现的内部形式转换为用户可以接收的形式，对用户做出的操作予以反馈。交互控件作为事件响应的载体，对多功能显示器上的硬件交互元件进行操作时，应用***接收并处理这些数据生成事件最终在交互控件上得以响应。

根据图6事件处理***类图交互控件单元中所有控件都继承于EventWidget类，该类作为交互控件的基类实现最基础的功能，包括子控件的管理，设置控件的可见性、可用性等，同时对外提供各类事件的响应回调函数接口，使得在应用中指定不同的响应回调达到相同或不同类型的交互控件对同一事件的处理表现的多样性，如不同的按钮控件在处理点击事件时，处理方式不尽相同，有的按钮在响应某交互元件按压时向外发送请求某数据指令，有的按钮可能为打开一个新的页面，而文本框在响应时可能时激活当前文本框为输入状态等。

EventRootPage为根页面控件类，该类也继承至EventWidget，拥有其父类所有特征同时增加了在该类对象被创建时会向EventManager注册获取EventManger发出的所有事件，对所有事件进行托管，同时将事件分发给其子控件进行处理。

EventPage、MenuItem、SpinBox都继承至EventWidget，增加了自身的特征，如EventPage为一个全页面，拥有统一的页面背景、菜单栏、页面标题等，该类可往子控件继续分发事件，也可以自己指定事件响应函数对事件进行处理；MenuItem为一个菜单项，它拥有一个菜单的外形，硬件按键按压释放时会有被按压的效果，它只处理与自己绑定的硬件按键的点击事件；SpinBox为一个数值微调框，硬件按键被点击时SpinBox处于编辑状态或取消编辑状态，处于编辑状态时旋钮能够输入数值。交互控件都继承与EventWidget，使得其快速拥有父类特征，方便应用***做更多交互控件的拓展。

交互控件单元组织结构按树形结构组织，以EventRootPage类型 的对象为根节点，其节点下包含EventPage、MenuItem等等继承至EventWidget类的交互控件子节点，这些子节点继续包含交互控件子节点。其组织方式示意图如图7所示。

EventRootPage将从EventManager事件管理器单元获取的事件分发给其子控件，而每个用户界面中会包含多个交互控件，当多个控件都需响应某个交互元件所发出的事件时，如何确定让哪个交互控件来执行事件响应，这里处理的原则为控件可见并可用时，优先由其子控件来响应，如果子控件又包含子控件时，那么就由该子控件的子控件来响应；如果子控件被指定的该事件响应函数被执行同时该函数返回TRUE时，说明该事件不希望再被其他控件所响应，则完成事件的响应；如果子控件的事件响应函数被执行但是返回FALSE时，则其他控件还可再处理该事件；如果所有子控件都未响应该事件，或响应该事件的响应函数返回FALSE时，则由执行自己被指定的事件响应函数。

基于以上的交互控件组织结构和处理原则，父控件只需控制其子控件的显示或隐藏，可用或不可用，即可决定事件由哪个交互控件所响应，有效的降低***复杂度，使事件处理控制逻辑更清晰。

上述作为分离部件说明的单元、模块可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本发明各实施例中的单元（例如，各功能单元、处理器、存储器等）可以全部集成在一个单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（Read Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。

当本发明上述集成的单元以软件功能单元的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机、服务器、或者网络设备等）执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明具体实施方式的详细说明，而非对本发明的限制。相关技术领域的技术人员在不脱离本发明的原则和范围的情况下，做出的各种替换、变型以及改进均应包含在本发明的保护范围之内。

Claims (10)

1.一种合成视景***人机交互事件处理方法，其特征在于，包括以下步骤：

S1、多功能显示器发送原始报文数据；

S2、将所述原始报文数据转换成待切换状态数据；

S3、若待切换状态数据相对当前的状态数据，有变化，则生成事件，并将所述事件保存；

S4、将所述事件分发给多功能显示器的图形界面交互控件；所述图形界面交互控件执行所述事件相应的回调函数，并对事件进行响应；

S5、清除事件缓存中已经响应的事件。

2.根据权利要求1所述的一种合成视景***人机交互事件处理方法，其特征在于，步骤S1中所述原始报文数据包括数据头、数据长度、循环计数器、状态信息以及校验和。

3.根据权利要求2所述的一种合成视景***人机交互事件处理方法，其特征在于，步骤S2具体是指，从所述原始报文数据中的状态信息字段提取出交互元件的状态信息，所述交互元件的状态信息就是所述原始报文数据相应的待切换状态数据。

4.根据权利要求3所述的一种合成视景***人机交互事件处理方法，其特征在于，步骤S3中，所述事件包括但不限于按下、释放、左旋、右旋、触摸开始、触摸中或触摸结束事件。

5.根据权利要求1所述的一种合成视景***人机交互事件处理方法，其特征在于，步骤S4具体包括以下步骤：

S41，遍历事件缓存；

S42，读取出事件；

S43，根据所述事件在事件回调函数映射表中查找回调函数；

S44，如果回调函数不为空，提取出该回调函数，并执行所述回调函数；

S45，判断事件缓存中的事件是否遍历完毕，如果是，则结束，否则返回步骤S41，循环执行S41-S45。

6.根据权利要求5所述的一种合成视景***人机交互事件处理方法，其特征在于，步骤S4中，所述图形界面交互控件以树形结构组织成图形界面***，包括根节点控件、子控件和叶子节点控件。

7.根据权利要求6所述的一种合成视景***人机交互事件处理方法，其特征在于，步骤S44中，执行所述回调函数具体包括以下步骤：

S441，找到所述回调函数对应的图形界面交互控件的根节点控件；

S442，从所述根节点控件开始，依次判断树形结构控件每一级是否可见并且可用，当控件可见并且可用时，对控件的下一级子控件进行是否可见并可用的判断；

S443，遍历所述树形结构控件的每一级，直到找到所述回调函数对应的图形界面交互控件，所述回调函数对应的图形界面交互控件执行所述回调函数，并返回执行参数。

8.一种合成视景***人机交互事件处理***，其特征在于，包括事件处理器单元、事件管理器单元、事件缓存单元和交互控件单元，

所述事件处理器单元用于接收多功能显示器发送的原始报文数据，并将所述原始报文数据转换为交互元件的待切换状态数据，所述事件处理器单元还用于根据所述待切换状态数据相对于当前的状态数据的变化，生成事件，并将所述事件存放至所述事件缓存单元中；

所述事件管理器单元用于管理事件缓存中的事件，包括事件缓存中未响应事件的分发和已经响应事件的清除，以及为所述交互控件单元提供注册和移除事件响应函数接口，以及预先保存事件、交互控件和交互控件事件响应函数的映射关系；

所述事件缓存单元用于存储事件，使得事件的生成、分发和消除可运行于不同线程中；

所述交互控件单元用于接收所述事件管理器单元分发的事件，并根据相应的交互控件事件响应函数，使得生成的事件在交互软件上得以响应。

9.如权利要求8所述的一种合成视景***人机交互事件处理***，其特征在于，所述交互控件单元中的控件都按照EventWidget类定义数据格式。

10.如权利要求9所述的一种合成视景***人机交互事件处理***，其特征在于，所述交互控件单元中的控件采用树形的组织结构，每个控件的EventWidget类包括EventPage、MenuItem或SpinBox。

Images