CN116991233A - Ar设备的界面交互方法、装置、设备及存储介质 - Google Patents

Abstract

本申请实施例提供一种AR设备的界面交互方法、装置、设备及存储介质，涉及交互控制技术领域。所述方法包括：响应于用户针对当前显示界面中目标对象的操作请求，基于所述AR设备的眼动仪实时采集用户的眼动控制指令，并获取由辅助交互设备采集的辅助控制指令；其中，所述辅助交互设备与所述AR设备通信连接；结合所述眼动控制指令和所述辅助控制指令锁定所述目标对象并控制所述目标对象完成交互操作。本申请实施例通过采用眼动仪与手持设备等结合的方式，实现对AR界面的交互，从而降低了在交互过程对设备的算力要求，并提高交互指令识别的准确性和效率。

Description

AR设备的界面交互方法、装置、设备及存储介质

技术领域

本申请涉及交互控制技术领域，具体而言，涉及一种AR设备的界面交互方法、装置、设备及存储介质。

背景技术

目前AR眼镜主要通过摄像头、ToF传感器等设备识别用户手势，实现用户与虚拟界面的光标交互。但是，现有的这些交互方案在图像分析时对于设备的算力要求较高，导致识别准确性不高且交互效率较低。因此，亟需一种能够准确高效实现AR界面交互的方案。

发明内容

本申请实施例的目的在于提供一种AR设备的界面交互方法、装置、设备及存储介质，用以提高AR界面交互的准确性及效率。

第一方面，本申请实施例提供了一种AR设备的界面交互方法，包括：

响应于用户针对当前显示界面中目标对象的操作请求，基于所述AR设备的眼动仪实时采集用户的眼动控制指令，并获取由辅助交互设备采集的辅助控制指令；其中，所述辅助交互设备与所述AR设备通信连接；

结合所述眼动控制指令和所述辅助控制指令锁定所述目标对象并控制所述目标对象完成交互操作。

在本申请实施例中，通过采用眼动仪与手持设备等结合的方式，实现对AR界面的交互，从而降低了在交互过程对设备的算力要求，并提高交互指令识别的准确性和效率。

在一些可能的实施例中，所述基于所述AR设备的眼动仪实时采集用户的眼动控制指令，包括：

确定所述当前显示界面满足预设的眼动控制条件，并基于所述AR设备的眼动仪实时采集用户的眼动控制指令。

在本申请实施例中，在采集眼动控制指令之前，首先确定当前的显示界面是符合眼动控制条件的界面，避免在某些界面中被眼动控制指令干扰导致误操作，从而提高了界面交互的可靠性。

在一些可能的实施例中，在所述获取由辅助交互设备采集的辅助控制指令之前，还包括：

控制所述当前显示界面中的可视化光标跟随实时采集到的眼动控制指令进行移动。

在本申请实施例中，通过显示可视化光标并控制光标跟随眼动控制指令进行移动，使得用户在显示界面中能够同步看到自己眼神对应的焦点位置，从而能够更准确地实现AR设备的界面交互。

在一些可能的实施例中，在所述获取由辅助交互设备采集的辅助控制指令之前，还包括：

当判断与所述眼动控制指令对应的焦点位置落在目标对象的预设区域范围内时，将所述目标对象显示为预设的待选定状态。

在本申请实施例中，当用户的眼神焦点移动到想要操作的对象的区域时，通过将该对象显示为不同于平常状态的待选定状态，提示用户此时的眼神焦点位置可以锁定该目标对象，避免由于实际眼神焦点与解析数据不对应导致的误操作情况，从而进一步提高了界面交互的可靠性。

在一些可能的实施例中，所述结合所述眼动控制指令和所述辅助控制指令锁定所述目标对象并控制所述目标对象完成交互操作，包括：

根据所述眼动控制指令锁定目标对象之后，并根据所述辅助控制指令控制所述目标对象移动至目标区域；其中，所述眼动控制指令包括移动指令和锁定指令。

在本申请实施例中，在控制目标对象进行拖动等类型的交互操作时，可以通过眼神控制指令直接锁定目标对象，然后，再通过辅助控制指令将该对象移动到目标区域，从而避免了拖动对象之前需要用户采用大幅度动作移动并选定目标对象的情况，提高了界面交互的便捷性。

在一些可能的实施例中，所述结合所述眼动控制指令和所述辅助控制指令锁定所述目标对象并控制所述目标对象完成交互操作，包括：

当判断获取到的辅助控制指令为对象锁定指令时，根据此前获取的眼动控制指令锁定目标对象；

根据在锁定目标对象之后实时获取的眼动控制指令，控制所述目标对象跟随所述眼动控制指令进行移动，直至获取到用户的对象释放指令；

其中，所述对象释放指令为基于所述眼动仪采集的眼动控制指令解析得到，或者，基于所述辅助交互设备采集的辅助控制指令解析得到。

在本申请实施例中，通过结合眼动控制指令的焦点移动信号以及辅助控制指令的锁定指令来锁定目标对象，然后再根据此后的眼动焦点移动信号来控制目标对象的移动，并根据释放指令将目标对象释放在目标区域。从而在拖动目标对象的过程中只需要根据用户的眼动信号来控制，无需用户采用大幅度肢体动作进行控制，进一步提高了界面交互的便捷性。

在一些可能的实施例中，所述控制所述目标对象跟随所述眼动控制指令进行移动，包括：

当判断与所述眼动控制指令对应的焦点位置超出预设的区域时，释放所述目标对象，并将所述目标对象恢复至最近一次被锁定之前的状态。

在本申请实施例中，若在根据眼动信号拖动目标对象移动的过程中，眼神焦点位置超出预设范围，则视为用户误操作或操作无效，此时释放目标对象并恢复原位，从而进一步提高了界面交互的可靠性。

在一些可能的实施例中，所述辅助交互设备包括手持控制设备、肢体动作传感器和声控设备中的至少一种。

在本申请实施例中，辅助交互设备可以是手持控制、肢体动作传感以及声控等设备，使得用户可以选择合适的方式结合眼动信号实现界面交互，从而进一步提高了界面交互的便捷性。

第二方面，本申请实施例提供了一种AR设备的界面交互装置，包括：

指令获取模块，用于响应于用户针对当前显示界面中目标对象的操作请求，基于所述AR设备的眼动仪实时采集用户的眼动控制指令，并获取由辅助交互设备采集的辅助控制指令；其中，所述辅助交互设备与所述AR设备通信连接；

交互控制模块，用于结合所述眼动控制指令和所述辅助控制指令锁定所述目标对象并控制所述目标对象完成交互操作。

第三方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时可实现第一方面任一实施例所述的方法。

第四方面，本申请实施例提供了一种计算机程序产品，所述的计算机程序产品包括计算机程序，其中，所述的计算机程序被处理器执行时可实现第一方面任一实施例所述的方法。

第五方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现第一方面任一实施例所述的方法。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的一种AR设备的界面交互方法的流程示意图；

图2为本申请实施例提供的一种AR设备的界面交互装置的结构示意图；

图3为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在现有的AR设备界面交互方案中，主流的做法包括：1、通过摄像头、ToF传感器等方式识别用户手势，实现界面中对象的拖动等交互功能；2、通过带空间定位的手柄，获得手柄的空间姿态、运动轨迹，与虚拟对象进行交互。上述方案具有如下缺点：a、传感器成本高、对设备的图像分析的算力要求高；b、交互全程需要用户采用大幅度手势操作，用户容易胳膊累导致使用体验较差，且这种交互方式的交互效率低下，另外，在公共环境下，由于大幅度的手势操作怪异，会引发好奇关注，造成使用者的社交压力。

针对于上述现有技术存在的问题，如图1所示，本申请实施例提供了一种AR设备的界面交互方法，可以包括步骤：

S1、响应于用户针对当前显示界面中目标对象的操作请求，基于所述AR设备的眼动仪实时采集用户的眼动控制指令，并获取由辅助交互设备采集的辅助控制指令；其中，所述辅助交互设备与所述AR设备通信连接；

S2、结合所述眼动控制指令和所述辅助控制指令锁定所述目标对象并控制所述目标对象完成交互操作。

需要说明的是，在AR设备(可以是眼镜式或头盔式)中的显示界面中，用户通常需要对其中的某些对象进行交互操作，例如：点击界面中的虚拟按钮、拖动界面中的目标对象等。在界面中选定目标对象的过程中，现有技术需要用户通过大幅度肢体动作来转化为对应的光标移动，例如将界面中的光标从左下角移动到右上角，则用户需要在现实中采用较大幅度的肢体动作进行比划。

在本申请实施例中，当用户需要对某个目标对象进行交互操作时，可以通过眼动仪采集用户的眼动控制指令，从而根据用户眼神焦点确定界面中想要控制的对象的位置，其中眼动仪可以集成在AR设备上，通过预先标定的对应关系，实现对用户眼神与界面焦点位置进行关联。另外，可以结合通过辅助交互设备获取的辅助控制指令(例如是手持设备的按键指令、声控设备采集的语音指令等)，实现对目标对象的锁定及完成交互操作，例如，用户将目光注视到界面的某个虚拟按钮(根据用户的眼动控制指令获取对应的焦点位置，并确定焦点位置落在这个按钮区域内)，然后按下辅助交互设备的左键(例如手持控制器或指环控制器等，可以设有“左键”“右键”等)以锁定目标对象，随后，再根据眼动信号或者手持设备的空间位置信号实现对目标对象的拖动。其中，可以通过具备按键功能的辅助交互设备实现按下、长按、双击等指令。

在本申请实施例中，通过采用眼动仪与手持设备等结合的方式，实现对AR界面的交互，无需采用图像分析等手势识别技术，从而降低了在交互过程对设备的算力要求，并提高交互指令识别的准确性和效率。另外，由于在锁定目标对象之前，无需用户通过大幅度手势进行移动和控制，有效提高了界面交互的便捷性。

在一些可能的实施例中，所述基于所述AR设备的眼动仪实时采集用户的眼动控制指令，包括：

确定所述当前显示界面满足预设的眼动控制条件，并基于所述AR设备的眼动仪实时采集用户的眼动控制指令。

需要说明的是，在实际应用中，并不是所有页面都适用于通过眼动信号来进行交互控制，例如只有一个或两个选择按钮的页面，只需要通过手持设备进行控制即可，无需获取用户的眼动信号。为了减少***的数据处理量，同时为了避免在某些界面中被眼动控制指令干扰导致误操作的情况，因此，通过首先对当前显示界面的类型进行判断，确定当前显示界面需要通过眼动信号来控制，则视为满足预设的眼动控制条件，仅当满足预设的眼动控制条件时再采集用户眼动控制指令实现界面交互。从而有效提高了界面交互的效率及可靠性。

在一些可能的实施例中，在所述获取由辅助交互设备采集的辅助控制指令之前，还包括：

控制所述当前显示界面中的可视化光标跟随实时采集到的眼动控制指令进行移动。

需要说明的是，在某些界面中，可以省略光标的显示，从而提高界面的简洁度，且避免了对用户的视野进行干扰。但是省略光标有时会导致用户发生误操作，例如当眼动控制指令的焦点位置与用户实际眼神焦点的数据标定有误差时，或是当实时采集的数据出现延迟时，若省略显示光标，则会导致用户无法准确操作某个想要操作的对象。因此，本申请实施例通过在界面中显示光标，并使得光标根据实时获取并解析得到的眼动控制指令进行同步移动，从而使得用户能够清楚知道自己眼神方向对应至虚拟界面上的位置，进而能够更准确地实现AR设备的界面交互。

在一些可能的实施例中，在所述获取由辅助交互设备采集的辅助控制指令之前，还包括：

当判断与所述眼动控制指令对应的焦点位置落在目标对象的预设区域范围内时，将所述目标对象显示为预设的待选定状态。

需要说明的是，为了提高界面交互的便捷性，当用户的眼神焦点落在界面中的目标对象预设区域范围内时，可以将目标对象显示为预设的待选定状态，例如，当采集并解析用户的眼动控制指令对应的焦点位置落在某个虚拟按钮上时，可以将该按钮以不同的颜色进行显示，提醒用户当前的眼神停留在虚拟按钮对应的正确区域内，可以进一步对该虚拟按钮进行点击操作。在本申请实施例中，当用户的眼神焦点移动到想要操作的对象的区域时，通过将该对象显示为不同于平常状态的待选定状态，提示用户此时的眼神焦点位置可以锁定该目标对象，避免由于实际眼神焦点与解析数据不对应导致的误操作情况，从而进一步提高了界面交互的可靠性。

在一些可能的实施例中，所述结合所述眼动控制指令和所述辅助控制指令锁定所述目标对象并控制所述目标对象完成交互操作，包括：

根据所述眼动控制指令锁定目标对象之后，并根据所述辅助控制指令控制所述目标对象移动至目标区域；其中，所述眼动控制指令包括移动指令和锁定指令。

需要说明的是，对于在界面中操作某个对象进行拖动的事件，可以是仅根据眼动控制指令确定用户想要操作的对象，在此过程中，可以首先根据眼动控制指令对应的移动指令确定光标在界面中的位置，再根据眼动控制指令的锁定指令(例如眨眼动作)对该位置对应的目标对象进行锁定。在锁定该目标对象之后，再基于用户的辅助控制指令实现拖动控制，例如通过解析手持设备的移动方向及距离，转换为界面中控制对象移动的位置信息；又例如，通过声控设备采集到用户的语音“移至回收站”，则将想要控制的图标移动至回收站。其中，手持设备可以是具备加速计、陀螺仪等传感器的手持式控制器；声控设备可以采用与AR眼镜有线或无线连接的麦克风。

可以理解的是，对于拖动功能，可以用于实现以下功能：1、滚动页面，如浏览器页面；2、拖动平面，如地图、图片等；3、拖动对象进行移动，如拖动文件位置等。

在本申请实施例中，在控制目标对象进行拖动等类型的交互操作时，可以通过眼神控制指令直接锁定目标对象，然后，再通过辅助控制指令将该对象移动到目标区域，从而避免了拖动对象之前需要用户采用大幅度动作移动并选定目标对象的情况，提高了界面交互的便捷性。

在一些可能的实施例中，所述结合所述眼动控制指令和所述辅助控制指令锁定所述目标对象并控制所述目标对象完成交互操作，包括：

当判断获取到的辅助控制指令为对象锁定指令时，根据此前获取的眼动控制指令锁定目标对象；

根据在锁定目标对象之后实时获取的眼动控制指令，控制所述目标对象跟随所述眼动控制指令进行移动，直至获取到用户的对象释放指令；

其中，所述对象释放指令为基于所述眼动仪采集的眼动控制指令解析得到，或者，基于所述辅助交互设备采集的辅助控制指令解析得到。

需要说明的是，对于在界面中操作某个对象进行拖动的事件，还可以通过以下方式实现：例如，当接收到手持设备按下左键(获取到的辅助控制指令为对象锁定指令)时，根据此前获取的眼动控制指令对应的当前焦点位置，并锁定该位置对应的目标对象，在锁定目标对象之后，根据此后获取的眼动控制指令，控制目标对象实时跟随移动(即用户通过眼神控制目标对象移动)，直至用户再次按下手持设备的左键(即获取到用户的对象释放指令)，此时，目标对象被移动至用户想要的位置，例如用户控制文件查看器的滚动条滚动至想要的进度。另外，也可以是将第一次按下左键未松开的事件视为对象锁定指令，将对应的左键松开时的事件视为对象释放指令。

在本申请实施例中，通过结合眼动控制指令的焦点移动信号以及辅助控制指令的锁定指令来锁定目标对象，然后再根据此后的眼动焦点移动信号来控制目标对象的移动，并根据释放指令将目标对象释放在目标区域。从而在拖动目标对象的过程中只需要根据用户的眼动信号来控制，无需用户采用大幅度肢体动作进行控制，进一步提高了界面交互的便捷性。

在一些可能的实施例中，所述控制所述目标对象跟随所述眼动控制指令进行移动，包括：

当判断与所述眼动控制指令对应的焦点位置超出预设的区域时，释放所述目标对象，并将所述目标对象恢复至最近一次被锁定之前的状态。

需要说明的是，在拖动某个对象的过程中，当解析到用户眼神焦点位置超出预设区域时，视为放弃本次拖动操作。例如，用户当前界面是并排显示的两个窗口(在其中一个窗口中的对象仅能在该窗口内操作，而不能拖动至另一窗口)，用户在第一个窗口中锁定并拖动某一对象的过程中，由于某些原因将眼神移动至第二个窗口时，对于这种情况则视为用户放弃这次对目标对象的拖动，并控制该目标对象恢复原位，等待用户后续的操作。

在本申请实施例中，若在根据眼动信号拖动目标对象移动的过程中，眼神焦点位置超出预设范围，则视为用户误操作或操作无效，此时释放目标对象并恢复原位，从而进一步提高了界面交互的可靠性。

在一些可能的实施例中，所述辅助交互设备包括手持控制设备、肢体动作传感器和声控设备中的至少一种。

在本申请实施例中，为了提高用户对于AR设备中的虚拟界面的交互便捷性，可以采用一个或多个辅助交互设备的组合，例如通过手持设备实现按键点击、移动等功能，同时，通过声控设备实现其他智能的交互动能，例如根据语音指令锁定界面中的图标等。

辅助交互设备可以是手持控制器、肢体动作传感以及声控等设备，使得用户可以选择合适的方式结合眼动信号实现界面交互，从而进一步提高了界面交互的便捷性。

与现有技术相比，本申请实施例具有如下有益效果：

1、设备携带成本低：除了智能眼镜，只需要一个较小的交互设备进行辅助控制(如带有按键功能的手持控制器、指环等)。

2、交互过程肢体动作幅度低：在公共场合使用，只需要较小的肢体动作即可实现交互(例如在口袋中按下手持设备的按键)，不会引起他人关注；相对于现有技术的大幅度手势控制，减轻了使用者的社交压力。

3、实现高效率交互：眼动仪控制光标移动的速度很快，用于“2D常规界面”的交互，不会造成使用者在使用过程中的不适。

请参考图2，图2示出了本申请的一些实施例提供的AR设备的界面交互装置的组成框图。应理解，该AR设备的界面交互装置与上述图1方法实施例对应，能够执行上述方法实施例涉及的各个步骤，该AR设备的界面交互装置的具体功能可以参见上文中的描述，为避免重复，此处适当省略详细描述。

图2的AR设备的界面交互装置包括至少一个能以软件或固件的形式存储于存储器中或固化在AR设备的界面交互装置中的软件功能模块，该AR设备的界面交互装置包括：

指令获取模块210，用于响应于用户针对当前显示界面中目标对象的操作请求，基于所述AR设备的眼动仪实时采集用户的眼动控制指令，并获取由辅助交互设备采集的辅助控制指令；其中，所述辅助交互设备与所述AR设备通信连接；

交互控制模块220，用于结合所述眼动控制指令和所述辅助控制指令锁定所述目标对象并控制所述目标对象完成交互操作。

可以理解的是上述装置项实施例，是与本发明方法项实施例相对应的，本发明实施例提供的一种AR设备的界面交互装置，可以实现本发明任意一项方法项实施例提供的AR设备的界面交互方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。

如图3所示，本申请的一些实施例提供一种电子设备300，该电子设备300包括：存储器310、处理器320以及存储在存储器310上并可在处理器320上运行的计算机程序，其中，处理器320通过总线330从存储器310读取程序并执行所述程序时可实现如上述AR设备的界面交互方法包括的任意实施例的方法。

处理器320可以处理数字信号，可以包括各种计算结构。例如复杂指令集计算机结构、结构精简指令集计算机结构或者一种实行多种指令集组合的结构。在一些示例中，处理器320可以是微处理器。

存储器310可以用于存储由处理器320执行的指令或指令执行过程中相关的数据。这些指令和/或数据可以包括代码，用于实现本申请实施例描述的一个或多个模块的一些功能或者全部功能。本公开实施例的处理器620可以用于执行存储器610中的指令以实现上述所示的方法。存储器610包括动态随机存取存储器、静态随机存取存储器、闪存、光存储器或其它本领域技术人员所熟知的存储器。

本申请的一些实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行方法实施例所述的方法。

本申请的一些实施例还提供一种计算机程序产品，所述计算机程序产品在计算机上运行时，使得计算机执行方法实施例所述的方法。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (11)

1.一种AR设备的界面交互方法，其特征在于，包括：

响应于用户针对当前显示界面中目标对象的操作请求，基于所述AR设备的眼动仪实时采集用户的眼动控制指令，并获取由辅助交互设备采集的辅助控制指令；其中，所述辅助交互设备与所述AR设备通信连接；

结合所述眼动控制指令和所述辅助控制指令锁定所述目标对象并控制所述目标对象完成交互操作。

2.根据权利要求1所述的AR设备的界面交互方法，其特征在于，所述基于所述AR设备的眼动仪实时采集用户的眼动控制指令，包括：

确定所述当前显示界面满足预设的眼动控制条件，并基于所述AR设备的眼动仪实时采集用户的眼动控制指令。

3.根据权利要求1所述的AR设备的界面交互方法，其特征在于，在所述获取由辅助交互设备采集的辅助控制指令之前，还包括：

控制所述当前显示界面中的可视化光标跟随实时采集到的眼动控制指令进行移动。

4.根据权利要求1所述的AR设备的界面交互方法，其特征在于，在所述获取由辅助交互设备采集的辅助控制指令之前，还包括：

当判断与所述眼动控制指令对应的焦点位置落在目标对象的预设区域范围内时，将所述目标对象显示为预设的待选定状态。

5.根据权利要求1所述的AR设备的界面交互方法，其特征在于，所述结合所述眼动控制指令和所述辅助控制指令锁定所述目标对象并控制所述目标对象完成交互操作，包括：

根据所述眼动控制指令锁定目标对象之后，并根据所述辅助控制指令控制所述目标对象移动至目标区域；其中，所述眼动控制指令包括移动指令和锁定指令。

6.根据权利要求1所述的AR设备的界面交互方法，其特征在于，所述结合所述眼动控制指令和所述辅助控制指令锁定所述目标对象并控制所述目标对象完成交互操作，包括：

当判断获取到的辅助控制指令为对象锁定指令时，根据此前获取的眼动控制指令锁定目标对象；

根据在锁定目标对象之后实时获取的眼动控制指令，控制所述目标对象跟随所述眼动控制指令进行移动，直至获取到用户的对象释放指令；

其中，所述对象释放指令为基于所述眼动仪采集的眼动控制指令解析得到，或者，基于所述辅助交互设备采集的辅助控制指令解析得到。

7.根据权利要求6所述的AR设备的界面交互方法，其特征在于，所述控制所述目标对象跟随所述眼动控制指令进行移动，包括：

当判断与所述眼动控制指令对应的焦点位置超出预设的区域时，释放所述目标对象，并将所述目标对象恢复至最近一次被锁定之前的状态。

8.根据权利要求1至7任一项所述的AR设备的界面交互方法，其特征在于，所述辅助交互设备包括手持控制设备、肢体动作传感器和声控设备中的至少一种。

9.一种AR设备的界面交互装置，其特征在于，包括：

指令获取模块，用于响应于用户针对当前显示界面中目标对象的操作请求，基于所述AR设备的眼动仪实时采集用户的眼动控制指令，并获取由辅助交互设备采集的辅助控制指令；其中，所述辅助交互设备与所述AR设备通信连接；

交互控制模块，用于结合所述眼动控制指令和所述辅助控制指令锁定所述目标对象并控制所述目标对象完成交互操作。

10.一种电子设备，其特征在于，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其中，所述处理器执行所述程序时可实现权利要求1-8任一所述的AR设备的界面交互方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1-8任一所述的AR设备的界面交互方法。