CN113986111A - 一种交互方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种交互方法、装置、电子设备及存储介质，其中，交互方法包括：接收第一触发操作，所述第一触发操作为对手势识别的触发操作；响应于所述第一触发操作，获取场景手势；在所述场景手势为目标手势的情况下，获取交互策略集合，所述交互策略集合包括至少一种交互策略，所述交互策略为根据场景设定的策略；基于所述交互策略集合中的各个所述交互策略，接收第二触发操作；响应于所述第二触发操作，在交互界面上，显示交互结果。采用本方法能够提高交互效率。

Description

一种交互方法、装置、电子设备及存储介质

技术领域

本发明涉及计算机视觉与人工智能技术领域，尤其涉及一种交互方法、装置、电子设备及存储介质。

背景技术

随着计算机视觉与人工智能技术的发展，其应用的领域也相当广泛，例如，物体分拣领域、视频监控领域或者AR（Augmented Reality）领域等，以AR领域为例，AR是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息，例如，视觉信息、声音、味道或者触觉等，通过科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。可以实现真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。随着AR的发展，用户越来越注重与AR设备或者与AR连接终端之间交互的效率。

现有技术中，往往存在交互效率低的问题。

发明内容

本发明提供一种交互方法、装置、电子设备及存储介质，用以解决现有技术中人机交互效率低的缺陷，实现提高人机交互效率。

本发明提供一种交互方法，包括：接收第一触发操作，所述第一触发操作为对手势识别的触发操作；响应于所述第一触发操作，获取场景手势；在所述场景手势为目标手势的情况下，获取交互策略集合，所述交互策略集合包括至少一种交互策略，所述交互策略为根据场景设定的策略；基于所述交互策略集合中的各个所述交互策略，在交互界面上，接收第二触发操作；响应于所述第二触发操作，在所述交互界面上，显示交互结果。

根据本发明提供的一种的交互方法，所述交互策略包括远程作业场景策略，所述基于所述交互策略集合中的各个所述交互策略，接收第二触发操作包括：在所述交互策略选择界面上，接收对所述远程作业场景策略的第一选择操作；所述响应于所述第二触发操作，在交互界面上，显示交互结果包括：响应于所述第一选择操作，获取第一语音信息；根据所述第一语音信息，接收对第一目标对象的第一识别操作；响应于所述第一识别操作，获取所述第一目标对象的相关作业列表；在所述相关作业列表中，接收对目标作业的第二选择操作；响应于所述第二选择操作，在所述交互界面上，显示远程作业内容。

根据本发明提供的一种的交互方法，所述显示远程作业内容之后还包括：在所述远程作业内容显示界面上，显示语音控件；利用所述语音控件，接收第二语音信息；在所述第二语音信息为目标语音信息的情况下，显示所述目标语音信息对应的会话界面。

根据本发明提供的一种的交互方法，所述交互策略包括知识库获取场景策略，所述基于所述交互策略集合中的各个所述交互策略，接收第二触发操作包括：在所述交互策略选择界面上，接收对知识库获取场景策略的第三选择操作；所述响应于所述第二触发操作，在交互界面上，显示交互结果包括：响应于所述第三选择操作，获取第三语音信息；根据所述第三语音信息，接收对第二目标对象的第二识别操作；响应于所述第二识别操作，获取所述第二目标对象的相关内容；在所述交互界面上，显示所述相关内容。

根据本发明提供的一种的交互方法，响应于所述第二识别操作，获取所述第二目标对象的相关内容之后还包括：获取所述第二目标对象的对象关键字；所述在所述交互界面上，显示所述相关内容包括：根据所述相关内容与所述对象关键字的关联程度，以排序方式，在所述交互界面上，显示所述相关内容。

根据本发明提供的一种的交互方法，所述交互策略包括控制场景策略，所述基于所述交互策略集合中的各个所述交互策略，接收第二触发操作包括：在所述交互策略选择界面上，接收对所述控制场景策略的第四选择操作；所述响应于所述第二触发操作，在交互界面上，显示交互结果包括：响应于所述第四选择操作，接收对第三目标对象的第三识别操作；响应于所述第三识别操作，获取第四语音信息；将所述第四语音信息发送给控制设备，以使得所述控制设备根据所述第四语音信息，发送控制指令给被控设备；在所述交互界面上，显示所述被控设备的运行状态。

本发明还提供一种交互装置，包括：第一处理模块，用于接收第一触发操作，所述第一触发操作为对手势识别的触发操作；第二处理模块，用于响应于所述第一触发操作，获取场景手势；第三处理模块，用于在所述场景手势为目标手势的情况下，获取交互策略集合，所述交互策略集合包括至少一种交互策略，所述交互策略为根据场景设定的策略；第四处理模块，用于基于所述交互策略集合中的各个所述交互策略，在交互界面上，接收第二触发操作；第五处理模块，用于响应于所述第二触发操作，在所述交互界面上，显示交互结果。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述交互方法的步骤。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述交互方法的步骤。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述交互方法的步骤。

本发明提供的交互方法、装置、电子设备及存储介质，通过接收第一触发操作，该第一触发操作为对手势识别的触发操作；响应于该第一触发操作，获取场景手势；在该场景手势为目标手势的情况下，获取交互策略集合，该交互策略集合包括至少一种交互策略，该交互策略为根据场景设定的策略；基于交互策略集合中的各个交互策略，在交互界面上，接收第二触发操作；响应于该第二触发操作，在交互界面上，显示交互结果。能够通过对场景手势的判断，获取到相应的交互策略集合，并可以根据交互策略集合中的交互策略，得到不同交互策略对应的交互结果，并且以可视化的形式展示了该交互结果，整个实现过程简单，提高了人机交互效率。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的交互方法的流程示意图之一；

图2是本发明提供的交互方法的流程示意图之二；

图3是本发明提供的交互方法的场景应用示意图之一；

图4是本发明提供的交互方法的场景应用示意图之二；

图5是本发明提供的交互方法的场景应用示意图之三；

图6是本发明提供的交互装置的结构示意图；

图7是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图2描述本发明的交互方法。

在一个实施例中，如图1所示，提供了一种交互方法，以该方法应用终端为例进行说明，包括以下步骤：

步骤102，接收第一触发操作，该第一触发操作为对手势识别的触发操作。

其中，触发操作是指能够开启手势识别的操作，该操作可以通过手动或者自动模式触发。手势识别是指对手势的识别，手势是指手的姿势，可以通过指、腕、肘或者肩等关节的活动幅度，产生不同的手势，例如，食指和拇指的V字形手势或者单独食指的1字形手势等。

具体地，终端可以通过携带的实体按键进行手势识别的触发操作或者语音识别模块接收用户语音信息进行手势识别的触发操作。

在一个实施例中，终端通过语音识别模块接收用户语音信息进行手势识别的触发操作，在接收到用户输入的语音信息后，对该语音信息进行识别，根据识别的结果，发送相应的语音指令，通过该语音指令触发手势识别。例如，当用户输入语音信息为“请进行手势识别”或者“请问前方物体是什么”等语音信息时，终端识别到该语音信息后，开启手势识别。

步骤104，响应于第一触发操作，获取场景手势。

其中，场景手势是指在不同场景下的手势，可以根据场景不同设置不同的手势，以便于终端快速定位所处的应用场景。

具体地，终端在接收到第一触发操作后，响应于该第一触发操作，通过终端上的图像获取装置，获取场景手势。例如，终端设备为AR眼镜，利用该AR眼镜上的摄像头，可以获取到该AR眼镜的前方或者运动方向上的场景手势。

步骤106，在场景手势为目标手势的情况下，获取交互策略集合，该交互策略集合包括至少一种交互策略，该交互策略为根据场景设定的策略。

其中，交互策略是指实现交互的方案集合，一个交互策略可以通过一个方案或者多个方案组合完成，且该交互策略可以根据场景设定。

具体地，终端在获取到场景手势之后，在该场景手势为目标手势的情况下，从交互策略集合的存储位置处，获取到交互策略集合。

在一个实施例中，终端获取到场景手势后，利用预先存储的参考手势与该场景手势进行匹配，当匹配结果超过匹配阈值时，确定该场景手势为目标手势，此时触发对交互策略集合的获取操作，获取到交互策略集合。

步骤108，基于交互策略集合中的各个交互策略，在交互界面上，接收第二触发操作。

具体地，终端获取到交互策略集合之后，可以以可视化的形式将该交互策略集合中的各个交互策略展示在交互界面上，在该交互界面上接收第二触发操作。

步骤110，响应于第二触发操作，在交互界面上，显示交互结果。

其中，交互结果是指与交互相关的结果，例如，交互策略为远程作业场景策略，则在交互界面上，选中远程作业场景策略，在该交互界面上显示远程作业的相关内容，例如，在该交互界面上显示远程作业的内容、完成情况或者当前作业人员等。该显示的相关内容为上述的交互结果。

具体地，终端接收到接收第二触发操作后，响应于该第二触发操作，从存储有交互结果处，获取到交互结果，并将该交互结果显示在上述交互界面上。可以理解的，其中的交互结果为交互策略对应的交互结果，不同的交互策略对应不同的交互结果。

上述交互方法中，通过接收第一触发操作，该第一触发操作为对手势识别的触发操作；响应于该第一触发操作，获取场景手势；在该场景手势为目标手势的情况下，获取交互策略集合，该交互策略集合包括至少一种交互策略，该交互策略为根据场景设定的策略；基于交互策略集合中的各个交互策略，接收第二触发操作；响应于该第二触发操作，在交互界面上，显示交互结果。能够通过对场景手势的判断，获取到相应的交互策略集合，并可以根据交互策略集合中的交互策略，得到不同交互策略对应的交互结果，并且以可视化的形式展示了该交互结果，整个实现过程简单，提高了人机交互效率。

在一个实施例中，交互策略包括远程作业场景策略，基于交互策略集合中的各个交互策略，接收第二触发操作包括：在交互策略选择界面上，接收对远程作业场景策略的第一选择操作；响应于第二触发操作，在交互界面上，显示交互结果包括：响应于第一选择操作，获取第一语音信息；根据第一语音信息，接收对第一目标对象的第一识别操作；响应于第一识别操作，获取第一目标对象的相关作业列表；在相关作业列表中，接收对目标作业的第二选择操作；响应于第二选择操作，在交互界面上，显示远程作业内容。

其中，识别操作是指对目标对象的识别操作，该操作的开启可以为触发对目标对象进行识别的插件进行开启等。相关作业列表是指与目标对象相关的作业列表，例如，目标对象为飞机，则对应的作业列表可以为对飞机A部件的维修、对飞机B部件的状态监控或者对飞机C部件的开启或者关闭等。远程作业内容是指与上述相关作业列表中作业相关的内容，例如，对飞机A部件的维修的进度、对应的操作人员以及对A部件的相关描述等等内容。

具体地，在上述交互策略包括远程作业场景策略时，在上述交互策略选择界面上，可以接收远程作业场景策略的第一选择操作，响应于该第一选择操作，此时，终端获取第一语音信息，根据对该第一语音信息的识别与分析，接收对第一目标对象的第一识别操作。例如，当输入第一语音信息为“查看进度”后，终端对该语音信息“查看进度”进行识别与分析。在对第一语音信息进行分析后，终端响应于上述第一识别操作，结合对上述第一语音信息的识别与分析，以及，对第一目标对象的第一识别操作的响应，获取第一目标对象的相关作业列表，并以可视化的形式将该相关作业列表展示于交互界面上。在相关作业列表中，终端通过接收对目标作业的第二选择操作；响应于该第二选择操作，在交互界面上，显示远程作业内容。

本实施例中，通过在交互策略选择界面上，接收对远程作业场景策略的第一选择操作，响应于第一选择操作，获取第一语音信息；根据第一语音信息，接收对第一目标对象的第一识别操作；响应于第一识别操作，获取第一目标对象的相关作业列表；在相关作业列表中，接收对目标作业的第二选择操作；响应于第二选择操作，在交互界面上，显示远程作业内容。能够达到通过语音信息的识别以及目标对象的识别，更加高效地完成远程作业场景下的相关工作，提高了人机交互效率。

在一个实施例中，如图2所示，上述显示远程作业内容之后还包括：

步骤202，在远程作业内容显示界面上，显示语音控件。

其中，语音控件是指能够接收语音的控件。在该控件上可以有文字说明或者该控件为自定义形状等。例如该控件为喇叭形状的控件，可以在该控件上附带有文字“语音”。

具体地，终端在交互界面上，可以以子界面的形式或者新界面的形式显示远程作业内容，在远程作业内容显示界面上，显示有语音控件。可以理解的，该语音控件可以显示在任意一个可视化展示的界面上，以实际应用需要进行添加或者删除。

步骤204，利用语音控件，接收第二语音信息。

具体地，终端在交互界面上显示语音控件后，可以利用该语音控件进行第二语音信息的接收。可以使用唤醒词唤醒该语音控件，或者可以接收对该语音控件的触发操作进行开启该语音控件。

在一个实施例中，终端可以通过接收用户输入的唤醒词唤醒该语音控件，接收第二语音信息。例如，在用户输入语音信息“小亮小亮”的时候，唤醒该语音控件，此时终端发送引导信息，例如，“小亮在，请说出语音指令”，此时，用户再次输入语音信息“请远程连线A部件维修的作业人员”，相应的，终端接收到该输入的第二语音信息“请远程连线A部件维修的作业人员”。

步骤206，在第二语音信息为目标语音信息的情况下，显示目标语音信息对应的会话界面。

具体地，终端在接收到第二语音信息后，与本端或者与本端连接的服务器端存储的参考语音信息做比较，当比较结果大于比较阈值时，认为该第二语音信息为目标语音信息，在第二语音信息为目标语音信息的情况下，从当前显示界面，跳转到会话界面。

在一个实施例中，通过语义分析方法，对第二语音信息与参考语音信息进行语义相似度分析，当语义相似度大于语义相似度阈值时，认为第二语音信息为目标语音信息。可以理解的，语义相似度阈值是指语义相似度的临界值，大于该临界值认为进行比较的两条语音信息语义相同，小于等于该临界值认为进行比较的两条语音信息语义不相同。例如，第二语音信息为“请远程连线A部件维修的作业人员”，参考语音信息为“请远程连线A部件维修的作业人员D”，则认为第二语音信息为目标语音信息，可以对作业人员D进行远程连线，并显示对应的会话界面。

本实施例中，通过在远程作业内容显示界面上，显示语音控件，利用语音控件，接收第二语音信息, 在第二语音信息为目标语音信息的情况下，显示目标语音信息对应的会话界面,能够达到提高远程作业监控的便捷度。

在一个实施例中，上述交互策略包括知识库获取场景策略，基于交互策略集合中的各个交互策略，接收第二触发操作包括：在交互策略选择界面上，接收对知识库获取场景策略的第三选择操作；响应于第二触发操作，在交互界面上，显示交互结果包括：响应于第三选择操作，获取第三语音信息；根据第三语音信息，接收对第二目标对象的第二识别操作；响应于第二识别操作，获取第二目标对象的相关内容；在交互界面上，显示相关内容。

其中，知识库获取场景策略是指获取知识库的场景对应的策略。利用该策略可以获取到知识库。知识库是指知识的集合。相关内容是指对第二目标对象的描述或者其他在知识库中能够找到的，与第二目标对象相关的内容。例如，第二目标对象为设备E，则相关内容可以为对该设备E性能、作用及其应用范围的描述，也可以为对该设备E价格、产地或者发展动向等的描述。

具体地，在交互策略选择界面上，可以接收对知识库获取场景策略的第三选择操作，响应于第三选择操作，执行对知识库获取场景策略的运行。此时，获取第三语音信息，根据第三语音信息，例如，用户输入第三语音信息“打开知识库”，此时，触发对第二目标对象的第二识别操作，响应于第二识别操作，获取第二目标对象的相关内容；例如，使用目标手势指着目标物体，然后输入语音信息“打开知识库”。此时，在交互界面上，会显示该目标物体相关内容。

本实施例中，通过在交互策略选择界面上，接收对知识库获取场景策略的第三选择操作，响应于第三选择操作，获取第三语音信息；根据第三语音信息，接收对第二目标对象的第二识别操作；响应于第二识别操作，获取第二目标对象的相关内容；在交互界面上，显示相关内容，能够达到通过语音信息和手势的识别，直观快捷的获取到目标对象的相关内容，提高了目标对象相关内容的获取效率以及获取的便捷性。

在一个实施例中，上述响应于所述第二识别操作，获取所述第二目标对象的相关内容之后还包括：获取第二目标对象的对象关键字；在交互界面上，显示相关内容包括：根据相关内容与对象关键字的关联程度，以排序方式，在交互界面上，显示相关内容。

其中，对象关键字是指能够对该对象进行识别的关键信息，例如，第二目标对象为风扇叶片填充块，则该目标对象的对象关键字可以为“风扇叶片”、“叶片填充块”或者“风扇叶片填充块”。关联程度是指相关内容与对象关键字的匹配程度，该匹配程度可以使用语义相似度表示；关联程度越大表示相关内容与对象关键字越相近，关联程度越小表示相关内容与对象关键字差距越大。例如，相关内容为“风扇叶片填充块的主要作用是把进入发动机……产生巨大的推力”，对象关键字为“风扇叶片填充块的主要作用”，则相关内容与对象关键字的语义相似度很高，可以认为该相关内容与对象关键字的关联程度高。排序方式是指按照关联程度进行排序的方式，例如，在对象关键字确定的情况下，目标对象的相关内容与该对象关键字的关联程度分别为，30%，50%，45%，90%，则对该关联程度进行排序，得到90%，50%，45%，30%，则与关联程度为90%对应的相关内容显示在交互界面上的最上端第一条，其后依次在交互界面上显示与关联程度为50%对应的相关内容、与关联程度为45%对应的相关内容和与关联程度为30%对应的相关内容。

具体地，终端获取第二目标对象的相关内容后，根据相关内容与对象关键字的关联程度，以排序方式，在交互界面上，显示相关内容。

本实施例中，通过获取第二目标对象的对象关键字，根据相关内容与对象关键字的关联程度，以排序方式，在交互界面上，显示相关内容，能够达到提高查看目标对象对应的相应内容的效率的目的。

在一个实施例中，交互策略包括控制场景策略，基于交互策略集合中的各个交互策略，接收第二触发操作包括：在交互策略选择界面上，接收对控制场景策略的第四选择操作；响应于第二触发操作，在交互界面上，显示交互结果包括：响应于第四选择操作，接收对第三目标对象的第三识别操作；响应于第三识别操作，获取第四语音信息；将第四语音信息发送给控制设备，以使得控制设备根据第四语音信息，发送控制指令给被控设备；在交互界面上，显示被控设备的运行状态。

其中，控制设备是指控制与之连接设备的设备。被控设备是指与控制设备连接，被控制设备所控制的设备。运行状态是指被控设备运行的状态，例如，被控设备的运行时间、工作模式、工作场景或者工作进度等。

具体地，在交互策略包括控制场景策略的情况下，在交互策略选择界面上，显示有各种场景策略的选择项，在该选择界面上，接收对控制场景策略的第四选择操作，响应于第四选择操作，接收对第三目标对象的第三识别操作，响应于第三识别操作，获取第四语音信息，例如，获取到的第四语音信息为“打开开关”，响应于上述第三识别操作识别到的是扫地机器人，则终端将该第四语音信息传输给控制扫地机器人的控制设备，该控制设备接收到“打开开关”的第四语音信息后，发送控制指令到被控设备扫地机器人，被控设备扫地机器人执行打开。此时在交互界面上，显示被控设备的运行状态。例如，在交互界面上，显示“扫地机器人已打开，当前电量为60%，正在清扫咖啡厅”等。

本实施例中，通过在交互策略选择界面上，接收对控制场景策略的第四选择操作，响应于第四选择操作，接收对第三目标对象的第三识别操作；响应于第三识别操作，获取第四语音信息；将第四语音信息发送给控制设备，以使得控制设备根据第四语音信息，发送控制指令给被控设备；在交互界面上，显示被控设备的运行状态，能够达到实现对被控设备进行简便控制的效果。

在一个实施例中，如图3所示，以上述远程作业场景策略中的第一目标对象为飞机为例。用户佩戴AR眼镜，伸出手势，此时AR眼镜进行手势识别，如果是目标手势，则接收用户输入的语音指令“查看进度”，AR眼镜完成对飞机的识别后，通过用户当前位置坐标方向，结合后台数据，调取当前作业数据，当前作业数据包括当前作业内容、当前作业人员或者剩余作业等等内容。在需要连线当前作业人员的情况下，用户语音输入“远程连线”，则跳转到连线当前工作人员的界面。

在一个实施例中，如图4所示，以上述知识库获取场景策略中的第二目标对象为Pad平板电脑为例。用户佩戴AR眼镜，伸出手势，此时AR眼镜进行手势识别，如果是目标手势，则接收用户输入的语音指令“打开知识库”，完成对Pad的识别后，AR眼镜从服务器调用与Pad相关的AR知识库内容，在AR眼镜端展示相关内容。可以理解的，在AR眼镜端展示的相关内容，可以根据相关内容与Pad的相关程度进行优先级排列，相关程度高的优先显示，或者在显著位置显示；相关程度低的其后显示，或者在不显著位置显示。可以理解的，AR知识库中的相关内容可以包括文本、视频或音频等。

在一个实施例中，如图5所示以，上述控制场景策略中的第三目标对象为扫地机器人为例。用户佩戴AR眼镜，伸出手势，此时AR眼镜进行手势识别，如果是目标手势，则接收用户输入的语音指令“打开开关”，完成对扫地机器人的识别后，控制打开扫地机器人。也可以通过，在接收用户输入的语音指令“打开开关”，完成对扫地机器人的识别后，AR眼镜将语音指令发送给扫地机器人的控制设备，使用该控制设备打开扫地机器人。例如，控制设备可以为与AR眼镜连接的手机，首先在该手机上添加扫地机器人设备，当接收到AR眼镜发送的语音指令“打开开关”后，手机控制打开连接的扫地机器人。又例如，在手机的控制设备列表中默认接入的为手机内的A应用程序，则AR眼镜识别到上述语音指令“打开开关”后，立即连接手机内的A应用程序，并开始播放A应用程序列表中的文件。

可以理解的，上述步骤无先后顺序，根据应用场景可以进行自行调整顺序。

其中，上述识别操作或者触发操作可以表现为如下至少一种方式：

其一可以表现为触控操作，包括但不限于点击操作、滑动操作和按压操作等。

其二，可以表现为实体按键输入。

其三，可以表现为语音输入。

下面对本发明提供的交互装置进行描述，下文描述的交互装置与上文描述的交互方法可相互对应参照。

在一个实施例中，如图6所示，提供了一种交互装置600，包括：第一处理模块602、第二处理模块604、第三处理模块606、第四处理模块608和第五处理模块610，其中：第一处理模块602，用于接收第一触发操作，第一触发操作为对手势识别的触发操作；第二处理模块604，用于响应于第一触发操作，获取场景手势；第三处理模块606，用于在场景手势为目标手势的情况下，获取交互策略集合，交互策略集合包括至少一种交互策略，交互策略为根据场景设定的策略；第四处理模块608，用于基于交互策略集合中的各个交互策略，在交互界面上，接收第二触发操作；第五处理模块610，用于响应于第二触发操作，在交互界面上，显示交互结果。

在一个实施例中，第四处理模块608，用于在交互策略选择界面上，接收对远程作业场景策略的第一选择操作；响应于第一选择操作，获取第一语音信息；根据第一语音信息，接收对第一目标对象的第一识别操作；响应于第一识别操作，获取第一目标对象的相关作业列表；在相关作业列表中，接收对目标作业的第二选择操作；响应于第二选择操作，在交互界面上，显示远程作业内容。

在一个实施例中，第四处理模块608，用于在远程作业内容显示界面上，显示语音控件；利用语音控件，接收第二语音信息；在第二语音信息为目标语音信息的情况下，显示目标语音信息对应的会话界面。

在一个实施例中，第四处理模块608，用于在交互策略选择界面上，接收对知识库获取场景策略的第三选择操作；响应于第三选择操作，获取第三语音信息；根据第三语音信息，接收对第二目标对象的第二识别操作；响应于第二识别操作，获取第二目标对象的相关内容；在交互界面上，显示相关内容。

在一个实施例中，第四处理模块608，用于获取第二目标对象的对象关键字；根据相关内容与对象关键字的关联程度，以排序方式，在交互界面上，显示相关内容。

在一个实施例中，第四处理模块608，用于在交互策略选择界面上，接收对控制场景策略的第四选择操作；响应于第四选择操作，接收对第三目标对象的第三识别操作；响应于第三识别操作，获取第四语音信息；将第四语音信息发送给控制设备，以使得控制设备根据第四语音信息，发送控制指令给被控设备；在交互界面上，显示被控设备的运行状态。

图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行交互方法，该方法包括：接收第一触发操作，第一触发操作为对手势识别的触发操作；响应于第一触发操作，获取场景手势；在场景手势为目标手势的情况下，获取交互策略集合，交互策略集合包括至少一种交互策略，交互策略为根据场景设定的策略；基于交互策略集合中的各个交互策略，在交互界面上，接收第二触发操作；响应于第二触发操作，在交互界面上，显示交互结果。

此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，Random Access Memory）、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的交互方法，该方法包括：接收第一触发操作，所述第一触发操作为对手势识别的触发操作；响应于第一触发操作，获取场景手势；在场景手势为目标手势的情况下，获取交互策略集合，交互策略集合包括至少一种交互策略，交互策略为根据场景设定的策略；基于交互策略集合中的各个交互策略，在交互界面上，接收第二触发操作；响应于第二触发操作，在交互界面上，显示交互结果。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的交互方法，该方法包括：接收第一触发操作，第一触发操作为对手势识别的触发操作；响应于第一触发操作，获取场景手势；在场景手势为目标手势的情况下，获取交互策略集合，交互策略集合包括至少一种交互策略，交互策略为根据场景设定的策略；基于交互策略集合中的各个交互策略，在交互界面上，接收第二触发操作；响应于第二触发操作，在交互界面上，显示交互结果。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种交互方法，其特征在于，包括：

接收第一触发操作，所述第一触发操作为对手势识别的触发操作；

响应于所述第一触发操作，获取场景手势；

在所述场景手势为目标手势的情况下，获取交互策略集合，所述交互策略集合包括至少一种交互策略，所述交互策略为根据场景设定的策略；

基于所述交互策略集合中的各个所述交互策略，在交互界面上，接收第二触发操作；

响应于所述第二触发操作，在所述交互界面上，显示交互结果。

2.根据权利要求1所述的交互方法，其特征在于，所述交互策略包括远程作业场景策略，所述基于所述交互策略集合中的各个所述交互策略，接收第二触发操作包括：

在所述交互策略选择界面上，接收对所述远程作业场景策略的第一选择操作；

所述响应于所述第二触发操作，在交互界面上，显示交互结果包括：

响应于所述第一选择操作，获取第一语音信息；

根据所述第一语音信息，接收对第一目标对象的第一识别操作；

响应于所述第一识别操作，获取所述第一目标对象的相关作业列表；

在所述相关作业列表中，接收对目标作业的第二选择操作；

响应于所述第二选择操作，在所述交互界面上，显示远程作业内容。

3.根据权利要求2所述的交互方法，其特征在于，所述显示远程作业内容之后还包括：

在所述远程作业内容显示界面上，显示语音控件；

利用所述语音控件，接收第二语音信息；

在所述第二语音信息为目标语音信息的情况下，显示所述目标语音信息对应的会话界面。

4.根据权利要求1所述的交互方法，其特征在于，所述交互策略包括知识库获取场景策略，所述基于所述交互策略集合中的各个所述交互策略，接收第二触发操作包括：

在所述交互策略选择界面上，接收对知识库获取场景策略的第三选择操作；

所述响应于所述第二触发操作，在交互界面上，显示交互结果包括：

响应于所述第三选择操作，获取第三语音信息；

根据所述第三语音信息，接收对第二目标对象的第二识别操作；

响应于所述第二识别操作，获取所述第二目标对象的相关内容；

在所述交互界面上，显示所述相关内容。

5.根据权利要求4所述的交互方法，其特征在于，所述响应于所述第二识别操作，获取所述第二目标对象的相关内容之后还包括：

获取所述第二目标对象的对象关键字；

所述在所述交互界面上，显示所述相关内容包括：

根据所述相关内容与所述对象关键字的关联程度，以排序方式，在所述交互界面上，显示所述相关内容。

6.根据权利要求1所述的交互方法，其特征在于，所述交互策略包括控制场景策略，所述基于所述交互策略集合中的各个所述交互策略，接收第二触发操作包括：

在所述交互策略选择界面上，接收对所述控制场景策略的第四选择操作；

所述响应于所述第二触发操作，在交互界面上，显示交互结果包括：

响应于所述第四选择操作，接收对第三目标对象的第三识别操作；

响应于所述第三识别操作，获取第四语音信息；

将所述第四语音信息发送给控制设备，以使得所述控制设备根据所述第四语音信息，发送控制指令给被控设备；

在所述交互界面上，显示所述被控设备的运行状态。

7.一种交互装置，其特征在于，包括：

第一处理模块，用于接收第一触发操作，所述第一触发操作为对手势识别的触发操作；

第二处理模块，用于响应于所述第一触发操作，获取场景手势；

第三处理模块，用于在所述场景手势为目标手势的情况下，获取交互策略集合，所述交互策略集合包括至少一种交互策略，所述交互策略为根据场景设定的策略；

第四处理模块，用于基于所述交互策略集合中的各个所述交互策略，在交互界面上，接收第二触发操作；

第五处理模块，用于响应于所述第二触发操作，在所述交互界面上，显示交互结果。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述交互方法的步骤。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述交互方法的步骤。

Images