CN111208899B - 交互处理方法、装置、终端及服务器 - Google Patents

Abstract

本申请实施例提供一种交互处理方法、装置、终端及服务器。其中，客户端包括进行业务逻辑处理的第一控制层以及第二控制层，第二控制层与服务端建立全双工通信通道；基于所述全双工通信通道，接收所述服务端基于多模态交互输入信息反馈的至少一个第一交互处理指令；调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作。本申请实施例提供的技术方案简化了交互操作，提高了业务处理效率。

Description

交互处理方法、装置、终端及服务器

技术领域

本申请实施例涉及计算机应用技术领域，尤其涉及一种交互处理方法、装置、客户端、服务器及电子终端。

背景技术

在提供商品售卖的线下服务场所中，用户往往需要根据自身需求选择商品，并告知售卖方，售卖方根据顾客提供的商品名称等信息，再为顾客提供所需商品。

而为了提高售卖效率，通常在线下服务场所中会部署自助终端，以供用户自助选择商品，并自动生成业务订单，无需售卖方参与即可以完成商品交易。

目前的自助终端中，均是由用户执行屏幕交互输入，如触摸屏幕或者操作按键等，来触发对应的交互处理指令，通过执行该交互处理指令来实现相应业务操作。比如自助终端在显示界面中可以显示针对商品的选择控件，用户针对该选择控件的屏幕点击操作，可以触发商品选择指令，基于该商品选择指令通过与服务端交互即可以生成业务订单等。

但是，实际应用中，通过自助终端完成一次交易可能需要进行多次业务操作，比如多次添加商品、多次删除商品等，而一次屏幕交互输入只能触发一个交互处理指令，因此用户可能就需要执行多次屏幕交互输入，交互操作复杂，业务处理效率低。

发明内容

本申请实施例提供了一种交互处理方法、装置、终端、服务器以及物理机器。

第一方面，本申请实施例中提供了一种交互处理方法，包括：

客户端与服务端建立全双工通信通道；

基于所述全双工通信通道，接收所述服务端基于多模态交互输入信息反馈的至少一个第一交互处理指令；

调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作。

第二方面，本申请实施例中提供了一种交互处理方法，包括：

服务端与客户端的第二控制层建立全双工通信通道；

获取多模态交互输入信息；

确定所述多模态交互输入信息对应的至少一个第一交互处理指令；

基于所述全双工通信通道，发送所述至少一个第一交互处理指令至所述第二控制层，由所述第二控制层调用所述客户端的第一控制层处理所述至少一个第一交互处理指令以执行相应业务操作。

第三方面，本申请实施例中提供了一种交互处理方法，包括：

客户端获取第二控制层传递的至少一个第一交互处理指令；其中，所述至少一个第一交互处理指令由服务端基于多模态交互输入信息确定，并基于与所述第二控制层建立的全双工通信通道发送至所述第二控制层；

处理所述至少一个第一交互处理指令以执行相应业务操作；

检测屏幕交互输入信息触发的第二交互处理指令；

处理所述第二交互处理指令以执行相应业务操作。

第四方面，本申请实施例中提供了一种交互处理装置，包括：

第一通信建立模块，用于与服务端建立全双工通信通道；

指令接收模块，用于基于所述全双工通信通道，接收所述服务端反馈的基于多模态交互输入信息确定的至少一个第一交互处理指令；

调用执行模块，用于调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作。

第五方面，本申请实施例中提供了一种交互处理装置，包括：

第二通信建立模块，用于与客户端的第二控制层建立全双工通信通道；

信息获取模块，用于获取多模态交互输入信息；

指令确定模块，用于基于所述多模态交互输入信息确定至少一个第一交互处理指令；

指令发送模块，用于基于所述全双工通信通道，发送所述至少一个第一交互处理指令至所述第二控制层，由所述第二控制层调用所述客户端的第一控制层处理所述至少一个第一交互处理指令以执行相应业务操作。

第六方面，本申请实施例中提供了一种交互处理装置，包括：

第一指令检测模块，用于获取第二控制层传递的至少一个第一交互处理指令；其中，所述至少一个第一交互处理指令由服务端基于多模态交互输入信息确定，并基于与所述第二控制层建立的全双工通信通道发送至所述第二控制层；

第一指令执行模块，用于处理所述至少一个第一交互处理指令以执行相应业务操作；

第二指令检测模块，用于检测屏幕交互输入信息触发的第二交互处理指令；

第二指令执行模块，用于处理所述第二交互处理指令以执行相应业务操作。

第七方面，本申请实施例中提供了一种客户端，包括进行业务逻辑处理的第一控制层以及第二控制层；

所述第一控制层用于检测屏幕交互输入信息触发的第二交互处理指令，并处理所述第二交互处理指令以执行相应业务操作；获取所述第二控制层传递的至少一个第一交互处理指令，并处理所述至少一个第一交互处理指令以执行相应业务操作；

所述第二控制层用于与服务端建立全双工通信通道；基于所述全双工通信通道，接收所述服务端反馈的基于多模态交互输入信息确定的至少一个第一交互处理指令；调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作。

第八方面，本申请实施例中提供了一种终端，包括处理组件以及存储组件；

所述存储组件存储一个或多个计算机指令；所述一个或多个计算机指令用以被所述处理组件调用执行；

所述处理组件用于：

与服务端建立全双工通信通道；

基于所述全双工通信通道，接收所述服务端反馈的基于多模态交互输入信息确定的至少一个第一交互处理指令；

处理所述至少一个第一交互处理指令以分别执行相应业务操作。

第九方面，本申请实施例中提供了一种服务器，包括处理组件以及存储组件；

所述存储组件存储一个或多个计算机指令；所述一个或多个计算机指令用以被所述处理组件调用执行；

所述处理组件用于：

与客户端的第二控制层建立全双工通信通道；

获取多模态交互输入信息；

确定所述多模态交互输入信息对应的至少一个第一交互处理指令；

基于所述全双工通信通道，发送所述至少一个第一交互处理指令至所述第二控制层，由所述第二控制层调用所述客户端的第一控制层处理所述至少一个第一交互处理指令以执行相应业务操作。

第十方面，本申请实施例中提供了一种物理机器，集成有上述第八方面提供的终端以及上述第九方面提供的服务器。

本申请实施例中，客户端进行业务逻辑处理的控制层划分为第一控制层以及第二控制层，由第二控制层与服务端建立全双工通信通道，并基于所述全双工通信通道，接收所述服务端基于多模态交互输入信息反馈的至少一个第一交互处理指令，之后再调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作，通过本申请实施例，采用全双工通信通道可以接收服务端主动发起的请求，保证可以接收到基于多模态交互输入信息反馈的交互处理指令，从而基于交互处理指令实现了业务操作，采用多模态交互输入方式，操作简单，且可以同时触发多个交互处理指令。

本申请的这些方面或其他方面在以下实施例的描述中会更加简明易懂。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本申请提供的一种客户端一个实施例的结构示意图；

图2示出了本申请提供的一种交互处理方法一个实施例的流程图；

图3示出了本申请提供的一种交互处理方法又一个实施例的流程图；

图4示出了本申请提供的一种交互处理方法又一个实施例的流程图；

图5示出了本申请实施例在一个实际应用中的交互处理方法示意图；

图6示出了本申请提供的一种交互处理装置一个实施例的结构示意图；

图7示出了本申请提供的一种交互处理装置又一个实施例的结构示意图；

图8示出了本申请提供的一种终端一个实施例的结构示意图；

图9示出了本申请提供的一种交互处理装置又一个实施例的结构示意图；

图10出了本申请提供的一种服务器一个实施例的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

在本申请的说明书和权利要求书及上述附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

本申请实施例的技术方案可以适用于通过自助终端，基于用户交互输入信息，进行业务对象交易的应用场景中，比如线下服务场所中的自助终端，如餐饮场所中部署的点餐机等，该业务对象也即具体是指商品。当然，也可以适用于基于用户交互输入信息进行业务处理的其它业务场景中。

正如背景技术所述，目前，用户交互输入信息通常为屏幕交互输入信息，由用户触控屏幕中的操作控件或者操作物理按键实现，而由于用户通常会触发执行多个业务操作才能完成用户需求，而这种传统交互输入方式，就需要执行多次屏幕交互输入，操作复杂，交互效率较低。

为了提高交互效率，提高业务处理效率，发明人经过一系列研究想到，可以结合多模态来实现人与机器交互，例如通过语音、动作或者人脸输入等进行人机交互，模拟人与人之间的交互方式，用户只需进行多模态交互输入，而无需执行屏幕交互输入，即可以触发完成业务处理，从而可以简化交互操作，提高交互效率，保证业务处理效率。

但是，发明人发现，目前客户端与服务端之间是基于HTTP(HyperText TransferProtocol，超文本传输协议)协议进行通信，也即客户端的网络架构中，进行业务逻辑处理的控制(control)层是基于HTTP协议与服务端进行通信来完成业务处理，而HTTP协议是一种无状态的、无连接的、单向的通信协议。它采用了请求/响应模型。通信请求只能由客户端发起，服务端对请求做出应答处理。而对于多模态交互输入信息的识别需要由服务端执行，再根据识别结果向客户端反馈相应指令以触发进行业务操作，存在服务端需要主要发起请求的情况。

为了可以实现多模态交互输入，发明人经过进一步研究提出了本申请实施例的技术方案，在本申请实施例中，客户端进行业务逻辑处理的控制层划分为第一控制层以及第二控制层，由第二控制层与服务端建立全双工通信通道，并基于所述全双工通信通道，接收所述服务端基于多模态交互输入信息反馈的至少一个第一交互处理指令，之后再调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作，通过本申请实施例，采用全双工通信通道可以接收服务端主动发起的请求，保证可以接收到基于多模态交互输入信息反馈的交互处理指令，从而基于交互处理指令实现了业务操作，采用多模态交互输入方式，操作简单，且可以同时触发多个交互处理指令，进一步简化了交互操作，从而可以提高交互效率，提高业务处理效率。

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例提供的一种客户端的网络架构示意图，该客户端可以包括用于进行业务逻辑处理的第一控制层101以及第二控制层102；

第一控制层101可以为web控制层，采用HTTP与服务端通信，与现有技术的控制层相同；

第二控制层102采用全双工通信协议与服务端通信，该全双工通信协议例如可以为websocket(一种全双工通信协议)。

当然，该客户端还可以包括视图层103，用以显示数据等。

该客户端还可以包括数据层104，用于为第一控制层101以及第二控制层102提供数据服务；

现有技术中的客户端主要由数据层、视图层以及控制层构成，由控制层进行业务逻辑处理，但是控制层与服务端为单向通信，只能控制层发起通信请求，由服务端对请求做出应答处理。

本申请实施例，为了实现基于多模态交互输入信息的处理，客户端由数据层、视图层、第一控制层以及第二控制层构成，由第二控制层负责与服务端建立全双工通信通道，可以接收服务端主动发起的通信请求，再进行业务处理，具体再调用第一控制层进行业务操作，第一控制层与服务端的通信方式与现有技术相同。

可以理解的是，数据层、视图层、第一控制层以及第二控制层可以是指客户端中用以实现不同功能的程序模块或者程序代码。

其中，第一控制层101可以用于获取所述第二控制层传递的至少一个第一交互处理指令，并处理所述至少一个第一交互处理指令以执行相应业务操作；检测屏幕交互输入信息触发的第二交互处理指令，并处理所述第二交互处理指令以执行相应业务操作；

所述第二控制层102可以用于与服务端建立全双工通信通道；基于所述全双工通信通道，接收所述服务端基于多模态交互输入信息反馈的至少一个第一交互处理指令；调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作。

第二控制层调用第一控制层处理所述至少一个第一交互处理指令，也即将至少一个第一交互处理指令传递至第一控制层。

其中，第一控制层执行业务操作可以是结合数据层提供数据来实现业务操作。

其中，若第一控制层执行的业务操作，与数据显示相关，则还可以更新视图层以显示相关数据等。

用户提供的多模态交互输入信息到达服务端，由服务端可以确定至少一个第一交互处理指令，从而将该至少一个第一交互处理指令下发至第二控制层，第二控制层即调用第一控制层处理，实现相应业务操作。

该至少一个第一交互处理指令可以由服务端基于多模态交互输入信息确定，也可以从多模态交互输入信息中识别获得。

而对于用户提供的屏幕交互输入信息，由于每一个屏幕交互输入信息通常是操作一控件或者按键实现，而每个控件或按键对应有预配置指令，因此第一控制层可以直接检测获得每一个屏幕交互输入信息对应的一个第二交互处理指令，进而可以直接处理该第二交互处理指令，以实现相应业务操作。

需要说明的是，第一交互处理指令以及第二交互处理指令均是指用于触发业务操作的相关指令，例如在自选终端中，交互处理指令可以是指对象选择指令、订单更新指令、订单取消指令或者订单结算指令等。采用“第一”以及“第二”仅是用于区分，不同类型的交互输入信息而触发的交互处理指令。

结合图1所示的网络结构，下面将分别第一控制层、第二控制层以及服务端角度对本申请技术方案进行详细描述。

图2为本申请实施例提供的一种交互处理方法一个实施例的流程图，本实施例从客户端的第二控制层角度进行描述，该方法可以包括以下几个步骤：

201：与服务端建立全双工通信通道。

其中，可以基于全双工通信协议建立与服务端的全双工通信通道。

该全双工通信协议例如可以为WebSocket。基于全双工通信协议，可以实现全双工通信，以便任一方都可以通过建立的全双工通信通道将数据推送到另一方。全双工通信通道只需要建立一次，就可以一直保持连接状态。

202：基于所述全双工通信通道，接收所述服务端基于多模态交互输入信息反馈的至少一个第一交互处理指令。

作为一种可选方式，所述方法还可以包括：

通过第一采集组件采集所述多模态交互输入信息；

基于所述全双工通信通道，发送所述多模态交互输入信息至所述服务端，以供所述服务端确定所述多模态交互输入信息对应的至少一个第一交互处理指令。

在一个实际应用中，第一采集组件可以是部署所述客户端的物理机器所配置的，客户端可以调用该第一采集组件而进行多模态交互输入信息的采集。

作为另一种可选方式，所述多模态交互输入信息可以由所述服务端通过第二采集组件采集并上传至所述服务端。

在一个实际应用中，客户端与服务端可以配置在同一个物理机器中，例如目前在线下服务场所配置的点餐机等，既配置有客户端也配置有服务端，为一体式设备。该物理机器中配置有第二采集组件，服务端可以直接调用第二采集组件采集多模态交互输入信息。

其中，所述多模态交互输入信息可以包括生物特征输入信息、语音交互信息、动作输入信息、手势输入信息等感官交互信息中的一个或者多个。

多模态交互输入信息可以传达至少一个第一交互处理指令，因此，相较于屏幕交互输入信息，采用多模态交互输入信息可以一次传达多个交互处理指令，可以实现批量交互操作，无需多次进行多模态交互输入，可以进一步简化交互操作，提高交互效率。

比如，多模态交互输入信息中可以包括语音交互信息，在对象选择场景中，用户可以语音输入分别对多个业务对象的对象选择指令，从而识别该语音交互信息即可以获得多个对象选择指令，每个对象选择指令用来选择一个业务对象，从而可以实现业务对象的批量选择，而如果采用屏幕交互输入方式，需要对每个业务对象对应的操作控件或者按键进行操作才可以完成对多个业务对象的选择。

203：调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务处理。

本实施例中，第二控制层负责与服务端进行全双工通信，以获得服务端基于多模态交互输入信息确定的至少一个第一交互处理指令，之后再调用第一控制层处理该至少一个第一交互处理指令即可以执行分别对应的业务处理。由于基于多模态交互输入信息触发交互处理指令，相较于屏幕交互输入方式，交互操作简单、交互效率高，因此可以提高业务处理效率。

该第一控制层可以为web控制层，即可以基于HTTP协议与服务端进行通信，处理该至少一个第一交互处理指令可能涉及与服务端交互，交互处理指令的处理方式与现有技术相同，只是交互处理指令的获得方式与现有技术不同，因此本申请对具体处理方式进行具体限定。

该第一控制层还可以检测屏幕交互输入信息触发的第二交互处理指令，并处理所述第二交互处理指令以执行相应业务操作。

也即可以通过复用第一控制层的指令处理功能，第二控制层仅需进行交互处理指令的获取和传输，通过调用第一控制层即可以实现交互处理指令的处理。

其中，该第一交互处理指令中可以包括回复内容，至少一个第一交互处理指令可以包括至少一个回复内容。

因此，在某些实施例中，所述调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作可以包括：

调用第一控制层输出至少一个回复内容。

例如通过自助终端进行业务对象选择场景中，该多模态交互输入信息可以为生物特征输入信息，例如人脸输入信息，从而服务端响应于该多模态交互输入信息，可以确定自助终端的一定范围内存在用户，为了提高用户体验，为通过自助终端，输出欢迎信息，也即可以反馈包括欢迎信息的回复内容。

其中，该回复内容可以包括可显示内容以及语音内容；其中，该可显示内容可以包括图片和/或文本。

因此，在某些实施例中，所述调用第一控制层输出至少一个回复内容包括：

如果任一个回复内容包括可显示内容，调用第一控制层基于所述可显示内容更新视图层以显示所述可显示内容；

如果任一个回复内容包括语音内容，调用第一控制层控制音频组件播放所述语音内容。

可显示内容需要更新视图层实现显示，而语音内容则可以采用音频组件播放即可。

当然，该第一交互处理指令处理可以包括对应多模态交互输入信息的回复内容之后，还可以包括业务处理指令，因此调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作可以包括：

调用第一控制层输出至少一个回复内容，以及处理所述至少一个业务处理指令以执行相应业务操作。

在某些实施例中，所述调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作之后，所述方法还可以包括：

基于所述全双工通信通道接收所述服务端反馈的所述至少一个第一交互处理指令对应的处理结果；

调用所述第一控制层输出所述处理结果。

其中，该处理结果可以包括业务操作响应结果，还可以包括指令执行成败结果等。

此外，在某些实施例中，所述方法还可以包括：

基于所述全双工通信通道接收所述服务端反馈的所述处理结果对应的提示内容；

调用所述第一控制层输出所述提示内容。

该提示内容可以用于提示该业务操作响应结果或者该指令执行成败结果等。

其中，所述提示内容可以包括可显示内容和/或语音内容；因此，所述调用所述第一控制层输出所述提示内容包括：

如果所述提示内容包括可显示内容，调用所述第一控制层更新视图层以显示所述可显示内容；

如果所述提示内容包括语音内容，调用所述第一控制层控制音频组件播放所述语音内容。

在一个可选方式中，所述多模态交互输入信息可以包括生物特征输入信息；

所述基于所述全双工通信通道，接收所述服务端反馈的基于多模态交互输入信息确定的至少一个第一交互处理指令可以包括：

基于所述全双工通信通道，接收所述服务端响应所述生物特征输入信息反馈的页面切换指令；

所述调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作包括：

调用第一控制层处理所述页面切换指令以从屏保页面切换至预定页面。

此外，该页面切换指令中还可以包括回复内容；

因此，所述调用第一控制层处理所述页面切换指令以从屏保页面切换至预定页面可以包括：

调用第一控制层处理所述页面切换指令以从屏保页面切换至预定页面，并输出所述回复内容。

其中，该回复内容可以包括可显示内容和/或语音内容，因此可以具体是调用第一控制层更新视图层以显示所述可显示内容、和/或调用第一控制层控制音频组件输出该语音内容。

在通过自助终端进行业务对象选择的应用场景中，也即服务端根据该生物特征输入信息可以确定自助终端一定范围内存在用户时，即可以下发页面切换指令，以由第二控制层调用第一控制层将屏保页面切换至预定页面，该预定业务例如即可以为业务对象选择页面，其可以包含业务对象的相关信息。

同时，还可以反馈回复内容，以由第二控制层调用第一控制层输出该回复内容，该回复内容可以包含欢迎信息或者选择提示信息，比如“欢迎使用自助终端，您可以语音输入想要的业务对象”。

其中，该生物特征输入信息可以具体为人脸输入信息，通过图像采集组件采集获得。

在另一个可选方式中，所述多模态交互输入信息可以包括语音交互信息；

所述基于所述全双工通信通道，接收所述服务端反馈的基于多模态交互输入信息确定的至少一个第一交互处理指令可以包括：

基于所述全双工通信通道，接收所述服务端反馈的从所述语音交互信息中识别获得的至少一个第一交互处理指令。

语音交互信息为采集用户语音输入获得，用户可以语音输入至少一个第一交互处理指令，从而通过语音识别技术，即可以从中识别获得该至少一个第一交互处理指令。

由于基于所述全双工通信通道可以接收所述服务端反馈的所述至少一个第一交互处理指令对应的处理结果以及该处理结果对应的提示内容。

并可以调用所述第一控制层输出所述处理结果以及该提示内容。

该提示内容中可以包括可显示内容和/或语音内容，第一控制层输出该提示内容，可以实现人机对话效果。

其中，用户可以通过语音输入多个第一交互处理指令，由第二控制层分别调用第一控制层执行。

例如，通过自助终端进行业务对象选择的应用场景中，可以一次语音输入添加、修改或者删除多个业务对象等。

本申请实施例中，可以应用于基于语音交互信息，实现业务对象选择的应用场景中，比如点餐场景中，所述至少一个第一交互处理指令包括与点餐操作相关的处理指令。

因此，在某些实施例中，该至少一个第一交互处理指令可以包括至少一个对象选择指令，其中，每个对象选择指令可以包括对象标识，此外还可以包括选择要求等。在点餐场景中，对象可以具体是指餐品，该对象选择指令即可以具体是指餐品选择指令，对象标识可以具体是指餐品名称。

所述调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作可以包括：

调用第一控制层处理至少一个对象选择指令，以基于所述至少一个对象选择指令中，生成业务订单。

针对该至少一个对象选择指令的处理结果中即可以包括该业务订单，也即业务操作响应结果，因此第二控制层调用第一控制层可以更新视图层以显示该业务订单。

处理结果对应的提示内容可以结合该指令执行成败结果以及业务操作响应结果，以及对该语音交互信息的NLP((Natural Language Processing，自然语言处理)，获得的对话内容。

例如，语音交互信息为“我要一杯拿铁咖啡，不加糖”。提示内容可以为“好的，已添加”，或者“不好意思，请重新输入”。

在某些实施例中，所述至少一个第一交互处理指令可以包括针对业务订单的至少一个订单更新指令；其中，每个订单更新指令包括对象标识以及操作类型；业务订单可以基于上文所述的语音交互输入方式生成，当然也可以是基于屏幕交互输入方式，或者结合语音交互或者屏幕交互实现的。

所述调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作包括：

调用第一控制层处理至少一个订单更新指令以更新所述业务订单。

可以具体基于该对象标识和操作类型更新该业务订单。

该操作类型例如可以包括业务对象添加或删除、业务对象属性信息修改(如数量修改)等。

一个订单更新指令可以针对一个业务对象，因此通过本申请实施例，可以通过语音交互方式，实现对业务订单中多个业务对象的更新等。

针对该至少一个订单更新指令的处理结果中即可以包括更新之后的业务订单，也即业务操作响应结果，因此第二控制层调用第一控制层可以更新视图层以显示该更新之后的业务订单。

处理结果对应的提示内容可以结合该指令执行成败结果以及业务操作响应结果，以及对该语音交互信息的NLP处理，获得的对话内容。

例如，语音交互信息为“拿铁改为两杯”。提示内容可以为“好的，已修改”，或者“不好意思，请重新输入”。

在某些实施例中，所述至少一个第一交互处理指令可以包括针对业务订单的订单结算指令；

所述调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作可以包括：

调用第一控制层处理所述订单结算指令以执行结算操作。

可选地，所述调用第一控制层处理所述订单结算指令以执行结算操作包括：

调用第一控制层处理所述订单结算指令，获得包括支付链接的结算提示信息，并更新视图层以显示所述结算提示信息。

该支付链接用于调用第三方支付***进行线上支付。

此外，在某些实施例中，所述至少一个第一交互处理指令可以包括针对业务订单的订单取消指令；

所述调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作可以包括：

调用第一控制层处理所述订单取消指令以取消所述业务订单。

此外，在某些实施例中，所述多模态交互输入信息可以包括生物特征输入信息以及语音交互信息；

所述基于所述全双工通信通道，接收所述服务端反馈的从所述语音交互信息中识别获得的至少一个第一交互处理指令可以包括：

基于所述全双工通信通道，接收所述服务端反馈的响应于存在所述生物特征输入信息的检测结果，从所述语音交互信息中识别获得的至少一个第一交互处理指令。

如果服务端检测存在生物特征输入信息，则可以认为自助终端的一定范围内存在用户，需要使用该自助终端，此时再对获得的语音交互信息进行识别，否则即可以结束流程，不做任何处理，以提高业务处理准确度。

图3为本申请实施例提供的一种交互处理方法又一个实施例的流程图，本实施例从服务端角度对本申请的技术方案进行描述，该方法可以包括以下几个步骤：

301：与客户端的第二控制层建立全双工通信通道。

302：获取多模态交互输入信息。

303：确定所述多模态交互输入信息对应的至少一个第一交互处理指令。

304：基于所述全双工通信通道，发送所述至少一个第一交互处理指令至第二控制层，由所述第二控制层调用所述客户端的第一控制层处理所述至少一个第一交互处理指令以执行相应业务操作。

其中，作为一种可选方式，所述获取多模态交互输入信息可以包括：

接收所述第二控制层基于所述全双工通信通道发送的多模态交互输入信息；其中，所述多模态交互输入信息由所述客户端通过第一采集组件采集获得。

作为另一种可选方式，所述获取多模态交互输入信息包括：

通过第二采集组件采集多模态交互输入信息。

在某些实施例中，所述多模态交互输入信息可以包括语音交互信息；

所述基于所述多模态交互输入信息确定至少一个第一交互处理指令包括：

识别所述语音交互信息中的至少一个第一交互处理指令。

图4为本申请实施例提供的一种交互处理方法又一个实施例的流程图，本实施例从客户端中的第一控制层角度对本申请的技术方案进行描述，该方法可以包括以下几个步骤：

401：获取第二控制层传递的至少一个第一交互处理指令。

其中，所述至少一个第一交互处理指令由服务端基于多模态交互输入信息确定，并基于与所述第二控制层建立的全双工通信通道发送至所述第二控制层。

402：处理所述至少一个第一交互处理指令以执行相应业务操作。

403：检测屏幕交互输入信息触发的第二交互处理指令。

404：处理所述第二交互处理指令以执行相应业务操作。

第一控制层可以直接检测屏幕交互输入信息对应的第二交互处理指令并进行处理。

而第二控制层可以获取服务端基于多模态交互输入信息反馈的至少一个第一交互处理指令，并复用第一控制层，由第一控制层对该至少一个第一交互处理指令进行处理。

为了方便理解，如图5所示的交互处理示意图中，客户端中的第一控制层101可以与服务端501建立HTTP通信通道，第二控制层102可以与服务端501建立全双工通信通道。

对于多模态交互输入信息，其可以是由第二控制层102采集并上传至服务端501，当然也可以是服务端501采集获得。

服务端501对其进行识别之后，可以反馈至少一个第一交互处理指令，第二控制层102再调用第一控制层101处理该至少一个第一交互处理指令。

对于屏幕交互输入信息，第一控制层101可以直接检测获得第二交互处理指令并进行处理。

第一控制层101进行交互处理指令处理时，如果涉及显示操作，则可以更新视图层103进行显示，用户即可以查看。

其中，第二控制层可以针对至少一个第一交互处理指令，依次调用第一控制层分别进行处理；当然也可以全部下发至第一控制层，由第一控制层进行处理。

图6为本申请实施例提供的一种交互处理装置一个实施例的结构示意图，该装置可以作为配置在客户端中的第二控制层，该装置可以包括：

第一通信建立模块601，用于与服务端建立全双工通信通道；

指令接收模块602，用于基于所述全双工通信通道，接收所述服务端反馈的基于多模态交互输入信息确定的至少一个第一交互处理指令；

调用执行模块603，用于调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作。

在某些实施例中，该装置还可以包括：

第一采集模块，用于通过第一采集组件采集所述多模态交互输入信息；并基于所述全双工通信通道，发送所述多模态交互输入信息至所述服务端，以供所述服务端确定所述多模态交互输入信息对应的至少一个第一交互处理指令。

在某些实施例中，该多模态交互输入信息由所述服务端通过第二采集组件采集并上传至所述服务端。

在某些实施例中，所述第一交互处理指令中以包括回复内容；

所述调用执行模块具体用于调用第一控制层输出至少一个回复内容。

可选地，所述调用执行模块可以具体用于如果任一个回复内容包括可显示内容，调用第一控制层基于所述可显示内容更新视图层以显示所述可显示内容；如果任一个回复内容包括语音内容，调用第一控制层控制音频组件播放所述语音内容。

在某些实施例中，该装置还可以包括：

第一输出调用模块，用于基于所述全双工通信通道接收所述服务端反馈的所述至少一个第一交互处理指令对应的处理结果；调用所述第一控制层输出所述处理结果。

在某些实施例中，该装置还可以包括：

第二输出调用模块，用于基于所述全双工通信通道接收所述服务端反馈的所述处理结果对应的提示内容；调用所述第一控制层输出所述提示内容。

在某些实施例中，所述第二输出调用模块调用所述第一控制层输出所述提示内容具体是：如果所述提示内容包括可显示内容，调用所述第一控制层更新视图层以显示所述可显示内容；如果所述提示内容包括语音内容，调用所述第一控制层控制音频组件播放所述语音内容。

在某些实施例中，所述多模态交互输入信息包括生物特征输入信息；

所述指令接收模块具体用于基于所述全双工通信通道，接收所述服务端响应所述生物特征输入信息反馈的页面切换指令。

所述调用执行模块可以具体用于调用第一控制层处理所述页面切换指令以从屏保页面切换至预定页面。

在某些实施例中，所述多模态交互输入信息包括语音交互信息；

所述指令接收模块具体用于基于所述全双工通信通道，接收所述服务端反馈的从所述语音交互信息中识别获得的至少一个第一交互处理指令。

在某些实施例中，所述至少一个第一交互处理指令包括至少一个对象选择指令；其中，每个对象选择指令包括对象标识；

所述调用执行模块具体用于调用第一控制层处理所述至少一个对象选择指令，以基于所述至少一个对象选择指令，生成业务订单。

在某些实施例中，所述至少一个第一交互处理指令包括至少一个订单更新指令；其中，每个订单更新指令包括对象标识以及操作类型；

所述调用执行模块具体用于调用第一控制层处理所述至少一个订单更新指令以更新所述业务订单。

在某些实施例中，所述至少一个第一交互处理指令包括针对业务订单的订单结算指令；

所述调用执行模块具体用于调用第一控制层处理所述订单结算指令以执行结算操作。

可选地，所述调用执行模块可以具体用于调用第一控制层处理所述订单结算指令，获得包括支付链接的结算提示信息，并更新视图层以显示所述结算提示信息。

在某些实施例中，所述多模态交互输入信息还包括生物特征输入信息；

所述调用执行模块可以具体用于基于所述全双工通信通道，接收所述服务端反馈的响应于存在所述生物特征输入信息的检测结果，而从所述语音交互信息中识别获得的至少一个第一交互处理指令。

图6所述的交互处理装置可以执行图2所示实施例所述的交互处理方法，其实现原理和技术效果不再赘述。对于上述实施例中的交出处理装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图7为本申请实施例提供的一种交互处理装置一个实施例的结构示意图，该装置可以作为配置在客户端中的第一控制层，该装置可以包括：

第一指令检测模块701，用于获取第二控制层传递的至少一个第一交互处理指令；其中，所述至少一个第一交互处理指令由服务端基于多模态交互输入信息确定，并基于与所述第二控制层建立的全双工通信通道发送至所述第二控制层；

第一指令执行模块702，用于处理所述至少一个第一交互处理指令以执行相应业务操作；

第二指令检测模块703，用于检测屏幕交互输入信息触发的第二交互处理指令；

第二指令执行模块704，用于处理所述第二交互处理指令以执行相应业务操作。

图7所述的交互处理装置可以执行图4所示实施例所述的交互处理方法，其实现原理和技术效果不再赘述。对于上述实施例中的交出处理装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

在一个可能的设计中，图6所示实施例的交互处理装置可以实现为一终端，如图8所示，该终端可以包括存储组件801以及处理组件802；

所述存储组件801存储一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理组件802调用执行。

所述处理组件802用于：

与服务端建立全双工通信通道；

基于所述全双工通信通道，接收所述服务端反馈的基于多模态交互输入信息确定的至少一个第一交互处理指令；

处理所述至少一个第一交互处理指令以分别执行相应业务操作。

可选地，该处理组件802还可以用于：

检测屏幕交互输入信息触发的第二交互处理指令；

处理所述第二交互处理指令以执行相应业务操作。

其中，处理组件802可以包括一个或多个处理器来执行计算机指令，以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

存储组件801被配置为存储各种类型的数据以支持在终端的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

当然，该终端必然还可以包括其他部件，例如输入/输出接口、通信组件、显示组件、第一采集组件等。

输入/输出接口为处理组件和***接口模块之间提供接口，上述***接口模块可以是输出设备、输入设备等。

通信组件被配置为便于终端和其他设备之间有线或无线方式的通信等。

显示组件可以为电致发光(EL)元件、液晶显示器或具有类似结构的微型显示器、或者视网膜可直接显示或类似的激光扫描式显示器。

第一采集组件可以用于采集多模态交互输入信息，处理组件还可以用于将第一采集组件采集获得的多模态交互输入信息发送至服务端，以供服务端确定所述多模态交互输入信息对应的至少一个第一交互处理指令。

该第一采集组件例如可以包括图像采集组件、音频采集组件以及生物特征采集组件中的一个或多个等。

本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被计算机执行时可以实现上述图2或图4所示实施例的交互处理方法。

在一个实际应用中，所述至少一个第一交互处理指令包括与点餐操作相关的处理指令；所述终端可以包括点餐机。

图9为本申请实施例提供的一种交互处理装置又一个实施例的结构示意图，该装置可以包括：

第二通信建立模块901，用于与客户端的第二控制层建立全双工通信通道；

信息获取模块902，用于获取多模态交互输入信息；

指令确定模块903，用于基于所述多模态交互输入信息确定至少一个第一交互处理指令；

指令发送模块904，用于基于所述全双工通信通道，发送所述至少一个第一交互处理指令至所述第二控制层，由所述第二控制层调用所述客户端的第一控制层处理所述至少一个第一交互处理指令以执行相应业务操作。

在某些实施例中，所述信息获取模块可以具体用于接收所述第二控制层基于所述全双工通信通道发送的多模态交互输入信息；其中，所述多模态交互输入信息由所述客户端通过第一采集组件采集获得。

在某些实施例中，所述信息获取模块可以具体用于通过第二采集组件采集多模态交互输入信息。

在某些实施例中，所述多模态交互输入信息可以包括语音交互信息；

所述指令确定模块可以具体用于识别所述语音交互信息中的至少一个第一交互处理指令。

图9所述的交互处理装置可以执行图3所示实施例所述的交互处理方法，其实现原理和技术效果不再赘述。对于上述实施例中的交出处理装置其中各个模块、单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

在一个可能的设计中，图9所示实施例的交互处理装置可以实现为一服务器，如图10所示，该服务器可以包括存储组件1001以及处理组件1002；

所述存储组件1001存储一条或多条计算机指令，其中，所述一条或多条计算机指令供所述处理组件1002调用执行。

所述处理组件1002用于：

与客户端的第二控制层建立全双工通信通道；

获取多模态交互输入信息；

基于所述多模态交互输入信息确定至少一个第一交互处理指令；

基于所述全双工通信通道，发送所述至少一个第一交互处理指令至所述第二控制层，由所述第二控制层调用所述客户端的第一控制层处理所述至少一个第一交互处理指令以执行相应业务操作。

其中，处理组件1002可以包括一个或多个处理器来执行计算机指令，以完成上述的方法中的全部或部分步骤。当然处理组件也可以为一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

存储组件1001被配置为存储各种类型的数据以支持在服务器中的操作。存储组件可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

当然，服务器必然还可以包括其他部件，例如输入/输出接口、通信组件、第二采集组件等。

输入/输出接口为处理组件和***接口模块之间提供接口，上述***接口模块可以是输出设备、输入设备等。

通信组件被配置为便于服务器和其他设备之间有线或无线方式的通信等。

第二采集组件可以用于采集多模态交互输入信息，处理组件获取多模态交互输入信息可以具体是通过第二采集组件采集多模态交互输入信息。

该第二采集组件例如可以包括图像采集组件、音频采集组件以及生物特征采集组件中的一个或多个等。

本申请实施例还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被计算机执行时可以实现上述图2所示实施例的交互处理方法。

此外，本申请实施例还提供了一种物理机器，其集成有图8所示实施例的终端以及图10所示实施例的服务器，也即终端以及服务器部署在同一个物理机器中，在实际应用中，该物理机器即可以为线下服务场所中的自助终端，用以基于用户交互输入信息，进行业务对象交易，如点餐机，所述至少一个第一交互处理指令以及所述第二交互处理指令也即可以是指与点餐操作相关的处理指令。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (24)

1.一种交互处理方法，其特征在于，包括：

客户端与服务端建立全双工通信通道；

基于所述全双工通信通道，接收所述服务端基于多模态交互输入信息反馈的至少一个第一交互处理指令；

调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作；

其中，所述多模态交互输入信息包括语音交互信息；

所述至少一个第一交互处理指令包括针对业务订单的订单结算指令；

所述基于所述全双工通信通道，接收所述服务端反馈的基于多模态交互输入信息确定的至少一个第一交互处理指令包括：基于所述全双工通信通道，接收所述服务端反馈的从所述语音交互信息中识别获得的至少一个第一交互处理指令；

所述调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作包括：调用第一控制层处理所述订单结算指令，获得包括支付链接的结算提示信息，并更新视图层以显示所述结算提示信息。

2.根据权利要求1所述的方法，其特征在于，还包括：

所述客户端通过第一采集组件采集所述多模态交互输入信息；

基于所述全双工通信通道，发送所述多模态交互输入信息至所述服务端，以供所述服务端确定所述多模态交互输入信息对应的至少一个第一交互处理指令。

3.根据权利要求1所述的方法，其特征在于，所述多模态交互输入信息由所述服务端通过第二采集组件采集并上传至所述服务端。

4.根据权利要求1所述的方法，其特征在于，所述第一交互处理指令包括回复内容；

所述调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作包括：

调用第一控制层输出至少一个回复内容。

5.根据权利要求4所述的方法，其特征在于，所述调用第一控制层输出至少一个回复内容包括：

如果任一个回复内容包括可显示内容，调用第一控制层基于所述可显示内容更新视图层以显示所述可显示内容；

如果任一个回复内容包括语音内容，调用第一控制层控制音频组件播放所述语音内容。

6.根据权利要求1所述的方法，其特征在于，所述调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作之后，所述方法还包括：

基于所述全双工通信通道接收所述服务端反馈的所述至少一个第一交互处理指令对应的处理结果；

调用所述第一控制层输出所述处理结果。

7.根据权利要求6所述的方法，其特征在于，还包括：

所述客户端基于所述全双工通信通道接收所述服务端反馈的所述处理结果对应的提示内容；

调用所述第一控制层输出所述提示内容。

8.根据权利要求7所述的方法，其特征在于，所述调用所述第一控制层输出所述提示内容包括：

如果所述提示内容包括可显示内容，调用所述第一控制层更新视图层以显示所述可显示内容；

如果所述提示内容包括语音内容，调用所述第一控制层控制音频组件播放所述语音内容。

9.根据权利要求1所述的方法，其特征在于，所述多模态交互输入信息包括生物特征输入信息；

所述基于所述全双工通信通道，接收所述服务端反馈的基于多模态交互输入信息确定的至少一个第一交互处理指令包括：

基于所述全双工通信通道，接收所述服务端响应所述生物特征输入信息反馈的页面切换指令；

所述调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作包括：

调用第一控制层处理所述页面切换指令以从屏保页面切换至预定页面。

10.根据权利要求1所述的方法，其特征在于，所述至少一个第一交互处理指令包括至少一个对象选择指令；其中，每个对象选择指令包括对象标识；

所述调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作包括：

调用第一控制层处理所述至少一个对象选择指令，以基于所述至少一个对象选择指令，生成业务订单。

11.根据权利要求1所述的方法，其特征在于，所述至少一个第一交互处理指令包括至少一个订单更新指令；其中，每个订单更新指令包括对象标识以及操作类型；

所述调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作包括：

调用第一控制层处理所述至少一个订单更新指令以更新所述业务订单。

12.根据权利要求1所述的方法，其特征在于，所述多模态交互输入信息还包括生物特征输入信息；

所述基于所述全双工通信通道，接收所述服务端反馈的从所述语音交互信息中识别获得的至少一个第一交互处理指令包括：

基于所述全双工通信通道，接收所述服务端反馈的响应于存在所述生物特征输入信息的检测结果，而从所述语音交互信息中识别获得的至少一个第一交互处理指令。

13.一种交互处理方法，其特征在于，包括：

服务端与客户端的第二控制层建立全双工通信通道；

获取多模态交互输入信息；

确定所述多模态交互输入信息对应的至少一个第一交互处理指令；

基于所述全双工通信通道，发送所述至少一个第一交互处理指令至所述第二控制层，由所述第二控制层调用所述客户端的第一控制层处理所述至少一个第一交互处理指令以执行相应业务操作；

其中，所述多模态交互输入信息包括语音交互信息；

所述至少一个第一交互处理指令包括针对业务订单的订单结算指令；

所述确定所述多模态交互输入信息对应的至少一个第一交互处理指令包括：识别所述语音交互信息中的至少一个第一交互处理指令；

所述第二控制层调用所述客户端的第一控制层处理所述至少一个第一交互处理指令以执行相应业务操作包括：调用所述客户端的第一控制层处理所述订单结算指令，获得包括支付链接的结算提示信息，并更新视图层以显示所述结算提示信息。

14.根据权利要求13所述的方法，其特征在于，所述获取多模态交互输入信息包括：

接收所述第二控制层基于所述全双工通信通道发送的多模态交互输入信息；其中，所述多模态交互输入信息由所述客户端通过第一采集组件采集获得。

15.根据权利要求13所述的方法，其特征在于，所述获取多模态交互输入信息包括：

通过第二采集组件采集多模态交互输入信息。

16.一种交互处理方法，其特征在于，包括：

客户端获取第二控制层传递的至少一个第一交互处理指令；其中，所述至少一个第一交互处理指令由服务端基于多模态交互输入信息确定，并基于与所述第二控制层建立的全双工通信通道发送至所述第二控制层；

处理所述至少一个第一交互处理指令以执行相应业务操作；

检测屏幕交互输入信息触发的第二交互处理指令；

处理所述第二交互处理指令以执行相应业务操作；

其中，所述多模态交互输入信息包括语音交互信息；

所述至少一个第一交互处理指令包括针对业务订单的订单结算指令；

所述至少一个第一交互处理指令具体由服务端从所述语音交互信息中识别获得；

所述处理所述至少一个第一交互处理指令以执行相应业务操作包括：处理所述订单结算指令，获得包括支付链接的结算提示信息，并更新视图层以显示所述结算提示信息。

17.一种交互处理装置，其特征在于，包括：

第一通信建立模块，用于与服务端建立全双工通信通道；

指令接收模块，用于基于所述全双工通信通道，接收所述服务端反馈的基于多模态交互输入信息确定的至少一个第一交互处理指令；其中，所述多模态交互输入信息包括语音交互信息；所述至少一个第一交互处理指令包括针对业务订单的订单结算指令；所述基于所述全双工通信通道，接收所述服务端反馈的基于多模态交互输入信息确定的至少一个第一交互处理指令包括：基于所述全双工通信通道，接收所述服务端反馈的从所述语音交互信息中识别获得的至少一个第一交互处理指令；

调用执行模块，用于调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作；其中，所述调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作包括：调用第一控制层处理所述订单结算指令，获得包括支付链接的结算提示信息，并更新视图层以显示所述结算提示信息。

18.一种交互处理装置，其特征在于，包括：

第二通信建立模块，用于与客户端的第二控制层建立全双工通信通道；

信息获取模块，用于获取多模态交互输入信息；其中，所述多模态交互输入信息包括语音交互信息；

指令确定模块，用于基于所述多模态交互输入信息确定至少一个第一交互处理指令；其中，所述至少一个第一交互处理指令包括针对业务订单的订单结算指令；所述基于所述多模态交互输入信息确定至少一个第一交互处理指令包括：识别所述语音交互信息中的至少一个第一交互处理指令；

指令发送模块，用于基于所述全双工通信通道，发送所述至少一个第一交互处理指令至所述第二控制层，由所述第二控制层调用所述客户端的第一控制层处理所述至少一个第一交互处理指令以执行相应业务操作；其中，所述第二控制层调用所述客户端的第一控制层处理所述至少一个第一交互处理指令以执行相应业务操作包括：调用所述客户端的第一控制层处理所述订单结算指令，获得包括支付链接的结算提示信息，并更新视图层以显示所述结算提示信息。

19.一种交互处理装置，其特征在于，包括：

第一指令检测模块，用于获取第二控制层传递的至少一个第一交互处理指令；其中，所述至少一个第一交互处理指令由服务端基于多模态交互输入信息确定，并基于与所述第二控制层建立的全双工通信通道发送至所述第二控制层；其中，所述多模态交互输入信息包括语音交互信息；所述至少一个第一交互处理指令包括针对业务订单的订单结算指令；所述至少一个第一交互处理指令具体由服务端从所述语音交互信息中识别获得；

第一指令执行模块，用于处理所述至少一个第一交互处理指令以执行相应业务操作；所述处理所述至少一个第一交互处理指令以执行相应业务操作包括：调用客户端的第一控制层处理所述订单结算指令，获得包括支付链接的结算提示信息，并更新视图层以显示所述结算提示信息；

第二指令检测模块，用于检测屏幕交互输入信息触发的第二交互处理指令；

第二指令执行模块，用于处理所述第二交互处理指令以执行相应业务操作。

20.一种客户端，其特征在于，包括进行业务逻辑处理的第一控制层以及第二控制层；

所述第一控制层用于检测屏幕交互输入信息触发的第二交互处理指令，并处理所述第二交互处理指令以执行相应业务操作；获取所述第二控制层传递的至少一个第一交互处理指令，并处理所述至少一个第一交互处理指令以执行相应业务操作；

所述第二控制层用于与服务端建立全双工通信通道；基于所述全双工通信通道，接收所述服务端反馈的基于多模态交互输入信息确定的至少一个第一交互处理指令；调用第一控制层处理所述至少一个第一交互处理指令以分别执行相应业务操作；

其中，所述多模态交互输入信息包括语音交互信息；

所述至少一个第一交互处理指令包括针对业务订单的订单结算指令；

所述基于多模态交互输入信息确定的至少一个第一交互处理指令包括：识别所述语音交互信息中的至少一个第一交互处理指令；

所述调用第一控制层处理所述至少一个第一交互处理指令以执行相应业务操作包括：调用第一控制层处理所述订单结算指令，获得包括支付链接的结算提示信息，并更新视图层以显示所述结算提示信息。

21.一种终端，其特征在于，包括处理组件以及存储组件；

所述存储组件存储一个或多个计算机指令；所述一个或多个计算机指令用以被所述处理组件调用执行；

所述处理组件用于：

与服务端建立全双工通信通道；

基于所述全双工通信通道，接收所述服务端反馈的基于多模态交互输入信息确定的至少一个第一交互处理指令；

处理所述至少一个第一交互处理指令以分别执行相应业务操作；

其中，所述多模态交互输入信息包括语音交互信息；

所述至少一个第一交互处理指令包括针对业务订单的订单结算指令；

所述基于多模态交互输入信息确定的至少一个第一交互处理指令包括：识别所述语音交互信息中的至少一个第一交互处理指令；

所述处理所述至少一个第一交互处理指令以执行相应业务操作包括：处理所述订单结算指令，获得包括支付链接的结算提示信息，并更新视图层以显示所述结算提示信息。

22.根据权利要求21所述的终端，其特征在于，所述至少一个第一交互处理指令包括与点餐操作相关的处理指令；所述终端包括点餐机。

23.一种服务器，其特征在于，包括处理组件以及存储组件；

所述存储组件存储一个或多个计算机指令；所述一个或多个计算机指令用以被所述处理组件调用执行；

所述处理组件用于：

与客户端的第二控制层建立全双工通信通道；

获取多模态交互输入信息；

确定所述多模态交互输入信息对应的至少一个第一交互处理指令；

基于所述全双工通信通道，发送所述至少一个第一交互处理指令至所述第二控制层，由所述第二控制层调用所述客户端的第一控制层处理所述至少一个第一交互处理指令以执行相应业务操作；

其中，所述多模态交互输入信息包括语音交互信息；

所述至少一个第一交互处理指令包括针对业务订单的订单结算指令；

所述确定所述多模态交互输入信息对应的至少一个第一交互处理指令包括：识别所述语音交互信息中的至少一个第一交互处理指令；

所述调用所述客户端的第一控制层处理所述至少一个第一交互处理指令以执行相应业务操作包括：调用所述客户端的第一控制层处理所述订单结算指令，获得包括支付链接的结算提示信息，并更新视图层以显示所述结算提示信息。

24.一种物理机器，其特征在于，集成有权利要求21或22所述的终端以及权利要求23所述服务器。

Images