CN112764620B - 交互请求处理方法、装置、电子设备及可读存储介质 - Google Patents

Abstract

本申请提供了一种交互请求处理方法、装置、电子设备及可读存储介质。该方法应用于交互***，交互***包括前端子***和后端子***，该方法包括：检测用户输入的交互信息，交互信息为触控操作和交互语音中的任一种；在交互信息为触控操作的情况下，将触控操作对应的预设交互指令封装为用户交互请求；在交互信息为交互语音的情况下，将交互语音封装为用户交互请求；确定用户意图信息及与用户意图信息匹配的目标指令；在当前显示的用户交互页面中的多个指令包含目标指令的情况下，执行目标指令，获得对应的响应信息；显示响应消息对应的用户交互页面。该方法可实现语音交互和触控交互的融合。

Description

交互请求处理方法、装置、电子设备及可读存储介质

技术领域

本申请涉及数据处理技术领域，尤其涉及一种交互请求处理方法、装置、电子设备及可读存储介质。

背景技术

随着1973年施乐公司(Xerox Palo Alto Research Center)设计出第一个图形界面操作***，到2007年苹果公司推出第一款iPhone手机，人机交互方式经历了从命令行操控到键鼠操控再到触控交互的变革。但是，人机交互技术一直没有放弃对最自然的交互方式——语音交互的探索，随着2011年iPhone 4s发布，随机搭载的智能语音助手SIRI逐渐成为了人们操控手机一个重要渠道，语音交互走向了主流。2014年，亚马逊发布智能音箱Amazon Echo，引领了智能音箱的潮流，也将语音交互推向了高潮。

相较于触控交互，语音交互的输入效率极高，一句话可以表达清楚的任务往往需要触控交互几次甚至十几次的点触操作才能完成，但其输出效率较低，首先其无法承载图片信息，其次它的输出是线性的，必须先听完上一句再听下一句。因此，一个好的语音交互产品一定是和触控交互相结合。

相关技术中还没有一个能够完美融合语音和触控交互放入方案。以现有外卖点餐***为例，点触操作占据交互的90％以上，而语音交互一般只出现在入口搜索处，用以完成搜索内容的输入，语音和点触交互是割裂开的。而另一些纯粹的语音交互产品，比如手机语音助手、家庭智能音箱等，很少提供点触操作，如果单纯利用语音交互完成全流程的外卖点餐之类的复杂操作，难度很大。因此，如何完美融合语音和触控交互，成为亟待解决的问题。

发明内容

本申请提供了一种交互请求处理方法、装置、电子设备及可读存储介质，以实现语音交互和触控交互的较好融合。

本申请第一方面提供了一种交互请求处理方法，应用于交互***，所述交互***包括前端子***和后端子，所述方法包括：

检测用户输入的交互信息，所述交互信息为触控操作和交互语音中的任一种；

在所述交互信息为触控操作的情况下，获得所述触控操作对应的预设交互指令，并将所述预设交互指令封装为用户交互请求；

在所述交互信息为交互语音的情况下，将所述交互语音封装为用户交互请求；

对所述用户交互请求进行语义分析，确定用户意图信息；

确定与所述用户意图信息匹配的目标指令，并从当前显示的用户交互页面提取多个指令；

查询从所述用户交互页面所提取的多个指令是否包含所述目标指令；

在从所述用户交互页面所提取的多个指令包含所述目标指令的情况下，执行所述目标指令，获得对应的响应信息；

显示所述响应消息对应的用户交互页面。

本申请第二方面提供一种交互请求处理装置，应用于交互***，所述交互***包括前端子***和后端子***；所述装置包括：

检测模块，用于检测用户输入的交互信息，所述交互信息为触控操作和交互语音中的任一种；

第一封装模块，用于在所述交互信息为触控操作的情况下，获得所述触控操作对应的预设交互指令，并将所述预设交互指令封装为用户交互请求；

第二封装模块，用于在所述交互信息为交互语音的情况下，将所述交互语音封装为用户交互请求；

分析模块，用于对所述用户交互请求进行语义分析，确定用户意图信息；

确定模块，用于确定与所述用户意图信息匹配的目标指令，并从当前显示的用户交互页面提取多个指令；

第一查询模块，用于查询从所述用户交互页面所提取的多个指令是否包含所述目标指令；

第一执行模块，用于在从所述用户交互页面所提取的多个指令包含所述目标指令的情况下，执行所述目标指令，获得对应的响应信息；

显示模块，用于显示所述响应消息对应的用户交互页面。

本申请第三方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请第一方面所述的方法中的步骤。

本申请实施例第四方面提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请第一方面所述的方法的步骤。

采用本申请的交互请求处理方法，首先检测用户输入的交互信息，交互信息为触控操作、交互语音和交互文本中的任一种。在交互信息为触控操作的情况下，获得触控操作对应的预设交互指令，并将预设交互指令封装为用户交互请求。接着，在交互信息为交互语音的情况下，将交互语音封装为用户交互请求，在交互信息为交互文本的情况下，将交互文本封装为用户交互请求。接着，对用户交互请求进行语义分析，确定用户意图信息，然后确定与用户意图信息匹配的目标指令，并从当前显示的用户交互页面提取多个指令。接着，查询从用户交互页面所提取的多个指令是否包含目标指令。接着，在从用户交互页面所提取的多个指令包含目标指令的情况下，执行目标指令，获得对应的响应信息。最后，显示响应消息对应的用户交互页面。在实施本申请的交互请求处理方法时，无论用户输入的交互信息为何种类型，都会统一封装为一个用户交互请求，并由后端子***处理该用户交互请求，前端子***无需根据交互信息的类型的不同而调用不同的接口以与后端子***交互，避免了前端子***在展示结构上与后端子***紧密耦合的问题，同时由于不再受到当前页面结构的约束，用户可在任意页面发起语音交互请求，因而实现了VUI交互和GUI交互的较好融合。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例示出的相关技术中GUI交互的原理图；

图2是本申请一实施例示出的一种交互***的示意图；

图3是本申请一实施例示出的一种改进后的GUI交互原理图；

图4是本申请一实施例示出的一种交互请求处理方法的流程图；

图5是本申请一实施例示出的一种页面结构示意图；

图6是本申请一实施例示出的一种交互***示意图；

图7是本申请一实施例提供的一种交互请求处理装置的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在对本申请的交互请求处理方法进行介绍之前，下面首先对相关技术进行简单说明。

(一)GUI交互原理

图1是本申请一实施例示出的相关技术中GUI交互的原理图。在图1中，前端在获得用户在页面上触发的不同操作后，获得参数并向后端的相应接口请求服务。例如前端在检测到用户的点击搜索框并输入查询内容后，通过后端的搜索查询接口向后端的搜索服务模块传输查询内容、用户账号ID以及位置信息以请求资源列表。又例如前端在检测到用户的点击历史订单按钮后，通过后端的订单查询接口向后端的订单服务模块传输用户账号ID以请求订单列表。再例如，前端在检测到用户的点击选择地址按钮后，通过后端的地址查询接口向后端的地址服务模块传输用户账号ID以请求地址列表。

由此可知，在传统的GUI交互中，前端页面的每个模块与区域(例如搜索框、历史订单、选择地址等)都和后端对应的服务模块(例如搜索服务模块、订单服务模块、地址服务模块等)相耦合。换言之，前端页面上有跳转链接，对应到后端的一个服务节点，由此，后端与前端是紧密耦合的关系，逻辑上就是跳转后的页面一定在跳转前的页面有明确的指向与逻辑关联，页面的下一个预跳转结构的数据来源需要与后端服务接口字段紧密耦合。

(二)GUI交互与VUI交互的结合

以智能音箱为例，目前越来越多的智能音箱可提供丰富的APP内容，例如有屏音箱，其可以通过音箱实现点歌、电影播放、询问天气等。然而，智能音箱中的APP主要基于现有手机端APP改造而成，改造的方式是：将展示页面中的内容提供对应的语音指令，然后再对语音指令的表达方式进行泛化处理，由此实现对音箱中不同语音APP的控制与管理。简单表达为：为每一种点触操作提供了语音指令的转换映射表。例如在一个电影列表中说“播放第二个”的语音，即等于点触第二个电影进行播放，说“下一页”的语音，即等于触发翻页操作。

可见，相关技术中在融合VUI(VoiceUser Interface，语音用户界面，通过自然语言与机器交流的一种互动方式，即语音交互)交互和GUI(Graphical User Interface，图像用户界面，在屏幕上使用图形界面来帮助用户与机器交互的界面接口，即触控交互)交互时，本质是在GUI交互的基础上，提供语音指令的等价操作。虽然随着技术的发展，指令的复杂性逐渐提高，可以实现部分复杂的带槽语音指令的执行，但仍未能改变以GUI图形化界面交互为核心，VUI语音交互为命令转换的本质，加之GUI交互下页面结构复杂且前后端耦合性较强，因而相关技术并没有真正实现VUI交互和GUI交互的较好融合。

本申请提供了一种全新的交互方案，一方面改进了现有的GUI交互逻辑，彻底解脱了前端页面在展示结构上与后端紧密耦合的约束，仅通过唯一传输接口与后端发生数据交换。另一方面，采用以VUI交互作为整体交互控制，GUI交互为辅(将页面点触操作转化为VUI内容)的方案，在改进后的GUI交互逻辑的基础上再融合VUI交互，前后端仅通过唯一传输接口传输语音交互请求及语音响应数据，而无需受到当前页面结构的约束，使得用户可发起任意类型的语音交互请求，实现了VUI交互和GUI交互的较好融合。

下面将对本申请的交互方案进行介绍。图2是本申请一实施例示出的一种交互***的示意图。参照图2，本申请的交互***包括前端子***和后端子***，所述后端子***与所述前端子***之间的交互接口唯一。基于该交互***，本申请的交互请求处理方法可以包括：

所述前端子***通过所述唯一的交互接口，将用户交互请求发送给所述后端子***；

所述后端子***通过所述唯一的交互接口，将响应信息返回给所述前端子***。

在本实施例中，前端子***用于控制页面的展示，后端子***用于向前端子***提供需要展示的页面内容。也可以理解为：前端子***为信息展示的壳子，后端子***负责对前端子***发送的用户交互请求进行处理，并返回处理结果以使前端子***展示处理结果。前端子***和后端子***既可以位于一个设备中，也可以分别位于不同的设备中，本实施例对此不作具体限制。

图3是本申请一实施例示出的一种改进后的GUI交互原理图。在图3中，前端子***在检测到用户的任意触控操作后，获得与该触控操作相关的参数，将这些参数封装为一个用户交互请求，然后通过与后端子***之间唯一的接口，将用户交互请求发送至后端子***的服务模块。后端子***设置有服务模块，以接收和处理从前端子***传输的用户交互请求。

例如，前端子***在检测到用户的点击搜索框并输入查询内容后，获得查询内容、用户账号ID以及位置信息，将查询内容、用户账号ID以及位置信息封装为一个用户交互请求，然后通过与后端子***之间的唯一接口，将用户交互请求发送至后端子***的服务模块，并通过该唯一接口接收返回的资源列表。再例如，前端子***在检测到用户的点击历史订单按钮后，获得用户账号ID，将用户账号ID封装为一个用户交互请求，然后通过与后端子***之间的唯一接口，将用户交互请求发送至后端子***的服务模块，并通过该唯一接口接收返回的订单列表。再例如，前端子***在检测到用户的点击选择地址按钮后，获得用户账号ID，将用户账号ID封装为一个用户交互请求，然后通过与后端子***之间的唯一接口，将用户交互请求发送至后端子***的服务模块，并通过该唯一接口接收返回的地址列表。

在本实施例中，无论是何种类型的触控操作，前端子***都会将用户交互请求发送到后端子***的服务模块，由后端子***的服务模块统一处理。这使得前端子***无需预先定义与后端子***之前的交互逻辑(例如点击搜索框并输入查询内容时调用后端的搜索查询接口，点击历史订单按钮时调用后端的订单查询接口，点击选择地址按钮时后端的地址查询接口等)，后端子***可掌控全部结合用户需求的响应模式与交互内容(即后端子***的服务模块负责处理用户交互请求以获得响应内容、决定前端子***以何种模式显示响应内容等)。这使得后端子***可结合用户的表达内容与需求，控制前端子***实现任意页面的展示，而无需受到任何当前页面的展示结构的约束。

本实施例改进了现有的GUI交互逻辑，前端子***仅通过唯一传输接口与后端子***发生数据交换，彻底解脱了前端页面在展示结构上与后端紧密耦合的约束，为GUI交互与VUI交互的融合提供了技术支持。

在一种实施方式中，用户交互请求和响应信息分别可采用语音形式，使得前端子***与后端子***通过语音进行交互。

在具体实施时，前端子***在检测到用户的任意触控操作后，获得与该触控操作相关的参数，将这些参数封装为语音形式的用户交互请求，然后通过与后端子***之间唯一的接口，将语音形式的用户交互请求发送至后端子***的服务模块。后端子***的服务模块在处理完毕后，生成语音形式的响应信息，然后通过与后端子***之间唯一的接口，将语音形式的响应信息发送至前端子***。

本实施例在改进后的GUI交互逻辑的基础上再融合VUI交互，前后端仅通过唯一传输接口传输语音交互请求及语音响应数据而无需受到当前页面结构的约束，使得用户可发起任意类型的语音交互请求，实现了VUI交互和GUI交互的较好融合。

下面将对本申请的交互请求处理方法进行详细说明。本申请的交互请求处理方法可应用于图1或图3中的交互***。图4是本申请一实施例示出的一种交互请求处理方法的流程图。参照图4，本申请的交互请求处理方法可以包括如下步骤：

步骤S41：检测用户输入的交互信息，所述交互信息为触控操作和交互语音中的任一种。

在本实施例中，步骤S41-步骤S43由前端交互子***执行，步骤S44-步骤S48由后端交互子***执行。

在本实施例中，用户可在前端交互子***的页面上进行操作以输入交互信息，输入交互信息的方式包括语音输入和触屏输入，触屏输入又包括虚拟按钮输入和虚拟键盘输入。用户通过语音输入的交互信息为交互语音，用户通过虚拟按钮输入的交互信息为触控操作。其中，虚拟按钮可以是页面中供用户点击的菜单项、文字、图片、链接等，本实施例对此不作具体限制。

图5是本申请一实施例示出的一种页面结构示意图。在图5中，用户可点击搜索栏后方的语音标识以录入语音，前端子***在检测到用户对语音标识的点击操作后，等待用户的语音输入，并在用户触发确认提交时将采集到的音频信息作为交互语音。

其次，用户可点击“扫一扫”、“付款码”“红包/卡券”、“外卖”、“电影/演出”等虚拟按钮，前端子***可采集到用户对某个具体的虚拟按钮的触控操作。

步骤S42：在所述交互信息为触控操作的情况下，获得所述触控操作对应的预设交互指令，并将所述预设交互指令封装为用户交互请求。

在本实施例中，每一个虚拟按钮的触控操作都对应有具体的交互指令，例如“扫一扫”的触控操作的交互指令为：请求开启特征码扫描组件以采集特征码，再例如“电影/演出”的触控操作的交互指令为：请求进入电影/演出页面。

前端子***中可存储预设的虚拟按钮-交互指令对照表，其中包含每一个虚拟按钮的触控操作对应的交互指令。当前端子***检测到某个虚拟按钮的触控操作时，通过查询虚拟按钮-交互指令对照表，可获得该触控操作对应的交互指令。

接着，前端子***将预设交互指令封装为用户交互请求，然后将用户交互请求发送至后端子***。其中，用户交互请求中除携带预设交互指令外，还可以携带其它的参数，例如用户账号ID、用户当前的位置信息等。不同的虚拟按钮可对应不同的参数，具体可根据实际需求设置，本实施例对此不作具体限制。

步骤S43：在所述交互信息为交互语音的情况下，将所述交互语音封装为用户交互请求。

在本实施例中，当交互信息为交互语音时，前端子***也直接将交互语音封装为用户交互请求，然后将用户交互请求发送至后端子***。

在一些实施场景中，如果后端子***的服务模块为语音类型的服务模块(即主要处理输入的语音信息)，那么前端子***还可以将触控操作或交互文本转换成语音，然后将转换的语音封装为用户交互请求，再将用户交互请求发送给后端子***。本实施例对后端子***的服务模块的类型不作具体限制。

步骤S44：对所述用户交互请求进行语义分析，确定用户意图信息。

在本实施例中，当用户交互请求是针对触控操作的用户交互请求时，后端子***可直接对触控操作对应的交互指令做语义分析，以确定用户意图信息。示例地，当触控操作是针对图5中的“打车”按钮时，对应的交互指令是：请求进入打车页面，进行语义分析后确定的用户意图信息可以是：打车服务查询。再示例地，当触控操作是针对图5中的“美食”按钮时，对应的交互指令是：请求查询美食，进行语义分析后确定的用户意图信息可以是：菜品查询。

在本实施例中，当用户交互请求是针对交互语音的用户交互请求时，后端子***首先将交互语音转化为交互文本，然后从其中提取关键词，再对关键词进行语义分析以确定用户意图信息。

步骤S45：确定与所述用户意图信息匹配的目标指令，并从当前显示的用户交互页面提取多个指令。

在本实施例中，当前显示的用户交互页面是指用户输入交互信息的页面，每一个页面中所有可点击的项目均对应有一个指令，例如图5中每一个可点击的项目均对应有一个指令。

在本实施例中，在确定用户意图信息之后，需要进一步确定与用户意图信息匹配的指令，即目标指令，执行该目标指令可获得用户想要的资源。在本实施例中，后端子***的服务模块中设置有对应于每一个页面的指令子模块，指令子模块用于处理对应页面中所有的指令。

在具体实施时，可以从当前显示的用户交互页面(本申请的当前显示的用户交互页面即触发用户交互请求的用户交互页面)对应的指令子模块中获得该页面的所有指令。

步骤S46：查询从所述用户交互页面所提取的多个指令是否包含所述目标指令。

在本实施例中，判断当前显示的用户交互页面中的所有指令是否包含目标指令，如果包含，表示当前显示的用户交互页面对应的指令子模块可以处理目标指令，如果不包含，表示当前显示的用户交互页面对应的指令子模块无法处理目标指令。

步骤S47：在从所述用户交互页面所提取的多个指令包含所述目标指令的情况下，执行所述目标指令，获得对应的响应信息。

在本实施例中，如果当前显示的用户交互页面对应的指令子模块可以处理目标指令，则通过该指令子模块执行目标指令，获得用户交互请求对应的响应信息。

步骤S48：显示所述响应消息对应的用户交互页面。

在本实施例中，如果当前显示的用户交互页面对应的指令子模块可以处理目标指令，直接通过当前显示的用户交互页面可显示响应消息。如果当前显示的用户交互页面对应的指令子模块无法处理目标指令，需要跳转到其它用户交互页面显示响应消息。

在步骤S48中，由于当前显示的用户交互页面对应的指令子模块可以处理目标指令，因此响应消息对应的用户交互页面即当前显示的用户交互页面。后端子***直接控制前端子***在当前显示的用户交互页面显示响应消息。

在实施本申请的交互请求处理方法时，首先检测用户输入的交互信息，交互信息为触控操作和交互语音中的任一种。在交互信息为触控操作的情况下，获得触控操作对应的预设交互指令，并将预设交互指令封装为用户交互请求。接着，在交互信息为交互语音的情况下，将交互语音封装为用户交互请求。接着，对用户交互请求进行语义分析，确定用户意图信息，然后确定与用户意图信息匹配的目标指令，并从当前显示的用户交互页面提取多个指令。接着，查询从用户交互页面所提取的多个指令是否包含目标指令。接着，在从用户交互页面所提取的多个指令包含目标指令的情况下，执行目标指令，获得对应的响应信息。最后，显示响应消息对应的用户交互页面。在实施本申请的交互请求处理方法时，无论用户输入的交互信息为何种类型，都会统一封装为一个用户交互请求，并由后端子***处理该用户交互请求，前端子***无需根据交互信息的类型的不同而调用不同的接口以与后端子***交互，避免了前端子***在展示结构上与后端子***紧密耦合的问题，同时由于不再受到当前页面结构的约束，用户可在任意页面发起语音交互请求，因而实现了VUI交互和GUI交互的较好融合。

在一种实施方式中，当本申请的交互请求处理方法应用于图3中的交互***时，前端子***仅通过唯一传输接口与后端子***发生数据交换。此时，本申请的交互请求处理方法可以具有如下技术效果：

一、前端子***仅通过唯一传输接口与后端子***发生数据交换，彻底解脱了前端页面在展示结构上与后端紧密耦合的约束。

二、前端子***和后端子***之间可以仅通过唯一传输接口传输语音交互请求及语音响应数据而无需受到当前页面结构的约束，使得用户可在任意页面发起语音交互请求，实现了VUI交互和GUI交互的较好融合。

结合以上实施例，在一种实施方式中，交互信息还可以为交互文本，在此基础上，本申请的交互请求处理方法还可以包括：

在所述交互信息为交互文本的情况下，将所述交互文本封装为用户交互请求。

在本实施例中，用户通过虚拟键盘输入的交互信息为交互文本。以图5为例，用户可点击搜索栏以输入文字，前端子***在检测到用户对搜索栏的点击操作后，等待用户的输入操作，并在用户触发确认搜索时将搜索栏中的内容作为交互文本。

在本实施例中，当交互信息为交互文本时，前端子***直接将交互文本封装为用户交互请求，然后将用户交互请求发送至后端子***。

当用户交互请求是针对交互文本的用户交互请求时，后端子***可从交互文本中提取关键词，对关键词进行语义分析以确定用户意图信息。示例地，当交互文本是“附近最便宜的酒店”时，提取出的关键词可以是“酒店”，进行语义分析后确定的用户意图信息可以是：酒店查询。

在本实施例中，交互信息除了支持触控操作和交互语音，还可以支持交互文本，丰富了用户交互方式，提升了用户交互体验。结合以上实施例，在一种实施方式中，在步骤S46之后，本申请的交互请求处理方法还可以包括如下步骤：

在从所述用户交互页面所提取的多个指令均不是所述目标指令的情况下，根据预先保存的页面与指令对应关系中，查询目标交互页面，所述目标交互页面对应于所述目标指令；

从所述目标交互页面中提取并执行所述目标指令，获得对应的响应信息。

在本实施例中，页面与指令对应关系中存储了各个页面与指令子模块之间的对应关系。在当前显示的用户交互页面对应的指令子模块无法处理目标指令时，后端子***根据预先保存的页面与指令对应关系，获得包含目标指令的目标交互页面所对应的指令子模块，然后通过该指令子模块执行目标指令，获得对应的响应信息。

结合图5，示例地，当用户在电影/演出页面发起了语音形式的用户交互请求“查询刚上映的电影”，后端子***确定电影/演出页面对应的指令子模块可以处理该用户交互请求，因此直接通过电影/演出页面对应的指令子模块处理该用户交互请求，获得刚上映的电影资源，并控制前端子***直接将刚上映的电影资源显示在电影/演出页面。再示例地，当用户在电影/演出页面发起了语音形式的用户交互请求“查询周边的民宿/公寓”，后端子***确定电影/演出页面对应的指令子模块无法处理该用户交互请求，因此通过民宿/公寓页面对应的指令子模块处理该用户交互请求，获得周边的民宿/公寓，并控制前端子***从电影/演出页面跳转到民宿/公寓页面，并在民宿/公寓页面显示周边的民宿/公寓。

在本实施例中，在当前显示的用户交互页面对应的指令子模块无法处理目标指令时，可能存在其它多个可以处理目标指令的指令子模块。此时，后端子***可以通过所有可以处理目标指令的指令子模块分别处理目标指令，然后获得响应信息，再控制前端子***跳转到新建的空白页面显示响应信息。

结合图5，示例地，当用户在电影/演出页面发起了语音形式的用户交互请求“查询周边的火锅店”，后端子***确定电影/演出页面对应的指令子模块无法处理该用户交互请求，因此通过外卖对应的指令子模块，和美食对应的指令子模块分别处理该用户交互请求，获得周边的火锅店，并控制前端子***跳转到新建的空白页面显示周边的火锅店。

在本实施例中，优先通过发起用户交互请求的页面所对应的指令子模块处理用户交互请求，并在该页面对应的指令子模块无法处理用户交互请求时，再通过其它页面所对应的指令子模块处理用户交互请求，这使得后端子***可以处理从任意页面传送的用户交互请求，即用户可在任意页面发起与当前页面无关的用户交互请求，与相关技术中发起与当前页面无关的用户交互请求时的操作步骤相比，用户无需退出当前页面、进入其他页面并发起交互请求，明显简化了用户的操作，优化了用户使用体验。

结合以上实施例，在一种实施方式中，步骤S47中的执行所述目标指令，获得对应的响应信息，可以包括：

根据所述用户意图信息，调用相应的子服务***，其中，不同子服务***用于响应不同类型的用户意图信息；

接收所述相应的子服务***返回的响应结果；

根据所述用户交互页面和所述响应结果，生成所述响应信息。

在本实施例中，预先设置有多个子服务***，每一个子服务***用于处理一种用户意图信息。指令子模块在执行目标指令时，可以调用不同的子服务***，通过子服务***获得响应结果。示例地，当目标指令是外卖时，可以调用菜品查询子服务***获得多个菜品；当目标指令是地址选择时，可以调用地址子服务***获得用户历史添加的地址；当目标指令是查看购物车时，可以调用购物车子服务***获得用户当前购物车内的物品。

在本实施例中，不同的指令子模块可以调用相同的子服务***，例如外卖页面对应的指令子模块可以调用菜品查询子服务***，美食页面对应的指令子模块也可以调用菜品查询子服务***。各个子服务***在获得响应结果后，服务模块根据发起用户交互请求的页面和返回的响应结果生成响应信息。

以图5为例，当用户在图5所示的页面发起语音形式的“周围有什么好吃的”的交互请求时，后端子***的服务模块根据用户意图信息确定得到的目标指令可以是“外卖”对应的指令，也可以是“美食”对应的指令，由于图5所示的页面中包含“外卖”对应的指令和“美食”对应的指令，因此图5所示的页面对应的子指令模块1可以处理“外卖”对应的指令和“美食”对应的指令。接着，子指令模块1通过外卖页面对应的子指令模块2执行“外卖”对应的指令，通过美食页面对应的子指令模块3执行“美食”对应的指令。子指令模块2可以调用菜品查询子服务***获得用户附近的所有美食，子指令模块3也可以调用菜品查询子服务***获得用户附近的所有美食。接着，服务模块根据所有返回的美食和图5所示的页面生成响应信息。

在本实施例中，在从交互文本中提取关键词确定用户意图信息时，还可以提取出约束词，如此，子服务***在获得响应结果时，可以根据约束词对初步获得的结果进行筛选，以使推荐给用户的响应结果更符合用户的需求。例如，当交互文本是“附近最便宜的酒店”时，提取出的关键词可以是“酒店”，提取出的约束词可以是“附近”、“便宜”，如此，子服务***在搜索出所有酒店后，可以进一步筛选出距离用户一定范围内且价格较低的酒店作为响应结果。

在本实施例中，后端子***的服务模块在统一执行用户交互请求中的所有目标指令时，通过调用预先设置的多个子服务***获得响应结果，提升了指令执行的效率，进而提升了生成响应信息的效率及响应用户交互请求的效率。

结合以上实施例，在一种实施方式中，本申请提供了一种生成响应信息的方法。具体地，后端子***根据所述用户交互页面和所述响应结果，生成所述响应信息，可以包括：

对比所述用户交互页面和所述响应结果，生成对应的页面返回状态，所述页面返回状态指示所述客户端是否复用所述用户交互页面；

在所述页面返回状态是复用状态的情况下，确定所述响应结果在所述用户交互页面的第一展示参数；

在所述页面返回状态是重构状态的情况下，确定所述响应结果对应的目标交互页面的第二展示参数，所述目标交互页面为与所述用户交互页面不同的页面；

生成携带所述第一展示参数或所述第二展示参数的响应信息。

在此基础上，前端子***显示所述响应消息对应的用户交互页面，包括：

从所述响应信息中提取第一展示参数或所述第二展示参数；

在提取到所述第一展示参数的情况下，按照所述第一展示参数，复用当前显示的用户交互页面，以在所述用户交互页面中显示所述响应信息；

在提取到所述第二展示参数的情况下，按照所述第二展示参数，构建与所述客户端当前显示的用户交互页面不同的目标交互页面，以在所述目标交互页面中显示所述响应信息。

在本实施例中，如果用户发起用户交互请求时所在页面对应的子指令模块可以执行用户交互请求中的目标指令，后端子***生成复用状态的页面返回状态，然后确定响应结果在该页面的第一展示参数，再根据页面返回状态、第一展示参数以及响应结果生成响应信息。其中，第一展示参数用于指示响应结果按照何种方式显示在用户发起用户交互请求时所在的页面，例如左边距、右边距、行距、字体、粗细、颜色等，本实施例对此不作具体限制。前端子***在接收到响应信息后，直接在发起用户交互请求时所在页面上，按照第一展示参数显示响应结果。

同理，如果用户发起用户交互请求时所在页面对应的子指令模块无法执行用户交互请求中的目标指令，后端子***生成重构状态的页面返回状态，然后确定响应结果在该页面的第二展示参数，再根据页面返回状态、第二展示参数以及响应结果生成响应信息。前端子***在接收到响应信息后，跳转到目标交互页面，在目标交互页面上按照第二展示参数显示响应结果。

在一些场景中，如果用户发起用户交互请求时所在页面对应的子指令模块可以执行用户交互请求中的部分目标指令，而无法执行其它部分目标指令，那么在通过该子指令模块和其它子指令模块处理完所有目标指令并获得响应结果后，后端子***可以生成新建状态的页面返回状态。然后确定响应结果在新建的空白页面上的第三展示参数，再根据页面返回状态、第三展示参数以及响应结果生成响应信息。前端子***在接收到响应信息后，创建空白的页面，在该空白的页面上按照第三展示参数显示响应结果。其中，可以在空白的页面上以多个卡片的形式显示各个目标指令的响应结果，例如图3中，资源列表卡片可用于显示资源列表信息，订单列表卡片可用于显示订单列表信息，地址列表卡片可用于显示地址列表信息。

在本实施例中，后端子***还可以生成回复语音，然后根据响应结果、页面返回状态、展示参数、交互页面形态以及回复语音生成响应信息。其中，回复语音用于辅助用户进行下一步操作，例如提示用户已获得响应结果，或者提示用户如果需要获得更多结果请登录xx网址等，本实施例对回复语音的内容和作用不作具体限制。

在本实施例中，后端子***生成用于指示前端子***是否复用发起用户交互请求时所在页面的页面返回状态，及在该状态下的展示参数，使得前端子***根据该页面返回状态及展示参数实现对响应结果的展示。如此，前端子***无需预先定义与后端子***之前的交互逻辑，后端子***可掌控全部结合用户需求的响应模式与交互内容，这使得后端子***可结合用户的表达内容与需求，控制前端子***实现任意页面的展示，而无需受到任何当前页面的展示结构的约束。

结合以上实施例，在一种实施方式中，交互***还可以根据前端子***的设备类型的不同而采用不同的方式显示响应信息。具体地，本申请的交互请求处理可以包括：

获得所述交互***对应的终端设备的设备类型；

获得与所述设备类型适配的目标交互页面形态，不同的设备类型与不同的交互页面形态适配。

在本实施例中，由于前端子***主要负责页面展示，因此交互***对应的终端设备主要是指部署前端子***的终端设备。由于前端子***和后端子***可以部署在不同的终端设备上，不同终端设备的显示功能有所区别，因此前端子***可以根据自身所属的终端设备的设备类型的不同而在显示方式上有所改变。

示例地，前端子***为客户端软件，其可以安装在手机、电脑、车载终端、户外显示设备等。由于手机、电脑、车载终端、户外显示设备等设备类型不同，显示功能也有所差距，例如显示区域尺寸、分辨率等多个参数有所差距。因此，本申请还可以为不同设备类型的终端设备设置不同的交互页面形态，以在不同设备类型的终端设备上更好地显示响应信息。

相应地，根据所述用户交互页面和所述响应结果，生成所述响应信息，包括：

根据所述目标交互页面形态、所述用户交互页面以及所述响应结果，生成所述响应信息。

在本实施例中，后端子***在生成响应信息时，还可以携带前端子***所在终端设备的交互页面形态(即目标交互页面形态)，然后根据目标交互页面形态、页面返回状态、展示参数以及响应结果生成响应信息。相应地，前端子***在接收到响应信息后，根据目标交互页面形态对当前展示页面进行调整，然后根据页面返回状态、展示参数对响应结果进行展示。

在本实施例中，前端子***可以根据自身所属终端设备的类型而对展示的页面进行调整，使得前端子***能更好地显示响应信息，优化用户的使用体验。

本申请的交互请求处理方法在用户通过语音发起用户交互请求的场景中优化用户的体验的效果尤为突出。示例地，当用户需要查询周边好吃的火锅时，可以直接打开点餐客户端，在主页上语音输入“附近好吃的火锅有哪些”，点餐客户端直接将该语音作为交互请求发送至后端服务器，后端服务器获得处理结果，然后返回给点餐客户端显示。其中，点餐客户端可以理解为前端子***，后端服务器可以理解为后端子***。

再示例地，当用户在点餐客户端上浏览火锅店时，突然想修改地址，可以直接在该页面语音输入“修改地址”，点餐客户端直接将该语音作为交互请求发送至后端服务器，后端服务器获得处理结果，然后控制点餐客户端跳转到地址页面显示以供用户修改地址。用户无需退出当前页面并逐步点击进入地址页面。因此，本申请中用户在通过语音发起交互请求时，可以在前端子***的任意页面上发起语音交互请求，无需受到当前页面结构的限制。

在一些场景中，当用户登录前端子***的页面后，如果前端子***在预设时长内未检测到用户的操作，那么前端子***可以输出语音提示，以辅助用户进行操作，例如前端子***可以语音提示用户说出想要查询的内容，或者语音提示用户说出需要执行的操作，本实施例对该语音提示不作具体限制。

下面将以语音交互请求为例，对本申请的交互请求处理方法进行详细说明。

(一)设计前端子***的内部结构

配置一个用户交互请求封装模块，用于根据用户输入的交互信息生成用户交互请求。

配置一个展示模块，用于显示响应消息。

(二)设计后端子***的内部结构

配置多个页面，页面的结构可如图5所示，页面之间具有关联性(例如点击上个页面的某个选项可以跳转到相应的下一个页面)。

为每一个页面配置一个指令子模块，用于处理用户在该页面上发起的所有操作。例如用户点击页面1的某个选项时，由页面1对应的指令子模块响应用户的点击操作。当用户点击页面2的某个选项时，由页面2对应的指令子模块响应用户的点击操作，以此类推。

配置一个总服务模块和多个子服务***，总服务模块用于将用户交互请求解析成目标指令然后下发给相应的指令子模块处理，子服务***用于供指令子模块调用以获得响应结果。示例地，页面1对应的指令子模块可以调用订单服务子***，通过订单服务子***获得用户的订单数据。

总服务模块在获得各个指令子模块返回的响应结果后，根据用户发起用户交互请求时所在页面的结构数据生成页面返回状态、展示参数，根据前端子***所在终端的类型生成交互页面形态，然后对响应结果、页面返回状态、展示参数以及交互页面形态等进行资源整理，生成响应信息。在进行资源整理时，总服务模块还可以生成回复语音，然后根据响应结果、页面返回状态、展示参数、交互页面形态以及回复语音生成响应信息。

(三)设计前端子***和后端子***的交互逻辑

图6是本申请一实施例示出的一种交互***示意图。下面将结合图6，以一个具体实施例对前后端交互逻辑进行说明。

用户在前端子***的页面X上发起了“修改收获地址”的语音操作，前端子***的用户交互请求封装模块将该语音封装为语音交互请求1，并将语音交互请求1发送给后端子***。

后端子***的总服务模块接收到语音交互请求1后，通过意图信息识别模块对语音交互请求1进行语义分析，确定用户意图信息，然后确定与用户意图信息匹配的目标指令。接着，总服务模块确定页面X对应的指令子模块1可以处理目标指令，将目标指令发送给指令子模块1，指令子模块1调用地址子服务***获得用户历史添加的地址。总服务模块的响应消息生成模块将获得的地址作为响应结果，然后根据页面X的结构数据生成页面返回状态、展示参数，根据前端子***所在终端的类型生成交互页面形态，以及生成回复语音，然后对响应结果、页面返回状态、展示参数、交互页面形态以及回复语音进行资源整理，生成响应信息。接着，总服务模块将响应信息发送给前端子***，前端子***通过展示模块对响应信息进行展示。

基于同一发明构思，本申请一实施例提供一种交互请求处理装置700，应用于交互***，所述交互***包括前端子***和后端子***。图7是本申请一实施例提供的一种交互请求处理装置的结构框图。如图7所示，该装置700包括：

检测模块701，用于检测用户输入的交互信息，所述交互信息为触控操作和交互语音中的任一种；

第一封装模块702，用于在所述交互信息为触控操作的情况下，获得所述触控操作对应的预设交互指令，并将所述预设交互指令封装为用户交互请求；

第二封装模块703，用于在所述交互信息为交互语音的情况下，将所述交互语音封装为用户交互请求；

分析模块704，用于对所述用户交互请求进行语义分析，确定用户意图信息；

确定模块705，用于确定与所述用户意图信息匹配的目标指令，并从当前显示的用户交互页面提取多个指令；

第一查询模块706，用于查询从所述用户交互页面所提取的多个指令是否包含所述目标指令；

第一执行模块707，用于在从所述用户交互页面所提取的多个指令包含所述目标指令的情况下，执行所述目标指令，获得对应的响应信息；

显示模块708，用于显示所述响应消息对应的用户交互页面。

可选地，所述装置700还包括：

第二查询模块，用于在从所述用户交互页面所提取的多个指令均不是所述目标指令的情况下，根据预先保存的页面与指令对应关系中，查询目标交互页面，所述目标交互页面对应于所述目标指令；

第二执行模块，用于从所述目标交互页面中提取并执行所述目标指令，获得对应的响应信息。

可选地，所述第一执行模块707包括：

调用子模块，用于根据所述用户意图信息，调用相应的子服务***，其中，不同子服务***用于响应不同类型的用户意图信息；

接收子模块，用于接收所述相应的子服务***返回的响应结果；

第一生成子模块，用于根据所述用户交互页面和所述响应结果，生成所述响应信息。

可选地，所述第一生成子模块包括：

第二生成子模块，用于对比所述用户交互页面和所述响应结果，生成对应的页面返回状态，所述页面返回状态指示所述客户端是否复用所述用户交互页面；

第一确定子模块，用于在所述页面返回状态是复用状态的情况下，确定所述响应结果在所述用户交互页面的第一展示参数；

第二确定子模块，用于在所述页面返回状态是重构状态的情况下，确定所述响应结果对应的目标交互页面的第二展示参数，所述目标交互页面为与所述用户交互页面不同的页面；

第三生成子模块，用于生成携带所述第一展示参数或所述第二展示参数的响应信息；

所述显示模块708包括：

提取子模块，用于从所述响应信息中提取第一展示参数或所述第二展示参数；

复用子模块，用于在提取到所述第一展示参数的情况下，按照所述第一展示参数，复用当前显示的用户交互页面，以在所述用户交互页面中显示所述响应信息；

构建子模块，用于在提取到所述第二展示参数的情况下，按照所述第二展示参数，构建与所述客户端当前显示的用户交互页面不同的目标交互页面，以在所述目标交互页面中显示所述响应信息。

可选地，所述装置700还包括：

第一获得模块，用于获得所述交互***对应的终端设备的设备类型；

第二获得模块，用于获得与所述设备类型适配的目标交互页面形态，不同的设备类型与不同的交互页面形态适配；

所述第一生成子模块包括：

第四生成子模块，用于根据所述目标交互页面形态、所述用户交互页面以及所述响应结果，生成所述响应信息。

可选地，所述装置700还包括：

第三封装模块，用于在所述交互信息为交互文本的情况下，将所述交互文本封装为用户交互请求。

基于同一发明构思，本申请另一实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本申请上述任一实施例所述的方法中的步骤。

基于同一发明构思，本申请另一实施例提供一种电子设备。该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本申请上述任一实施例所述的方法中的步骤。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本申请实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本申请实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请实施例是参照根据本申请实施例的方法、终端设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本申请所提供的一种交互请求处理方法、装置、电子设备及可读存储介质，进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (9)

1.一种交互请求处理方法，其特征在于，应用于交互***，所述交互***包括前端子***和后端子***，所述前端子***仅通过唯一传输接口与所述后端子***发生数据交互，被交互的数据至少包括：用户交互请求和响应信息；所述方法包括：

检测用户输入的交互信息，所述交互信息为触控操作和交互语音中的任一种；

在所述交互信息为触控操作的情况下，获得所述触控操作对应的预设交互指令，并将所述预设交互指令封装为所述用户交互请求；

在所述交互信息为交互语音的情况下，将所述交互语音封装为所述用户交互请求；

对所述用户交互请求进行语义分析，确定用户意图信息；

确定与所述用户意图信息匹配的目标指令，并从当前显示的用户交互页面提取多个指令；

查询从所述用户交互页面所提取的多个指令是否包含所述目标指令；

在从所述用户交互页面所提取的多个指令包含所述目标指令的情况下，执行所述目标指令，获得对应的所述响应信息；

显示所述响应信息对应的用户交互页面。

2.根据权利要求1所述的方法，其特征在于，在查询从所述用户交互页面所提取的多个指令是否包含所述目标指令之后，所述方法还包括：

在从所述用户交互页面所提取的多个指令均不是所述目标指令的情况下，根据预先保存的页面与指令对应关系中，查询目标交互页面，所述目标交互页面对应于所述目标指令；

从所述目标交互页面中提取并执行所述目标指令，获得对应的响应信息。

3.根据权利要求1所述的方法，其特征在于，执行所述目标指令，获得对应的响应信息，包括：

根据所述用户意图信息，调用相应的子服务***，其中，不同子服务***用于响应不同类型的用户意图信息；

接收所述相应的子服务***返回的响应结果；

根据所述用户交互页面和所述响应结果，生成所述响应信息。

4.根据权利要求3所述的方法，其特征在于，根据所述用户交互页面和所述响应结果，生成所述响应信息，包括：

对比所述用户交互页面和所述响应结果，生成对应的页面返回状态，所述页面返回状态指示客户端是否复用所述用户交互页面；

在所述页面返回状态是复用状态的情况下，确定所述响应结果在所述用户交互页面的第一展示参数；

在所述页面返回状态是重构状态的情况下，确定所述响应结果对应的目标交互页面的第二展示参数，所述目标交互页面为与所述用户交互页面不同的页面；

生成携带所述第一展示参数或所述第二展示参数的响应信息；

显示所述响应信 息对应的用户交互页面，包括：

从所述响应信息中提取第一展示参数或所述第二展示参数；

在提取到所述第一展示参数的情况下，按照所述第一展示参数，复用当前显示的用户交互页面，以在所述用户交互页面中显示所述响应信息；

在提取到所述第二展示参数的情况下，按照所述第二展示参数，构建与所述客户端当前显示的用户交互页面不同的目标交互页面，以在所述目标交互页面中显示所述响应信息。

5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：

获得所述交互***对应的终端设备的设备类型；

获得与所述设备类型适配的目标交互页面形态，不同的设备类型与不同的交互页面形态适配；

根据所述用户交互页面和所述响应结果，生成所述响应信息，包括：

根据所述目标交互页面形态、所述用户交互页面以及所述响应结果，生成所述响应信息。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述交互信息为交互文本的情况下，将所述交互文本封装为用户交互请求。

7.一种交互请求处理装置，其特征在于，应用于交互***，所述交互***包括前端子***和后端子***，所述前端子***仅通过唯一传输接口与所述后端子***发生数据交互，被交互的数据至少包括：用户交互请求和响应信息；所述装置包括：

检测模块，用于检测用户输入的交互信息，所述交互信息为触控操作和交互语音中的任一种；

第一封装模块，用于在所述交互信息为触控操作的情况下，获得所述触控操作对应的预设交互指令，并将所述预设交互指令封装为所述用户交互请求；

第二封装模块，用于在所述交互信息为交互语音的情况下，将所述交互语音封装为所述用户交互请求；

分析模块，用于对所述用户交互请求进行语义分析，确定用户意图信息；

确定模块，用于确定与所述用户意图信息匹配的目标指令，并从当前显示的用户交互页面提取多个指令；

第一查询模块，用于查询从所述用户交互页面所提取的多个指令是否包含所述目标指令；

第一执行模块，用于在从所述用户交互页面所提取的多个指令包含所述目标指令的情况下，执行所述目标指令，获得对应的所述响应信息；

显示模块，用于显示所述响应信息对应的用户交互页面。

8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6任一所述的交互请求处理方法中的步骤。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行时实现如权利要求1-6任一所述的交互请求处理方法中的步骤。

Images