CN109522083B - 一种页面智能化响应交互***及方法 - Google Patents

Abstract

本发明公开了一种页面智能化响应交互***及方法，该***包括轻应用框架、识别及触发控制模块、场景语义数据后台和控制流执行模块，利用一种轻量级应用中间件框架，对界面的可交互显示元素及数据关联进行建模、形成可操作界面元素结构模型，并通过页面建立场景环境参数，通过语音、语义对话过程，获得当前场景下的有限目标意图数据，再通过意图数据形成界面元素操作指令控制流，形成页面操作控制流推荐列表，并基于控制流实现对界面元素模型的操作事件触发，替代人的手工触控操作。本发明可提高应用的使用频率和运营效果。

Description

一种页面智能化响应交互***及方法

技术领域

本发明涉及移动应用开发、人工智能应用开发技术领域，尤其涉及一种页面智能化响应交互***及方法。

背景技术

近十多年来，先后出现了大数据、云计算、物联网、移动互联网、人工智能技术以及各种互联网的应用，人们把他们称为“新型”信息技术或“新一代”信息技术。其中移动开发技术在IOS、Android平台上非常的成熟，但随着移动互联网的应用渗透率增加、高昂的开发维护成本、复杂的应用操作逻辑，成为进一步拓展低频附加值移动应用场景的主要瓶颈。随着Html5、hybrid移动开发技术的应用，解决了部分跨平台应用的快速问题，但业务逻辑抽象度和复用度偏低，复杂功能和低频应用的使用频度和学习门槛的矛盾，仍然限制了大多数移动应用的实际推广和使用效果。

随着人工智能深度学习技术的发展，交互技术正在酝酿重大的技术变化。现有集中式语音助手应用模式完全脱离了传统应用的生态框架，存在着识别范围广、AI数据训练和集成时间长、成本高、提示信息少、应用操作不连续等问题，很难快速大规模普及，实际使用体验距离成熟相差甚远。

发明内容

针对现有技术所存在的不足之处，本发明的目的在于提供一种场景化的页面智能响应交互的***和方法，用于实现对基于传统应用生态的应用的设计改进，提高智能助手技术的实用性和用户的使用粘性。

为解决上述的技术问题，本发明采用以下技术方案：

一种页面智能化响应交互***，包括轻应用框架、识别及触发控制模块、场景语义数据后台和控制流执行模块；

所述轻应用框架用于抽象应用界面的可交互显示元素的控制及元素关联数据；

所述识别及触发控制模块用于用户语音采集、对语音识别接口服务的调用和回调处理、触发语义识别及控制流执行；

所述场景语义数据后台用于对语义识别接口服务的调用和回调处理，记录用户场景数据和习惯，识别用户互动语句意图，根据数据生成推荐的场景界面元素控制流及匹配参数，为识别及触发控制模块提供语义识别及场景操控相关的数据处理接口；

所述控制流执行模块用于执行场景界面元素控制流、实现对轻应用框架中的可交互显示元素的控制事件触发、替代人的手工触控操作。

所述的页面智能化响应交互***，其轻应用框架包括：

场景描述文件子模块：描述应用界面显示结构、数据关联关系、事件响应逻辑及应用场景切换关系，提供数据给文件解析子模块；

文件解析子模块：调用场景描述文件子模块的数据，解析和处理场景描述文件，生成渲染结构、数据关联结构和事件处理结构及参数，并由文件渲染子模块进一步处理和显示；

文件渲染子模块：调用文件解析子模块的数据，处理渲染结构，调用***渲染功能，将页面应用场景在移动终端中显示出来；

文件数据关联管理子模块：调用文件解析子模块的数据，根据数据关联结构，在移动应用执行过程中获取***数据或应用服务器数据，并在应用界面元素中恰当地显示出来，为其它数据访问提供数据读写接口，并将场景参数和推荐控制流相关的数据提供给控制流执行模块；

事件处理子模块：截获移动终端的***事件或响应控制流执行模块中事件调用执行数据，处理应用场景数据或调用场景元素的事件响应动作。

所述的页面智能化响应交互***，其识别及触发控制模块包括：

语音数据采集接口控制子模块：控制移动终端的音频采集接口，获取音频流文件，对音频流文件进行压缩预处理，并与语音识别处理后端控制子模块交互数据；

语音识别处理后端控制子模块：设置场景识别偏好参数，接收语音数据采集接口控制子模块采集的数据，调用语音识别服务API，获取语音处理后的结果，上传数据至语音识别服务器，服务器将数据进行处理后返回给语义识别及控制流执行控制子模块；

语义识别及控制流执行控制子模块：利用语音识别服务器返回的数据，设置场景参数，调用场景语义数据后台，处理后台识别意图结果，触发控制流执行。

所述的页面智能化响应交互***，其场景语义数据后台包括：

场景定义数据管理子模块：用于管理应用支持的所有场景的参数、执行意图空间及用户习惯参数配置；

语义识别接口管理子模块：响应语义识别及控制流执行控制子模块的调用，调用语义识别服务后端API，对识别结果进行意图参数匹配；

意图参数匹配子模块：检查控制流生成参数的完备性、与语义识别接口管理子模块进行对话过程控制直至控制流生成参数完备；

操作意图推荐子模块：根据场景及状态参数，生成最大可能用于操作的数据列表作为推荐数据，提供给识别及触发控制模块；

场景控制流生成子模块：对具备完备参数的意图，生成当前场景的界面显示元素控制流，并向识别及触发控制模块进行返回。

所述的页面智能化响应交互***，控制流执行模块为总控制模块。其控制流执行模块包括：

推荐操作展示与操作选择子模块：根据识别及触发控制模块返回的推荐数据，在界面上展示可选项；推荐数据，即推荐可用操作列表，其操作选择包括语音、触控或默认选择推荐操作项。

控制流解析子模块：解析来自场景语义数据后台生成的控制流数据，生成控制数据接口；

事件调用执行子模块：获取轻应用框架界面元素控制接口及目标对象，管理控制数据接口进行状态，直至控制流动作执行完毕；

场景参数提交与推荐控制流请求子模块：将场景参数提交到语音识别服务器，并通过识别及触发控制模块，向场景语义数据后台请求推荐数据，并通过语义识别及控制流执行控制子模块将推荐数据返回给控制流执行模块，展示在页面上。

所述的页面智能化响应交互***中，所述移动终端是能上网且带有麦克风或显示屏的设备，包括手机、电视和机器人。

本发明还提供了一种页面智能化响应交互的方法，该方法是在上述***的基础上实现的，该方法包括以下步骤：

(1)使用轻应用框架进行页面元素抽象；

(2)通过语音识别结果进行语义意图识别，生成控制流数据；

(3)对控制流数据进行处理并进行页面交互响应。

在页面智能化响应交互的方法中，所述页面元素抽象包括声明一个或多个对页面的描述信息、页面的标签、唯一标志号。

在页面智能化响应交互的方法中，所述语音识别结果来自具有面向轻应用页面场景的语义数据后台；所述控制流数据包括一个或多个用户意图和数据。

在页面智能化响应交互的方法中，所述的页面交互响应是指将控制流数据对应的信息呈现在包括手机、电视、机器人在内的能上网、带有麦克风或显示屏的设备上。

本发明利用了一种轻量级应用中间件框架，对界面的可交互显示元素及数据关联进行建模、形成可操作界面元素结构模型，并通过页面建立场景环境参数，通过语音、语义对话过程，获得当前场景下的有限目标意图数据，再通过意图数据形成界面元素操作指令控制流，形成页面操作控制流推荐列表，并基于控制流实现对界面元素模型的操作事件触发，替代人的手工触控操作。本发明的移动操控实现思路、对传统的移动应用纯触控式操作方式进行了较大幅度改进、又采取了与集中式语音助手完全不同的实现思路。

与现有技术相比，本发明至少具有以下有益效果：实现了一种对传统应用页面的操作自动化方法，可减轻用户的应用操作负担、增强用户操作粘性，提高应用的使用频率和运营效果。

附图说明

图1示出了本发明页面智能化响应交互***的结构图。

图2示出了本发明页面智能化响应交互方法的控制响应过程。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一

下面通过图1对页面智能化响应交互的***的功能模块协同运作做详细的描述：

页面智能化响应交互***包括轻应用框架、识别及触发控制模块、场景语义数据后台和控制流执行模块。其中，轻应用框架用于抽象应用界面的可交互显示元素的控制及元素关联数据；识别及触发控制模块用于用户语音采集、对语音识别接口服务的调用和回调处理、触发语义识别及控制流执行；场景语义数据后台用于对语义识别接口服务的调用和回调处理，记录用户场景数据和习惯，识别用户互动语句意图，根据数据生成推荐的场景界面元素控制流及匹配参数，为识别及触发控制模块提供语义识别及场景操控相关的数据处理接口。

更具体地说，所述轻应用框架包括场景描述文件子模块、文件解析子模块、文件渲染子模块、文件数据关联管理子模块、事件处理子模块，各模块的功能及关系如下：

场景描述文件子模块：描述应用界面显示结构、数据关联关系、事件响应逻辑及应用场景切换关系，提供数据给文件解析子模块；

文件解析子模块：调用场景描述文件子模块的数据，解析和处理场景描述文件，生成渲染结构、数据关联结构和事件处理结构及参数，并由文件渲染子模块进一步处理和显示；

文件渲染子模块：调用文件解析子模块的数据，处理渲染结构，调用***渲染功能，将页面应用场景在移动终端中显示出来；

文件数据关联管理子模块：调用文件解析子模块的数据，根据数据关联结构，在移动应用执行过程中获取***数据或应用服务器数据，并在应用界面元素中恰当地显示出来，为其它数据访问提供数据读写接口，并将场景参数和推荐控制流相关的数据提供给控制流执行模块；

事件处理子模块：截获移动终端的***事件或响应控制流执行模块中事件调用执行数据，处理应用场景数据或调用场景元素的事件响应动作。

所述识别及触发控制模块是执行的总控制机构，包括语音数据采集接口控制子模块、语音识别处理后端控制子模块和语义识别及控制流执行控制子模块，各子模块的功能及关系如下：

语音数据采集接口控制子模块：控制移动终端的音频采集接口，获取音频流文件，对音频流文件进行压缩预处理，并与语音识别处理后端控制子模块交互数据；

语音识别处理后端控制子模块：设置场景识别偏好参数，接收语音数据采集接口控制子模块采集的数据，调用语音识别服务API，获取语音处理后的结果，上传数据至语音识别服务器，服务器将数据进行处理后返回给语义识别及控制流执行控制子模块；

语义识别及控制流执行控制子模块：利用语音识别服务器返回的数据，设置场景参数，调用场景语义数据后台，处理后台识别意图结果，触发控制流执行。

所述场景语义数据后台包括场景定义数据管理子模块、语义识别接口管理子模块、意图参数匹配子模块、操作意图推荐子模块和场景控制流生成子模块，各子模块的功能及关系如下：

场景定义数据管理子模块：用于管理应用支持的所有场景的参数、执行意图空间及用户习惯参数配置；

语义识别接口管理子模块：响应语义识别及控制流执行控制子模块的调用，调用语义识别服务后端API，对识别结果进行意图参数匹配；

意图参数匹配子模块：检查控制流生成参数的完备性、与语义识别接口管理子模块进行对话过程控制直至控制流生成参数完备；

操作意图推荐子模块：根据场景及状态参数，生成最大可能用于操作的数据列表作为推荐数据，提供给识别及触发控制模块；

场景控制流生成子模块：对具备完备参数的意图，生成当前场景的界面显示元素控制流，并向识别及触发控制模块进行返回。

所述控制流执行模块包括推荐操作展示与操作选择子模块、控制流解析子模块、事件调用执行子模块和场景参数提交与推荐控制流请求子模块，各子模块的功能和关系如下：

推荐操作展示与操作选择子模块：根据识别及触发控制模块返回的推荐数据，在界面上展示可选项；

控制流解析子模块：解析来自场景语义数据后台生成的控制流数据，生成控制数据接口；

事件调用执行子模块：获取轻应用框架界面元素控制接口及目标对象，管理控制数据接口进行状态，直至控制流动作执行完毕；

场景参数提交与推荐控制流请求子模块：将场景参数提交到语音识别服务器，并通过识别及触发控制模块，向场景语义数据后台请求推荐数据，并通过语义识别及控制流执行控制子模块将推荐数据返回给控制流执行模块，展示在页面上。

移动终端，是指能上网且带有麦克风或显示屏的设备，比如手机、电视、机器人等。

需要说明的是，本实施例中的各模块是逻辑意义上的，具体实现时，多个模块可以合并成一个模块，一个模块也可以拆分成多个模块。

通过本发明实施例一提供的一种页面智能化响应交互的***，使用轻应用框架进行界面元素抽象、使用应用无关的独立识别及触发控制模块，提供面向轻应用页面场景的语义数据后台、对语音识别结果进行语义意图识别及控制流生成，最后通过处理控制流执行模块实现智能化响应交互，实现了一种对传统应用页面的操作自动化方法，可减轻用户的应用操作负担、增强用户操作粘性，提高应用的使用频率和运营效果。

实施例二

图2所示为本发明的一种智能化响应方法的控制响应过程示意图。

下面对所述智能化响应方法的控制响应过程作详细的描述：

***初始化：

在容器中加载框架，映射语音API及参数边，初始化场景后台数据及所有可用于场景的初始语句数据库。启动语音响应控制服务，根据节目描述规范文件，监控音频截获打开事件，如关键词唤醒时间、界面触控打开时间等，设置回调响应接口，向语音识别服务器和场景语义数据后台进行注册。启动可控制流响应服务，初始化可控制流服务。截获启动语音数据服务，为应用初始化做准备。

智能化响应交互循环：

初始话轻应用框架，进入应用初始页面，开始页面智能响应交互控制循环流程。对每个应用页面，读取启动页面描述文件，根据页面描述规范文件创建页面，初始化页面数据，建立页面轻应用框架，向语音响应控制服务注册页面，截获语音数据，搜集页面状态参数(比如页面的描述信息、页面的标签、唯一标志号)，向场景语义数据后台发送页面可用操作结构数据及当前页面的场景状态参数，请求最大可能操作响应列表及其配套控制流数据，获取页面智能响应推荐操作数据。场景语义数据后台记录数据提交参数及请求时间，形成历史数据，并根据页面场景信息生成意图控制流数据，反馈给应用。如果操作意图唯一，则执行对应操作意图控制流，提交数据或跳转到其它页面，否则启动页面智能响应流程。

智能响应交互流程：

弹出操作选定对话框，提示可选推荐意图，并同时启动音频数据截获拾取开关，根据用户选择结果进入用户响应选择回调过程。启动参数获取流程，弹出参数类型对应的选择的输入项。录入用户触控操作的参数项或用户语音参数项，提交意图选择及环境参数结果，提交到场景语义数据后台，作为操作历史数据进行保存。执行带参数的意图控制流，实现最终页面操作结果，例如将控制流数据对应的信息呈现在手机上，进入下一个页面操作循环。

需要说明的是，本实施实例的步骤是逻辑意义上的，具体实现时，多个步骤可以合并成一个步骤，一个步骤也可以拆分成多个步骤。

本发明的有益效果为，实现了一种对传统应用页面的操作自动化方法，可减轻用户的应用操作负担、增强用户操作粘性，提高应用的使用频率和运营效果。

尽管这里参照本发明的解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说，在本申请公开的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变型和改进外，对于本领域技术人员来说，其他的用途也将是明显的。

Claims (5)

1.一种页面智能化响应交互***，其特征在于包括轻应用框架、识别及触发控制模块、场景语义数据后台和控制流执行模块；

所述轻应用框架用于抽象应用界面的可交互显示元素的控制及元素关联数据；所述轻应用框架包括：

场景描述文件子模块：描述应用界面显示结构、数据关联关系、事件响应逻辑及应用场景切换关系，提供数据给文件解析子模块；

文件解析子模块：调用场景描述文件子模块的数据，解析和处理场景描述文件，生成渲染结构、数据关联结构和事件处理结构及参数，并由文件渲染子模块进一步处理和显示；

文件渲染子模块：调用文件解析子模块的数据，处理渲染结构，调用***渲染功能，将页面应用场景在移动终端中显示出来；

文件数据关联管理子模块：调用文件解析子模块的数据，根据数据关联结构，在移动应用执行过程中获取***数据或应用服务器数据，并在应用界面元素中恰当地显示出来，为其它数据访问提供数据读写接口，并将场景参数和推荐控制流相关的数据提供给控制流执行模块；

事件处理子模块：截获移动终端的***事件或响应控制流执行模块中事件调用执行数据，处理应用场景数据或调用场景元素的事件响应动作；

所述识别及触发控制模块用于用户语音采集、对语音识别接口服务的调用和回调处理、触发语义识别及控制流执行；

所述场景语义数据后台用于对语义识别接口服务的调用和回调处理，记录用户场景数据和习惯，识别用户互动语句意图，根据数据生成推荐的场景界面元素控制流及匹配参数，为识别及触发控制模块提供语义识别及场景操控相关的数据处理接口；

所述控制流执行模块用于执行场景界面元素控制流、实现对轻应用框架中的可交互显示元素的控制事件触发、替代人的手工触控操作。

2.根据权利要求1所述的页面智能化响应交互***，其特征在于所述识别及触发控制模块包括：

语音数据采集接口控制子模块：控制移动终端的音频采集接口，获取音频流文件，对音频流文件进行压缩预处理，并与语音识别处理后端控制子模块交互数据；

语音识别处理后端控制子模块：设置场景识别偏好参数，接收语音数据采集接口控制子模块采集的数据，调用语音识别服务API，获取语音处理后的结果，上传数据至语音识别服务器，服务器将数据进行处理后返回给语义识别及控制流执行控制子模块；

语义识别及控制流执行控制子模块：利用语音识别服务器返回的数据，设置场景参数，调用场景语义数据后台，处理后台识别意图结果，触发控制流执行。

3.根据权利要求2所述的页面智能化响应交互***，其特征在于所述场景语义数据后台包括：

场景定义数据管理子模块：用于管理应用支持的所有场景的参数、执行意图空间及用户习惯参数配置；

语义识别接口管理子模块：响应语义识别及控制流执行控制子模块的调用，调用语义识别服务后端API，对识别结果进行意图参数匹配；

意图参数匹配子模块：检查控制流生成参数的完备性、与语义识别接口管理子模块进行对话过程控制直至控制流生成参数完备；

操作意图推荐子模块：根据场景及状态参数，生成最大可能用于操作的数据列表作为推荐数据，提供给识别及触发控制模块；

场景控制流生成子模块：对具备完备参数的意图，生成当前场景的界面显示元素控制流，并向识别及触发控制模块进行返回。

4.根据权利要求3所述的页面智能化响应交互***，其特征在于所述控制流执行模块包括：

推荐操作展示与操作选择子模块：根据识别及触发控制模块返回的推荐数据，在界面上展示可选项；

控制流解析子模块：解析来自场景语义数据后台生成的控制流数据，生成控制数据接口；

事件调用执行子模块：获取轻应用框架界面元素控制接口及目标对象，管理控制数据接口进行状态，直至控制流动作执行完毕；

场景参数提交与推荐控制流请求子模块：将场景参数提交到语音识别服务器，并通过识别及触发控制模块，向场景语义数据后台请求推荐数据，并通过语义识别及控制流执行控制子模块将推荐数据返回给控制流执行模块，展示在页面上。

5.根据权利要求1或2所述的页面智能化响应交互***，其特征在于所述移动终端是能上网且带有麦克风或显示屏的设备，包括手机、电视和机器人。

Images