CN111080926A - 一种自助设备的辅助交互方法与装置 - Google Patents

Abstract

现在，各行业营业厅的自助设备业务办理机智能化程度较低，在自助设备旁边设置人工辅助还是大多数营业厅选择的补救措施，但人力成本高，营业时间固定，无法满足用户多方位的需求。本发明提出的自助设备的辅助交互方法与装置，通过人体感应模块检测用户，语音采集处理单元、语音识别处理引擎、语义分析处理引擎对用户语音分析处理，为用户提供咨询问题的答案、业务流程的流程演示说明或坐席终端人员的远程指导。本发明实现了使用多种交互手段来辅助自助设备主屏，扩展其基本功能，通过这些扩展的功能完成自助设备主屏的人工智能升级，降低人工成本，改善用户体验。

Description

一种自助设备的辅助交互方法与装置

技术领域

本发明涉及人机交互智能设备领域，尤其是自助设备的辅助交互方法和装置领域。

背景技术

在目前税务行业营业厅中的自助设备业务办理机具上存在如下几种主要问题：智能化支持力度不够、操作流程指导不够清晰，用户在主屏幕上办理业务时不了解整个业务流程，也没有提示等，遇到关键流程或歧义流程分支时不清楚该怎么选择，不能及时响应解决，容易导致流程走到最后才发现办理了错误的业务。因此许多营业厅选择利用人力辅助，但现场人力辅助使得运营成本增加不提，遇到问题必须要在现场的情况下才能解决，因此自助设备实际上也只能在工作时间得到最有效的运行。

目前，发明专利《一种进行银行业务协助的方法、自助设备》（公开号：102663862B）公开了一种进行银行业务协助的方法、自助设备及***，方法中包括：当客户使用银行自助设备时，建立银行自助设备客户与银行远程坐席人员的远程视频通话及交易***桌面共享；通过远程桌面的方式协助客户办理业务。该自助设备包含：连接建立单元、远程视频通话单元和交易***桌面共享单元。上述***有效解决了银行营业厅客户遇到的业务办理问题时可以通过远程协助的方式来解决。

但该发明的缺点是不具备人工智能的特点，用户的业务及功能都在自助设备进行，自助设备不能给到用户详细的业务流程提示，视频通话过程不具备业务转接等功能，业务和音视频通话使用同一个网络安全隐患较大，后期实施和维护成本巨大。

发明内容

目前各行业营业厅的自助设备业务办理机智能化程度较低，在自助设备旁边设置人工辅助还是大多数营业厅选择的补救措施，但人力成本高，营业时间固定，无法满足用户多方位的需求。因此，如何从根本上提升自助设备的智能化，完善机器对于用户需求的满足率是急需解决的一大问题。

为解决以上问题，本发明提出以下解决方案：

一种自助设备的辅助交互方法，包括步骤：

人体感应模块检测用户，检测到用户后触发激活，语音指导用户进入业务办理；

语音采集处理单元通过线性麦克风阵列采集声音并进行降噪处理得到清晰的实时音频流；

语音识别处理引擎通过预先训练好的模型对实时音频流进行翻译、加工并整合成标准话术；

语义分析处理引擎对标准话术分析处理，分为三种导向：噪音话术、问题话术和意图话术；当导向为噪音话术时，将其直接抛弃并返回无效标识到副屏显示，当导向为问题话术时，经预先训练的模型二次处理后返回相应的答案到副屏显示，当导向为意图话术时，返回意图指令标记到副屏显示；

返回意图指令标记时，用户发出语音指令或点击副屏，所述意图指令标记包括智能咨询页面、远程指导页面和业务办理页面；

当智能咨询页面和业务办理页面被触发时，副屏业务界面会切换到当前正在进行的主屏业务办理的流程演示以及提示上面，主屏负责返回答案和实际的业务办理；

当远程指导页面被触发时，运行远程客服管理***，用户可选择与坐席终端人员实时音视频通话或与坐席终端人员分享自助设备主屏及副屏进行业务办理的画面。

优选地，所述方法还包括步骤：

语义分析处理引擎根据标准话术将对应答案封装成格式化的JSON字符串发送给副屏，所述格式化的JSON字符串包含class、intent、answer、entity几个字段的内容；

语义分析处理引擎对标准话术的分析处理导向为问题话术时，对标准问题和对应答案进行解析，将知识数据库模块的JSON字符串中question和封装的格式化JSON字符串intent和answer通过相应的页面展示给用户；

语义分析处理引擎对标准话术的分析处理导向为意图话术时，将操作描述和对应的槽值实体赋予字段intent和entity并返回，用于描述本轮人机交互或自助设备主副屏通信交互的结果。

一种自助设备的辅助交互装置，包括：

人体感应模块，用于检测用户；

知识数据库模块，包含业务相关知识和槽类型的标准答案及话术，存储于JSON字符串中；

人机语音交互模块，包括语音采集处理单元，语音识别处理引擎和语义分析处理引擎，用于声音的采集、降噪、翻译、加工、整合和分析处理；

副屏，用于显示和感知用户触摸；

远程客服管理***，包括摄像头和音视频通话服务器，是远程控制的统一管理平台，包含分配坐席账号、坐席工作安排、坐席通话管理的功能；

主副屏交互***，用于主副屏的通信交互。

本发明通过目前最新的语音识别、语义理解、音视频交互、远程控制等技术赋能了税务自助业务办理的智能化，提供了一种提升自助设备功能的方法和装置，本发明涉及语音、文本、数据库、操作***等多项技术，其操作方法中包含的智能咨询、远程指导、业务办理实现了一整套自助设备办理业务的人工智能解决方案，解决了当前自助设备存在的如效率低、成本高、故障率高等问题。

本发明实现了使用多种交互手段来辅助自助设备主屏，扩展其基本功能，通过这些扩展的功能完成自助设备主屏的人工智能升级。本发明在降低运营成本、改善用户体验等方面有重要意义，在新一代自助设备迭代升级以及交互领域有较大的应用价值。

附图说明

图1是一种自助设备的辅助交互方法流程图。

图2是副屏与主屏通信交互流程图。

图3是远程客服管理***工作流程图。

图4是一种自助设备的辅助交互装置在税务行业应用的部分结构示意图。

具体实施方式

如图4所示，在税务行业营业厅内的一种自助设备的辅助交互装置，与自助设备的主屏交换机通过通信线路连接，主要包括：

人体感应模块，安装于副屏上（未画出），用于检测用户，具备主动式发现用户的功能；

知识数据库模块，即知识引擎服务器包含业务相关知识和槽类型的标准答案及话术，存储于税务云业务***的数据库JSON字符串中，与自助设备主屏连接；

人机语音交互模块，用于声音的采集、降噪、翻译、加工、整合和分析处理，在本实施例中，利用语音识别服务器作为语音采集处理单元和语音识别引擎获取和翻译音频流，语义解析服务器作为语义分析处理引擎返回用户对应的答案；

副屏，用于显示和感知用户触摸；

远程客服管理***的坐席终端和音视频通话服务器，用于实现用户与坐席终端人员的音视频通话以及远程桌面指导；

主副屏交互***，通过串口通信实现主副屏的通信交互。

语音服务器和音视频通话服务器因对实时性需求较高，服务器对网络带宽需求比较高，网络抖动应不大于50ms。语义服务器和知识引擎服务器因包含大量税务相关的知识技能，且带有日志学习等功能，对数据的安全性要求较高，建议部署云端且带有热备份。

该装置的使用方法如下：

人体感应模块检测用户，检测到用户后触发激活，语音指导用户进入业务办理；

语音采集处理单元通过线性麦克风阵列采集声音并进行降噪处理得到清晰的实时音频流；

语音识别处理引擎通过预先训练好的模型对用户口语文本实时音频流进行翻译、加工并整合成标准话术；

语义分析处理引擎对标准话术分析处理，将有用的信息生成会话ID，建立上下文的场景关系，通过主动对话的方式引导用户办理相关业务，语义分析处理引擎根据标准话术将对应答案封装成格式化的JSON字符串发送给副屏，所述格式化的JSON字符串包含class、intent、answer、entity几个字段的内容；

标准话术分为三种导向：噪音话术、问题话术和意图话术；当导向为噪音话术时，即与本行业无关的语句和声音，将其直接抛弃并返回无效标识到副屏显示，当导向为问题话术时，即知识数据库模块中有相应答案的问题语句，经预先训练的模型二次处理后返回相应的答案到副屏显示，当导向为意图话术时，即其他与本行业相关的语句，返回意图指令标记到副屏显示；

语义分析处理引擎对标准话术的分析处理导向为问题话术时，根据知识引擎服务器的知识对标准问题和对应答案进行解析，将数据库JSON字符串中question和intent和answer通过相应的页面展示给用户；

语义分析处理引擎对标准话术的分析处理导向为意图话术时，根据知识引擎服务器的知识将操作描述和对应的槽值实体赋予字段intent和entity，将query、class、intent、answer、entity等字段组合成标准的JSON字符串数据，用于描述本轮人机交互或自助设备主副屏通信交互的结果。

返回意图指令标记时，用户发出语音指令或点击副屏，所述意图指令标记包括智能咨询页面、远程指导页面和办税指南页面；

智能咨询页面提供一个与用户对话咨询的页面，本页面主要功能是解答用户提出的税务相关的问题，其知识模型具备日志学习的功能，当用户数据量充分大时，目标是可以区分是业务问题还是非业务问题，是高频税务问题还是低频的个性化问题，经过短时间的训练，该模型依据实际情况相比较原先模型精度能够高于90%。

远程指导页面提供了用户与税务后台坐席终端人员建立音视频通话以及远程指导的功能，主要用于用户在自助设备主屏办理业务时遇到困难，例如自助设备主屏在打印***时卡纸或流程不清晰等问题时可呼叫后台坐席终端人员进行人工指导解决。

办税指南页面可供用户了解现有税局各类业务指南，采用了结构化的布局界面，办税指南页面里面的内容获取上首先需要通过知识引擎服务器进行录入、整理、训练，通过classify模型对各种指南进行分类，包括信息报告、证明办理、申报纳税、***办理和其他类型等；办税指南页面初始化时发送HTTP请求从知识引擎服务器获取当前整理好的各种指南政策分类存入JSON字符串，根据intent的取值进行指南的分组，通过解析entity字段生成具体的指南页面，基本每个指南页面包含事件描述、报送资料、办理渠道、办理时限、办理结果、政策依据、注意事项这几部分，通过与用户转换过来的JSON字段里面的“answer”描述做query-match模型匹配给出相应的页面结果。

参照图2，为本发明所述自助设备的辅助交互装置与自助设备主屏的通信交互流程图，用户可以通过副屏端完成语音导税控制主屏页面跳转功能，其中涉及的语音识别以及到格式化JSON的描述中间环节在前面已经描述，在此不再复述。用户在主屏办理业务时副屏可以跟随主屏显示当前主屏业务的办税指南及事项提醒等。

主副屏通信部分采用的是串口协议，具体协议里面包含了数据头标识、数据长度、JSON数据体，校验位、数据尾标识，整个串口通信是明文发送，采用串口通信方式保证了税局主屏业务***的透明性、便捷性和安全性。

参照图3，为本发明所述远程客服管理***发起与税务坐席终端人员的音视频通话流程，最终完成用户的操作目标。音视频通话的前提是整套音视频服务需要先启动并运行起来才可以，其中包含了多个服务程序，根据顺序有平台管理服务、建立连接的服务、自动排队等待服务、远程桌面服务、通话转接服务、音视频备份服务。

平台管理服务主要负责分配和管理坐席端账户和信息统计等功能。一方面可根据职责属性将坐席终端人员编排到不同的分组内；另一方面可设置一个默认接听小组，负责音视频呼叫的默认接听人员；再者可以方面坐席终端人员修改自己的登陆密码等；还有在平台管理端可以方面查看之前的服务记录、评价详情、接听时长、分布区域等信息。

建立连接服务主要负责建立用户与坐席终端人员的音视频连接，因多数网络环境是跨网跨域的复杂情形，因此本发明采用基于Web页面的网络音视频通话方案，中间涉及到网络地址的内外网重新映射等技术细节，最终实现用户和坐席终端人员的音视频连接。

自动排队等待服务主要涉及坐席终端人员与用户数量不对等的情况，自动排队服务可以缓解用户的焦急等待时的体验，当有坐席终端人员可接入时自动对接的功能。

远程桌面服务主要用于用户与坐席终端人员建立连接后，坐席终端人员启用本服务后可以看到用户远端的实际的操作桌面，根据桌面的情况清晰了解到当前用户在处理什么流程，需要什么远程指导服务等。

通话转接服务涉及到的场景是当前坐席终端人员可能临时要离开或需要将本次服务转接到其他坐席终端人员继续解决用户当前问题的情况。

音视频备份服务可以实时记录当前音视频通话的整个过程，以便后续调阅使用。

以上为本发明在税务行业的使用示例，仅做具体实施例辅助说明本发明技术方案之用，其他技术手段相同的方案也属于本发明保护范围之内。

Claims (3)

1.一种自助设备的辅助交互方法，其特征在于，包括步骤：

人体感应模块检测用户，检测到用户后触发激活，语音指导用户进入业务办理；

语音采集处理单元通过线性麦克风阵列采集声音并进行降噪处理得到清晰的实时音频流；

语音识别处理引擎通过预先训练好的模型对实时音频流进行翻译、加工并整合成标准话术；

语义分析处理引擎对标准话术分析处理，分为三种导向：噪音话术、问题话术和意图话术；当导向为噪音话术时，将其直接抛弃并返回无效标识到副屏显示，当导向为问题话术时，经预先训练的模型二次处理后返回相应的答案到副屏显示，当导向为意图话术时，返回意图指令标记到副屏显示；

返回意图指令标记时，用户发出语音指令或点击副屏，所述意图指令标记包括智能咨询页面、远程指导页面和业务办理页面；

当智能咨询页面和业务办理页面被触发时，副屏业务界面会切换到当前正在进行的主屏业务办理的流程演示以及提示上面，主屏负责返回答案和实际的业务办理；

当远程指导页面被触发时，运行远程客服管理***，用户可选择与坐席终端人员实时音视频通话或与坐席终端人员分享自助设备主屏及副屏进行业务办理的画面。

2.如权利要求1所述的自助设备的辅助交互方法，其特征在于，还包括步骤：

语义分析处理引擎根据标准话术将对应答案封装成格式化的JSON字符串发送给副屏，所述格式化的JSON字符串包含class、intent、answer、entity几个字段的内容；

语义分析处理引擎对标准话术的分析处理导向为问题话术时，对标准问题和对应答案进行解析，将知识数据库模块的JSON字符串中question和封装的格式化JSON字符串intent和answer通过相应的页面展示给用户；

语义分析处理引擎对标准话术的分析处理导向为意图话术时，将操作描述和对应的槽值实体赋予字段intent和entity并返回，用于描述本轮人机交互或自助设备主副屏通信交互的结果。

3.一种自助设备的辅助交互装置，其特征在于，包括：

人体感应模块，用于检测用户；

知识数据库模块，包含业务相关知识和槽类型的标准答案及话术，存储于JSON字符串中；

人机语音交互模块，包括语音采集处理单元，语音识别处理引擎和语义分析处理引擎，用于声音的采集、降噪、翻译、加工、整合和分析处理；

副屏，用于显示和感知用户触摸；

远程客服管理***，包括摄像头和音视频通话服务器，是远程控制的统一管理平台，包含分配坐席账号、坐席工作安排、坐席通话管理的功能；

主副屏交互***，用于主副屏的通信交互。

Images