CN109582798A - 自动问答方法、***及设备 - Google Patents

自动问答方法、***及设备 Download PDF

Info

Publication number
CN109582798A
CN109582798A CN201710909408.4A CN201710909408A CN109582798A CN 109582798 A CN109582798 A CN 109582798A CN 201710909408 A CN201710909408 A CN 201710909408A CN 109582798 A CN109582798 A CN 109582798A
Authority
CN
China
Prior art keywords
data
knowledge
question
ontology
reply
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710909408.4A
Other languages
English (en)
Inventor
张佶
邓明悦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alibaba Group Holding Ltd
Original Assignee
Alibaba Group Holding Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alibaba Group Holding Ltd filed Critical Alibaba Group Holding Ltd
Priority to CN201710909408.4A priority Critical patent/CN109582798A/zh
Publication of CN109582798A publication Critical patent/CN109582798A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供一种自动问答方法、***及设备。其中,方法包括如下的步骤:接收用户输入的本次提问数据;从本体知识库中,获取与所述本次提问数据相关的至少一个样本本体对应的至少一组多类型知识;在所述至少一组多类型知识中检索应答数据;根据检索结果向所述用户输出应答反馈。本申请实施例提供的技术方案中,本体知识库为应答检索提供的多种类型的知识,不仅改进了现有技术知识类型单一的问题,且各类型知识能形成一种互补协作关系,在一种类型知识较难检索到应答数据时可更换另一类型的知识检索,这将有助于降低应答的无答案率,同时还能保证较高的准确率,提高用户的自动问答体验。

Description

自动问答方法、***及设备
技术领域
本申请涉及计算机技术领域,尤其涉及一种自动问答方法、***及设备。
背景技术
随着互联网应用的发展,很多企业、事业单位或政府职能部门已经将人机问答***引入其网站或APP中,以辅助或代替通过人工来回复用户的提问咨询。
现有自动问答***多是一种在已有的“问题-答案”这样的问答对集合中或图谱知识中找到与用户提问相匹配的答案呈现给用户。现有人机问答***仅基于单一类型知识(如单一的问答对、或单一的图谱知识等知识)进行作答;应答准确率低,用户体验差。
发明内容
鉴于上述问题,提出了本申请以便解决上述问题或至少部分地解决上述问题的自动问答方法、***及设备。
于是,在本申请的一个实施例中,提供了一种自动问答方法。该方法包括:
接收用户输入的本次提问数据;
从本体知识库中,获取与所述本次提问数据相关的至少一个样本本体对应的至少一组多类型知识;
在所述至少一组多类型知识中检索应答数据;
根据检索结果向所述用户输出应答反馈。
在本申请另一个实施例中,提供了一种自动问答方法,包括:
响应于用户触发的提问事件,获取所述用户的本次提问数据;
将所述本次提问数据发送至服务端;
输出所述服务端基于所述本次提问数据发送的应答反馈;
其中,所述应答反馈是根据检索结果生成的,所述检索结果是采用至少一种应答检索模式,在本体知识库中与所述本次提问数据相关的至少一个样本对应的至少一组多类型知识中检索得到的。
在本申请的又一个实施例中,提供了一种自动问答***,包括:
本体知识库,用于存储至少一个样本本体,以及各样本本体对应的一组多类型知识;
交互单元,用于响应于用户触发的提问事件,获取所述用户的本次提问数据并将所述本次提问数据发出;
应答单元,用于接收所述本次提问数据;在所述本体知识库中,获取与所述本次提问数据相关的至少一个样本本体对应的至少一组多类型知识;在所述至少一组多类型知识中检索应答数据;根据检索结果,对所述用户输出应答反馈;以及
所述交互单元,还用于输出所述应答反馈。
在本申请的又一个实施例中,提供了一种服务端设备,包括:第一存储器及第一处理器以及第一通信组件;
所述第一存储器,用于存储程序;
所述第一通信组件,用于数据传输;
所述第一处理器,与所述第一存储器耦合,用于执行所述第一存储器中存储的所述程序,以用于:
通过所述第一通信组件接收用户输入的本次提问数据;
从所述本体知识库中,获取与所述本次提问数据相关的至少一个样本本体对应的至少一组多类型知识;
在所述至少一组多类型知识中检索应答数据;
根据检索结果,通过所述第一通信组件向所述用户输出应答反馈。
在本申请的又一个实施例中,提供了一种客户端设备,包括:第二存储器、第二处理器及第二通信组件;
所述第二存储器,用于存储程序;
所述第二通信组件,用于数据传输;
所述第二处理器,与所述第二存储器耦合,用于执行所述第二存储器中存储的所述程序,以用于:
响应于用户触发的提问事件,获取所述用户的本次提问数据;
通过所述第二通信组件将所述本次提问数据发送至服务端;
输出通过所述第二通信组件接收到的所述服务端基于所述本次提问数据发送的应答反馈;
其中,所述应答反馈是基于检索结果生成的,所述检索结果是在本体知识库中与所述本次提问数据相关的至少一个样本对应的至少一组多类型知识中检索得到的。
本申请实施例提供的技术方案中,本体知识库为应答检索提供的多种类型的知识,不仅改进了现有技术知识类型单一的问题,且各类型知识能形成一种互补协作关系,在一种类型知识较难检索到应答数据时可更换另一类型的知识检索,这将有助于降低应答的无答案率,同时还能保证较高的准确率,提高用户的自动问答体验。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请一实施例提供的本体知识库的原理示意图;
图2为本申请一实施例提供的自动问答***的结构示意图;
图3为本申请一实施例提供的一种可用于维护本体知识库中各类型知识的编辑界面示意图;
图4为本申请一实施例提供的自动问答方法的流程示意图;
图5为本申请一实施例提供的自动问答界面展示检索结果的一种示例图;
图6为本申请一实施例提供的自动问答界面展示检索结果的另一种示例图;
图7为本申请另一实施例提供的自动问答方法的流程示意图;
图8为本申请一实施例提供的自动问答方法中在多组半结构化的问答对知识中检索应答数据的流程示意图;
图9为本申请一实施例提供的自动问答方法中在至少一组结构化的图谱知识中检索应答数据的流程示意图;
图10为本申请一实施例提供的图谱知识示例的关系图;
图11为本申请一实施例提供的自动问答方法中在至少一组非结构化的文本知识中检索应答数据的流程示意图;
图12为本申请一实施例提供的机器阅读模型是一个深度神经网络模型的示例图;
图13为本申请一实施例提供的基于机器阅读模型进行在线问答的一种流程示意图;
图14为本申请另一实施例提供的自动问答方法的流程示意图;
图15为本申请一实施例提供的自动问答装置的结构示意图;
图16为本申请另一实施例提供的自动问答装置的结构示意图;
图17为本申请一实施例提供的服务端设备的结构示意图;
图18为本申请一实施例提供的客户端设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
现有的自动问答技术中,知识的获取往往依赖于开放式问答对知识库。然而,基于问答对知识库的自动问答***存在如下诸多限制:
第一、问答体验不佳。
现有自动问答***中,由于使用开放式问答对作为知识,所以在多轮问答的时候***无法继承上轮问答的主题并与人展开对话,每一轮问答都是一次新的全量知识搜索,这样的设置无法形成“对话”式的体验,并且随着多轮对话的进行精准度会有所下降。例如:
用户提问1:淘宝账号如何修改?通过知识搜索得到该提问1对应的回答1标题为:淘宝账号修改办法
用户紧接着提问2:能够修改几次?进行新一轮的知识搜索提问2对应的回答2标题为:修改地址以后未收到货责任在谁
从上面内容可知,提问1对应的回答1是正确的,而提问2用户想要继续上文的话题继续问下去,可自动问答***采用现有技术无法继承上轮问答的主题致使提问2对应的回答2是错误的。
第二、知识来源单一
现有问答知识库,只能存储问答对,无法支持更丰富的知识类型存储,比如说非结构化的文档或更为结构化的图谱知识。知识类型的欠缺,在一定程度陷缩了算法技术的发挥空间。
第三、维护工作重复。
现有问答对知识库,后台使用者要建立一类概念的知识时,每次都需要完整重复地添加全部文本,增加工作维护成本。例如:
问题1:淘宝账号如何修改?答案1标题:淘宝账号修改办法
问题2:淘宝账号能够修改几次?答案2标题:淘宝账号能修改的次数
问题3:淘宝账号被锁定了还能改么?答案3标题:淘宝账号被锁定了是否能修改
如上述列举的有关淘宝账号的知识,后台使用者需要重复地在每个问题上添加“淘宝账号”文本,以避免出现上述一中提到的问题。自动问答领域最常见的一种知识库是问答对知识库。问答对知识库需每次都需要维护完整的问题,就算是在描述同一类问题也需要重复录入所有的内容;并且这种问答对的知识库能够存储的知识结构和类型都过于单一,不利于更多前沿算法的拓展和应用,进而导致自动问答的体验提升困难,精准度下降。
除了上述基于问答对知识库的自动问答***外,现有技术中还有基于图谱知识的自动问答***。基于图谱知识的自动问答***,首先需要进行一整套知识工程方法,例如包括本体检测、本体链接、属性填充等,从文本中构建出结构化的图谱知识,并在图谱知识基础上进行问答,整个过程较为繁琐,特别在实际的商业化场景中大量的图谱知识节点也难以维护,投入和产出往往难成比例。
如果能够从知识存储上开创一种新的模式,支持更多源的知识类型,提升对话体验及精准度的同时,减少人工重复维护的工作,这会是智能问答领域的一次重大创新,意义深远。
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
为了方便理解,先对本申请涉及的专业词汇进行如下说明:
本体(Ontology),是指一种形式化的,对于共享概念体系的明确而又详细的说明,可以简单理解为一个对象、概念、类型。形式化是指:本体是计算机可读的(即能被计算机处理);共享是指本体中体现的是共同认可的知识,反映的是相关领域中公认的概念集。本体的目标是捕获相关领域的知识,提供对该领域知识的共同理解,确定该领域共同认可的词汇,并从不同层次的形式化模式上给出这些词汇(术语)和词汇间相互关系的明确定义。
本体知识库包括至少一个样本本体,每个样本本体对应有一组多类型知识。例如,图1示出的一个样本本体1的实例,该样本本体1对应有3个不同类型的知识,即半结构化的问答对知识2、结构化的图谱知识3、非结构化的文本知识4等。每个样本本体还可有与其词义相近的同义词集5,以便于通过同义词的方式查找到与用户输入的提问数据对应的样本本体。本申请实施例提供的技术方案是基于该本体知识库实现的。
自动问答是指根据用户的自然语言提出的问题找到一个对应的答案。图2为自动问答***的结构示意图。现结合图2,对本申请提供的自动问答***的结构进行说明,具体如下:
自动问答***包括:交互单元101、应答单元102和本体知识库103。其中,本体知识库103用于存储至少一个样本本体,以及至少一个样本本体对应的至少一组多类型知识;交互单元101用于响应于用户触发的提问事件,获取所述用户的本次提问数据并将所述本次提问数据发出;应答单元102用于接收所述本次提问数据;在所述本体知识库中,获取与所述本次提问数据相关的至少一个样本本体对应的至少一组多类型知识;在所述至少一组多类型知识中检索应答数据;根据检索结果,对所述用户输出应答反馈;以及所述交互单元101还用于输出所述应答反馈。
简言之,交互单元101将用户采用自然语言进行提问的问题发送给应答单元102;应答单元102基于提问数据在本体知识库103中检索提问数据对应的应答数据,并通过交互单元101输出检索结果(如无答案、具体应答数据或反问的结构化知识等等)。
具体实施时,交互单元101可以安装在客户端设备(如手机、平板电脑、穿戴设备等)上的应用软件,如电商应用、企业微信等等;应答单元102可以是一个硬件本体,如常规服务器、云端设备等,也可以是硬件设备上的一个虚拟中心,还可以是安装在服务端设备上的能实现上述检索功能的应用程序,本申请实施例对此不作具体限定。本体知识库103可以是存储有上述样本本体及多类型知识的计算机可读存储介质。
本体知识库中的样本本体可以理解为:用户诉求(包括咨询、反馈等)的话题。比如围绕“登录密码”这个话题有:如何修改、允许修改次数、允许错误输入次数、在哪修改等等。用户会以各种不同的表述方式表达其诉求即用户实际的问题,那么这个话题就可作为一个样本本体。样本本体可通过挖掘历史问答记录得到,例如,通过分析历史问答记录将在一次会话(一次会话中包含多轮对话)中出现次数较多的多轮对话认定为同属于同一话题,将该话题作为一个样本本体。或者,一个业务对象直接作为一个样本本体,例如,某一业务对象(如一个商品),大部分用户提问都是关于业务对象怎么买(买一送一、折扣)、如何使用(吃)、效果如何等等问题;这些问题都是围绕该业务对象的,因此有必要作为一个样本本体来维护。
样本本体对应的半结构化的问答对知识可从收集到的问答对中挖掘得到,例如,基于收集到的问答对中的问题获得问题模板,问题模板可为句型模板、语义模板等;采用语言知识技术对问答对中该问题对应的答案作为该问题模板对应的应答,以形成一组问答对。其中,问答对的收集过程可以由***自动收集,也可以由人工收集,本申请实施例对此不作具体限定;另外,***自动收集问答对的过程可参见现有技术中的相关内容,此处不再赘述。
样本本体对应的结构化的图谱知识本质上是语义网络,是一种基于图的数据结构,其由节点(point)和边(edge)组成。如图1所示的节点A、B、C、……等等,节点A和节点B之间的边a、节点B和节点C之间的边b、……等等。在图谱知识中,每个节点表示现实世界中存在的信息,每条边表示信息与信息之间的“关系”。通俗地讲,图谱知识就是把所有不同种类的信息连接在一起而得到的一个关系网络。结构化的图谱知识可采用现有图谱知识构建方法实现,此处不再赘述。
但这里需要说明的是:本申请实施例中图谱知识构建方法只是多种类型知识中的一种,较现有完全基于图谱知识的自动问答***来说,无需维护大量且完善的图谱知识节点,只需维护一些无法通过其他类型知识无法应答解决的知识即可,维护投入少,且维护更加简单。
非结构化的文本知识可以是后台人员人工编辑生成的,也可以是利用网络爬虫从网络侧爬取而来的。
在一种可实现的技术方案中,工作人员可通过图3所示的编辑界面来人为的维护样本本体对应的多种类型的知识进行人工添加、删除和/或删除。例如,图3中,工作人员可通过点击编辑界面上的“+添加关联问题”控件来触发问答对的添加。问答对添加完成后,工作人员还可通过触控编辑界面上的“编辑”控件触发对相应问答对的编辑。工作人员还可通过图3所示的编辑界面编辑非结构化的文本作为该样本本体(如图3中的**套餐)的一个知识点,例如,工作人员可通过触控编辑界面上的“编辑简述”控件以触发文本编辑操作。
本申请实施例提供的技术方案的主旨是为应答检索提供多种类型的知识,改善现有技术知识类型单一的问题;另外,各类型知识能形成一种互补协作关系,在一种类型知识较难检索到应答数据时更换另一类型的知识检索,这将有助于降低应答的无答案率,同时还能保证较高的准确率,提高用户的自动问答体验。
图4示出了本申请一实施例提供的问答数据处理方法的流程示意图。如图1所示,本实施例提供的所述方法包括:
201、接收用户输入的本次提问数据。
202、从所述本体知识库中,获取与所述本次提问数据相关的至少一个样本本体对应的至少一组多类型知识。
203、在所述至少一组多类型知识中检索应答数据。
204、根据检索结果向所述用户输出应答反馈。
上述201中,本次提问数据可以是用户通过人机交互界面(例如图5所示的界面)输入的问句文本或基于问句语音生成的。其中,基于问句语音生成过程可具体为:采用语音识别技术对问句语音进行识别,根据识别结果生成文字文本,然后将生成的文字文本作为本次提问数据。
上述202中,获取多类型知识之前可先对用户输入的本次提问数据进行数据处理,这样便于在本体知识库中查找与其相关的样本本体。一种可实现的方式是,对本次提问数据进行本体抽取,以得到至少一个实例本体;例如对提问数据“淘宝账号如何修改”进行本体抽取,抽取得到“淘宝账号”和“修改”两个实例本体。
具体实施时,本体抽取过程如下:
S11、对本次提问数据进行分词,得到多个分词。
S12、对得到的所述多个分词进行归一化处理,以得到至少一个实例本体。
其中,对本次提问数据进行分词的技术属于自然语言处理技术领域。对于一个语句,人类可以通过自己的知识来判断哪些是实词、哪些是虚词,进而理解其含义。但对于机器处理来说,则需要进行分析。分词的过程可采用现有技术中的分词算法对本次提问数据进行分隔,以保留具有本体语义的分词。其中,分词算法可以采用现有的基于字符串匹配的分词方法、基于理解的分词方法或基于统计的分词方法等等,本申请实施例对此不作具体限定。
此外,相同意思的提问语句,不同用户会采用不同的句式和不同的词汇进行表达。例如,用户1提问“怎么可以退款?”;用户2提问“退款方式是?”;用户3提问“如何退钱”;这三种提问所要表达的意思相同,但通过分词得到的多个分词是不一样的。此时,为了统一用词方便后续检索,需要将不同分词进行归一化处理。其中,归一化处理的过程简单理解就是将具有相同表达的分词转换为同一的实例本体。例如,可采用查表的方式来获取各分词对应的实例本体。
本体知识库中与本次提问数据相关的样本本体可以是:与从本次提问数据抽取出的实例本体相同的样本本体,或是与从本次提问数据抽取出实例本体相似的样本本体(即实例样本与样本本体为同义词)。
当然,在本体知识库中也可能查找不到与从本次提问数据抽取出的实例本体相同或相似的样本本体的情况。此时,本体知识库中与本次提问数据相关的样本本体可以为:与前次提问数据相关的样本数据。其中,前次提问数据与本次提问数据为同一会话中出现的两次提问,该前次提问数据可以是早于本次提问数据之前的前一个提问数据,也可以是前两个提问数据。
当在本体知识库中不能查找到与从本次提问数据抽取出的实例本体相同或相似的样本本体时,代表用户继续在说同一话题,则可继续使用与前次提问数据有关的至少一个样本本体。例如上述列举的示例:用户提问1:淘宝账号如何修改?用户紧接着提问2:能够修改几次?对于提问2来说,在本体知识库中是找不到与从提问2抽取出的实例本体相同或相似的样本本体的,因此,提问2还可继续使用与提问1有关的至少一个样本本体,如“淘宝账号”。
上述内容是针对本次提问数据为非首次提问的情况,若本次提问数据为首次提问,且在本体知识库中不能查找到与从本次提问数据抽取出的实例本体相同或相似的样本本体,则可直接向用户反馈无答案;或者基于本次提问数据推测用户意图,并根据用户意图为用户推荐至少一个样本本体供用户选择。例如,应答单元可向交互单元发送携带有为用户推荐的至少一个样本本体的反问应答;交互单元响应于用户针对所述反问应答中提供的至少一个样本本体的选择事件,将所述选择事件指向的至少一个样本本体反馈至应答单元,应答单元可将用户通过选择事件确认选择的至少一个样本本体作为与本次提问数据相关的至少一个样本本体。
具体实施时,用户可通过交互界面或交互接口触发选择事件。例如,用户可通过触控交互设备(如手机、台式电脑、平板电脑等)的触摸屏或使用鼠标/键盘点选目标样本本体来触发选择事件;或者用户通过交互设备(如智能音箱、手机)提供的音频接口输入音频信息来触发选择事件等等,本发明实施例对此不作具体限定。
综上,本实施例提供的202可具体采用如下步骤实现:
2021、对所述本次提问数据进行本体抽取,得到至少一个实例本体。
2022、在所述本体知识库中,查找与所述至少一个实例本体相同或相似的至少一个样本本体。
2023、若查找到,则从所述本体知识库中获取所述至少一个样本本体对应的至少一组多类型知识。
2024、若未查找到,则根据所述本次提问数据的属性信息确定所述至少一个样本本体,并从所述本体知识库中获取所述至少一个样本本体对应的至少一组多类型知识。
其中,上述2024中本次提问数据的属性信息可包括:本次提问数据的问答标识(ChatID)或会话标识(SessionID)。SessionID表示用户进入一个会话。当用户退出自动问答界面再次进入时,会重新生成另外一个唯一的seesionID来表示是一个新的会话。ChatID标示一次会话中的每一个提问数据。ChatID可以是一个自增的数字,ChatID值越大,表示提问数据的顺序越靠后。若每个会话中的各提问数据的ChatID都是从预设初始值开始递增,则可直接根据ChatID,确定本次提问数据是否为首次提问;否则,可通过查询SessionID的会话内是否有前次提问数据来确定本次提问数据是否为首次提问。
上述203中在多类型知识中检索应答数据可采用如下两种方式实现:
方式一、先在一种类型知识中检索应答数据,若检索到应答数据,则将该应答数据作为检索结果;若未检索到应答数据,则在另一种类型知识中检索应答数据,直至所有类型的应答数据均参与检索为止。具体步骤如下:
2031、在至少一组第一类型知识中检索应答数据。
2032、若检索到应答数据,则将所述应答数据作为所述检索结果。
2033、若未检索到应答数据,则在至少一组第二类型知识中检索应答数据,直至所述至少一组多类型知识中的所有类型知识均参与检索为止。
其中,多种类型知识的选择先后可随机,或者按照预置的类型优先级来选择先后。即按照类型优先级,顺序地从所述至少一组多类型知识中选取参与检索的知识类型。假设多种类型知识包括三种类型知识,分别为:结构化的图谱知识、半结构化的问答对知识和非结构化的文本知识。预置的类型优选级为:半结构化的问答对知识、结构化的图谱知识、非结构化的文本知识。相应的,上述方式可具体为:
先在至少一组半结构化的问答对知识中检索应答数据;
若在至少一组半结构化的问答对知识中检索到应答数据,则将所述应答数据作为所述检索结果;否则,再在至少一组结构化的图谱知识中检索应答数据;
若在至少一组结构化的图谱知识中检索到应答数据,则将所述应答数据作为检索结果;否则,在至少一组非结构化的文本知识中检索应答数据;
若在至少一组结构化的图谱知识中检索到应答数据,则将应答数据作为检索结果;否则,将无答案作为所述检索结果。
这里需要说明的是:本申请中提及的检索到应答数据,是指检索到的应答数据与本次提问数据的相关度满足相关度阈值的应答数据。其中,本申请实施例对相关度阈值的取值不作具体限定。
方式二、每种类型知识都进行应答数据检索,若检索出两个或两个以上的应答数据,则通过计算每个应答数据与本次提问数据的相关度,将相关度高的应答数据作为检索结果。具体步骤如下:
2031’、分别在所述至少一组多类型知识中检索应答数据。
2032’、若检索到两个或两个以上的应答数据,则计算所述两个或两个以上的应答数据分别与所述本次提问数据的相关度。
2033’、根据所述相关度,从所述两个或两个以上的应答数据中选取作为所述检索结果的至少一个应答数据。
其中,应答数据与提问数据之间的相关度可采用现有技术的相应算法实现,本申请实施例对此不作具体限定。
这里还需要说明的是:上述在一种类型知识中检索应答数据的检索方法可参见现有技术中的相关内容,本申请检索方法不作具体限定。
在一种可实现的实施例中,上述2033’可具体采用如下方法实现:从所述两个或两个以上的应答数据中,选取相关度最高的应答数据作为所述检索结果。
在另一种可实现的实施例中,上述2033’还可具体采用如下方法实现:从所述两个或两个以上的应答数据中,选取相关度最高的应答数据作为第一应答,选取相关度次于所述最优应答的至少一个应答数据作为第二应答,将所述第一应答和所述第二应答作为所述检索结果。
本申请实施例提供的技术方案中,本体知识库为应答检索提供的多种类型的知识,不仅改进了现有技术知识类型单一的问题,且各类型知识能形成一种互补协作关系,在一种类型知识较难检索到应答数据时可更换另一类型的知识检索,这将有助于降低应答的无答案率,同时还能保证较高的准确率,提高用户的自动问答体验。
进一步的,由于本申请实施例提供的技术方案是在至少一组多类型知识中检索应答数据,很有可能出现检索到的应答数据为至少两个,且至少两个应答数据源自不同组的第一类型知识(即跨样本本体)的情况。例如,检索到的应答数据为两个,其中一个应答数据是从样本本体1对应的多类型知识中检索到的,另一个应答数据是从样本本体2对应的多类型知识中检索到的。为此,本申请实施例提供的所述方法,还可包括如下步骤:
若检索到的所述应答数据为至少两个,且至少两个所述应答数据源自不同组的第一类型知识时,判断至少两个所述应答数据是否相同或相似;
若相同或相似,则合并至少两个所述应答数据;
若不相同或相似,则向所述用户发送携带有至少两个所述应答数据各自对应样本本体的第一反问信息,根据所述用户针对所述第一反问信息执行的选择事件,将所述选择事件指向的至少一个样本本体对应的应答数据作为检索结果。
这里需要补充的是:本申请实施例提供的方法还可包括:将所述选择事件指向的至少一个样本本体记录为与所述本次提问数据相关的样本本体。之所以增加该步骤,其目的是为了后续提问数据检索时出现从本体知识库中查找不到与从后续提问数据抽取的本体本体相同或相似的样本本体作准备的。
上述是检索到至少两个应答数据时的一种可实现处理方式,即将多个应答数据进行合并或基于用户的选择事件从中选择至少一个应答数据作为检索结果。在另一种可实施的方式中,可将检索到的至少两个应答数据均作为检索结果,也可从至少两个应答数据中选择一个作为第一应答(可理解为优选应答)选择至少一个作为第二应答(可简单理解为备选应答)。
其中,第一应答和第二应答可同时展示给用户,也可将第一应答采用常规展示方式进行展示,而第二应答展示缩略的展示在第一应答的周围。
下面以检索到3个应答数据为例,对上述内容进行说明。
假设3个应答数据分别为:应答数据A、应答数据B和应答数据C,3个应答数据分别与用户本次提问数据的相似度为:a>b>c。
首先,从三个应答数据A、应答数据B和应答数据C,选择与用户本次提问数据的相似度最高的应答数据A为第一应答,将相似度次于应答数据A的应答数据B和/或应答数据C作为第二应答。
然后,将第一应答和第二应答作为检索结果反馈给用户。
交互单元接收到该检索结果后可将第一应答和第二应答按照先后顺序显示在应答界面中,如图5所示;或者,如图6所示,将第一应答数据展现在应答界面中,第二应答隐藏在下拉框中,响应于用户对下拉控件(如图6中的用户点击“答案不满意点击这里可以查看更多”)的触控操作,显示第二应答,即应答数据A和/或应答数据C。其中,下拉控件可展示线第一应答显示区域周围,比如,在第一应答显示区域的左下角,正下方或最右方(如图6所示)等等,本申请实施例对此不作具体限定。
进一步的,本申请实施例中提供的所述本体知识库中还可包括反问的结构化知识点。该反问的结构化知识点可作为一种应答数据。即本申请实施例提供的所述方法还可包括:
205、所述检索结果中包含有反问的结构化知识点时,向所述用户发送基于所述反问的结构化知识点生成的第二反问信息。
206、接收用户针对所述第二反问信息反馈的反问应答。
207、根据所述反问应答,重新定位所述本次提问数据。
208、基于重定位的所述本次提问数据,向所述用户发送推荐的至少一个应答数据或再次在所述本体知识库中进行检索。
通过设置所述反问的结构化知识点,自动问答***即可基于该反问的结构化知识点主动向用户发起反问,以与用户互动收集更多的信息以重新定位本次提问数据,有助于给出更准确的答案。
假设用户提问“账号被锁定了还能改吗?”基于该提问数据检索到的检索结果中包含有反问的结构化知识点,如淘宝账号被锁定、商户被处罚锁定;此时可向用户发送基于该反问的结构化知识点生成“是淘宝账号被锁定还是商户被处罚锁定”的第二反问信息。用户的反问应答为“淘宝账号被锁定”;则可结合“淘宝账号被锁定”“账号被锁定了还能改吗?”重新定位用户的提问。基于重新定位的用户提问,可直接向所述用户发送推荐的至少一个应答数据或再次在所述本体知识库中进行检索。
图7示出了本申请一实施例提供的自动问答方法的流程示意图。如图7所示,本实施例提供的自动问答方法包括:
301、接收用户输入的本次提问数据。
302、对本次提问数据进行本体抽取。
303、若抽取出的实例本体为一个,且在所述本体知识库中包含有与该一个实例本体相同或相似的一个样本本体A,则在该样本本体A对应的一组多类型知识中检索应答数据,并将样本本体A作为上文本体进行存储。
304、若抽取出的实例本体为多个,且在所述本体知识库中仅有一个样本本体B与该多个实例本体中的一个实例本体相同或相似,则在该样本本体B对应的一组多类型知识中检索应答数据,并将样本本体B作为上文本体进行存储。
305、若抽取出的实例本体为多个,且在所述本体知识库中有多个样本本体C与该多个实例本体中的相应数量的实例本体相同或相似,则在该多个样本本体C各自对应的一组多类型知识中检索应答数据,并清空已存储的上文本体。
306、若抽取的实例本体在所述本体知识库中没有与其相同或相似的样本本体,则获取与前次提问数据相关的至少一个样本本体(即上文本体),并在该至少一个样本本体对应的至少一组多类型知识中检索应答数据。
其中,对于306中所示的情况,上文本体不变。
这里需要说明的是:本实施例中增加了一个上文本体的参数。这个上文本体伴随一个会话整个过程,即在一个会话被启动时被生成,会话结束(即用户关掉问答界面)时被删除。该上文本体的参数就是为了存储与前次提问数据相关的至少一个样本本体的。本实施例中设置上文本体的目的就是为了后续提问数据检索时出现从本体知识库中查找不到与从后续提问数据抽取的本体本体相同或相似的样本本体作准备的。上述305步骤所示的情况中将已存储的上文本体进行清除的目的是因为多个样本本体C对于后续提问数据检索时出现上述情况(即体知识库中有多个样本本体与对应数量的多个实例本体相同或相似)本时的作用不大,因此需要用户协助从多个样本本体C中选择或对选择的多个样本本体C进行拼接等操作,将用户选择的或拼接后的样本本体存为上文本体。即上述实施例提供的所述方法,还包括:
若在该多个样本本体C各自对应的一组多类型知识中检索出的应答数据为至少两个,至少两个应答数据不相同或不相似且源自不同组的多类型知识,则向所述用户发送携带有所述至少两个应答数据各自对应样本本体的第一反问信息,根据所述用户针对所述第一反问信息执行的选择事件,将所述选择事件指向的至少一个样本本体对应的应答数据作为检索结果,并将已清除的所述上文本体更新为所述选择事件指向的至少一个样本本体C。
这里还需要补充的是:对于上述步骤306中上文本体不变的情况,基于上文本体对应的至少一组多类型知识对本次提问数据进行检索,若检索不到应答数据,可输出无答案,并记录一次检索失败;若在用户再次提问数据时本体知识库中还是没有与再次提问数据相关的样本本体,则可继续基于上文本体对应的至少一组多类型知识检索应答数据,若还是检索不到,可继续输出无答案,并再次记录一次检索失败;若基于上文本体检索失败两次,则需清空上文本体。出现两次失败清空上文本体,说明用户的问题已经偏离话题,若继续使用上文本体对应的至少一组多类型知识进行检索,只增加无答案的概率。
有关上述301~306的内容还可参见上述实施例,此处不再详细赘述。
本申请实施例提供的技术方案中,本体知识库为应答检索提供的多种类型的知识,不仅改进了现有技术知识类型单一的问题,且各类型知识能形成一种互补协作关系,在一种类型知识较难检索到应答数据时可更换另一类型的知识检索,这将有助于降低应答的无答案率,同时还能保证较高的准确率,提高用户的自动问答体验。
图8示出了本申请实施例提供的自动问答方法中在多组半结构化的问答对知识中检索应答数据的流程示意图。如图8所示,包括:
401、计算所述至少一组半结构化的问答对知识中的所有问题分别与所述本次提问数据的相似度。
402、为所述至少一组半结构化的问答对知识中的每个问题拼接主语,并计算拼接主语后的所有问题分别与所述本次提问数据的相似度。
403、将所有问题及所有拼接主语后的问题中与所述本次提问数据的相似度超过相似度阈值,且为最大值的至少一个问题和/或至少一个拼接主语后的问题对应的答案作为检索到的所述应答数据。
其中,相似度计算可具体参见现有技术中的相关内容,此处不再赘述。
上述402中为问题拼接的主语可以是预先设置的,也可以是***根据本次提问数据推理分析出的,具体的本实施例对此不作限定。
进一步的,当所有问题及所有拼接主语后的问题与本次提问数据的相似度均未超过相似度阈值时,应答数据为无答案。
图9示出了本申请实施例提供的自动问答方法中在至少一组结构化的图谱知识中检索应答数据的流程示意图。如图9所示,包括:
501、基于所述本次提问数据生成语义链,所述语义链信息中包含有至少两个实例本体以及两相邻实例本体之间的关系信息。
502、在至少一组结构化的图谱知识中查找与第一个实例本体匹配的第一语义节点。
503、利用所述第一实例本体与第二实例本体之间的关系信息,在至少一组结构化的图谱知识中查找第二语义节点;继续采用本步骤查找第三语义节点直至所有实例本体对应的语义节点均查找到为止,将最终查找到的语义节点作为所述应答数据。
为了说明的便利,如图10所示,以高校老师为例给出了图谱知识的示例的关系图。其中,“教育”、“大学”、“李**”、“**大学”、“C学院”、“D专业”是知识点,这些知识点通过“教授”、“学校”、“任职”、“院系”、“专业”等关系词的连接而形成知识关系图。假设用户的提问数据为“**大学的李**老师是哪个学院的?”,经过实体抽取处理后得到“**大学/李**/学院”,以及“**大学/李**”之间关系信息为任教,“李**/学院”之间关系信息为院系。在采用上述方法进行知识推理时,在图10所示的图谱知识中找到对应于实例本体“**大学”的第一个语义节点,然后根据实例本体“**大学”和实例本体“李**”的关系信息“任教”找到第二个语义节点;再根据实例本体“李**”和实例本体“学院”的关系信息“院系”找到第三个语义节点,至此所有实例本体均找到对应的语义节点,将第三个语义节点“C学院”作为应答数据。
图11示出了本申请实施例提供的自动问答方法中在至少一组非结构化的文本知识中检索应答数据的流程示意图。如图11所示,包括:
601、在至少一组非结构化的文本知识中,获取与本次提问数据相关的目标文档。
602、根据本次提问数据中各问题分词与目标文档中各文档分词之间的关联度,从目标文档中提取可作为应答数据的文档片段。
上述601和602所述的步骤可采用机器阅读模型来实现。机器阅读模型可以有多种实现方式,本申请一示例性实施例给出机器阅读模型的一种实现方式。如图12所示,该机器阅读模型是一个深度神经网络模型,例如可以是循环神经网络(RecurrentneuralNetwork,RNN)模型,共包含四层。其中,第一层是输入层(Input Layer),第二层是编码层(Encoding Layer),第三层是关注层(Attention Layer),第四层是输出层(OutputLayer)。
其中,可以经过模型训练得到图12所示机器阅读模型。在模型训练阶段,需要将提问数据、与提问数据相关可提供搜索答案的文档(即目标文档)以及目标文档中对应的答案内容作为输入送入输入层。在得到图12所示机器阅读模型之后,即可进入在线使用阶段。
在模型使用阶段,需要将提问数据中的问题分词以及目标文档中的文档分词作为输入送入输入层。如图12所示,输入层包括两部分,一部分是需要输入的问题分词,一部分是需要输入的文档分词。无论是问题分词还是文档分词,每个分词对应一个输入项,记为词条(term)。每个term主要由该term对应分词的词向量(Word Embedding)、字向量(Character Embedding)以及环绕特征(Surround Features)连接组成。词向量、字向量是数字化的,这里使用的Surround Features也采用二进制(binary)特征,以便实现数字化。可选地,这里每个term对应的Surround Features可以包括该term对应分词是否在提问数据或目标文档中出现的特征,还可以包括该term的词频-倒排文档频率(TermFrequency–InverseDocumentFrequency,TFIDF)权重(weighted)。
如图12所示,输入层的输出将作为编码层的输入。在编码层,会对每个分词对应的term进行编码从而输出每个分词的编码向量。可选地,编码层可以采用LSTM或GRU或多层CNN实现,但不限于此。
如图12所示,编码层的输出将作为关注层的输入。在机器阅读模型中,关注层是一种模仿人脑注意力机制,找到图像或文本中对结果产生最大影响部分的机制在关注层,可以将各问题分词的编码向量与各文档分词的编码向量进行相关计算,从而得到各问题分词与各文档分词之间的关联度,以便于输出层能够找到目标文档中对提问数据影响最大的文档分词。可选的,这里采用的相关计算可以是直接将两个编码向量进行点乘,将点乘结果作为两个编码向量之间的相似度;或者,也可以计算两个编码向量的明氏距离,将明氏距离作为两个编码向量之间的相似度;或者,也可以计算两个编码向量中的最大值之间的差异,将该差异即作为两个编码向量之间的相似度;或者,也可以计算两个编码向量中的最小值之间的差异,将该差异即作为两个编码向量之间的相似度。
如图12所示,关注层的输出将作为输出层的输入。如图12所示,纵向上,输出层包括两个子层,分别是计算子层和选择子层;在横向上,输出层包括两路计算节点,一路是针对答案开始点的计算节点,一路是针对答案结束点的计算节点。在计算子层,将针对答案开始点的计算节点记为Start_Score,将针对答案结束点的计算节点记为End_Score;在选择子层,将针对答案开始点的计算节点记为Start_Mask,将针对答案结束点的计算节点记为End_Mask。如图12所示,在计算子层,计算节点Start_Score的输出结果除了送入计算节点Start_Mask之外,还需要将其输出结果送入计算节点End_Score。
计算节点Start_Score主要根据关注层输出的各问题分词与各文档分词之间的关联度,计算各文档分词作为答案起始点的概率。计算节点End_Score主要根据计算节点Start_Score输出的各文档分词作为答案起始点的概率以及关注层输出的各问题分词与各文档分词之间的关联度,计算各文档分词作为答案结束点的概率。计算节点Start_Mask和计算节点End_Mask主要是对每个term进行输出加权、归一化等各种处理,目的是控制输出方式,以便于支持结构化输出或者支持按需输出。
其中,基于图12所示机器阅读模型进行在线问答的一种流程如图13所示,包括以下操作:
问题接收:主要是接收用户发送的提问数据。
文档定位:主要是根据提问数据,从业务场景相关的文档中确定可以提供答案的目标文档。可选地,可以使用但不限于:文本分类、文本检索或者问题模板拦截定位目标文档。在文档定位过程中,若有必要,可以对文档进行缓存。
预处理:主要是对目标文档和提问数据进行预处理,以获得符合图12所示机器阅读模型的输入层需求的向量化信息。这里的预处理包括针对提问数据和针对目标文档的预处理过程相类似,主要包括分词、提取语言特征和向量化。可选地,对目标文档进行预处理过程中,考虑到文档可能伴有多级段落、特殊标签等结构信息,可以进行格式化处理。
例如,以提问数据为“华为手机怎么样”为例,分词结果可以包括三个问题分词,分别是“华为”、“手机”、“怎么样”。对这三个问题分词,可以分别确定其对应的词向量和字向量。以“手机”为例,可以确定“手机”对应的向量表达方式,以及“手”和“机”对应的向量表达方式。另外,对这三个分词,可以分别统计其语言特征并进行向量化。以“手机”为例,其词性是名词,在提问数据中出现,在提问数据中属于主语,假设统计其TFIDF为0.05。对“华为”、“手机”和“怎么样”三个问题分词来说,可以将其词向量、字向量以及特征向量连接起来形成对应的term。对文档分词可类似处理。
模型调用:主要是调用图12所示机器阅读模型。将上述形成的各分词的向量化信息分别作为输入送入输入层,各层依次进行处理,直至输出层输出各文档分词作为答案起始点和答案结束点的概率。
答案提取:主要是根据输出层输出各文档分词作为答案起始点和答案结束点的概率,从目标文档中提取可以作为答案的文档片段,并进入后处理阶段。
后处理:主要是对所提取的文档片段进行后处理,以提高可读性。
图14示出了本申请另一实施例提供的自动问答方法的流程示意图。如图14所示,包括:
701、响应于用户触发的提问事件,获取所述用户的本次提问数据。
702、将所述本次提问数据发送至服务端。
703、输出所述服务端基于所述本次提问数据发送的应答反馈。
其中,所述应答反馈是根据检索结果生成的,所述检索结果是采用至少一种应答检索模式,在本体知识库中与所述本次提问数据相关的至少一个样本对应的至少一组多类型知识中检索得到的。
这里需要说明的是:上述内容中所述检索结果的生成可参见上述各实施例中的相关内容,此处不再详细赘述。
上述701中用户可通过自动问答界面或问答接口触发提问事件。例如,用户可通过在自动问答界面上输入提问数据并在点击发送后触发所述提问事件,或者,用户通过触控自动问答界面上的语音控件并说出提问语句后触发所述提问事件;又或者,用户通过触控智能问答设备(如智能音箱)提供的音频采集控件并说出提问语句后触发所述提问事件等等,本发明实施例对此不作具体限定。
上述703中输出应答反馈可具体为:以文本的方式在所述问答界面中显示所述应答反馈;或者以语音的方式输出所述应答反馈,等等,本申请实施例对此不作具体限定。
本申请实施例提供的技术方案中,本体知识库为应答检索提供的多种类型的知识,不仅改进了现有技术知识类型单一的问题,且各类型知识能形成一种互补协作关系,在一种类型知识较难检索到应答数据时可更换另一类型的知识检索,这将有助于降低应答的无答案率,同时还能保证较高的准确率,提高用户的自动问答体验。
在本申请的说明书、权利要求书及上述附图中描述的一些流程中,包含了按照特定顺序出现的多个操作,这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如201、202等,仅仅是用于区分各个不同的操作,序号本身不代表任何的执行顺序。另外,这些流程可以包括更多或更少的操作,并且这些操作可以按顺序执行或并行执行。需要说明的是,本文中的“第一”、“第二”等描述,是用于区分不同的消息、设备、模块等,不代表先后顺序,也不限定“第一”和“第二”是不同的类型。
图15示出了本申请一实施例提供的自动问答装置的结构示意图。如图15所示,本实施例提供的所述装置包括:
接收模块801用于接收用户输入的本次提问数据;
第一获取模块802用于从所述本体知识库中,获取与所述本次提问数据相关的至少一个样本本体对应的至少一组多类型知识;
检索模块803用于在所述至少一组多类型知识中检索应答数据;
反馈模块804用于根据检索结果向所述用户输出应答反馈。
进一步的,所述第一获取模块802还用于对所述本次提问数据进行本体抽取,得到至少一个实例本体;在所述本体知识库中,查找与所述至少一个实例本体相同或相似的至少一个样本本体;若查找到,则从所述本体知识库中获取所述至少一个样本本体对应的至少一组多类型知识;若未查找到,则根据所述本次提问数据的属性信息确定所述至少一个样本本体,并从所述本体知识库中获取所述至少一个样本本体对应的至少一组多类型知识。
进一步的,所述第一获取模块802还用于根据所述本次提问数据的属性信息,确定所述本次提问数据是否为首次本次提问;若为非首次提问,则获取与前次提问数据相关的所述至少一个样本本体。
进一步的,所述检索模块803还用于在至少一组第一类型知识中检索应答数据;若检索到应答数据,则将所述应答数据作为所述检索结果;若未检索到应答数据,则在至少一组第二类型知识中检索应答数据,直至所述至少一组多类型知识中的所有类型知识均参与检索为止。
再进一步的,所述装置还包括:选取模块用于按照类型优先级,顺序地从所述至少一组多类型知识中选取参与检索的知识类型。
进一步的,所述第一类型知识为半结构化的问答对知识。上述的检索模块803还用于计算所述至少一组半结构化的问答对知识中的所有问题分别与所述本次提问数据的相似度;为所述至少一组半结构化的问答对知识中的每个问题拼接主语,并计算拼接主语后的所有问题分别与所述本次提问数据的相似度;将所有问题及所有拼接主语后的问题中与所述本次提问数据的相似度超过相似度阈值,且为最大值的至少一个问题和/或至少一个拼接主语后的问题对应的答案作为检索到的所述应答数据。
进一步的,所述装置还可包括:
判断模块,用于若检索到的所述应答数据为至少两个,且至少两个所述应答数据源自不同组的第一类型知识时,判断至少两个所述应答数据是否相同或相似;
合并模块,用于若相同或相似,则合并至少两个所述应答数据;
所述反馈模块,还用于若不相同或相似,则向所述用户发送携带有至少两个所述应答数据各自对应样本本体的第一反问信息,根据所述用户针对所述第一反问信息执行的选择事件,将所述选择事件指向的至少一个样本本体对应的应答数据作为检索结果。
再进一步的,所述装置还包括:记录模块用于将所述选择事件指向的至少一个样本本体记录为与所述本次提问数据相关的样本本体。
进一步的,所述检索模块803还用于分别在所述至少一组多类型知识中检索应答数据;若检索到两个或两个以上的应答数据,则计算所述两个或两个以上的应答数据分别与所述本次提问数据的相关度;根据所述相关度,从所述两个或两个以上的应答数据中选取作为所述检索结果的至少一个应答数据。
进一步的,上述检索模块803还可用于:
从所述两个或两个以上的应答数据中,选取相关度最高的应答数据作为所述检索结果;或者
从所述两个或两个以上的应答数据中,选取相关度最高的应答数据作为第一应答,选取相关度次于所述最优应答的至少一个应答数据作为第二应答,将所述第一应答和所述第二应答作为所述检索结果。
进一步的,所述装置还可包括:
所述反馈模块804还用于所述检索结果中包含有反问的结构化知识点时,向所述用户发送基于所述反问的结构化知识点生成的第二反问信息;
所述接收模块801,还用于接收用户针对所述第二反问信息反馈的反问应答;
重定位模块,用于根据所述反问应答,重新定位所述本次提问数据;
所述反馈模块804还用于基于重定位的所述本次提问数据,向所述用户发送推荐的至少一个应答数据;或者所述检索模块还用于基于重定位的所述本次提问数据,再次在所述本体知识库中进行检索。
进一步的,所述多种类型知识包括:结构化的图谱知识、半结构化的问答对知识和/或非结构化的文本知识。
这里需要说明的是:上述实施例提供的自动问答装置可实现上述各方法实施例中描述的技术方案,上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容,此处不再赘述。
本申请实施例提供的技术方案中,本体知识库为应答检索提供的多种类型的知识,不仅改进了现有技术知识类型单一的问题,且各类型知识能形成一种互补协作关系,在一种类型知识较难检索到应答数据时可更换另一类型的知识检索,这将有助于降低应答的无答案率,同时还能保证较高的准确率,提高用户的自动问答体验。
图16示出了本申请另一实施例提供的自动问答装置的结构示意图。如图16所示,本实施例提供的所述装置包括:
第二获取模块901用于响应于用户触发的提问事件,获取所述用户的本次提问数据;
发送模块902用于将所述本次提问数据发送至服务端;
输出模块903用于输出所述服务端基于所述本次提问数据发送的应答反馈;
其中,所述应答反馈是根据检索结果生成的,所述检索结果是采用至少一种应答检索模式,在本体知识库中与所述本次提问数据相关的至少一个样本对应的至少一组多类型知识中检索得到的。
进一步的,所述输出模块903还用于以文本的方式在所述问答界面中显示所述应答反馈;或者以语音的方式输出所述应答反馈。
这里需要说明的是:上述实施例提供的自动问答装置可实现上述各方法实施例中描述的技术方案,上述各模块或单元具体实现的原理可参见上述各方法实施例中的相应内容,此处不再赘述。
本申请实施例提供的技术方案中,本体知识库为应答检索提供的多种类型的知识,不仅改进了现有技术知识类型单一的问题,且各类型知识能形成一种互补协作关系,在一种类型知识较难检索到应答数据时可更换另一类型的知识检索,这将有助于降低应答的无答案率,同时还能保证较高的准确率,提高用户的自动问答体验。
图17示出了本申请一实施例提供的服务端设备的结构示意图。如图17所示,所述服务端设备包括:第一存储器1001、第一处理器1002以及第一通信组件1003;
第一存储器1001,用于存储计算机程序。除此之外,第一存储器1001,还被配置为存储其它各种数据以支持在服务端设备上的操作。这些数据的示例包括用于在服务端设备上操作的任何应用程序或方法的指令,消息,图片,视频等。
第一存储器1001可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
第一通信组件1003用于数据传输。
第一处理器1002,与存储器1001耦合,用于执行所述第一存储器1001中存储的所述程序,以用于:
通过所述第一通信组件1001接收用户输入的本次提问数据;
从所述本体知识库中,获取与所述本次提问数据相关的至少一个样本本体对应的至少一组多类型知识;
在所述至少一组多类型知识中检索应答数据;
根据检索结果,通过所述第一通信组件1001向所述用户输出应答反馈。
进一步的,第一处理器1002还可用于:对所述本次提问数据进行本体抽取,得到至少一个实例本体;在所述本体知识库中,查找与所述至少一个实例本体相同或相似的至少一个样本本体;若查找到,则从所述本体知识库中获取所述至少一个样本本体对应的至少一组多类型知识;若未查找到,则根据所述本次提问数据的属性信息确定所述至少一个样本本体,并从所述本体知识库中获取所述至少一个样本本体对应的至少一组多类型知识。
进一步的,第一处理器1002还可用于:根据所述本次提问数据的属性信息,确定所述本次提问数据是否为首次本次提问;若为非首次提问,则获取与前次提问数据相关的所述至少一个样本本体。
进一步的,第一处理器1002还可用于:在至少一组第一类型知识中检索应答数据;若检索到应答数据,则将所述应答数据作为所述检索结果;若未检索到应答数据,则在至少一组第二类型知识中检索应答数据,直至所述至少一组多类型知识中的所有类型知识均参与检索为止。
进一步的,第一处理器1002还可用于:按照类型优先级,顺序地从所述至少一组多类型知识中选取参与检索的知识类型。
进一步的,当第一类型知识为半结构化的问答对知识时,第一处理器1002还可用于:计算所述至少一组半结构化的问答对知识中的所有问题分别与所述本次提问数据的相似度;为所述至少一组半结构化的问答对知识中的每个问题拼接主语,并计算拼接主语后的所有问题分别与所述本次提问数据的相似度;将所有问题及所有拼接主语后的问题中与所述本次提问数据的相似度超过相似度阈值,且为最大值的至少一个问题和/或至少一个拼接主语后的问题对应的答案作为检索到的所述应答数据。
进一步的,第一处理器1002还可用于:若检索到的所述应答数据为至少两个,且至少两个所述应答数据源自不同组的第一类型知识时,判断至少两个所述应答数据是否相同或相似;若相同或相似,则合并至少两个所述应答数据;若不相同或相似,则向所述用户发送携带有至少两个所述应答数据各自对应样本本体的第一反问信息,根据所述用户针对所述第一反问信息执行的选择事件,将所述选择事件指向的至少一个样本本体对应的应答数据作为检索结果。
进一步的,第一处理器1002还可用于:将所述选择事件指向的至少一个样本本体记录为与所述本次提问数据相关的样本本体。
进一步的,第一处理器1002还可用于:分别在所述至少一组多类型知识中检索应答数据;若检索到两个或两个以上的应答数据,则计算所述两个或两个以上的应答数据分别与所述本次提问数据的相关度;根据所述相关度,从所述两个或两个以上的应答数据中选取作为所述检索结果的至少一个应答数据。
进一步的,第一处理器1002还可用于:从所述两个或两个以上的应答数据中,选取相关度最高的应答数据作为所述检索结果;或者
从所述两个或两个以上的应答数据中,选取相关度最高的应答数据作为第一应答,选取相关度次于所述最优应答的至少一个应答数据作为第二应答,将所述第一应答和所述第二应答作为所述检索结果。
进一步的,第一处理器1002还可用于:所述检索结果中包含有反问的结构化知识点时,向所述用户发送基于所述反问的结构化知识点生成的第二反问信息;接收用户针对所述第二反问信息反馈的反问应答;根据所述反问应答,重新定位所述本次提问数据;基于重定位的所述本次提问数据,向所述用户发送推荐的至少一个应答数据或再次在所述本体知识库中进行检索。
进一步,如图17所示,服务端设备还可包括:第一显示器1004、第一电源组件1005、第一音频组件1006等其它组件。图17中仅示意性给出部分组件,并不意味着服务端设备只包括图17所示组件。
相应地,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,所述计算机程序被计算机执行时能够实现上述各实施例中与服务器相关的方法步骤或功能。
本申请实施例提供的技术方案中,本体知识库为应答检索提供的多种类型的知识,不仅改进了现有技术知识类型单一的问题,且各类型知识能形成一种互补协作关系,在一种类型知识较难检索到应答数据时可更换另一类型的知识检索,这将有助于降低应答的无答案率,同时还能保证较高的准确率,提高用户的自动问答体验。
图18示出了本申请一实施例提供的客户端设备的结构示意图。如图18所示,所述客户端设备包括:第二存储器1101、第二处理器1102及第二通信组件1103;
所述第二存储器1101,用于存储程序。除此之外,存储器1101,还被配置为存储其它各种数据以支持在终端设备上的操作。这些数据的示例包括用于在终端设备上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。
存储器1101可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
所述第二通信组件1103用于数据传输。
所述第二处理器1102,与所述第二存储器,101耦合,用于执行所述第二存储器1101中存储的所述程序,以用于:
响应于用户触发的提问事件,获取所述用户的本次提问数据;
通过所述第二通信组件将所述本次提问数据发送至服务端;
输出通过所述第二通信组件1103接收到的所述服务端基于所述本次提问数据发送的应答反馈;
其中,所述应答反馈是基于检索结果生成的,所述检索结果是在本体知识库中与所述本次提问数据相关的至少一个样本对应的至少一组多类型知识中检索得到的。
进一步的,所述第二处理器1102还可用于:以文本的方式在所述问答界面中显示所述应答反馈;或者以语音的方式输出所述应答反馈。
进一步,如图18所示,客户端设备还可包括:第二显示器1104、第二电源组件1105、第二音频组件1106等其它组件。
相应地,本申请实施例还提供一种存储有计算机程序的计算机可读存储介质,所述计算机程序被计算机执行时能够实现上述各实施例中与服务器相关的方法步骤或功能。
在图17和图18中的通信组件,可被配置为便于通信组件所属设备和其他设备之间有线或无线方式的通信。通信组件所属设备可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在图17和图18中的显示器,可以包括屏幕,其屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。
在图17和图18中的电源组件,为电源组件所属设备的各种组件提供电力。电源组件可以包括电源管理***,一个或多个电源,及其他与为电源组件所属设备生成、管理和分配电力相关联的组件。
在图17和图18中的音频组件,被配置为输出和/或输入音频信号。例如,音频组件包括一个麦克风(MIC),当音频组件所属设备处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器或经由通信组件发送。在一些实施例中,音频组件还包括一个扬声器,用于输出音频信号。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (17)

1.一种自动问答方法,其特征在于,包括:
接收用户输入的本次提问数据;
从本体知识库中,获取与所述本次提问数据相关的至少一个样本本体对应的至少一组多类型知识;
在所述至少一组多类型知识中检索应答数据;
根据检索结果向所述用户输出应答反馈。
2.根据权利要求1所述的方法,其特征在于,所述从本体知识库中,获取与所述本次提问数据相关的至少一个样本本体对应的至少一组多类型知识,包括:
对所述本次提问数据进行本体抽取,得到至少一个实例本体;
在所述本体知识库中,查找与所述至少一个实例本体相同或相似的至少一个样本本体;
若查找到,则从所述本体知识库中获取所述至少一个样本本体对应的至少一组多类型知识;
若未查找到,则根据所述本次提问数据的属性信息确定所述至少一个样本本体,并从所述本体知识库中获取所述至少一个样本本体对应的至少一组多类型知识。
3.根据权利要求2所述的方法,其特征在于,根据所述本次提问数据的属性信息确定所述至少一个样本本体,包括:
根据所述本次提问数据的属性信息,确定所述本次提问数据是否为首次本次提问;
若为非首次提问,则获取与前次提问数据相关的所述至少一个样本本体。
4.根据权利要求1至3中任一项所述的方法,其特征在于,在所述至少一组多类型知识中检索应答数据,包括:
在至少一组第一类型知识中检索应答数据;
若检索到应答数据,则将所述应答数据作为所述检索结果;
若未检索到应答数据,则在至少一组第二类型知识中检索应答数据,直至所述至少一组多类型知识中的所有类型知识均参与检索为止。
5.根据权利要求4所述方法,其特征在于,还包括:
按照类型优先级,顺序地从所述至少一组多类型知识中选取参与检索的知识类型。
6.根据权利要求4所述的方法,其特征在于,所述第一类型知识为半结构化的问答对知识;以及
所述在至少一组第一类型知识中检索应答数据,包括:
计算所述至少一组半结构化的问答对知识中的所有问题分别与所述本次提问数据的相似度;
为所述至少一组半结构化的问答对知识中的每个问题拼接主语,并计算拼接主语后的所有问题分别与所述本次提问数据的相似度;
将所有问题及所有拼接主语后的问题中与所述本次提问数据的相似度超过相似度阈值,且为最大值的至少一个问题和/或至少一个拼接主语后的问题对应的答案作为检索到的所述应答数据。
7.根据权利要求1至3中任一项所述的方法,其特征在于,还包括:
若检索到的所述应答数据为至少两个,且至少两个所述应答数据源自不同组的第一类型知识时,判断至少两个所述应答数据是否相同或相似;
若相同或相似,则合并至少两个所述应答数据;
若不相同或相似,则向所述用户发送携带有至少两个所述应答数据各自对应样本本体的第一反问信息,根据所述用户针对所述第一反问信息执行的选择事件,将所述选择事件指向的至少一个样本本体对应的应答数据作为检索结果。
8.根据权利要求7所述的方法,其特征在于,还包括:
将所述选择事件指向的至少一个样本本体记录为与所述本次提问数据相关的样本本体。
9.根据权利要求1至3中任一项所述的方法,其特征在于,在所述至少一组多类型知识中检索应答数据,包括:
分别在所述至少一组多类型知识中检索应答数据;
若检索到两个或两个以上的应答数据,则计算所述两个或两个以上的应答数据分别与所述本次提问数据的相关度;
根据所述相关度,从所述两个或两个以上的应答数据中选取作为所述检索结果的至少一个应答数据。
10.根据权利要求9所述的方法,其特征在于,根据所述相关度,从所述两个或两个以上的应答数据中选取作为所述检索结果的至少一个应答数据,包括:
从所述两个或两个以上的应答数据中,选取相关度最高的应答数据作为所述检索结果;或者
从所述两个或两个以上的应答数据中,选取相关度最高的应答数据作为第一应答,选取相关度次于所述最优应答的至少一个应答数据作为第二应答,将所述第一应答和所述第二应答作为所述检索结果。
11.根据权利要求1至3中任一项所述的方法,其特征在于,还包括:
所述检索结果中包含有反问的结构化知识点时,向所述用户发送基于所述反问的结构化知识点生成的第二反问信息;
接收用户针对所述第二反问信息反馈的反问应答;
根据所述反问应答,重新定位所述本次提问数据;
基于重定位的所述本次提问数据,向所述用户发送推荐的至少一个应答数据或再次在所述本体知识库中进行检索。
12.根据权利要求1至3中任一项所述的方法,其特征在于,所述多种类型知识包括:结构化的图谱知识、半结构化的问答对知识和/或非结构化的文本知识。
13.一种自动问答方法,其特征在于,包括:
响应于用户触发的提问事件,获取所述用户的本次提问数据;
将所述本次提问数据发送至服务端;
输出所述服务端基于所述本次提问数据发送的应答反馈;
其中,所述应答反馈是根据检索结果生成的,所述检索结果是采用至少一种应答检索模式,在本体知识库中与所述本次提问数据相关的至少一个样本对应的至少一组多类型知识中检索得到的。
14.根据权利要求13所述的方法,其特征在于,输出应答反馈,包括:
以文本的方式在所述问答界面中显示所述应答反馈;或者
以语音的方式输出所述应答反馈。
15.一种自动问答***,其特征在于,包括:
本体知识库,用于存储至少一个样本本体,以及各样本本体对应的一组多类型知识;
交互单元,用于响应于用户触发的提问事件,获取所述用户的本次提问数据并将所述本次提问数据发出;
应答单元,用于接收所述本次提问数据;在所述本体知识库中,获取与所述本次提问数据相关的至少一个样本本体对应的至少一组多类型知识;在所述至少一组多类型知识中检索应答数据;根据检索结果,对所述用户输出应答反馈;以及
所述交互单元,还用于输出所述应答反馈。
16.一种服务端设备,其特征在于,包括:第一存储器及第一处理器以及第一通信组件;
所述第一存储器,用于存储程序;
所述第一通信组件,用于数据传输;
所述第一处理器,与所述第一存储器耦合,用于执行所述第一存储器中存储的所述程序,以用于:
通过所述第一通信组件接收用户输入的本次提问数据;
从本体知识库中,获取与所述本次提问数据相关的至少一个样本本体对应的至少一组多类型知识;
在所述至少一组多类型知识中检索应答数据;
根据检索结果,通过所述第一通信组件向所述用户输出应答反馈。
17.一种客户端设备,其特征在于,包括:第二存储器、第二处理器及第二通信组件;
所述第二存储器,用于存储程序;
所述第二通信组件,用于数据传输;
所述第二处理器,与所述第二存储器耦合,用于执行所述第二存储器中存储的所述程序,以用于:
响应于用户触发的提问事件,获取所述用户的本次提问数据;
通过所述第二通信组件将所述本次提问数据发送至服务端;
输出通过所述第二通信组件接收到的所述服务端基于所述本次提问数据发送的应答反馈;
其中,所述应答反馈是基于检索结果生成的,所述检索结果是在本体知识库中与所述本次提问数据相关的至少一个样本对应的至少一组多类型知识中检索得到的。
CN201710909408.4A 2017-09-29 2017-09-29 自动问答方法、***及设备 Pending CN109582798A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710909408.4A CN109582798A (zh) 2017-09-29 2017-09-29 自动问答方法、***及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710909408.4A CN109582798A (zh) 2017-09-29 2017-09-29 自动问答方法、***及设备

Publications (1)

Publication Number Publication Date
CN109582798A true CN109582798A (zh) 2019-04-05

Family

ID=65918887

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710909408.4A Pending CN109582798A (zh) 2017-09-29 2017-09-29 自动问答方法、***及设备

Country Status (1)

Country Link
CN (1) CN109582798A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516027A (zh) * 2019-07-22 2019-11-29 北京达佳互联信息技术有限公司 信息集合的更新方法、装置、电子设备及存储介质
CN110728356A (zh) * 2019-09-17 2020-01-24 阿里巴巴集团控股有限公司 基于循环神经网络的对话方法、***及电子设备
CN111506827A (zh) * 2020-03-18 2020-08-07 威比网络科技(上海)有限公司 业务员问答互动方法、平台、设备及存储介质
CN111597313A (zh) * 2020-04-07 2020-08-28 深圳追一科技有限公司 问答方法、装置、计算机设备和存储介质
CN112084319A (zh) * 2020-09-29 2020-12-15 四川省人工智能研究院(宜宾) 一种基于动作的关系网络视频问答***及方法
CN112507706A (zh) * 2020-12-21 2021-03-16 北京百度网讯科技有限公司 知识预训练模型的训练方法、装置和电子设备
CN113411618A (zh) * 2020-11-26 2021-09-17 腾讯科技(深圳)有限公司 基于社交应用的数据处理方法、设备以及计算机存储介质
EP4152176A1 (en) * 2021-09-18 2023-03-22 Beijing Baidu Netcom Science And Technology Co. Ltd. Intelligent question-answering processing method and system, electronic device and storage medium
WO2024088039A1 (zh) * 2022-10-28 2024-05-02 华为技术有限公司 人机对话方法、对话网络模型的训练方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049433A (zh) * 2012-12-11 2013-04-17 微梦创科网络科技(中国)有限公司 自动问答方法、自动问答***及构建问答实例库的方法
CN103902652A (zh) * 2014-02-27 2014-07-02 深圳市智搜信息技术有限公司 自动问答***
US20160180437A1 (en) * 2014-12-18 2016-06-23 Nuance Communications, Inc. Product recommendation with ontology-linked product review
US20170091313A1 (en) * 2015-09-28 2017-03-30 Microsoft Technology Licensing, Llc Domain-specific unstructured text retrieval
CN106649394A (zh) * 2015-11-03 2017-05-10 中兴通讯股份有限公司 融合知识库处理方法和装置,以及知识库管理***
CN106919655A (zh) * 2017-01-24 2017-07-04 网易(杭州)网络有限公司 一种***方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103049433A (zh) * 2012-12-11 2013-04-17 微梦创科网络科技(中国)有限公司 自动问答方法、自动问答***及构建问答实例库的方法
CN103902652A (zh) * 2014-02-27 2014-07-02 深圳市智搜信息技术有限公司 自动问答***
US20160180437A1 (en) * 2014-12-18 2016-06-23 Nuance Communications, Inc. Product recommendation with ontology-linked product review
US20170091313A1 (en) * 2015-09-28 2017-03-30 Microsoft Technology Licensing, Llc Domain-specific unstructured text retrieval
CN106649394A (zh) * 2015-11-03 2017-05-10 中兴通讯股份有限公司 融合知识库处理方法和装置,以及知识库管理***
CN106919655A (zh) * 2017-01-24 2017-07-04 网易(杭州)网络有限公司 一种***方法和装置

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110516027A (zh) * 2019-07-22 2019-11-29 北京达佳互联信息技术有限公司 信息集合的更新方法、装置、电子设备及存储介质
CN110516027B (zh) * 2019-07-22 2022-04-22 北京达佳互联信息技术有限公司 信息集合的更新方法、装置、电子设备及存储介质
CN110728356A (zh) * 2019-09-17 2020-01-24 阿里巴巴集团控股有限公司 基于循环神经网络的对话方法、***及电子设备
CN110728356B (zh) * 2019-09-17 2023-08-04 创新先进技术有限公司 基于循环神经网络的对话方法、***及电子设备
CN111506827A (zh) * 2020-03-18 2020-08-07 威比网络科技(上海)有限公司 业务员问答互动方法、平台、设备及存储介质
CN111597313A (zh) * 2020-04-07 2020-08-28 深圳追一科技有限公司 问答方法、装置、计算机设备和存储介质
CN112084319A (zh) * 2020-09-29 2020-12-15 四川省人工智能研究院(宜宾) 一种基于动作的关系网络视频问答***及方法
CN113411618A (zh) * 2020-11-26 2021-09-17 腾讯科技(深圳)有限公司 基于社交应用的数据处理方法、设备以及计算机存储介质
CN113411618B (zh) * 2020-11-26 2024-03-22 腾讯科技(深圳)有限公司 基于社交应用的数据处理方法、设备以及计算机存储介质
CN112507706A (zh) * 2020-12-21 2021-03-16 北京百度网讯科技有限公司 知识预训练模型的训练方法、装置和电子设备
EP4152176A1 (en) * 2021-09-18 2023-03-22 Beijing Baidu Netcom Science And Technology Co. Ltd. Intelligent question-answering processing method and system, electronic device and storage medium
WO2024088039A1 (zh) * 2022-10-28 2024-05-02 华为技术有限公司 人机对话方法、对话网络模型的训练方法及装置

Similar Documents

Publication Publication Date Title
CN109582798A (zh) 自动问答方法、***及设备
US11334635B2 (en) Domain specific natural language understanding of customer intent in self-help
CN111177569B (zh) 基于人工智能的推荐处理方法、装置及设备
US11082554B2 (en) Method for conversion and classification of data based on context
US20150286943A1 (en) Decision Making and Planning/Prediction System for Human Intention Resolution
CN108139918A (zh) 以每用户为基础定制程序特征
CN110073349A (zh) 考虑频率和格式化信息的词序建议
US20220138770A1 (en) Method and apparatus for analyzing sales conversation based on voice recognition
US20210255759A1 (en) Indication of content linked to text
US20220215023A1 (en) System to convert natural-language financial questions into database queries
CN103534697A (zh) 使用web数据训练口述对话***中的统计对话管理器
WO2023040516A1 (zh) 一种事件整合方法、装置、电子设备、计算机可读存储介质及计算机程序产品
Siahaan et al. User story extraction from natural language for requirements elicitation: Identify software-related information from online news
CN113591489B (zh) 语音交互方法、装置及相关设备
WO2024032652A1 (zh) 一种任务辅助方法、装置、电子设备及计算机可读存储介质
US20230359932A1 (en) Classification process systems and methods
WO2020263182A1 (en) Method and system for conducting a brainstorming session with a virtual expert
Ye et al. Tooleyes: Fine-grained evaluation for tool learning capabilities of large language models in real-world scenarios
Pandey et al. Interview bot with automatic question generation and answer evaluation
Hoque et al. An interactive system for exploring community question answering forums
Yarlagadda et al. DocTable: Table-Oriented Interactive Machine Learning for Text Corpora
US11966570B2 (en) Automated processing and dynamic filtering of content for display
Zhang et al. Business chatbots with deep learning technologies: State-of-the-art, taxonomies, and future research directions
CN109165277A (zh) 一种作文的输出方法及学习设备
Dikshit et al. Automating Questions and Answers of Good and Services Tax system using clustering and embeddings of queries

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190405

RJ01 Rejection of invention patent application after publication