CN117290492A - 知识库问答方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请适用于人工智能技术领域，提供了知识库问答方法、装置、电子设备及存储介质，上述方法包括：获取查询问题，利用预训练的向量编码模型从问答知识库中检索出所述查询问题的多个相似问题及所述相似问题对应的答案；所述向量编码模型通过向量检索的形式从所述问答知识库中召回所述查询问题的相似问题，根据所述查询问题、所述相似问题、所述相似问题的答案构建查询提示词，利用预训练的大语言模型生成所述查询提示词的查询答案。本申请可以准确的基于查询问题生成查询答案。

Description

知识库问答方法、装置、电子设备及存储介质

技术领域

本申请属于人工智能技术领域，尤其涉及一种知识库问答方法、装置、电子设备及计算机可读存储介质。

背景技术

目前在问答领域，如超市的智能客服问答***，对于用户输入的问题，通过匹配本地问答库并反馈给用户最相似的问题的答案；或者通过语言模型直接生成问题的答案反馈给用户。然而，由于问答库中问答数据的数量可能不足、语言模型可能会偏离用户的问题等，往往无法准确的对用户的问题进行回答，影响用户体验。

发明内容

本申请实施例提供了一种知识库问答方法、装置、电子设备及计算机可读存储介质，可以准确的基于查询问题生成查询答案。

第一方面，本申请实施例提供了一种知识库问答方法，包括：

获取查询问题，利用预训练的向量编码模型从问答知识库中检索出所述查询问题的多个相似问题及所述相似问题对应的答案；所述向量编码模型通过向量检索的形式从所述问答知识库中召回所述查询问题的相似问题；

根据所述查询问题、所述相似问题、所述相似问题的答案构建查询提示词；

利用预训练的大语言模型生成所述查询提示词的查询答案。

可选地，所述利用预训练的向量编码模型从问答知识库中检索出所述查询问题的多个相似问题及所述相似问题对应的答案之前，还包括：

获取历史对话集合及预设的文本向量化模型；

基于所述历史对话集合及所述问答知识库构建相似问题集合；

利用所述历史对话集合、所述问答知识库、所述相似问题集合对所述文本向量化模型进行微调，得到所述预训练的向量编码模型。

可选地，所述基于所述历史对话集合及所述问答知识库构建相似问题集合，包括：

获取开源问题对集合，基于所述开源问题对集合中的问题对及所述问答知识库中的问题构建训练提示词；

根据所述训练提示词确定第一相似问题；

从所述历史对话集合中召回第二相似问题；所述第二相似问题为所述历史对话集合中与所述问答知识库中的问题相似的问题；

对所述第一相似问题及所述第二相似问题进行标注，基于标注后的所述第一相似问题及所述第二相似问题得到所述相似问题集合。

可选地，所述利用所述历史对话集合、所述问答知识库、所述相似问题集合对所述文本向量化模型进行微调，得到所述预训练的向量编码模型，包括：

将所述相似问题集合作为有监督训练数据集合，以及将所述历史对话集合、所述问答知识库作为无监督训练数据集合；

利用所述有监督训练数据集合及所述文本向量化模型计算第一损失；

利用所述无监督训练数据集合及所述文本向量化模型计算第二损失；

基于所述第一损失及所述第二损失对所述文本向量化模型进行微调，得到所述向量编码模型。

可选地，所述利用预训练的大语言模型生成所述查询提示词的查询答案之前，还包括：

利用预设的微调指令模板调整所述问答知识库中的问答数据的格式，得到微调数据集合；所述微调指令模板是指用于调整问答数据格式的标准格式模板；

基于所述微调数据集合对预设的语言模型进行微调，得到所述预训练的大语言模型。

可选地，所述基于所述微调数据集合对预设的语言模型进行微调，包括：

冻结所述语言模型中的部分参数；

利用冻结后的所述语言模型及所述微调数据集合计算第三损失；

基于所述第三损失调整所述语言模型中未被冻结的参数。

可选地，所述利用预训练的向量编码模型从问答知识库中检索出所述查询问题的多个相似问题及所述相似问题对应的答案，包括：

利用所述向量编码模型对所述查询问题进行向量化处理，得到查询向量；

利用所述查询向量匹配向量数据库中的向量数据，根据匹配到的多个向量数据从所述问答知识库中得到所述查询问题的多个相似问题及所述相似问题对应的答案，其中，所述向量数据库中的向量数据通过所述向量编码模型对所述问答知识库中的问题进行向量化处理得到。

可选地，所述根据所述查询问题、所述相似问题、所述相似问题的答案构建查询提示词，包括：

根据所述查询问题过滤所述相似问题中的异常问题，得到过滤问题；

在所述过滤问题包括至少一个所述相似问题的情况下，根据所述查询问题、所述过滤问题、所述过滤问题的答案构建所述查询提示词。

第二方面，本申请实施例提供了一种知识库问答装置，包括：

相似问题获取模块，用于获取查询问题，利用预训练的向量编码模型从问答知识库中检索出所述查询问题的多个相似问题及所述相似问题对应的答案；所述向量编码模型通过向量检索的形式从所述问答知识库中召回所述查询问题的相似问题；

查询提示词构建模块，用于根据所述查询问题、所述相似问题、所述相似问题的答案构建查询提示词；

查询答案生成模块，用于利用预训练的大语言模型生成所述查询提示词的查询答案。

第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的知识库问答方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的知识库问答方法的步骤。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面任一项所述的知识库问答方法。

本申请实施例与现有技术相比存在的有益效果是：

本申请实施例中，通过从问答知识库中检索出查询问题的多个相似问题，利用该相似问题构建查询提示词，根据预训练的大语言模型可以准确地生成查询答案。具体地，由于通过上述向量编码模型基于向量检索的形式从问答知识库中召回问题，而向量检索可以快速查询上述问答数据库中的问题数据，因此，可以快速的从问答知识库中检索出上述查询问题的多个相似问题。在得到多个相似问题后，由于查询提示词根据上述查询问题、上述相似问题、上述相似问题的答案构建，因此，在利用预训练的大语言模型生成查询提示词的查询答案时，意味着会根据相似问题及相似问题的答案来引导上述大语言模型生成查询答案，避免问答***偏离用户的问题，提高了查询答案生成的准确性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的知识库问答方法的流程示意图；

图2是本申请实施例提供的知识库问答装置的结构示意图；

图3是本申请实施例提供的电子设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

在智能问答中，一般会结合业务场景维护一个本地知识库，该本地知识库中记录了该业务场景下的标准问题及标准答案，用来根据用户输入的问题从问答知识库中查询相似问题，并向用户反馈对应的标准答案，由于本地知识库无法涵盖所有的问答数据，可能无法查询到与用户输入的问题相似的问题，从而影响生成的答***性；随着人工智能的发展，通过语言模型可以基于用户输入的问题直接生成对应的答案，但是由于业务场景可以细分为不同领域，在语言模型针对不同领域的知识进行学习时，会存在灾难性遗忘现象，即语言模型在学习特定领域知识时，会遗忘之前领域学习到的知识，因此，通过语言模型对用户的问题进行答案生成时，对于不同领域的问题，语言模型往往会偏离用户的问题，导致生成的答案不够准确。

为了提高查询答案生成的准确性，本申请提供了一种基于查询提示词及大语言模型的知识库问答方法。

图1示出了本申请实施例提供的一种知识库问答方法的流程示意图，详述如下：

S1、获取查询问题，利用预训练的向量编码模型从问答知识库中检索出上述查询问题的多个相似问题及上述相似问题对应的答案；上述向量编码模型通过向量检索的形式从上述问答知识库中召回上述查询问题的相似问题。

本申请实施例中，上述查询问题是指用户通过客户端、网页端等输入的问题，例如，在超市智能客服场景，用户通过APP客户端输入关于商品的查询问题。上述问答知识库是指运维人员根据业务场景维护的高质量问答数据库，例如，运维人员基于客服***的历史对话记录、人工构建的标准问答话术等调整、构建的高质量问答数据库。

上述向量编码模型是指文本向量化模型，用来对文本进行向量化，并利用向量化后的文本进行数据处理。可选地，上述向量编码模型可以为text2vec-large-chinese模型、BERT模型等。

本申请实施例中，可以先对上述问答知识库中的问题进行向量化编码，并存储向量化后的结果，根据向量编码模型对上述查询问题进行向量化编码，通过该查询问题编码后的向量检索问答知识库中问题的向量，并计算查询问题编码后的向量与检索到的问答知识库中编码后的问题的向量的相似程度，根据该相似程度从上述问答知识库中召回查询问题的相似问题，由于向量检索可以提高数据处理能力，因此，通过上述向量编码模型可以快速的从问答知识库中检索出查询问题的多个相似问题及相似问题对应的答案。

S2、根据上述查询问题、上述相似问题、上述相似问题的答案构建查询提示词。

本申请实施例中，上述查询提示词可根据查询提示词（prompt）模板构建，通过上述查询提示词模板来构建查询提示词，可以将查询问题、相似问题、相似问题的答案统一在一个查询提示词中。由于上述查询提示词不仅包括查询问题，还包括查询问题的相似问题及相似问题的答案，因此可以帮助后续的大语言模型更好地理解用户输入的查询问题的意图。

一些实施例中，上述查询提示词模板可以为“已知信息：{context}，根据上述已知信息，简洁和专业的来回答用户的问题。如果无法从中得到答案，请说“根据已知信息无法回答该问题”或“没有提供足够的相关信息”，不允许在答案中添加编造成分，答案请使用中文。问题是：{question}”，其中，context 为召回的若干相似问题及相似问题的答案的内容拼接而成，question为用户的 查询问题。

S3、利用预训练的大语言模型生成上述查询提示词的查询答案。

本申请实施例中，上述预训练的大语言模型是指在超大规模的预训练数据上进行训练得到的语言模型，包括：基于Transformer的大语言模型（Transformer-BasedModels）、基于自编码器的大语言模型（Autoencoder-Based Model）等。例如，上述大语言模型可以为基于Transformer的通义千问（Qwen-7b）模型。由于上述查询提示词可以给大语言模型“提示”查询问题的查询意图，意味着在使用大语言模型生成查询答案时，可以通过该查询提示词使模型回忆起之前预训练学到的知识，从而避免灾难性遗忘现象的发生，提高了查询答案生成的准确性。

本申请实施例中，通过从问答知识库中检索出查询问题的多个相似问题，利用该相似问题构建查询提示词，根据预训练的大语言模型可以准确地生成查询答案。具体地，由于通过上述向量编码模型基于向量检索的形式从问答知识库中召回问题，而向量检索可以快速查询上述问答数据库中的问题数据，因此，可以快速的从问答知识库中检索出上述查询问题的多个相似问题。在得到多个相似问题后，由于查询提示词根据上述查询问题、上述相似问题、上述相似问题的答案构建，因此，在利用预训练的大语言模型生成查询提示词的查询答案时，意味着会根据相似问题及相似问题的答案来引导上述大语言模型生成查询答案，避免问答***偏离用户的问题，提高了查询答案生成的准确性。

本申请另一可选实施例中，上述利用预训练的向量编码模型从问答知识库中检索出上述查询问题的多个相似问题及上述相似问题对应的答案之前，还包括：

获取历史对话集合及预设的文本向量化模型；

基于上述历史对话集合及上述问答知识库构建相似问题集合；

利用上述历史对话集合、上述问答知识库、上述相似问题集合对上述文本向量化模型进行微调，得到上述预训练的向量编码模型。

一些实施例中，假设在超市智能客服场景，上述历史对话集合是指不同用户在一段时间内与客服人员、售后人员等沟通的对话记录。上述文本向量化模型可以把文本(包括词、句子、段落等)表征为向量矩阵，并在向量表征的基础上计算文本间的相似度，上述文本向量化模型可以为Text2vec-large-chinese。上述微调(Fine Tuning)是指对于预训练的模型，使用真实业务场景下的数据来调整模型参数，使得模型学习到真实业务场景的知识，满足真实业务场景的需求。通过上述历史对话集合及上述问答知识库构建相似问题集合，可以得到更多与业务场景相关的相似问题。在利用历史对话集合、问答知识库、相似问题集合对文本向量化模型进行微调时，由于历史对话集合、问答知识库反映了真实业务场景下的领域知识，而上述相似问题集合通过历史对话集合及问答知识库构建，表示上述相似问题集合是根据真实业务场景扩展的领域知识，因此通过历史对话集合、问答知识库、相似问题集合对文本向量化模型进行微调，可以使文本向量化模型学习到更丰富的领域知识，使得微调后的向量编码模型更加符合真实业务场景的需求。

本申请实施例中，上述基于上述历史对话集合及上述问答知识库构建相似问题集合，包括：

获取开源问题对集合，基于上述开源问题对集合中的问题对及上述问答知识库中的问题构建训练提示词；

根据上述训练提示词确定第一相似问题；

从上述历史对话集合中召回第二相似问题；上述第二相似问题为上述历史对话集合中与上述问答知识库中的问题相似的问题；

对上述第一相似问题及上述第二相似问题进行标注，基于标注后的上述第一相似问题及上述第二相似问题得到上述相似问题集合。

一些实施例中，为了得到更加丰富且符合真实业务场景的相似问题，本申请分别通过上述历史对话集合及上述问答知识库来获得不同的相似问题。其中，上述开源问题对集合是指包含相似问题对的问题集合，上述训练提示词（prompt）可以基于训练提示词（prompt）模板构建，由于上述训练提示词（prompt）包括相似问题对以及问答知识库中的问题，因此可以基于相似问题对，生成与问答知识库中的问题相似的问题，即上述第一相似问题，并从真实业务场景下的历史对话集合中召回与问答知识库中的问题相似的问题，即第二相似问题；通过第一相似问题及第二相似问题与问答知识库中的问题的相似程度进行标注，得到上述相似问题集合。

一可选实施例中，上述训练提示词模板可以为“给你一个问题：{问题1}， 它的相似问题是：{问题2}；现在再给你一个问题；{问题3}，给出 5 个与它相似的问题”。可以使用文本生成模型（如GPT模型）生成第一相似问题，例如，将开源问题对集合中的相似问题对填充至{问题1}及{问题2}，将问答知识库中的问题填充至{问题3}，得到训练提示词“给你一个问题：如何更换绑定银行卡，它的相似问题是：更改绑定银行卡；现在再给你一个问题；R3***--商品为什么自动停购，给出 5 个与它相似的问题”。通过输入文本生成模型（如GPT模型），可以得到第一相似问题包括：“R3***中的商品为何自动停购？”、“为什么 R3 ***中的商品会自动停购？”、“如何解释 R3 ***中商品自动停购的问题？”、“R3 ***中商品自动停购的原因是什么？”、“是否可以在 R3 ***中手动停止商品销售？”，从而基于文本生成模型（如GPT模型）的 few-shot 能力进行数据增强；对于第二相似问题，可以将历史对话集合拆分成单独句子，直接使用上述文本向量化模型（如Text2vec-large-chinese）对句子进行向量化，存入向量索引库，利用知识问答库中的问题从历史对话集合中召回top5 相似的问题作为第二相似问题，同时对于相似度较低的问题可以相似度进行过滤，例如，对于上述知识问答库中的问题“R3 ***--商品为什么自动停购？”，过滤后的第二相似问题可以包括：“这个商品昨天停购，停购单查不到，能帮忙看看吗”、“能帮忙看下这两个单品怎么被停购了吗”、“超市食品日用品停购淘汰商品库存处理规范”。最后对于所有的第一相似问题及第二相似问题，可以根据0或1标签进行标注，若与知识问答库中的问题相似，则标签为1，若与知识问答库中的问题不相似，则标签为0。

本申请一可选实施例中，为了提高数据检索的效率，可以将历史对话集合中的问题向量化后存入faiss 向量引擎，以提供高效且可靠的相似性聚类和检索方法。

本申请实施例中，上述利用上述历史对话集合、上述问答知识库、上述相似问题集合对上述文本向量化模型进行微调，得到上述预训练的向量编码模型，包括：

将上述相似问题集合作为有监督训练数据集合，以及将上述历史对话集合、上述问答知识库作为无监督训练数据集合；

利用上述有监督训练数据集合及上述文本向量化模型计算第一损失；

利用上述无监督训练数据集合及上述文本向量化模型计算第二损失；

基于上述第一损失及上述第二损失对上述文本向量化模型进行微调，得到上述向量编码模型。

一些实施例中，由于相似问题集合中的问题包括标签，而历史对话集合及知识问答库中的数据不包括标签，利用这两类数据对文本向量化模型进行微调，可以让向量编码模型更好的学习不同类型的知识，从而提高向量编码模型根据向量召回问题的精度。具体的，通过将相似问题集合作为有监督训练数据集合，以及将历史对话集合、问答知识库作为无监督训练数据集合，同时结合有监督训练（即利用有监督训练数据集合及文本向量化模型计算第一损失）及无监督训练（即利用无监督训练数据集合及文本向量化模型计算第二损失）的方式对文本向量化模型进行微调，可以得到精度更高的向量编码模型。

本申请一可选实施例中，在有监督训练时，对于有监督训练数据集合中的相似问题对（即知识问答库汇总的问题和对应的第一相似问题或第二相似问题），分别对相似问题对的两条文本拆分成多个字符标识（token），将文本转化为 token 序列，利用文本向量化对token序列提取深层语义特征，获得由每个 token 相对应的文本特征向量构成的句子特征序列，根据相似问题对的句子特征序列获取到二分类置信度并计算其与标签间第一损失，其中，第一损失可以使用 CosineEmbeddingLoss损失函数计算；在无监督训练时，可以使用simcse对比学习的方法，即对于无监督训练数据集合中的同一个文本，使用文本向量化模型进行2次推理，得到2个不同的向量（因为文本向量化模型中有dropout的随机过程，所以得到2个向量会不同），在一个batch(即小批训练样本，可以将无监督训练数据集合划分为多个batch)内，让一个文本得到的2个向量视为正样本，当前文本与batch内的其他文本视为负样本，根据正样本及负样本计算第二损失，其中，第二损失可以使用MultipleNegativesRankingLoss损失函数计算；当上述第一损失、第二损失满足预设的损失阈值，或文本向量化模型训练轮数到达预设的轮数后，终止对文本向量化模型的训练，得到上述向量编码模型。

本申请另一可选实施例中，上述利用预训练的大语言模型生成上述查询提示词的查询答案之前，还包括：

利用预设的微调指令模板调整上述问答知识库中的问答数据的格式，得到微调数据集合；上述微调指令模板是指用于调整问答数据格式的标准格式模板；

基于上述微调数据集合对预设的语言模型进行微调，得到上述预训练的大语言模型。

一些实施例中，上述预设的微调指令模板是一个固定的指令文本，用来规范上述语言模型的输入数据的格式，上述微调指令模板给语言模型提供了一种固定的微调指令，让其在该指令（可认为是一种特殊任务）上进行参数微调，可以让大语言模型更好地适应不同的任务和领域，从而提高大语言模型的精度。

本申请一可选实施例中，上述微调指令模板可以包括“Instruction+ Input+Output”，则调整的微调数据为“Instruction:你现在是一个微调过的模型，请根据下面的问题生成合适的答案，问题：Input：什么是A公司？Output：A公司成立于1984年，有B公司控股，包括……”。

本申请另一可选实施例中，对于微调后的大语言模型，可以采用指标评测的形式评估上述大语言模型的答案生成能力，例如，可以采用bleu、rouge_chinese 等指标。

本申请实施例中，上述基于上述微调数据集合对预设的语言模型进行微调，包括：

冻结上述语言模型中的部分参数；

利用冻结后的上述语言模型及上述微调数据集合计算第三损失；

基于上述第三损失调整上述语言模型中未被冻结的参数。

一可选实施例中，由于大语言模型的参数较多，通过冻结参数的方式使语言模型在学习到特定领域知识的同时，避免灾难性遗忘现象，使得大语言模型兼具特殊性和通用性。假设上述语言模型为Qwen-7b模型，在进行语言模型微调时，输入数据为上述微调数据集合中的instruct+input，如：你现在是一个微调过的模型，请根据下面的问题生成合适的答案，问题：什么是A公司？利用上述语言模型将输入数据拆分成多个 token，将文本序列转化为 token 序列，通过 Qwen-7b 模型的编码器对token 序列提取深层语义特征，获得由每个 token 相对应的深层语义特征构成的句子特征序列，并由解码器输出最后的预测答案，根据预测答案与微调数据集合中的目标答案（即微调数据集合中的Output）计算第三损失，在语言模型训练不满足预设的训练条件（包括上述第三损失不满足预设的损失阈值，或者模型训练轮数未到达预设的轮数等）时，根据上述第三损失对语言模型进行反向传播、梯度更新。同时，在参数更新时，根据freeze微调方法冻结语言模型中除最后4层transformer-block 外的所有参数，即只更新最后4层的网络参数，直至语言模型训练满足预设的训练条件。或者，也可以根据大语言模型的低阶自适应（Low-Rank Adaptation ofLarge Language Models，LoRA）微调方法、P-tuning v2微调方法等进行参数更新。

本申请实施例中，上述利用预训练的向量编码模型从问答知识库中检索出上述查询问题的多个相似问题及上述相似问题对应的答案，包括：

利用上述向量编码模型对上述查询问题进行向量化处理，得到查询向量；

利用上述查询向量匹配向量数据库中的向量数据，根据匹配到的多个向量数据从上述问答知识库中得到上述查询问题的多个相似问题及上述相似问题对应的答案，其中，上述向量数据库中的向量数据通过上述向量编码模型对上述问答知识库中的问题进行向量化处理得到。

一些实施例中，对于本地的知识问答库，可以通过上述向量编码模型进行向量编码并存入向量数据库，对于查询问题，同样根据上述向量编码模型进行向量编码得到查询向量，通过上述向量编码模型从向量数据库中快速检索出与该查询向量相似的多个向量，并将该多个向量对应的若干个问题作为上述查询问题的多个相似问题，同时获取上述相似问题对应的答案。

本申请一可选实施例中，上述根据上述查询问题、上述相似问题、上述相似问题的答案构建查询提示词，包括：

根据上述查询问题过滤上述相似问题中的异常问题，得到过滤问题；

在上述过滤问题包括至少一个上述相似问题的情况下，根据上述查询问题、上述过滤问题、上述过滤问题的答案构建上述查询提示词。

一些实施例中，由于上述向量编码模型召回的相似问题可能出现异常，例如，与查询问题的相似程度较低、相似问题缺失关键信息等情况，为了进一步提高大语言模型生成答***性以及和查询问题的相关性，可以根据相似问题与查询问题的相似分数及预设的相似阈值对多个相似问题进行过滤，即将相似分数低于该相似阈值的相似问题进行过滤，若在阈值过滤后，过滤问题仍然包括至少一个相似问题，则根据查询问题、过滤问题、过滤问题的答案构建查询提示词，通过查询提示词指示大语言模型进行查询答案的生成。

需要说明的是，若在阈值过滤后，所有的相似问题均被过滤，则直接将用户的查询问题作为微调的大语言模型的输入，基于大模型的语言组织、逻辑推理等能力生成用户所需要的查询答案。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

对应于上文实施例所述的知识库问答方法，图2示出了本申请实施例提供的知识库问答装置的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分。

参照图2，该装置可以为知识库问答装置21，所述知识库问答装置21可以包括相似问题获取模块211、查询提示词构建模块212及查询答案生成模块213。

参照图2，所述知识库问答装置21包括：

所述相似问题获取模块211，用于获取查询问题，利用预训练的向量编码模型从问答知识库中检索出所述查询问题的多个相似问题及所述相似问题对应的答案；所述向量编码模型通过向量检索的形式从所述问答知识库中召回所述查询问题的相似问题；

所述查询提示词构建模块212，用于根据所述查询问题、所述相似问题、所述相似问题的答案构建查询提示词；

所述查询答案生成模块213，用于利用预训练的大语言模型生成所述查询提示词的查询答案。

一些实施例中，所述知识库问答装置21还包括第一模型微调模块，所述第一模型微调模块用于利用预训练的向量编码模型从问答知识库中检索出所述查询问题的多个相似问题及所述相似问题对应的答案之前，包括：

获取历史对话集合及预设的文本向量化模型；

基于所述历史对话集合及所述问答知识库构建相似问题集合；

利用所述历史对话集合、所述问答知识库、所述相似问题集合对所述文本向量化模型进行微调，得到所述预训练的向量编码模型。

对应地，所述第一模型微调模块通过下述步骤基于所述历史对话集合及所述问答知识库构建相似问题集合，包括：

获取开源问题对集合，基于所述开源问题对集合中的问题对及所述问答知识库中的问题构建训练提示词；

根据所述训练提示词确定第一相似问题；

从所述历史对话集合中召回第二相似问题；所述第二相似问题为所述历史对话集合中与所述问答知识库中的问题相似的问题；

对所述第一相似问题及所述第二相似问题进行标注，基于标注后的所述第一相似问题及所述第二相似问题得到所述相似问题集合。

可选地，所述第一模型微调模块通过下述步骤利用所述历史对话集合、所述问答知识库、所述相似问题集合对所述文本向量化模型进行微调，得到所述预训练的向量编码模型，包括：

将所述相似问题集合作为有监督训练数据集合，以及将所述历史对话集合、所述问答知识库作为无监督训练数据集合；

利用所述有监督训练数据集合及所述文本向量化模型计算第一损失；

利用所述无监督训练数据集合及所述文本向量化模型计算第二损失；

基于所述第一损失及所述第二损失对所述文本向量化模型进行微调，得到所述向量编码模型。

一些实施例中，所述知识库问答装置21还包括第二模型微调模块，所述第二模型微调模块用于利用预训练的大语言模型生成所述查询提示词的查询答案之前，包括：

利用预设的微调指令模板调整所述问答知识库中的问答数据的格式，得到微调数据集合；所述微调指令模板是指用于调整问答数据格式的标准格式模板；

基于所述微调数据集合对预设的语言模型进行微调，得到所述预训练的大语言模型。

可选地，所述第二模型微调模块通过下述步骤基于所述微调数据集合对预设的语言模型进行微调，包括：

冻结所述语言模型中的部分参数；

利用冻结后的所述语言模型及所述微调数据集合计算第三损失；

基于所述第三损失调整所述语言模型中未被冻结的参数。

可选地，所述相似问题获取模块211通过下述步骤利用预训练的向量编码模型从问答知识库中检索出所述查询问题的多个相似问题及所述相似问题对应的答案，包括：

利用所述向量编码模型对所述查询问题进行向量化处理，得到查询向量；

利用所述查询向量匹配向量数据库中的向量数据，根据匹配到的多个向量数据从所述问答知识库中得到所述查询问题的多个相似问题及所述相似问题对应的答案，其中，所述向量数据库中的向量数据通过所述向量编码模型对所述问答知识库中的问题进行向量化处理得到。

可选地，所述查询提示词构建模块212通过下述步骤根据所述查询问题、所述相似问题、所述相似问题的答案构建查询提示词，包括：

根据所述查询问题过滤所述相似问题中的异常问题，得到过滤问题；

在所述过滤问题包括至少一个所述相似问题的情况下，根据所述查询问题、所述过滤问题、所述过滤问题的答案构建所述查询提示词。

需要说明的是，所述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

图3为本申请一实施例提供的电子设备的结构示意图。如图3所示，该实施例的电子设备3包括：至少一个处理器30（图3中仅示出一个）、存储器31以及存储在所述存储器31中并可在所述至少一个处理器30上运行的计算机程序33。所述处理器30执行所述计算机程序33时实现所述任意各个方法实施例中的步骤。

所述电子设备3可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备可包括，但不仅限于，处理器30、存储器31。本领域技术人员可以理解，图3仅仅是电子设备3的示例，并不构成对电子设备3的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可以包括输入发送设备、网络接入设备、总线等。

所称处理器30可以是中央处理单元（Central Processing Unit，CPU），还可以是其他通用处理器、数字信号处理器（Digital Signal Processor，DSP）、专用集成电路（Application Specific Integrated Circuit，ASIC）、现成可编程门阵列 （Field-Programmable Gate Array，FPGA）或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器31在一些实施例中可以是所述电子设备3的内部存储单元，例如电子设备3的硬盘或内存。所述存储器31也可以是所述电子设备3的外部存储设备，例如所述电子设备3上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（SecureDigital，SD）卡，闪存卡（Flash Card）等。进一步地，所述存储器31还可以既包括所述电子设备3的内部存储单元也包括外部存储设备。所述存储器31用于存储操作***、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器31还可以用于暂时地存储已经发送或者将要发送的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以所述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将所述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，所述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。所述***中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述任意各个方法实施例中的步骤。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现所述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时实现可实现所述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现所述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现所述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器（ROM，Read-Only Memory）、随机存取存储器（RAM，RandomAccess Memory）、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在所述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种知识库问答方法，其特征在于，包括：

获取查询问题，利用预训练的向量编码模型从问答知识库中检索出所述查询问题的多个相似问题及所述相似问题对应的答案；所述向量编码模型通过向量检索的形式从所述问答知识库中召回所述查询问题的相似问题；

根据所述查询问题、所述相似问题、所述相似问题的答案构建查询提示词；

利用预训练的大语言模型生成所述查询提示词的查询答案。

2.如权利要求1所述的知识库问答方法，其特征在于，所述利用预训练的向量编码模型从问答知识库中检索出所述查询问题的多个相似问题及所述相似问题对应的答案之前，还包括：

获取历史对话集合及预设的文本向量化模型；

基于所述历史对话集合及所述问答知识库构建相似问题集合；

利用所述历史对话集合、所述问答知识库、所述相似问题集合对所述文本向量化模型进行微调，得到所述预训练的向量编码模型。

3.如权利要求2所述的知识库问答方法，其特征在于，所述基于所述历史对话集合及所述问答知识库构建相似问题集合，包括：

获取开源问题对集合，基于所述开源问题对集合中的问题对及所述问答知识库中的问题构建训练提示词；

根据所述训练提示词确定第一相似问题；

从所述历史对话集合中召回第二相似问题；所述第二相似问题为所述历史对话集合中与所述问答知识库中的问题相似的问题；

对所述第一相似问题及所述第二相似问题进行标注，基于标注后的所述第一相似问题及所述第二相似问题得到所述相似问题集合。

4.如权利要求2所述的知识库问答方法，其特征在于，所述利用所述历史对话集合、所述问答知识库、所述相似问题集合对所述文本向量化模型进行微调，得到所述预训练的向量编码模型，包括：

将所述相似问题集合作为有监督训练数据集合，以及将所述历史对话集合、所述问答知识库作为无监督训练数据集合；

利用所述有监督训练数据集合及所述文本向量化模型计算第一损失；

利用所述无监督训练数据集合及所述文本向量化模型计算第二损失；

基于所述第一损失及所述第二损失对所述文本向量化模型进行微调，得到所述向量编码模型。

5.如权利要求1所述的知识库问答方法，其特征在于，所述利用预训练的大语言模型生成所述查询提示词的查询答案之前，还包括：

利用预设的微调指令模板调整所述问答知识库中的问答数据的格式，得到微调数据集合；所述微调指令模板是指用于调整问答数据格式的标准格式模板；

基于所述微调数据集合对预设的语言模型进行微调，得到所述预训练的大语言模型。

6.如权利要求5所述的知识库问答方法，其特征在于，所述基于所述微调数据集合对预设的语言模型进行微调，包括：

冻结所述语言模型中的部分参数；

利用冻结后的所述语言模型及所述微调数据集合计算第三损失；

基于所述第三损失调整所述语言模型中未被冻结的参数。

7.如权利要求1-6任一项所述的知识库问答方法，其特征在于，所述利用预训练的向量编码模型从问答知识库中检索出所述查询问题的多个相似问题及所述相似问题对应的答案，包括：

利用所述向量编码模型对所述查询问题进行向量化处理，得到查询向量；

利用所述查询向量匹配向量数据库中的向量数据，根据匹配到的多个向量数据从所述问答知识库中得到所述查询问题的多个相似问题及所述相似问题对应的答案，其中，所述向量数据库中的向量数据通过所述向量编码模型对所述问答知识库中的问题进行向量化处理得到。

8.如权利要求1-6任一项所述的知识库问答方法，其特征在于，所述根据所述查询问题、所述相似问题、所述相似问题的答案构建查询提示词，包括：

根据所述查询问题过滤所述相似问题中的异常问题，得到过滤问题；

在所述过滤问题包括至少一个所述相似问题的情况下，根据所述查询问题、所述过滤问题、所述过滤问题的答案构建所述查询提示词。

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的方法。