CN116821309B - 一种基于大语言模型的上下文构造方法 - Google Patents

Abstract

本发明涉及人机对话领域，特别涉及一种基于大语言模型的上下文构造方法，在对话过程中通过判断任务类型，将对话进行精准的筛选，再***到上下文中。这种方法能够帮助智能助理背后的大语言模型，能够精确获得当前要执行的任务，以及这些任务的背景信息，从而能够快速准确地执行任务，提供人机交互的效率，具备显著的有益效果。

Description

一种基于大语言模型的上下文构造方法

技术领域

本发明涉及人机对话领域，特别涉及一种基于大语言模型的上下文构造方法。

背景技术

基于大语言模型（LLM，Large Language Model)的对话机器人，需要具备记忆功能，才能实现多轮对话。智能助理（Intelligent Assistant）是基于大语言模型的对话机器人的一个特殊应用场景。智能助理不仅需要实现用户问答过程，还需要判断用户意图，从而帮助用户执行某种任务。这个任务可能较为复杂，需要用户和机器进行多轮沟通；也有可能需要执行一个需要等待的操作，等执行完毕后再通知用户。但是，随着智能助手与用户的对话轮次逐渐增加，对话中涉及的内容过多，而且会将不同任务的信息混合到一个长对话中。这会导致智能助手无法准确判断用户当前的任务，从而导致出现指令理解错误。

大模型每次进行问答时，是通过嵌入上下文（context）来实现对于之前聊天内容的记忆，但是这个嵌入是有限制的，具体取决于模型的能力（例如：gpt-3.5-turbo模型，当前最多能带入4千个Token，约2千个汉字）。为了实现长期记忆以进行多轮对话，通常的处理方法，包括设置对话轮数限制，或者使用向量库来检索最相似问题。例如微软的New Bing，会限制用户每次对话的上限（例如20次）。当对话数超过这一上限时，需要用户重启一个新的对话。而类似Langchain等大语言模型的框架，则提供了更多选择，包括通过对之前对话进行总结（Summary），或者嵌入与用户问题最为相似（通常使用向量相似度等方法）的历史对话。但是，Langchain等框架，在构造智能助理时，也限定了具体的对话类型（在Langchain中，每种对话类型提供了相应的Chain），包括：问答型助理（QA型的LLM Chain）、多轮对话型助理（Conversation Chain）等。这也造成了智能助理能力的局限性，因为针对不同任务，需要提前指定是哪种Chain。

当前这些方法，能够满足大部分人机询问类（QA，Question and Answer）对话的需求，但是难以在智能助理的场景发挥作用。因为智能助理不仅需要回答问题，而且还需要帮助用户完成交待的任务，所以需要特别精确地将对话进行分析，识别出自己需要执行的操作。除此之外，还需要将不同的对话记录，甚至于时间跨度在多天以上的对话记录与特定的任务进行关联，从而使语言模型能够正确理解每个任务的细节，进而才能做出正确的决策。

因此，现有技术仍需要改进。

发明内容

本专利申请的技术方案旨在解决基于LLM的智能助理，由于长期记忆缺乏逻辑而影响用户体验和使用效率的问题。

为实现上述目的，本发明采用下述技术方案：

本发明提供一种基于大语言模型的上下文构造方法，包括下列步骤：

S1：提供一历史对话集合，所述历史对话集合包括若干条对话i；

S2：针对所述历史对话集合中的每条对话i，基于时间顺序赋予时效权重Si；

S3：识别用户新输入对话的主题j；

S4：计算当前对话的主题j与所述历史对话集合中的每条所述对话i的相关性，得到每条所述对话i相对于当前对话的主题j的主题相关性系数Cij；

S5：筛选出所述主题相关性系数Cij中高于阈值的若干对话i，构建最接近对话集合；

S6：基于所述最接近对话集合中每条所述对话i的时效权重Si和主题相关性系数Cij，计算得到每条对话i的综合权重Dij；

S7：筛选出所述综合权重Dij较高的若干对话i，并构建对应当前对话主题j的上下文；

S8：将所述上下文与用户的新输入对话共同输入至大语言模型，并向用户输出大语言模型返回的答复结果；

S9：本次对话结束后，记录本次对话的内容，将其逐条向量化存储至所述历史对话集合中。

进一步的，基于时间顺序赋予时效权重Si，包括：

S21：获取所述历史对话集合中的每条对话i的对话时间；

S22：对每条对话i赋予时效权重Si；

其中，距离当前时间越近的对话i，其时效权重Si值越高。

进一步的，识别用户输入的新对话的主题j，包括：

识别用户输入的新对话主题为闲聊主题；或，

识别用户输入的新对话主题为有效主题；或，

识别用户输入的新对话主题为指正错误主题。

进一步的，计算当前对话的主题j的表示向量和所述历史对话集合中的每条所述对话i的表示向量的相似度和/或距离，获得每条所述对话i相对于当前对话主题j的主题相关性系数Cij；相关系数筛选时所用到的阈值设定，采用基于分位数的方法进行初始设定，例如：将所有的Cij值按大小排序，选择90%分位数的值作为阈值，这意味着最相关的10%的对话会被选中；然后，根据***在实际使用中的表现进行调整（例如，如果***经常错过相关对话，可以考虑降低阈值；如果***返回太多不相关的对话，可以考虑提高阈值）。

进一步的，若识别到用户输入的新对话主题为闲聊主题，则跳过S4至S8。

进一步的，若识别到用户输入的新对话主题为指正错误主题，则将所述历史对话集合中距离用户输入的新对话在时间上最近的一次对话中的全部对话内容记录至***日志中，并进行特殊符号标识。

进一步的，筛选出所述述综合权重Dij较高的若干对话i，并构建对应当前对话主题j的上下文，包括：

S71：获取当前选用的大语言模型容许输入的总字符长度Lt；

S72：对用户输入的对话语义压缩为提示词，计算提示词的字符长度Lp；

语义压缩方法依据具体的任务场景而定，面向常规任务的智能助理采用传统的文本摘要技术，如面向特殊领域，采用基于该领域语料进行特定的预训练Transformer模型；

S73：将总字符长度减去提示词的字符长度，即获得可构建上下文的字符长度Lc；

S74：判断所述最接近对话集合中的全部对话的长度Lh是否大于可构建上下文的字符长度Lc；

若Lh＞Lc，则结合最接近对话集合中每条对话i的综合权重Dij及相应的每条对话i的字符长度Li，采用近似算法选取最接近对话集合中的部分对话向量i构建上下文；

若Lh≤Lc，则选取最接近对话集合中的每条对话i构建上下文。

进一步的，若Lh＞Lc，则获取最接近对话集合中每条对话i的综合权重Dij及相应的每条对话i的字符长度Li，计算每条对话i的比例权重Qi=Dij/Li，优先选取比例权重Qi更高的对话i，直至可构建上下文的字符长度Lc被填满。

进一步的，识别用户新输入对话的主题j包括：采用一个规模较小的预训练语言模型识别新输入对话并给出主题分类，或，使用分类器对新输入对话进行分类。

进一步的，使用多种对话主题j的示例作为输入、使用机器学习算法对分类器进行训练，所述机器学习算法包括支持向量机、决策树、随机森林及神经网络中的一种或多种。

进一步的，若识别用户输入的新对话主题为有效主题，则在S5中具体包括下列步骤：

判定是否存在所述主题相关性系数Cij中高于阈值的对话i；

若是，则筛选出对应的对话i并构建最接近对话集合；

否则，记录当前对话的主题j为新主题，跳过S4至S7，并将上下文定义为空。

本发明的有益效果在于：在对话过程中通过判断任务类型，将对话进行精准的筛选，再***到上下文中。这种方法能够帮助智能助理背后的大语言模型，能够精确获得当前要执行的任务，以及这些任务的背景信息，从而能够快速准确地执行任务，提供人机交互的效率。

附图说明

图1是本发明的整体处理流程图；

图2是本发明对用户输入进行分类处理部分的流程图；

图3是本发明上下文构建策略部分的流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

如图1所示，本发明提供一种基于大语言模型的上下文构造方法，接下来以如下的例子对发明内容进行说明，本发明包括下列步骤：

S1：提供一历史对话集合，所述历史对话集合包括：

若干对话i11~i1n：1周前，用户询问了关于纳斯达克的整体走势；

对话i21~i2n：3天前，用户询问了关于特斯拉股票的PE（市盈率）指标。

S2：针对上述的对话i10~i1n，赋予时间权重S_i10~S_i1n，针对上述的对话i₂₀~i_2n，赋予时间权重S_i20~S_i2n；

其中时间权重随着时间变化，距离当前时间越远的对话，时间权重越低；

S3：用户新输入了对话，内容为：“我想知道MACD指标应该如何解读？另外，今天外面真是个好天气。”，此处***通过大语言模型识别了两个主题：主题j1为询问天气（闲聊主题），主题j2为MACD指标分析（有效主题）；

进一步的，可采用一个规模较小的预训练语言模型对新输入的对话进行初步分析。较小的模型可以提供更快的响应时间，特别是在需要实时反馈的场景中；为了更好地适应特定的应用场景或用户群体，使用历史对话数据对预训练模型进行微调；模型除了给出主题分类，还可以输出分类的置信度或与每个主题相关的关键词，以帮助解释分类决策。

需要注意的是，本实施例中给出了采用大语言模型识别新输入对话并给出主题分类的例子，然而本领域人员能够理解，还可以使用分类器对新输入对话进行分类；也可以使用多种对话主题j的示例作为输入、使用机器学习算法对分类器进行训练，机器学习算法包括支持向量机、决策树、随机森林及神经网络中的一种或多种，其中，还需要对输入对话进行预处理，如分词、词干提取和TF-IDF转换，以产生有意义的特征供分类器使用；除了使用单一的分类器，也可使用集成方法，如Bagging或Boosting，以提高分类的稳定性和准确性，以上内容也均在本发明的保护范围之内，在此不做赘述。

在此处，***会根据主题性质的不同来进行不同的处理：

对于主题j1，***将不再尝试构造上下文，而是直接将上下文定义为空，并将用户的对话内容输入至大语言模型中，之后接收大语言模型返回的结果，并结束处理。

对于主题j2，则进入S4：计算主题j2与所述历史对话集合中的对话i10~i1n、对话i20~i2n的相关性，得到对话i1、对话i2相对于当前对话的主题j2的主题相关性系数C_i10j2、C_i11j2、C_{i12j2、……、}C_i2nj2。

S5：筛选出上述的若干主题相关性系数中高于阈值的对话，在本实施例中，主题相关性系数C_i20j2~C_i2nj2高于阈值，因此基于选出对话i₂₀~对话i_2n构建最接近对话集合。

S6：基于对话i₂₀~对话i_2n的时效权重S_i20~S_i2n和主题相关性系数C_i20j2~C_i2nj2，计算得到对话i2的综合权重D_i20j2~D_i2nj2。

S7：选取上述综合权重中较高者构建上下文，其包括下列步骤：

S71：获取目前正在使用的大语言模型的输入限制为1000字符；

S72：用户输入的对话原文是：“我想知道MACD指标应该如何解读？”，对其进行语义压缩后获得提示词“MACD解读”，其字符长度为7；

需要指出的是，语义压缩需要看具体的任务场景，可采用传统的文本摘要技术或基于Transfomer模型的方法，在面向特殊领域时，还需要基于该领域的语料进行特定的预训练；

S73：计算得到可构建上下文的字符长度为1000-7=993字符；

S74：对话i₂₀~对话i_2n的长度之和为1100字符，大于993字符，因此需要在其中进行进一步压缩取舍；

对话i₂₀~对话i_2n中，每条对话的比例权重为Q_i2nj2=D_i2nj2/L_2n，在其中依次选取比例权重最高的对话，并依次将其构建入上下文，直到可构建上下文的字符被填满。

S8：将语义压缩后的特斯拉PE指标对话和用户今天关于MACD的输入作为上下文一同输入至大语言模型。得到的答复可能是：“关于MACD指标，它主要用于识别资产的总体趋势。考虑到您之前对特斯拉的PE指标的关注，结合MACD可以更全面地分析特斯拉的股票走势。”

S9：本次对话结束后，记录本次对话的内容，将其逐条向量化存储至所述历史对话集合中。

对话结束的判定可以由如下规则判定，若用户之后又询问了与前面内容无关的新主题，例如：“你知道今天的足球比赛结果吗？” 或用户超过十分钟未输入新的对话，则***判定该次对话结束。

此外，若识别用户输入的新对话主题为有效主题，但在历史记录中并不存在主题相关性系数高于筛选阈值的对话，则记录当前对话的主题为新主题，跳过S4至S7，不再尝试构建上下文，而是将上下文定义为空后直接输入***。

以上，采用本发明提供的上下文嵌入方法，能够在对话过程中通过判断任务类型，将历史对话进行精准的筛选并***到上下文中，这种方法能够帮助智能助理背后的大语言模型精确理解当前要执行的任务及这些任务的背景信息，从而能够快速准确地执行任务，提高人机交互的效率，具备显著的有益效果。

Claims (9)

1.一种基于大语言模型的上下文构造方法，其特征在于，包括下列步骤：

S1：提供一历史对话集合，所述历史对话集合包括若干条对话i；

S2：针对所述历史对话集合中的每条对话i，基于时间顺序赋予时效权重Si；

S3：识别用户新输入对话的主题j；

S4：计算当前对话的主题j与所述历史对话集合中的每条所述对话i的相关性，得到每条所述对话i相对于当前对话的主题j的主题相关性系数Cij；

S5：筛选出所述主题相关性系数Cij中高于阈值的若干对话i，构建最接近对话集合；

S6：基于所述最接近对话集合中每条所述对话i的时效权重Si和主题相关性系数Cij，计算得到每条对话i的综合权重Dij；

S7：筛选出所述综合权重Dij较高的若干对话i，并构建对应当前对话主题j的上下文；

S8：将所述上下文与用户的新输入对话共同输入至大语言模型，并向用户输出大数据模型返回的答复结果；

S9：本次对话结束后，记录本次对话的内容，将其逐条向量化存储至所述历史对话集合中；

在S7中，筛选出所述述综合权重Dij较高的若干对话i，并构建对应当前对话主题j的上下文，具体包括：

S71：获取当前选用的大语言模型容许输入的总字符长度Lt；

S72：对用户输入的对话进行语义压缩，形成长度更短的提示词，计算提示词的字符长度Lp；

S73：将总字符长度减去提示词的字符长度，即获得可构建上下文的字符长度Lc；

S74：判断所述最接近对话集合中的全部对话的长度Lh是否大于可构建上下文的字符长度Lc；

若Lh＞Lc，则结合最接近对话集合中每条对话i的综合权重Dij及相应的每条对话i的字符长度Li，采用近似算法选取最接近对话集合中的部分对话向量i构建上下文；

若Lh≤Lc，则选取最接近对话集合中的每条对话i构建上下文。

2.根据权利要求1所述的基于大语言模型的上下文构造方法，其特征在于，基于时间顺序赋予时效权重Si，包括：

S21：获取所述历史对话集合中的每条对话i的对话时间；

S22：对每条对话i赋予时效权重Si；

其中，距离当前时间越近的对话i，其时效权重Si值越高。

3.根据权利要求1所述的基于大语言模型的上下文构造方法，其特征在于，识别用户输入的新对话的主题j，包括：

识别用户输入的新对话主题为闲聊主题；或，

识别用户输入的新对话主题为有效主题；或，

识别用户输入的新对话主题为指正错误主题。

4.根据权利要求1所述的基于大语言模型的上下文构造方法，其特征在于，计算当前对话的主题j的表示向量和所述历史对话集合中的每条所述对话i的表示向量的相似度和/或距离，获得每条所述对话i相对于当前对话主题j的主题相关性系数Cij。

5.根据权利要求3所述的基于大语言模型的上下文构造方法，其特征在于，若识别到用户输入的新对话主题为闲聊主题，则跳过S4至S7，并将上下文定义为空。

6.根据权利要求3所述的基于大语言模型的上下文构造方法，其特征在于，若识别到用户输入的新对话主题为指正错误主题，则将所述历史对话集合中距离用户输入的新对话在时间上最近的一次对话中的全部对话内容记录至***日志中，并进行特殊符号标识。

7.根据权利要求1所述的基于大语言模型的上下文构造方法，其特征在于，识别用户新输入对话的主题j包括：采用大语言模型识别新输入对话并给出主题分类，或，使用分类器对新输入对话进行分类；使用多种对话主题j的示例作为输入、使用机器学习算法对分类器进行训练，所述机器学习算法包括支持向量机、决策树、随机森林及神经网络中的一种或多种。

8.根据权利要求1所述的基于大语言模型的上下文构造方法，其特征在于，当用户新输入的对话的主题与前次对话的主题不一致时，或，新输入的对话与前次对话时长超过阈值时，判定前次对话结束。

9.根据权利要求3所述的基于大语言模型的上下文构造方法，其特征在于，若识别用户输入的新对话主题为有效主题，则在S5中具体包括下列步骤：

判定是否存在所述主题相关性系数Cij中高于阈值的对话i；

若是，则筛选出对应的对话i并构建最接近对话集合；

否则，记录当前对话的主题j为新主题，跳过S4至S7，并将上下文定义为空。