CN115858747A - 结合聚类的Prompt结构意图识别方法、装置、设备及存储介质 - Google Patents
结合聚类的Prompt结构意图识别方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115858747A CN115858747A CN202211475785.9A CN202211475785A CN115858747A CN 115858747 A CN115858747 A CN 115858747A CN 202211475785 A CN202211475785 A CN 202211475785A CN 115858747 A CN115858747 A CN 115858747A
- Authority
- CN
- China
- Prior art keywords
- text
- clustering
- prompt
- intention
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000008569 process Effects 0.000 claims abstract description 7
- 238000010276 construction Methods 0.000 claims description 13
- 241000393496 Electra Species 0.000 claims description 3
- 238000003064 k means clustering Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 description 5
- 244000061458 Solanum melongena Species 0.000 description 3
- 235000002597 Solanum melongena Nutrition 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 244000061456 Solanum tuberosum Species 0.000 description 2
- 235000002595 Solanum tuberosum Nutrition 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011423 initialization method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 235000013618 yogurt Nutrition 0.000 description 1
Images
Landscapes
- Machine Translation (AREA)
Abstract
本发明提供一种结合聚类的Prompt结构意图识别方法、装置、设备及存储介质，通过构造零样本Prompt提示结构的的方式，不需要大量标注文本意图标签，即可以对文本的意图进行识别，从而节省对话意图识别的成本。并且，Prompt提示结构构造的过程中，使用聚类方法发现意图中心文本的方式，自动化的构建意图识别所需要的prompt提示结构。可以避免人工构造prompt结构时，产生的意图预测结果波动问题。
Description
技术领域
本发明涉及计算机技术领域，具体地涉及一种结合聚类的Prompt结构意图识别方法、装置、设备及存储介质。
背景技术
人机对话当中，每一轮的对话文本表示提出了许多方法，目前比较常用的文本表示方法一般通过在大规模的语料上无监督的训练语言模型，然后在自己训练的模型上进行参数微调来实现针对意图分类任务的文本表示过程。使用基于预训练语言模型加参数微调的方式，需要获取下游任务中的大量标注数据，付出的时间和人力成本较大。通过使用预训练语言模型配合Prompt提示的结构可以基于0样本的方式获取用户的意图，但是prompt提示结构的获取需要许多人工经验来进行制作，可能产生意图预测结果波动的问题。
发明内容
本发明的目的在于提供一种结合聚类的Prompt结构意图识别方法、装置、设备及存储介质。
本发明提供一种结合聚类的Prompt结构意图识别方法，其包括步骤：
获取对话文本，对所述对话文本进行无监督的模型训练，得到预训练的语言模型；
对所述对话文本进行聚类处理，根据聚类结果获取聚类中心，并获取与聚类中心最接近的文本作为意图中心文本；
基于所述意图中心文本构建Prompt模板，将所述对话文本输入所述Prompt模板槽位，输出Prompt构造文本；
将所述Prompt构造文本通过所述预训练的语言模型判断输入的所述对话文本和所述意图中心文本的意图是否一致。
作为本发明的进一步改进，所述获取对话文本，对所述对话文本进行无监督的模型训练，得到预训练的语言模型，还包括：
根据所述对话文本，构建句式模板，自动生成训练用语料；
对所述对话文本和所述训练用语料进行训练得到预训练的语言模型。
作为本发明的进一步改进，所述对所述训练用对话文本进行无监督的模型训练，得到预训练的的语言模型，具体包括：
通过BERT、ELECTRA、GPT模型对所述对话文本进行训练得到预训练的的语言模型。
作为本发明的进一步改进，所述对所述对话文本进行聚类处理，具体包括：
通过K-means聚类算法对所述对话文本进行聚类，选择聚类中心K值，并划分文本簇类；
选择每个所述文本簇类中与所述聚类中心K值最接近的文本最为该所述文本簇类中的代表文本，将代表文本进行组合生成所述意图中心文本。
作为本发明的进一步改进，所述选择聚类中心K值，具体包括：
计算聚类中心轮廓系数，基于轮廓系数大小，选择最优聚类中心K值。
作为本发明的进一步改进，所述对所述对话文本进行聚类处理，还包括：
对于所述文本簇类中的代表文本，通过人工判别文本类别，形成所述意图中心文本。
本发明还提供一种结合聚类的Prompt结构意图识装置，其包括：
模型训练模块，其被配置用于获取对话文本，对所述对话文本进行无监督的模型训练，得到预训练的语言模型；
聚类模块，其被配置用于对所述对话文本进行聚类处理，根据聚类结果获取聚类中心，并获取与聚类中心最接近的文本作为意图中心文本；
Prompt模板构造模块，其被配置用于基于所述意图中心文本构建Prompt模板，将所述对话文本输入所述Prompt模板槽位，输出Prompt构造文本；
判断模块，其被配置用于将所述Prompt构造文本通过所述预训练的语言模型判断输入的所述对话文本和所述意图中心文本的意图是否一致。
本发明还提供一种电器设备，其包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现上述的结合聚类的Prompt结构意图识别方法。
本发明还提供一种冰箱，其包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现上述的结合聚类的Prompt结构意图识别方法。
本发明还提供一种计算机可读存储介质，其存储有可执行指令，其所述可执行指令被处理器执行时实现上述的结合聚类的Prompt结构意图识别方法。
本发明的有益效果是：本发明通过构造零样本Prompt提示结构的的方式，不需要大量标注文本意图标签，即可以对文本的意图进行识别，从而节省对话意图识别的成本。并且，Prompt提示结构构造的过程中，使用聚类方法发现意图中心文本的方式，自动化的构建意图识别所需要的prompt提示结构。可以避免人工构造prompt结构时，产生的意图预测结果波动问题。
附图说明
图1是本发明一实施方式中的结合聚类的Prompt结构意图识别方法步骤示意图。
图2是本发明一实施方式中对话文本进行聚类处理的步骤示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明具体实施方式及相应的附图对本发明技术方案进行清楚、完整地描述。显然，所描述的实施方式仅是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。
下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
本实施方式提供一种结合聚类的Prompt结构意图识别方法，Prompt即提示学习，其可在不显著改变预训练语言模型结构和参数的情况下，通过构建Prompt模板，在语言模型输入段添加额外的文本，增加用以提示的信息，对下游任务进行意图识别。在本实施方式中，通过将对话文本进行聚类处理，自动生成意图中心文本，并基于意图中心文本自动构造符合语意的Prompt模板，可以避免人工构造prompt结构时，产生的意图预测结果波动问题。在本实施方式中，基于智能冰箱对本方法进行说明，本方法在其他设备中的应用可参考本实施方式。
诸如冰箱等电器设备的智能化应用中，文本分类是一种常见的自然语言处理任务，要求能把输入的文本数据进行正确的意图判断，意图判断即基于输入的语料数据判断识别用户的具体使用意图，如可根据不同使用意图可将输入的语料数据整体划分为分属于几大领域的使用意图，每个意图分类都有相应的训练语料用于训练意图分类模型。在本实施方式中，对于智能冰箱，使用意图可包括：菜谱查询、冰箱内食材提醒、音乐播放、新闻播报等。
如图1所示，所述结合聚类的Prompt结构意图识别方法包括步骤：
S1：获取对话文本，对所述对话文本进行无监督的模型训练得到预训练的语言模型。
S2：对所述对话文本进行聚类处理，根据聚类结果获取聚类中心，并获取与聚类中心最接近的文本作为意图中心文本。
S3：基于所述意图中心文本构建Prompt模板，将所述对话文本输入所述Prompt模板槽位，输出Prompt构造文本。
S4：将所述Prompt构造文本通过所述预训练的语言模型判断输入的所述对话文本和所述意图中心文本的意图是否一致。
在步骤S1中，其具体包括：
通过BERT、ELECTRA、GPT模型对所述对话文本进行训练得到预训练的的语言模型。
这里所述的对话文本指的是用户当前对智能电子设备或对与智能电子设备通信连接的客户终端设备等说出的询问性或指令性语句等所转写的文本。如在本实施方式中，用户可提出诸如“今天冰箱里有啥蔬菜”、“今天有什么菜谱推荐”等问题，或用户可发出诸如“提醒冰箱里快到期的酸奶”、“给出当季的水果”等命令指令。基于上述信息，智能冰箱的处理器通过本发明所提供的方法进行语音识别后，判断用户的使用意图。
无监督的模型训练即通过模型从无标签数据学习到数据特征抽取，表征，预测的能力，侧面达到数据增强的作用。无监督的模型训练基于大规模文本库的预训练可以较好地学习到通用的语言表示，有助于下游应用任务，并且，无监督语言模型能够提供更好的模型初始化方法，从而得到具有更好泛化能力的模型，并且加速目标任务的收敛速。
根据所使用的不同语言模型，在进行模型训练之前还包括不同的对文本进行预处理的步骤。例如使用BERT模型时，首先将对话文本处理为BERT模型输入格式的文本数据，之后对文本数据进行填补使各文本数据长度一致。
在本发明的其他实施方式中，也可使用常见的无监督训练模型，并根据模型类型调整文本预处理的步骤。
进一步的，在本发明一些实施方式中，步骤S1还包括：
根据所述对话文本，构建句式模板，自动生成训练用语料；
对所述对话文本和所述训练用语料进行训练得到预训练的语言模型。
在实际使用过程中，由于用户真实对话文本语料数量较少或者不同意图分类的语料数量分布不均衡，需要自动生成语料数据作为模型训练的补充文本数据。语料生成方法可以参考现有技术，这里不再赘述。
通过结合实际用户对话文本和基于其生成的大规模语料对语言模型进行训练，可以
如图2所示，在步骤S2中，其具体包括：
S21：通过K-means聚类算法对所述对话文本进行聚类，通过轮廓系数选出最佳聚类中心K值并划分文本簇类。
S22：选择每个所述文本簇类中与所述最佳聚类中心K值最接近的文本最为该所述文本簇类中的代表文本，将代表文本进行组合生成所述意图中心文本。
这里所述的意图中心文本为一类对话文本中最能够反应该类对话文本意图的构造文本，其可以视为代表此类对话文本的意图。
通过对对话文本进行聚类处理，并将与聚类中心K值最接近的文本作为该文本簇类中最有代表性的文本，从而能够有效针对大量文本数据自动生成反应对话文本意图的意图中心文本，生成方法简单高效，且准确率高，并在后续过程中，将意图中心文本构造为Prompt模板，能够有效避免人工构造Prompt模板时产生的意图预测结果波动问题。
具体的，在步骤S21中，其具体包括：对对话文本进行切词和去除停用词等预处理，计算文本特征并构建向量空间模型，使用K-means算法进行聚类。
进一步的，在步骤S21中，通过计算聚类中心轮廓系数，基于轮廓系数大小，计算轮廓系数极大值，选择最优聚类中心K值。
进一步的，在步骤S2中，所述对所述对话文本进行聚类处理，还包括：
对于所述文本簇类中的代表文本，通过人工判别文本类别，形成所述意图中心文本。
对于聚类后的文本，通过人工进行判别文本类别以进一步提高意图中心文本的文本准确度。
在本发明的其他实施方式中，也可通过其他常用聚类算法对对话文本进行聚类处理。
在步骤S3中，通过意图中心文本构造Prompt模板，这里基于一具体事例进行说明。步骤S2中得到的意图中心文本为“把茄子加入冰箱”，则构造的Prompt模板为：[X]和把茄子放入冰箱是否一致？[MASK]。其中，[X]为输入的对话文本，[MASK]用以表示预测结果，即用以表示一致或不一致。
对于对话文本“冰箱添加土豆”，将其输入上述Prompt模板，所输出的Prompt构造文本为“冰箱添加土豆和把茄子放入冰箱是否一致？[MASK]”。将Prompt构造文本输入预训练的语言模型进行语句意图匹配判断，输出一致或不一致，即可基于意图中心文本完成对对话文本的意图判断。
基于同一发明思路，本发明还提供一种结合聚类的Prompt结构意图识装置，其包括：
模型训练模块，其被配置用于获取对话文本，对所述对话文本进行无监督的模型训练，得到预训练的语言模型；
聚类模块，其被配置用于对所述对话文本进行聚类处理，根据聚类结果获取聚类中心，并获取与聚类中心最接近的文本作为意图中心文本；
Prompt模板构造模块，其被配置用于基于所述意图中心文本构建Prompt模板，将所述对话文本输入所述Prompt模板槽位，输出Prompt构造文本；
判断模块，其被配置用于将所述Prompt构造文本通过所述预训练的语言模型判断输入的所述对话文本和所述意图中心文本的意图是否一致。
基于同一发明思路，本发明还提供一种电器设备，其包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现上述的结合聚类的Prompt结构意图识别方法。
基于同一发明思路，本发明还提供一种冰箱，其包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现上述的结合聚类的Prompt结构意图识别方法。
基于同一发明思路，本发明还提供一种计算机可读存储介质，其存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现上述的结合聚类的Prompt结构意图识别方法。
综上所述，本实施方式通过构造零样本Prompt提示结构的的方式，不需要大量标注文本意图标签，即可以对文本的意图进行识别，从而节省对话意图识别的成本。并且，Prompt提示结构构造的过程中，使用聚类方法发现意图中心文本的方式，自动化的构建意图识别所需要的prompt提示结构。可以避免人工构造prompt结构时，产生的意图预测结果波动问题。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本发明的可行性实施方式的具体说明，并非用以限制本发明的保护范围，凡未脱离本发明技艺精神所作的等效实施方式或变更均应包含在本发明的保护范围之内。
Claims (10)
1.一种结合聚类的Prompt结构意图识别方法，其特征在于，包括步骤：
获取对话文本，对所述对话文本进行无监督的模型训练，得到预训练的语言模型；
对所述对话文本进行聚类处理，根据聚类结果获取聚类中心，并获取与聚类中心最接近的文本作为意图中心文本；
基于所述意图中心文本构建Prompt模板，将所述对话文本输入所述Prompt模板槽位，输出Prompt构造文本；
将所述Prompt构造文本通过所述预训练的语言模型判断输入的所述对话文本和所述意图中心文本的意图是否一致。
2.根据权利要求1所述的结合聚类的Prompt结构意图识别方法，其特征在于，所述获取对话文本，对所述对话文本进行无监督的模型训练，得到预训练的语言模型，还包括：
根据所述对话文本，构建句式模板，自动生成训练用语料；
对所述对话文本和所述训练用语料进行训练得到预训练的语言模型。
3.根据权利要求1所述的结合聚类的Prompt结构意图识别方法，其特征在于，所述对所述训练用对话文本进行无监督的模型训练，得到预训练的的语言模型，具体包括：
通过BERT、ELECTRA、GPT模型对所述对话文本进行训练得到预训练的的语言模型。
4.根据权利要求1所述的结合聚类的Prompt结构意图识别方法，其特征在于，所述对所述对话文本进行聚类处理，具体包括：
通过K-means聚类算法对所述对话文本进行聚类，选择聚类中心K值，并划分文本簇类；
选择每个所述文本簇类中与所述聚类中心K值最接近的文本最为该所述文本簇类中的代表文本，将代表文本进行组合生成所述意图中心文本。
5.根据权利要求4所述的结合聚类的Prompt结构意图识别方法，其特征在于，所述选择聚类中心K值，具体包括：
计算聚类中心轮廓系数，基于轮廓系数大小，选择最优聚类中心K值。
6.根据权利要求5所述的结合聚类的Prompt结构意图识别方法，其特征在于，所述对所述对话文本进行聚类处理，还包括：
对于所述文本簇类中的代表文本，通过人工判别文本类别，形成所述意图中心文本。
7.一种结合聚类的Prompt结构意图识装置，其特征在于，包括：
模型训练模块，其被配置用于获取对话文本，对所述对话文本进行无监督的模型训练，得到预训练的语言模型；
聚类模块，其被配置用于对所述对话文本进行聚类处理，根据聚类结果获取聚类中心，并获取与聚类中心最接近的文本作为意图中心文本；
Prompt模板构造模块，其被配置用于基于所述意图中心文本构建Prompt模板，将所述对话文本输入所述Prompt模板槽位，输出Prompt构造文本；
判断模块，其被配置用于将所述Prompt构造文本通过所述预训练的语言模型判断输入的所述对话文本和所述意图中心文本的意图是否一致。
8.一种电器设备，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现权利要求1至6任一项所述的结合聚类的Prompt结构意图识别方法。
9.一种冰箱，其特征在于，包括：
存储器，用于存储可执行指令；
处理器，用于运行所述存储器存储的可执行指令时，实现权利要求1至6任一项所述的结合聚类的Prompt结构意图识别方法。
10.一种计算机可读存储介质，其存储有可执行指令，其特征在于，所述可执行指令被处理器执行时实现权利要求1至6任一项所述的结合聚类的Prompt结构意图识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211475785.9A CN115858747A (zh) | 2022-11-23 | 2022-11-23 | 结合聚类的Prompt结构意图识别方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211475785.9A CN115858747A (zh) | 2022-11-23 | 2022-11-23 | 结合聚类的Prompt结构意图识别方法、装置、设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115858747A true CN115858747A (zh) | 2023-03-28 |
Family
ID=85665440
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211475785.9A Pending CN115858747A (zh) | 2022-11-23 | 2022-11-23 | 结合聚类的Prompt结构意图识别方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115858747A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116580408A (zh) * | 2023-06-06 | 2023-08-11 | 上海任意门科技有限公司 | 一种图像生成方法、装置、电子设备及存储介质 |
-
2022
- 2022-11-23 CN CN202211475785.9A patent/CN115858747A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116580408A (zh) * | 2023-06-06 | 2023-08-11 | 上海任意门科技有限公司 | 一种图像生成方法、装置、电子设备及存储介质 |
| CN116580408B (zh) * | 2023-06-06 | 2023-11-03 | 上海任意门科技有限公司 | 一种图像生成方法、装置、电子设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106571140B (zh) | 一种基于语音语义的电器智能控制方法及*** | |
| CN110838289B (zh) | 基于人工智能的唤醒词检测方法、装置、设备及介质 | |
| CN107291783B (zh) | 一种语义匹配方法及智能设备 | |
| CN110807332A (zh) | 语义理解模型的训练方法、语义处理方法、装置及存储介质 | |
| CN112100349A (zh) | 一种多轮对话方法、装置、电子设备及存储介质 | |
| CN110990543A (zh) | 智能对话的生成方法、装置、计算机设备及计算机存储介质 | |
| CN110232439B (zh) | 一种基于深度学习网络的意图识别方法 | |
| CN109637537B (zh) | 一种自动获取标注数据优化自定义唤醒模型的方法 | |
| CN111445898B (zh) | 语种识别方法、装置、电子设备和存储介质 | |
| CN110795945A (zh) | 一种语义理解模型训练方法、语义理解方法、装置及存储介质 | |
| CN108388553B (zh) | 对话消除歧义的方法、电子设备及面向厨房的对话*** | |
| CN106340297A (zh) | 一种基于云计算与置信度计算的语音识别方法与*** | |
| CN110807333A (zh) | 一种语义理解模型的语义处理方法、装置及存储介质 | |
| CN111223476B (zh) | 语音特征向量的提取方法、装置、计算机设备和存储介质 | |
| CN112699686A (zh) | 基于任务型对话***的语义理解方法、装置、设备及介质 | |
| CN113254613A (zh) | 对话问答方法、装置、设备及存储介质 | |
| CN110019741A (zh) | 问答***答案匹配方法、装置、设备及可读存储介质 | |
| CN111554276A (zh) | 语音识别方法、装置、设备及计算机可读存储介质 | |
| CN115858747A (zh) | 结合聚类的Prompt结构意图识别方法、装置、设备及存储介质 | |
| CN116303966A (zh) | 基于提示学习的对话行为识别*** | |
| US11132999B2 (en) | Information processing device, information processing method, and non-transitory computer readable storage medium | |
| CN110674276A (zh) | 机器人自学习方法、机器人终端、装置及可读存储介质 | |
| CN113362815A (zh) | 语音交互方法、***、电子设备及存储介质 | |
| CN112818096A (zh) | 对话生成方法及其装置 | |
| CN112818689A (zh) | 一种实体识别方法、模型训练方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |