CN117708307B - 一种大语言模型微调和Adapter融合方法及装置 - Google Patents
一种大语言模型微调和Adapter融合方法及装置 Download PDFInfo
- Publication number
- CN117708307B CN117708307B CN202410170139.4A CN202410170139A CN117708307B CN 117708307 B CN117708307 B CN 117708307B CN 202410170139 A CN202410170139 A CN 202410170139A CN 117708307 B CN117708307 B CN 117708307B
- Authority
- CN
- China
- Prior art keywords
- question
- answer
- dialogue
- adapter
- lora
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 230000006870 function Effects 0.000 claims abstract description 114
- 230000004927 fusion Effects 0.000 claims abstract description 90
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 18
- 238000012549 training Methods 0.000 claims description 22
- 238000004590 computer program Methods 0.000 claims description 8
- 230000006978 adaptation Effects 0.000 claims description 5
- 230000008014 freezing Effects 0.000 claims description 3
- 238000007710 freezing Methods 0.000 claims description 3
- 238000013135 deep learning Methods 0.000 abstract description 2
- 238000010276 construction Methods 0.000 abstract 1
- 238000013480 data collection Methods 0.000 abstract 1
- 238000003058 natural language processing Methods 0.000 description 8
- 238000011160 research Methods 0.000 description 7
- 238000011161 development Methods 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 4
- 238000004140 cleaning Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 238000012827 research and development Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种大语言模型微调和Adapter融合方法及装置，涉及深度学***台上收集多个问答数据集和对话数据集；对问答数据集和对话数据集分别进行LoRA‑adapter微调，依次得到问答大语言模型、问答负对数似然损失函数、对话大语言模型和对话负对数似然损失函数；得到问答数据集和对话数据集在理想状态下的理想损失函数、理想融合权重和第一理想参数；得到问答LoRA‑adapter的最佳参数、对话LoRA‑adapter的最佳参数和最佳融合参数；根据问答LoRA‑adapter的最佳参数、对话LoRA‑adapter的最佳参数和所述最佳融合参数得到通用LORA‑adapter。
Description
技术领域
本发明涉及深度学习领域，更具体的涉及一种大语言模型微调和Adapter融合方法及装置。
背景技术
训练大型语言模型具有重要的科研和应用价值，能够提升自然语言处理任务的性能，改进对话***的交互体验，推动科学研究、技术创新和人工智能发展的普惠性。大型语言模型通过训练海量的语料库，能够学习到丰富的语言知识和语法规则，从而在如机器翻译、文本生成和文本分类等自然语言处理任务中表现出更好的性能。这些模型能够理解和生成更准确、更流畅的自然语言。大型语言模型可用于构建智能对话***，通过与用户进行对话，提供更加自然、准确和个性化的回复。训练出的模型能够理解和生成人类语言，从而能够更好地满足用户的需求，提升对话***的交互体验。训练大型语言模型需要处理海量的数据和庞大的计算资源，这对于推动科学研究和技术创新具有重要意义。训练大型语言模型的过程中，需要解决许多技术挑战，如数据处理、模型设计、训练算法等，这些挑战的解决对于相关领域的研究和发展都有积极的推动作用。
目前大型语言模型训练采用的常规方案为：收集大量的指令微调数据，对其进行融合后构建出来一个大规模的数据集，在此数据集上微调开源大语言模型。然而，将多个数据集融合构建一个多功能数据集似乎是不可能的，一方面不同数据集之间可能存在矛盾的可能性，而且很难评估数据的质量；另一方面这些数据集由各种特定任务的实例组成，例如数学、编码、角色扮演、写作等。若将这些数据集混合，并在这个融合数据集上进行微调时，大语言模型的性能可能会下降，甚至出现严重下降的问题。
发明内容
本发明实施例提供一种大语言模型微调和Adapter融合方法及装置，可以防止由于不同数据集在语义空间中存在冲突而导致性能下降的问题。
本发明实施例提供一种大语言模型微调和Adapter融合方法，包括：
从设定网络平台上收集多个问答数据集和对话数据集，对所述问答数据集和所述对话数据集分别进行LoRA-adapter微调，依次得到问答大语言模型、问答负对数似然损失函数、对话大语言模型和对话负对数似然损失函数；
根据所述问答负对数似然损失函数、所述对话负对数似然损失函数和基于每个LoRA-adapter微调所包括的初始融合权重，得到所述问答数据集和所述对话数据集在理想状态下的理想损失函数，根据所述理想损失函数的最小值得到所述理想损失函数所对应的理想融合权重和第一理想参数；其中，所述第一理想参数表示分别添加到所述问答大语言模型和所述对话大语言模型的所有的LoRA-adapter；
根据所述理想损失函数，对每个所述问答数据集对应的问答LoRA-adapter、每个所述对话数据集对应的对话LoRA-adapter进行微调，分别得到问答LoRA-adapter的最佳参数、对话LoRA-adapter的最佳参数和最佳融合参数；
根据所述问答LoRA-adapter的最佳参数、所述对话LoRA-adapter的最佳参数和所述最佳融合参数得到通用LoRA-adapter。
优选地，所述对所述问答数据集进行LoRA-adapter微调，依次得到问答大语言模型、问答负对数似然损失函数，具体包括：
对所述问答数据集进行训练得到问答LoRA-adapter，根据所述问答LoRA-adapter和所述问答数据集，得到所述问答大语言模型；
根据所述问答大语言模型和所述问答大语言模型的token得到所述问答负对数似然损失函数；
所述问答数据集、所述问答大语言模型和所述问答负对数似然损失函数如下所示：
其中，Qi表示第i个问答数据集，si,j表示第i个问答数据集的第j个***信息，qi,j表示第i个问答数据集的第j个问题，ri,j表示第i个问答数据集的第j个回复，|Qi|表示问答数据集Qi的长度，表示在问答数据集Qi上训练得到的问答LoRA-adapter，|ri,j|表示ri,j的长度，rk表示大语言模型生成的第k个token，pθ表示大语言模型，θ表示大语言模型的冻结参数，/>表示问答负对数似然损失函数。
优选地，所述对所述对话数据集进行LoRA-adapter微调，依次得到对话大语言模型、对话负对数似然损失函数，具体包括：
对所述对话数据集进行训练得到对话LoRA-adapter，根据所述对话LoRA-adapter和所述对话数据集，得到对话大语言模型；
根据所述对话大语言模型和所述对话大语言模型的token得到所述对话负对数似然损失函数；
所述对话数据集、对话大语言模型和所述对话负对数似然损失函数如下所示：
其中，Ci表示第i个对话数据集，表示第T轮中第i个对话数据集的第j个查询，表示第T轮中第i个对话数据集的第j个回复，|Ci|表示对话数据集Ci的长度，/>表示在对话数据集Ci上训练得到的对话LoRA-adapter，Qj表示属于用户查询的所有标记，Rj表示目标标记，/>表示对话数据集Ci中第j个数据包含token的数量，/>表示对话负对数似然损失函数，pθ表示大语言模型，θ表示大语言模型的冻结参数。
优选地，所述理想损失函数如下所示：
所述理想损失函数的最小值如下所示：
其中，L表示理想损失函数，表示在问答数据集Qi上微调获得/>的初始融合权重，/>表示在对话数据集Ci上微调获得/>的初始融合权重，A*表示所有的第一理想参数，ω*表示所有的理想融合权重，A表示第一理想参数，ω表示理想融合权重。
优选地，所述第一理想参数如下所示：
所述理想融合权重如下所示：
其中，A表示第一理想参数，表示在问答数据集QM上微调获得的第一理想参数，表示在对话数据集CN上微调获得的第一理想参数，M表示问答数据集的数量，N表示对话数据集的数量，ω表示理想融合权重，/>表示/>的理想融合权重，/>表示/>的理想融合权重。
优选地，所述问答LoRA-adapter的最佳参数、对话LoRA-adapter的最佳参数和最佳融合参数如下所示：
其中，表示问答LoRA-adapter的最佳参数，/>表示对话LoRA-adapter的最佳参数，ω**表示最佳融合参数，/>表示问答负对数似然损失函数，/>表示对话负对数似然损失函数，/>表示在问答数据集Qi上微调获得的初始融合权重，/>表示在对话数据集Ci上微调获得的初始融合权重，/>表示在对话数据集Ci上训练得到的对话LoRA-adapter。
本发明实施例提供一种大语言模型微调和Adapter融合装置，包括：
第一得到单元，用于从设定网络平台上收集多个问答数据集和对话数据集；对所述问答数据集和对话数据集分别进行LoRA-adapter微调，依次得到问答大语言模型、问答负对数似然损失函数、对话大语言模型和对话负对数似然损失函数；
第二得到单元，用于根据所述问答负对数似然损失函数、所述对话负对数似然损失函数和基于每个LoRA-adapter微调所包括的初始融合权重，得到问答数据集和对话数据集在理想状态下的理想损失函数，根据所述理想损失函数的最小值得到理想损失函数所对应的理想融合权重和第一理想参数；其中，所述第一理想参数表示分别添加到所述问答大语言模型和所述对话大语言模型的所有的LoRA-adapter；
第三得到单元，用于根据所述理想损失函数，对每个所述问答数据集对应的问答LoRA-adapter、每个所述对话数据集对应的对话LoRA-adapter进行微调，分别得到问答LoRA-adapter的最佳参数、对话LoRA-adapter的最佳参数和最佳融合参数；
第四得到单元，用于根据所述问答LoRA-adapter的最佳参数、所述对话LoRA-adapter的最佳参数和所述最佳融合参数得到通用LoRA-adapter。
本发明实施例提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述任意一项所述的大语言模型微调和Adapter融合方法。
本发明实施例提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述任意一项所述的大语言模型微调和Adapter融合方法。
本发明实施例提供一种大语言模型微调和Adapter融合方法及装置，该方法包括：从设定网络平台上收集多个问答数据集和对话数据集；对所述问答数据集和对话数据集分别进行LoRA-adapter微调，依次得到问答大语言模型、问答负对数似然损失函数、对话大语言模型和对话负对数似然损失函数；根据所述问答负对数似然损失函数、所述对话负对数似然损失函数和基于每个LoRA-adapter微调所包括的初始融合权重，得到问答数据集和对话数据集在理想状态下的理想损失函数，根据所述理想损失函数的最小值得到理想损失函数所对应的理想融合权重和第一理想参数；其中，所述第一理想参数表示分别添加到所述问答大语言模型和所述对话大语言模型的所有的LoRA-adapter；根据所述理想损失函数，对每个所述问答数据集对应的问答LoRA-adapter、每个所述对话数据集对应的对话LoRA-adapter进行微调，分别得到问答LoRA-adapter的最佳参数、对话LoRA-adapter的最佳参数和最佳融合参数；根据所述问答LoRA-adapter的最佳参数、所述对话LoRA-adapter的最佳参数和所述最佳融合参数得到通用LoRA-adapter。该方法通过构建多个指令微调数据集，利用QLoRA的量化技术来节约GPU(英文为：Graphic Process Unit，中文为：图形处理器)的消耗，提供了一种节约计算资源成本且高质量的大语言模型训练方式，同时设计了基于Grid-Search(中文为：调参手段)优化多LoRA-adapter融合方式对训练出的LoRA-adapter进行融合。该方法通过对LoRA-adapter进行融合，可以有效避免数据集融合引起的语义空间冲突，同时提升大语言模型在多个任务上的泛化性能。解决了现有技术中由于不同数据集在语义空间中存在冲突而导致性能下降的问题。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种大语言模型微调和Adapter融合方法流程示意图；
图2为本发明实施例提供的一种大语言模型微调和Adapter融合装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
训练大型语言模型不仅仅是为了提升自然语言处理任务的性能和改进对话***的交互体验，它还在科研和应用领域具有更为丰富的价值和意义。
首先，大型语言模型通过训练海量的语料库，能够学习到丰富的语言知识和语法规则。这些模型可以理解和生成更准确、更流畅的自然语言，为机器翻译、文本生成、文本分类等自然语言处理任务提供更好的性能表现。在机器翻译任务中，大型语言模型能够更准确地理解源语言的含义并生成更自然的目标语言翻译结果。在文本生成任务中，模型能够生成更富有逻辑和连贯性的文本内容。在文本分类任务中，模型可以更准确地判断文本的类别，提升分类的准确率。
其次，大型语言模型可用于构建智能对话***，通过与用户进行对话，提供更加自然、准确和个性化的回复。这种能力对于日常生活中的聊天机器人、智能客服等场景非常有用。训练出的模型能够理解和生成人类语言，从而能够更好地满足用户的需求，提升对话***的交互体验。对话***可以通过模型生成个性化回复，使用户感受到与人类对话一样的交互体验，增强用户的满意度。
此外，训练大型语言模型需要处理海量的数据和庞大的计算资源，这对于推动科学研究和技术创新具有重要意义。在训练大型语言模型的过程中，需要解决许多技术挑战，如数据处理、模型设计、训练算法等。这些挑战的解决不仅能够推动语言模型的发展，还有助于相关领域的研究和发展。例如，通过对模型进行改进和优化，可以提高模型的效率和性能，为其他自然语言处理任务的开发和应用提供技术支持。
最后，训练大型语言模型可以提供智能化的自然语言处理服务，促进人工智能技术的普惠性发展。这些模型可以被应用于各个领域，如教育、医疗、金融等。在教育领域，模型可以用于辅助学***台。在医疗领域，模型可以用于辅助医生诊断、智能化病历记录等，提升医疗服务的质量和效率。在金融领域，模型可以用于智能客服、风险管理等，提供更个性化、高效的金融服务。
综上所述，训练大型语言模型具有重要的科研和应用价值，不仅能提升自然语言处理任务的性能和改进对话***的交互体验，还能推动科学研究、技术创新和人工智能发展的普惠性。通过训练大型语言模型，可以在各个领域应用智能化的自然语言处理技术，为社会提供更好的智能化服务和解决方案。
由于目前大型语言模型训练采用的常规方案，多个数据集融合构建一个多功能数据集似乎是不可能的，不同数据集之间可能存在矛盾的可能性，而且很难评估数据的质量。基于此，本发明实施例为了能够构建一个高质量且能力强的大语言模型，提出了一种高效的训练方法。通过Huggingface平台上的多个开源数据进行清洗与整理，得到多个不同的知识问答数据集和对话数据集，然后采用QLoRA(中文为：低秩适配)在每个数据集上单独训练一个LoRA-adapter，最后利用Grid-Search对这些LoRA-adapter的融合权重进行动态优化。
图1为本发明实施例提供的一种大语言模型微调和Adapter融合方法流程示意图；如图1所示，该方法包括以下步骤：
步骤101，从设定网络平台上收集多个问答数据集和对话数据集；对所述问答数据集和对话数据集分别进行LoRA-adapter微调，依次得到问答大语言模型、问答负对数似然损失函数、对话大语言模型和对话负对数似然损失函数；
步骤102，根据所述问答负对数似然损失函数、所述对话负对数似然损失函数和基于每个LoRA-adapter微调所包括的初始融合权重，得到问答数据集和对话数据集在理想状态下的理想损失函数，根据所述理想损失函数的最小值得到理想损失函数所对应的理想融合权重和第一理想参数；其中，所述第一理想参数表示分别添加到所述问答大语言模型和所述对话大语言模型的所有的LoRA-adapter；
步骤103，根据所述理想损失函数，对每个所述问答数据集对应的问答LoRA-adapter、每个所述对话数据集对应的对话LoRA-adapter进行微调，分别得到问答LoRA-adapter的最佳参数、对话LoRA-adapter的最佳参数和最佳融合参数；
步骤104，根据所述问答LoRA-adapter的最佳参数、所述对话LoRA-adapter的最佳参数和所述最佳融合参数得到通用LoRA-adapter。
需要说明的是，本发明实施例提供的大语言模型微调和Adapter融合方法，其执行主体为处理器。
在步骤101中，先从设定网络平台上收集多个问答数据集和对话数据集，这里的设定网络平台可以是Huggingface社区，在本发明实施例中，对设定网络平台不做具体限定。
具体地，从设定网络平台上收集多个数据集之后，需要对上述多个数据集进行清洗，清洗之后最终得到多个问答数据集和多个对话数据集，在本发明实施例中，对数据集的清洗规则如下：
1)删除与ChatGPT(英文为：Chat Generative Pre-trained Transformer)-3.5-Turbo之间的对话实例，只保留与GPT-4之间的对话实例；2)删除GPT-4拒绝回答或直接解释的对话；3)删除的回答为GPT-4空或GPT-4遗漏回答的对话；4)删除包含有毒或非法信息的对话；5)删除包含OpenAI或ChatGPT字样的对话，或者将包含OpenAI或ChatGPT字样的对话替换为确保该模型具有正确身份的信息；6)删除与基准问题相似度大于85％的用户提问；7)将过长的对话实例分成与模型最大上下文长度匹配对话。
通过上述情形规则，最终可以得到本发明实施例所需的多个问答数据集合多个对话数据集。
在本发明实施例中，问答数据集可以表示为{Q1,Q2,…,QM}，对话数据集可以表示为{C1,C2,…,CN}。
具体地，问答数据集可以通过公式(1)表示：
其中，s代表***信息system message，q代表用户的问题query，r代表人工智能的回复response，Qi表示第i个问答数据集，si,j表示第i个问答数据集的第j个***信息，qi,j表示第i个问答数据集的第j个问题，ri,j表示第i个问答数据集的第j个回复，|Qi|表示问答数据集Qi的长度。
在本发明实施例中，对得到的问答数据集进行LoRA-adapter微调时，给定来自特定实例的***消息si,j和查询qi,j，大语言模型应该学会生成相应的回复ri,j。这个过程就可以得到问答大语言模型，问答大语言模型如下所示：
其中，表示在问答数据集Qi上训练得到的问答LoRA-adapter，pθ表示大语言模型，|ri,j|表示ri,j的长度，rk表示大语言模型生成的第k个token，θ表示大语言模型的冻结参数，r<k表示小标小于k的所有的r。
进一步地，根据问答大语言模型和问答大语言模型的token得到问答负对数似然损失函数。
其中，问答负对数似然损失函数如下所示：
其中，表示问答负对数似然损失函数，si,j表示第i个问答数据集的第j个***信息，qi,j表示第i个问答数据集的第j个问题，ri,j表示第i个问答数据集的第j个回复。
相应地，对话数据集可以通过公式(4)表示：
其中，对话数据集包含多个拥有T轮的对话实例，Ci表示第i个对话数据集，表示第T轮中第i个对话数据集的第j个查询，/>表示第T轮中第i个对话数据集的第j个回复，|Ci|表示对话数据集Ci的长度。
在本发明实施例中，在对话数据集进行LoRA-adapter微调时，大语言模型将学习在给定第T轮之前的对话历史和查询的情况下预测每个回复/>这个过程就可以得到对话大语言模型，对话大语言模型如下所示：
其中，表示在对话数据集Ci上训练得到的对话LoRA-adapter，Qj表示属于用户查询的所有标记，Rj表示目标标记，/>表示对话数据集Ci中第j个数据包含token的数量。
进一步地，根据对话大语言模型和对话大语言模型的token得到对话负对数似然损失函数。其中，对话负对数似然损失函数如下所示：
其中，表示对话负对数似然损失函数，/>表示对话数据集Ci中第j个数据包含token的数量，pθ表示大语言模型，θ表示大语言模型的冻结参数，/>表示在对话数据集Ci上训练得到的对话LoRA-adapter。
需要说明的是，在本发明实施例中，对于LoRA-adapter的融合，每个微调LoRA-adapter的损失函数将被赋予一个可训练的权重，并且微调所有带有融合权重的LoRA-adapter的损失函数，其中，融合权重可以表示为：
在步骤102中，根据问答负对数似然损失函数、对话负对数似然损失函数和基于每个LoRA-adapter微调所包括的初始融合权重，可以得到问答数据集和对话数据集在理想状态下的理想损失函数，其中，理想损失函数如下所示：
其中，L表示理想损失函数，表示问答负对数似然损失函数，/>表示对话负对数似然损失函数，/>表示在问答数据集Qi上微调获得/>的初始融合权重，/>表示在对话数据集Ci上微调获得/>的初始融合权重。
进一步地，根据理想损失函数的最小值得到理想损失函数所对应理想融合权重和第一理想参数，通过下列公式表示理想损失函数的最小值：
其中，A*表示所有的理想LORA-adaper，ω*表示所有理想融合权重，argmin表示当后面的公式取得最小值时，对应的参数A和ω的取值。
在本发明实施例中，所有的理想LORA-adaper也可以称为所有的第一理想参数，第一理想参数表示分别添加到问答大语言模型和所述对话大语言模型的所有的LoRA-adapter，其中，第一理想参数通过下列公式表示：
其中，A表示第一理想参数，表示在问答数据集QM上微调获得的第一理想参数，表示在对话数据集CN上微调获得的第一理想参数，M表示问答数据集的数量，N表示对话数据集的数量。
具体地，ω表示所有LoRA-adapter的理想融合权重，即表示问答LoRA-adapter和对话LoRA-adapter的理想融合权重，其可以通过下列公式表示：
其中，ω表示理想融合权重，表示/>的理想融合权重，/>表示/>的理想融合权重。
在步骤103中，根据所述理想损失函数，对每个所述问答数据集对应的问答LoRA-adapter、每个所述对话数据集对应的对话LoRA-adapter进行微调，分别得到问答LoRA-adapter的最佳参数、对话LoRA-adapter的最佳参数和最佳融合参数。
在实际应用中，为了提高效率和简便性，第一理想参数和理想融合权重会被顺序微调。在第一阶段，分别对每个问答数据集或对话数据集上的每个LoRA-adapter(所有第一理想参数)进行微调，即针对公式(8)，先将公式(8)拆分为两个如下所示的公式，然后可以求出问答LoRA-adapter的最佳参数和对话LoRA-adapter的最佳参数，具体如下所示：
其中，表示问答LoRA-adapter的最佳参数，/>表示对话LoRA-adapter的最佳参数，/>表示在对话数据集Ci上训练得到的对话LoRA-adapter，/>表示在问答数据集Qi上训练得到的问答LoRA-adapter，/>表示问答负对数似然损失函数，/>表示对话负对数似然损失函数。
进一步地，在第二阶段只微调理想融合权重，而将基本大语言模型和第一理想参数冻结，得到最佳融合参数，最佳融合参数具体如下所示：
其中，ω**表示最佳融合参数，表示在问答数据集Qi上微调获得/>的初始融合权重，/>表示在对话数据集Ci上微调获得/>的初始融合权重，/>表示问答负对数似然损失函数，/>表示对话负对数似然损失函数，ω表示理想融合权重。
需要说明的是，在实际应用中，当问答数据集和对话数据集的数量较少时，可以使用一些简单快捷的算法来优化理想融合权重。
步骤104，根据所述问答LoRA-adapter的最佳参数、所述对话LoRA-adapter的最佳参数和所述最佳融合参数得到通用LoRA-adapter。
综上所述，本发明实施例提供一种大语言模型微调和Adapter融合方法及装置，该方法通过对LoRA-adapter进行融合，可以有效避免数据集融合引起的语义空间冲突，同时提升大语言模型在多个任务上的泛化性能。解决了现有技术中由于不同数据集在语义空间中存在冲突而导致性能下降的问题。
基于同一发明构思，本发明实施例提供了一种大语言模型微调和Adapter融合装置，由于该装置解决技术问题的原理与一种大语言模型微调和Adapter融合方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。
如图2所示，该装置主要包括第一得到单元201，第二得到单元202，第三得到单元203和第四得到单元204。
第一得到单元201，用于从设定网络平台上收集多个问答数据集和对话数据集，对所述问答数据集和所述对话数据集分别进行LoRA-adapter微调，依次得到问答大语言模型、问答负对数似然损失函数、对话大语言模型和对话负对数似然损失函数；
第二得到单元202，用于根据所述问答负对数似然损失函数、所述对话负对数似然损失函数和基于每个LoRA-adapter微调所包括的初始融合权重，得到所述问答数据集和所述对话数据集在理想状态下的理想损失函数，根据所述理想损失函数的最小值得到所述理想损失函数所对应的理想融合权重和第一理想参数；其中，所述第一理想参数表示分别添加到所述问答大语言模型和所述对话大语言模型的所有的LoRA-adapter；
第三得到单元203，用于根据所述理想损失函数，对每个所述问答数据集对应的问答LoRA-adapter、每个所述对话数据集对应的对话LoRA-adapter进行微调，分别得到问答LoRA-adapter的最佳参数、对话LoRA-adapter的最佳参数和最佳融合参数；
第四得到单元204，用于根据所述问答LoRA-adapter的最佳参数、所述对话LoRA-adapter的最佳参数和所述最佳融合参数得到通用LoRA-adapter。
应当理解，以上一种大语言模型微调和Adapter融合装置包括的单元仅根据该装置实现的功能进行逻辑划分，实际应用中，可以进行上述单元的叠加或拆分。并且该实施例提供的一种大语言模型微调和Adapter融合装置所实现的功能与上述实施例提供的一种大语言模型微调和Adapter融合方法一一对应，对于该装置所实现的更为详细的处理流程，在上述方法实施例一中已做详细描述，此处不再详细描述。
本发明另一实施例还提供一种计算机设备，计算机设备包括：处理器和存储器；所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令；当所述处理器执行所述计算机指令时，所述电子设备执行上述方法实施例所示的方法流程中大语言模型微调和Adapter融合方法的各个步骤。
本发明另一实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有计算机指令，当计算机指令在计算机设备上运行时，使得计算机设备执行上述方法实施例所示的方法流程中大语言模型微调和Adapter融合方法的各个步骤。
尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
Claims (8)
1.一种大语言模型微调和Adapter融合方法，其特征在于，包括：
从设定网络平台上收集多个问答数据集和对话数据集，对所述问答数据集和所述对话数据集分别进行LoRA-adapter微调，依次得到问答大语言模型、问答负对数似然损失函数、对话大语言模型和对话负对数似然损失函数；
根据所述问答负对数似然损失函数、所述对话负对数似然损失函数和基于每个LoRA-adapter微调所包括的初始融合权重，得到所述问答数据集和所述对话数据集在理想状态下的理想损失函数，根据所述理想损失函数的最小值得到所述理想损失函数所对应的理想融合权重和第一理想参数；其中，所述第一理想参数表示分别添加到所述问答大语言模型和所述对话大语言模型的所有的LoRA-adapter；
根据所述理想损失函数，对每个所述问答数据集对应的问答LoRA-adapter、每个所述对话数据集对应的对话LoRA-adapter进行微调，分别得到问答LoRA-adapter的最佳参数、对话LoRA-adapter的最佳参数和最佳融合参数；
根据所述问答LoRA-adapter的最佳参数、所述对话LoRA-adapter的最佳参数和所述最佳融合参数得到通用LoRA-adapter；
所述理想损失函数、所述问答LoRA-adapter的最佳参数、对话LoRA-adapter的最佳参数和最佳融合参数如下所示：
其中，L表示理想损失函数，表示在问答数据集Qi上微调获得/>的初始融合权重，表示在对话数据集Ci上微调获得/>的初始融合权重，/>表示问答LoRA-adapter的最佳参数，/>表示对话LoRA-adapter的最佳参数，ω**表示最佳融合参数，/>表示问答负对数似然损失函数，/>表示对话负对数似然损失函数，/>表示在问答数据集Qi上训练得到的问答LoRA-adapter，/>表示在对话数据集Ci上训练得到的对话LoRA-adapter。
2.如权利要求1所述的方法，其特征在于，所述对所述问答数据集进行LoRA-adapter微调，依次得到问答大语言模型、问答负对数似然损失函数，具体包括：
对所述问答数据集进行训练得到问答LoRA-adapter，根据所述问答LoRA-adapter和所述问答数据集，得到所述问答大语言模型；
根据所述问答大语言模型和所述问答大语言模型的token得到所述问答负对数似然损失函数；
所述问答数据集、所述问答大语言模型和所述问答负对数似然损失函数如下所示：
其中，Qi表示第i个问答数据集，si，j表示第i个问答数据集的第j个***信息，qi，j表示第i个问答数据集的第j个问题，ri，j表示第i个问答数据集的第j个回复，|Qi|表示问答数据集Qi的长度，表示在问答数据集Qi上训练得到的问答LoRA-adapter，pθ表示大语言模型，|ri，j|表示ri，j的长度，rk表示大语言模型生成的第k个token，θ表示大语言模型的冻结参数，表示问答负对数似然损失函数。
3.如权利要求1所述的方法，其特征在于，所述对所述对话数据集进行LoRA-adapter微调，依次得到对话大语言模型、对话负对数似然损失函数，具体包括：
对所述对话数据集进行训练得到对话LoRA-adapter，根据所述对话LoRA-adapter和所述对话数据集，得到对话大语言模型；
根据所述对话大语言模型和所述对话大语言模型的token得到所述对话负对数似然损失函数；
所述对话数据集、对话大语言模型和所述对话负对数似然损失函数如下所示：
其中，Ci表示第i个对话数据集，表示第T轮中第i个对话数据集的第j个查询，/>表示第T轮中第i个对话数据集的第j个回复，|Ci|表示对话数据集Ci的长度，/>表示在对话数据集Ci上训练得到的对话LoRA-adapter，Qj表示属于用户查询的所有标记，Rj表示目标标记，/>表示对话数据集Ci中第j个数据包含token的数量，/>表示对话负对数似然损失函数，pθ表示大语言模型，θ表示大语言模型的冻结参数。
4.如权利要求1所述的方法，其特征在于，所述理想损失函数的最小值如下所示：
其中，表示在问答数据集Qi上微调获得/>的初始融合权重，/>表示在对话数据集Ci上微调获得/>的初始融合权重，A*表示所有的第一理想参数，ω*表示所有的理想融合权重，A表示第一理想参数，ω表示理想融合权重。
5.如权利要求1所述的方法，其特征在于，所述第一理想参数如下所示：
所述理想融合权重如下所示：
其中，A表示第一理想参数，表示在问答数据集QM上微调获得的第一理想参数，/>表示在对话数据集CN上微调获得的第一理想参数，M表示问答数据集的数量，N表示对话数据集的数量，ω表示理想融合权重，/>表示/>的理想融合权重，/>表示/>的理想融合权重。
6.一种大语言模型微调和Adapter融合装置，其特征在于，包括：
第一得到单元，用于从设定网络平台上收集多个问答数据集和对话数据集，对所述问答数据集和所述对话数据集分别进行LoRA-adapter微调，依次得到问答大语言模型、问答负对数似然损失函数、对话大语言模型和对话负对数似然损失函数；
第二得到单元，用于根据所述问答负对数似然损失函数、所述对话负对数似然损失函数和基于每个LoRA-adapter微调所包括的初始融合权重，得到所述问答数据集和所述对话数据集在理想状态下的理想损失函数，根据所述理想损失函数的最小值得到所述理想损失函数所对应的理想融合权重和第一理想参数；其中，所述第一理想参数表示分别添加到所述问答大语言模型和所述对话大语言模型的所有的LoRA-adapter；
第三得到单元，用于根据所述理想损失函数，对每个所述问答数据集对应的问答LoRA-adapter、每个所述对话数据集对应的对话LoRA-adapter进行微调，分别得到问答LoRA-adapter的最佳参数、对话LoRA-adapter的最佳参数和最佳融合参数；
第四得到单元，用于根据所述问答LoRA-adapter的最佳参数、所述对话LoRA-adapter的最佳参数和所述最佳融合参数得到通用LoRA-adapter；
所述理想损失函数、所述问答LoRA-adapter的最佳参数、对话LoRA-adapter的最佳参数和最佳融合参数如下所示：
其中，L表示理想损失函数，表示在问答数据集Qi上微调获得/>的初始融合权重，表示在对话数据集Ci上微调获得/>的初始融合权重，/>表示问答LoRA-adapter的最佳参数，/>表示对话LoRA-adapter的最佳参数，ω**表示最佳融合参数，/>表示问答负对数似然损失函数，/>表示对话负对数似然损失函数，/>表示在问答数据集Qi上训练得到的问答LoRA-adapter，/>表示在对话数据集Ci上训练得到的对话LoRA-adapter。
7.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1-5任意一项所述的大语言模型微调和Adapter融合方法。
8.一种计算机可读存储介质，其特征在于，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1-5任意一项所述的大语言模型微调和Adapter融合方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410170139.4A CN117708307B (zh) | 2024-02-06 | 2024-02-06 | 一种大语言模型微调和Adapter融合方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410170139.4A CN117708307B (zh) | 2024-02-06 | 2024-02-06 | 一种大语言模型微调和Adapter融合方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117708307A CN117708307A (zh) | 2024-03-15 |
| CN117708307B true CN117708307B (zh) | 2024-05-14 |
Family
ID=90144771
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410170139.4A Active CN117708307B (zh) | 2024-02-06 | 2024-02-06 | 一种大语言模型微调和Adapter融合方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117708307B (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115712709A (zh) * | 2022-11-18 | 2023-02-24 | 哈尔滨工业大学 | 基于多关系图模型的多模态对话问答生成方法 |
| CN116975241A (zh) * | 2023-09-20 | 2023-10-31 | 广东技术师范大学 | 基于大语言模型的肝癌辅助诊断与问答方法、***及介质 |
| CN117033608A (zh) * | 2023-09-28 | 2023-11-10 | 中国电子科技集团公司第十研究所 | 一种基于大语言模型的知识图谱生成式问答方法及*** |
| CN117171326A (zh) * | 2023-09-20 | 2023-12-05 | 宜宾电子科技大学研究院 | 一种金融问答算法的快速构建方法及生命周期管理平台 |
| WO2023235346A1 (en) * | 2022-06-03 | 2023-12-07 | Google Llc | Prompting machine-learned models using chains of thought |
| CN117216234A (zh) * | 2023-08-18 | 2023-12-12 | 腾讯科技（深圳）有限公司 | 基于人工智能的话术改写方法、装置、设备及存储介质 |
| CN117217289A (zh) * | 2023-10-09 | 2023-12-12 | 北银金融科技有限责任公司 | 一种银行业大语言模型训练方法 |
| CN117290492A (zh) * | 2023-11-27 | 2023-12-26 | 深圳市灵智数字科技有限公司 | 知识库问答方法、装置、电子设备及存储介质 |
| CN117371527A (zh) * | 2023-11-01 | 2024-01-09 | 中国科学院计算技术研究所 | 基于大模型的多模态实体链接方法及*** |
| CN117453925A (zh) * | 2023-10-24 | 2024-01-26 | 腾讯科技（深圳）有限公司 | 知识迁移方法、装置、设备、可读存储介质及程序产品 |
| CN117455009A (zh) * | 2023-10-27 | 2024-01-26 | 腾讯科技（深圳）有限公司 | 联邦学习方法、联邦预测方法、装置、设备及存储介质 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110188182B (zh) * | 2019-05-31 | 2023-10-27 | 中国科学院深圳先进技术研究院 | 模型训练方法、对话生成方法、装置、设备及介质 |
-
2024
- 2024-02-06 CN CN202410170139.4A patent/CN117708307B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023235346A1 (en) * | 2022-06-03 | 2023-12-07 | Google Llc | Prompting machine-learned models using chains of thought |
| CN115712709A (zh) * | 2022-11-18 | 2023-02-24 | 哈尔滨工业大学 | 基于多关系图模型的多模态对话问答生成方法 |
| CN117216234A (zh) * | 2023-08-18 | 2023-12-12 | 腾讯科技（深圳）有限公司 | 基于人工智能的话术改写方法、装置、设备及存储介质 |
| CN116975241A (zh) * | 2023-09-20 | 2023-10-31 | 广东技术师范大学 | 基于大语言模型的肝癌辅助诊断与问答方法、***及介质 |
| CN117171326A (zh) * | 2023-09-20 | 2023-12-05 | 宜宾电子科技大学研究院 | 一种金融问答算法的快速构建方法及生命周期管理平台 |
| CN117033608A (zh) * | 2023-09-28 | 2023-11-10 | 中国电子科技集团公司第十研究所 | 一种基于大语言模型的知识图谱生成式问答方法及*** |
| CN117217289A (zh) * | 2023-10-09 | 2023-12-12 | 北银金融科技有限责任公司 | 一种银行业大语言模型训练方法 |
| CN117453925A (zh) * | 2023-10-24 | 2024-01-26 | 腾讯科技（深圳）有限公司 | 知识迁移方法、装置、设备、可读存储介质及程序产品 |
| CN117455009A (zh) * | 2023-10-27 | 2024-01-26 | 腾讯科技（深圳）有限公司 | 联邦学习方法、联邦预测方法、装置、设备及存储介质 |
| CN117371527A (zh) * | 2023-11-01 | 2024-01-09 | 中国科学院计算技术研究所 | 基于大模型的多模态实体链接方法及*** |
| CN117290492A (zh) * | 2023-11-27 | 2023-12-26 | 深圳市灵智数字科技有限公司 | 知识库问答方法、装置、电子设备及存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| Zoie Zhao.More human than human: LLM-generated narratives outperform human-LLM interleaved narratives.C&C '23: Proceedings of the 15th Conference on Creativity and Cognition.2023,全文. * |
| 基于BiLSTM模型的定义抽取方法;阳萍;谢志鹏;;计算机工程;20200331;第46卷(第03期);全文 * |
| 基于深度学习的个性化聊天机器人研究;王乾铭;李吟;;计算机技术与发展;20200430;第30卷(第04期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117708307A (zh) | 2024-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10740370B2 (en) | Dialog agent for conducting task-oriented computer-based communications | |
| US20200301954A1 (en) | Reply information obtaining method and apparatus | |
| CN111125309A (zh) | 自然语言处理方法、装置及计算设备、存储介质 | |
| KR102259390B1 (ko) | 앙상블 질의 응답을 위한 시스템 및 방법 | |
| CN107741976B (zh) | 智能应答方法、装置、介质和电子设备 | |
| CN111897941A (zh) | 对话生成方法、网络训练方法、装置、存储介质及设备 | |
| CN112214593A (zh) | 问答处理方法、装置、电子设备及存储介质 | |
| Sheikh et al. | Generative model chatbot for human resource using deep learning | |
| WO2018195459A1 (en) | Processing sequential data using recurrent neural networks | |
| CN114281957A (zh) | 自然语言数据查询方法、装置、电子设备及存储介质 | |
| CN117077792B (zh) | 一种基于知识图谱生成提示数据的方法及装置 | |
| CN113761220A (zh) | 信息获取方法、装置、设备及存储介质 | |
| CN113761156A (zh) | 人机交互对话的数据处理方法、装置、介质及电子设备 | |
| CN117235215A (zh) | 基于大模型和知识图谱的生成对话方法、***及介质 | |
| CN113987151A (zh) | 智能客服回复方法及装置 | |
| CN112307166B (zh) | 一种智能问答方法、装置、存储介质以及计算机设备 | |
| CN110598127B (zh) | 一种群组推荐方法及装置 | |
| CN117708307B (zh) | 一种大语言模型微调和Adapter融合方法及装置 | |
| CN116910217A (zh) | 基于小语言模型集群的自然语言问答方法、装置及介质 | |
| CN111611378A (zh) | 行为训练对话控制方法、***、存储介质、程序、终端 | |
| CN108959467B (zh) | 一种基于强化学习的问句和答案句相关度的计算方法 | |
| CN116842143A (zh) | 基于人工智能的对话模拟方法、装置、电子设备及介质 | |
| CN113761152A (zh) | 一种问答模型的训练方法、装置、设备及存储介质 | |
| CN113051388A (zh) | 一种智能问答方法、装置、电子设备及存储介质 | |
| CN112818108B (zh) | 基于形近字的文本语义曲解聊天机器人及其数据处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |