CN117992600A - 一种业务执行方法、装置、存储介质以及电子设备 - Google Patents

一种业务执行方法、装置、存储介质以及电子设备 Download PDF

Info

Publication number
CN117992600A
CN117992600A CN202410410290.0A CN202410410290A CN117992600A CN 117992600 A CN117992600 A CN 117992600A CN 202410410290 A CN202410410290 A CN 202410410290A CN 117992600 A CN117992600 A CN 117992600A
Authority
CN
China
Prior art keywords
text data
data segment
vector
labeling
labeling problem
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202410410290.0A
Other languages
English (en)
Other versions
CN117992600B (zh
Inventor
聂旗
邱鹏
杨炜炜
陈韬
纪政
杜锦
张健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202410410290.0A priority Critical patent/CN117992600B/zh
Publication of CN117992600A publication Critical patent/CN117992600A/zh
Application granted granted Critical
Publication of CN117992600B publication Critical patent/CN117992600B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本说明书提供的一种业务执行方法、装置、存储介质以及电子设备,首先获取文本数据,对文本数据切分,得到各文本数据段以及对应的文本数据段向量,并根据文本数据段,确定组合文本数据段,获取组合文本数据段的提示语句并输入预设的目标模型,以使目标模型生成各标注问题,确定标注问题的标注问题向量,并根据标注问题向量与各文本数据段对应的文本数据段向量间的向量距离,确定标注问题对应的相关领域知识信息,并通过将标注问题以及确定出的标注问题的提示语句输入目标模型,以使目标模型生成针对标注问题的标注回答,并通过构建的标注文本数据集对问答模型进行训练,以根据训练后的问答模型执行问答业务。

Description

一种业务执行方法、装置、存储介质以及电子设备
技术领域
本说明书涉及计算机技术领域,尤其涉及一种业务执行方法、装置、存储介质以及电子设备。
背景技术
近年来,随着计算机行业的迅速发展,问答模型的应用正在以前所未有的速度扩展。
目前,为了构建拥有处理领域知识的能力的问答模型,可以首先采用人工标注的方式来构建针对领域知识的标注数据集,进而,通过标注数据集对问答模型进行训练,以得到拥有处理领域知识能力的问答模型。但是,上述方式所需的人力成本较高且构建标注数据集的效率较低,进而导致问答模型的训练效率较低。
因此,如何降低构建拥有处理领域知识能力的问答模型的成本以及提高问答模型的训练效率,是一个亟待解决的问题。
发明内容
本说明书提供了一种业务执行方法、装置、存储介质以及电子设备,以部分的解决现有技术存在的上述问题。
本说明书采用下述技术方案:
本说明书提供了一种业务执行方法,包括:
获取文本数据,所述文本数据中包含有指定领域的知识信息;
将所述文本数据进行切分,得到各文本数据段以及各文本数据段对应的文本数据段向量,并根据各文本数据段,确定各组合文本数据段;
针对每个组合文本数据段,获取针对该组合文本数据段的提示语句,将针对该组合文本数据段的提示语句输入预设的目标模型,以使所述目标模型生成针对该组合文本数据段的各预设问题,作为各标注问题;
针对每个标注问题,确定该标注问题的标注问题向量,并根据该标注问题向量与各文本数据段对应的文本数据段向量间的向量距离,确定该标注问题对应的相关领域知识信息;
针对每个标注问题,根据该标注问题的相关领域知识信息,确定针对该标注问题的提示语句,并将该标注问题以及该标注问题的提示语句输入所述目标模型,以使所述目标模型生成针对该标注问题的预设回答,作为标注回答;
根据所述标注问题以及所述标注回答,构建标注文本数据集,并根据所述标注文本数据集对问答模型进行训练,以根据训练后的问答模型执行问答业务。
可选地,确定各组合文本数据段,具体包括:
针对每个文本数据段,获取该文本数据段的相邻文本数据段,并将该文本数据段与该文本数据段的相邻文本数据段进行拼接,得到针对该文本数据段的组合文本数据段。
可选地,获取针对该组合文本数据段的提示语句,具体包括:
将该组合文本数据段与所述文本数据进行拼接,并将拼接后的数据作为针对该组合文本数据段的提示语句。
可选地,根据该标注问题向量与各文本数据段对应的文本数据段向量间的向量距离,确定该标注问题对应的相关领域知识信息,具体包括:
将与该标注问题向量之间的向量距离满足预设条件的文本数据段向量作为目标文本数据段向量;
根据所述目标文本数据段向量,从构建出的向量数据库表中查询出与所述目标数据段向量相匹配的组合文本数据段,作为针对该标注问题的相关领域知识信息。
可选地,构建向量数据库表,具体包括:
针对每个组合文本数据段,以该组合文本数据段对应的文本数据段的文本数据段向量作为索引,将该组合文本数据段存入向量数据库表中,以构建出所述向量数据库表;
根据所述目标文本数据段向量,从构建出的向量数据库表中查询出与所述目标数据段向量相匹配的组合文本数据段,作为针对该标注问题的相关领域知识信息,具体包括:将所述目标文本数据段向量与所述向量数据库表中的各文本数据段向量进行匹配,以从所述向量数据库表中查询出与所述目标文本数据段向量相匹配的文本数据段向量对应的组合文本数据段,作为针对该标注问题的相关领域知识信息。
可选地,针对每个标注问题,根据该标注问题的相关领域知识信息,确定针对该标注问题的提示语句,具体包括:
针对每个标注问题,将该标注问题与该标注问题的相关领域知识信息进行拼接,以得到针对该标注问题的提示语句。
可选地,根据所述标注文本数据集对问答模型进行训练,具体包括:
将所述标注文本数据集中包含的标注问题作为输入问题输入到所述问答模型,以使所述问答模型输出针对所述输入问题的预测回答;
以最小化所述预测回答与所述输入问题对应的标注回答之间的偏差为优化目标,对所述问答模型进行训练。
本说明书提供了一种业务执行装置,包括:
获取模块:用于获取文本数据,所述文本数据中包含有指定领域的知识信息;
切分模块:用于将所述文本数据进行切分,得到各文本数据段以及各文本数据段对应的文本数据段向量,并根据各文本数据段,确定各组合文本数据段;
第一生成模块:用于针对每个组合文本数据段,获取针对该组合文本数据段的提示语句,将针对该组合文本数据段的提示语句输入预设的目标模型,以使所述目标模型生成针对该组合文本数据段的各预设问题,作为各标注问题;
确定模块:用于针对每个标注问题,确定该标注问题的标注问题向量,并根据该标注问题向量与各文本数据段对应的文本数据段向量间的向量距离,确定该标注问题对应的相关领域知识信息;
第二生成模块:用于针对每个标注问题,根据该标注问题的相关领域知识信息,确定针对该标注问题的提示语句,并将该标注问题以及该标注问题的提示语句输入所述目标模型,以使所述目标模型生成针对该标注问题的预设回答,作为标注回答;
执行模块:用于根据所述标注问题以及所述标注回答,构建标注文本数据集,并根据所述标注文本数据集对问答模型进行训练,以根据训练后的问答模型执行问答业务。
本说明书提供了一种计算机可读存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述业务执行方法。
本说明书提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上述业务执行方法。
本说明书采用的上述至少一个技术方案能够达到以下有益效果:
本说明书提供的业务执行方法,首先获取文本数据,对文本数据切分,得到各文本数据段以及对应的文本数据段向量,并根据文本数据段,确定组合文本数据段,获取组合文本数据段的提示语句并输入预设的目标模型,以使目标模型生成各标注问题,确定标注问题的标注问题向量,并根据标注问题向量与各文本数据段对应的文本数据段向量间的向量距离,确定标注问题对应的相关领域知识信息,并通过将标注问题以及确定出的标注问题的提示语句输入目标模型,以使目标模型生成针对标注问题的标注回答,并通过构建的标注文本数据集对问答模型进行训练,以根据训练后的问答模型执行问答业务。
从上述方法中可以看出,在构建拥有处理领域知识的能力的问答模型过程中,可以通过将针对组合文本数据段的提示语句输入目标模型的方式来获取标注问题,而后,通过将标注问题以及针对标注问题的提示语句输入目标模型的方式来获取标注回答,进而可以通过标注问题以及标注回答来构建标注文本数据集并对问答模型进行训练,因此,上述方法无需通过人工标注的方式来构建标注数据集,进而避免了采用人工标注的方式构建标注数据集所造成的人力成本较高且构建效率较低的问题,从而提高了问答模型的训练效率。
附图说明
此处所说明的附图用来提供对本说明书的进一步理解,构成本说明书的一部分,本说明书的示意性实施例及其说明用于解释本说明书,并不构成对本说明书的不当限定。在附图中:
图1为本说明书提供的一种业务执行方法的流程示意图;
图2为本说明书提供一种业务执行***的示意图;
图3为本说明书提供的一种执行业务的流程示意图;
图4为本说明书提供的一种业务执行装置的示意图;
图5为本说明书提供的一种对应于图1的电子设备的示意结构图。
具体实施方式
为使本说明书的目的、技术方案和优点更加清楚,下面将结合本说明书具体实施例及相应的附图对本说明书技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本说明书一部分实施例,而不是全部的实施例。基于本说明书中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本说明书保护的范围。
以下结合附图,详细说明本说明书各实施例提供的技术方案。
图1为本说明书中提供的一种业务执行方法的流程示意图,包括以下步骤:
S101:获取文本数据,所述文本数据中包含有指定领域的知识信息。
S102:将所述文本数据进行切分,得到各文本数据段以及各文本数据段对应的文本数据段向量,并根据各文本数据段,确定各组合文本数据段。
本说明书中涉及的业务执行方法的执行主体可以是诸如台式电脑、笔记本电脑等终端设备,也可以是安装在终端设备中的客户端,亦或是服务器。下面仅以服务器是执行主体为例,对本说明书实施例中的业务执行方法进行说明。
目前,为了构建拥有处理领域知识的能力的问答模型,可以首先采用人工标注的方式来构建针对领域知识的标注数据集,进而,通过标注数据集对问答模型进行训练,以得到拥有处理领域知识能力的问答模型。但是,上述方式所需的人力成本较高且构建标注数据集的效率较低,进而导致问答模型的训练效率较低。
为了解决上述问题,在本说明书中,服务器可以首先获取文本数据,其中,文本数据可以来源于包含有指定领域的知识信息的相关文档等(诸如:关于烟草领域的word文档等),当然,也可以是关于其他领域的相关文档,除此之外,文本数据也可以来源于包含有指定领域的知识信息的图片等,诸如,可以采用对包含有指定领域的知识信息的图片进行光学字符识别(Optical Character Recognition,OCR)的方式来提取图片中的文字。
而后,服务器可以对获取的文本数据进行切分,可以得到多个文本数据段,并对各文本数据段进行向量化处理,进而可以得到各文本数据段对应的文本数据段向量。例如,在对文本数据进行切分时,可以按照句号对文本数据进行切分,进而可以将切分出的各句话作为各文本数据段。
针对每个文本数据段,服务器可以首先获取该文本数据段的相邻文本数据段,而后,将该文本数据段与该文本数据段的相邻文本数据段进行拼接,进而可以得到针对该文本数据段的组合文本数据段。相邻文本数据段可以指该文本数据段的前一个文本数据段和该文本数据段的后一个文本数据段,当然,针对文本数据中的第一个文本数据段,其不存在前一个文本数据段,则其相邻文本数据段可以只指其后一个文本数据段。进而,可以通过将该文本数据段与该文本数据段的相邻文本数据段进行拼接,可以得到包含有该文本数据段的上下文信息的组合文本数据段。
当然,为了使后续构建的标注数据集更加精准,上述相邻文本数据段也可以指文本数据段的前两个文本数据段和文本数据段的后两个文本数据段等等。
S103:针对每个组合文本数据段,获取针对该组合文本数据段的提示语句,将针对该组合文本数据段的提示语句输入预设的目标模型,以使所述目标模型生成针对该组合文本数据段的各预设问题,作为各标注问题。
针对每个组合文本数据段,服务器可以将该组合文本数据段与文本数据进行拼接,进而可以得到拼接后的数据,其中,拼接后的数据中包含有该组合文本数据段的信息以及文本数据的全文信息。而后,可以将拼接后的数据作为针对该组合文本数据段的提示语句,并将提示语句输入预设的目标模型(诸如CHATGPT3.5等),进而可以使目标模型根据提示语句生成针对该组合文本数据段的各预设问题,作为各标注问题,其中,提示语句可以引导目标模型生成特定类型或内容的输出。例如,针对组合文本数据段为:“在烟草行业,含水率是影响烟草品质和加工的重要因素。烟丝含水率是指烟叶含水的程度,习惯上称为水分,以百分比表示。数值上等于烟叶含水的质量与烟叶的质量之比。”,目标模型根据该组合文本数据段的提示语句生成的各预设问题可以为:“烟丝含水率如何测量?”、“烟丝含水率可以用于表征什么?”等。
除此之外,为了使目标模型生成更精准的预设问题,也可以将包含有诸如示例问题、问题类型指示、疑问词等信息的数据拼接至提示语句中,进而可以使目标模型参考提示语句中的示例问题等信息,生成针对组合文本数据段的各预设问题,作为各标注问题。
S104:针对每个标注问题,确定该标注问题的标注问题向量,并根据该标注问题向量与各文本数据段对应的文本数据段向量间的向量距离,确定该标注问题对应的相关领域知识信息。
针对每个标注问题,服务器可以先对该标注问题进行向量化处理,进而可以确定出该标注问题的标注问题向量。而后,可以根据该标注问题向量与各文本数据段对应的文本数据段向量间的向量距离,确定该标注问题对应的相关领域知识信息。
具体地,针对每个标注问题,可以采用获取该标注问题向量与各文本数据段对应的文本数据段向量的向量内积的方式来确定向量距离。其中,标注问题向量与各文本数据段对应的文本数据段向量间的向量距离可以用于表征标注问题向量与各文本数据段对应的文本数据段向量的相似度,标注问题向量与各文本数据段对应的文本数据段向量间的向量距离越小,标注问题向量与各文本数据段对应的文本数据段向量的相似度就越高。因此,为了确定与该标注问题相关性较强的各文本数据段,可以将与该标注问题向量之间的向量距离满足预设条件的文本数据段向量作为目标文本数据段向量,例如,可以对各向量距离由小到大进行排序,进而可以得到向量距离序列,并将向量距离序列中前二十位所对应的文本数据段向量作为目标文本数据段向量。
而后,可以根据目标文本数据段向量,从构建出的向量数据库表中查询出与目标向量相匹配的组合文本数据段,作为针对标注问题的相关领域知识信息。
具体地,针对每个组合文本数据段,服务器可以以该组合文本数据段对应的文本数据段的文本数据段向量作为索引,将该组合文本数据段存入向量数据库表中,进而可以构建出向量数据库表,即向量数据库表可以用于表征各文本数据段向量与各组合文本数据段之间的对应关系。因此,可以将目标文本数据段向量与向量数据库表中的各文本数据段向量进行匹配,进而可以根据向量数据库表中所表征的各文本数据段向量与各组合文本数据段之间的对应关系,查询出与目标文本数据段向量相匹配的文本数据段向量所对应的组合文本数据段,即,查询出与上述标注问题相关性较强的组合文本数据,并将查询出的与目标文本数据段向量相匹配的文本数据段向量所对应的组合文本数据段作为针对上述标注问题的相关领域知识信息。
S105:针对每个标注问题,根据该标注问题的相关领域知识信息,确定针对该标注问题的提示语句,并将该标注问题以及该标注问题的提示语句输入所述目标模型,以使所述目标模型生成针对该标注问题的预设回答,作为标注回答。
针对每个标注问题,服务器可以将该标注问题与该标注问题的相关领域知识信息进行拼接,进而可以得到针对该标注问题的提示语句。例如,针对上述步骤S103中提及的标注问题“烟丝含水率如何测量?”,若确定出的该标注问题的相关领域知识信息为“通过测量烟丝的吸湿以及解湿过程,来评估烟丝的保润性能。通过加水可以控制烟丝的含水量。根据烟丝的干基质量,可以确定烟丝的干基含水率。”等等,则可以将标注问题与标注问题的相关领域知识信息进行拼接,进而可以得到针对标注问题“烟丝含水率如何测量?”的提示语句,针对标注问题“烟丝含水率如何测量?”的提示语句可以为“问题为:烟丝含水率如何测量?相关领域知识信息为:通过测量烟丝的吸湿以及解湿过程,来评估烟丝的保润性能。通过加水可以控制烟丝的含水量。根据烟丝的干基质量,可以确定烟丝的干基含水率,等等。请回答该问题”。
而后,可以将针对上述标注问题以及上述标注问题的提示语句输入目标模型,进而可以使目标模型生成针对上述标注问题的预设回答,作为标注回答。例如,针对标注问题“烟丝含水率如何测量?”,目标模型所生成的预设回答可以是诸如:“一、烘箱法测量法:取一定量的烟丝样品放置于空瓶中,通过烘箱法测定烟丝的水分含量,可以通过加水的方式控制烟丝的含水量 二、加热程序测量法:将烟丝加热后称重,得到烟丝的干基质量,然后根据烟丝的干基质量计算得出烟丝在增湿和干燥过程中的每一时刻的干基含水率等等”。
当然,本说明书只是列举了一种标注问题以及标注回答的内容,其他示例在此就不详细说明了。
S106:根据所述标注问题以及所述标注回答,构建标注文本数据集,并根据所述标注文本数据集对问答模型进行训练,以根据训练后的问答模型执行问答业务。
服务器可以根据确定出的标注问题以及标注回答,构建出标注文本数据集,标注数据集可以用于后续对问答模型进行训练。而后,可以将标注文本数据集中包含的标注问题作为输入问题输入到问答模型中,问答模型可以采用预先训练好的模型(诸如:清华ChatGLM2-6B模型等),进而可以使问答模型输出针对输入问题的预测回答。而后,可以根据输入问题从标注文本数据集中查询出与输入问题对应的标注回答,并且以最小化预测回答与输入问题对应的标注回答之间的偏差为优化目标,对问答模型进行训练。而后,可以根据训练后的问答模型执行问答业务。
由此可以看出,本说明书中提及的方法无需通过人工标注的方式来构建标注数据集,进而避免了采用人工标注的方式构建标注数据集所造成的人力成本较高且构建效率较低的问题,并且采用对预先训练好的问答模型进行微调训练的方式,大大节省了训练时间以及计算资源,进而提高了对问答模型的训练效率。
本说明书中还提供了一种业务执行***,该***可以包括服务器以及终端设备,如图2所示。
图2为本说明书提供的一种业务执行***的示意图。
由图2可以看出,本说明书中提供的业务执行***可以包括服务器以及终端设备,服务器中可以包括文本数据处理模块、领域知识信息标注模块、问答模型训练模块。
服务器首先可以通过文本数据处理模块对获取的文本数据进行切分处理,进而可以得到各文本数据段以及各组合文本数据段。
而后,领域知识信息标注模块可以获取每个组合文本数据段的提示语句,并通过将提示语句输入预设的目标模型,以使目标模型生成各标注问题。领域知识信息标注模块可以针对每个标注问题,通过确定标注问题对应的标注问题向量与各文本数据段对应的文本数据段向量之间的向量距离,来确定标注问题对应的标注问题向量与各文本数据段对应的文本数据段向量之间的相似度,并将与标注问题向量相似度较高的文本数据段向量作为目标文本数据段向量,进而可以从构建出的向量数据库表中确定出目标文本数据段向量对应的组合文本数据段,作为针对标注问题的相关领域知识信息。进而,领域知识信息标注模块可以将包含有标注问题的相关领域知识信息的提示语句以及标注问题输入目标模型,以使目标模型生成针对标注问题的标注回答,进而可以根据标注问题以及标注回答构建标注数据集。而后,问答模型训练模块可以根据标注数据集对问答模型进行训练,以得到拥有处理领域知识的能力的问答模型。
在实际应用过程中,可以将训练后的问答模型部署在终端设备中以使用户通过部署在终端设备中的问答模型执行相关业务,如图3所示。
图3为本说明书中提供的一种执行业务的流程示意图。
由图3可以看出,在实际应用过程中,终端设备中可以包含有模型部署模块以及领域知识问答服务模块,模型部署模块可以将上述训练后的问答模型部署在终端设备中。用户可以通过终端设备向领域知识问答服务模块发起提问,而后,领域知识问答服务模块可以对用户提出的问题进行预处理(如:去除无关字符等等),并通过对预处理后的文本进行分析与理解,从而对领域知识信息进行检索与推理,以生成相应的关于领域知识信息的回答并返回给用户。
以上为本说明书的一个或多个实施的方法,基于同样的思路,本说明书还提供了相应的业务执行装置,如图4所示。
图4为本说明书提供的一种业务执行装置的示意图,包括:
获取模块401,用于获取文本数据,所述文本数据中包含有指定领域的知识信息;
切分模块402,用于将所述文本数据进行切分,得到各文本数据段以及各文本数据段对应的文本数据段向量,并根据各文本数据段,确定各组合文本数据段;
第一生成模块403,用于针对每个组合文本数据段,获取针对该组合文本数据段的提示语句,将针对该组合文本数据段的提示语句输入预设的目标模型,以使所述目标模型生成针对该组合文本数据段的各预设问题,作为各标注问题;
确定模块404,用于针对每个标注问题,确定该标注问题的标注问题向量,并根据该标注问题向量与各文本数据段对应的文本数据段向量间的向量距离,确定该标注问题对应的相关领域知识信息;
第二生成模块405,用于针对每个标注问题,根据该标注问题的相关领域知识信息,确定针对该标注问题的提示语句,并将该标注问题以及该标注问题的提示语句输入所述目标模型,以使所述目标模型生成针对该标注问题的预设回答,作为标注回答;
执行模块406,用于根据所述标注问题以及所述标注回答,构建标注文本数据集,并根据所述标注文本数据集对问答模型进行训练,以根据训练后的问答模型执行问答业务。
可选地,所述切分模块402具体用于,针对每个文本数据段,获取该文本数据段的相邻文本数据段,并将该文本数据段与该文本数据段的相邻文本数据段进行拼接,得到针对该文本数据段的组合文本数据段。
可选地,所述第一生成模块403具体用于,将该组合文本数据段与所述文本数据进行拼接,并将拼接后的数据作为针对该组合文本数据段的提示语句。
可选地,所述确定模块404具体用于,将与该标注问题向量之间的向量距离满足预设条件的文本数据段向量作为目标文本数据段向量;根据所述目标文本数据段向量,从构建出的向量数据库表中查询出与所述目标数据段向量相匹配的组合文本数据段,作为针对该标注问题的相关领域知识信息。
可选地,所述确定模块404具体用于,针对每个组合文本数据段,以该组合文本数据段对应的文本数据段的文本数据段向量作为索引,将该组合文本数据段存入向量数据库表中,以构建出所述向量数据库表;根据所述目标文本数据段向量,从构建出的向量数据库表中查询出与所述目标数据段向量相匹配的组合文本数据段,作为针对该标注问题的相关领域知识信息,具体包括:将所述目标文本数据段向量与所述向量数据库表中的各文本数据段向量进行匹配,以从所述向量数据库表中查询出与所述目标文本数据段向量相匹配的文本数据段向量对应的组合文本数据段,作为针对该标注问题的相关领域知识信息。
可选地,所述第二生成模块405具体用于,针对每个标注问题,将该标注问题与该标注问题的相关领域知识信息进行拼接,以得到针对该标注问题的提示语句。
可选地,所述执行模块406具体用于,将所述标注文本数据集中包含的标注问题作为输入问题输入到所述问答模型,以使所述问答模型输出针对所述输入问题的预测回答;以最小化所述预测回答与所述输入问题对应的标注回答之间的偏差为优化目标,对所述问答模型进行训练。
本说明书还提供了一种计算机可读存储介质,该存储介质存储有计算机程序,计算机程序可用于执行上述图1提供的业务执行方法。
本说明书还提供了图5所示的一种对应于图1的电子设备的示意结构图。如图5所示,在硬件层面,该电子设备包括处理器、内部总线、网络接口、内存以及非易失性存储器,当然还可能包括其他业务所需要的硬件。处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,以实现上述图1所述的业务执行方法。
当然,除了软件实现方式之外,本说明书并不排除其他实现方式,比如逻辑器件抑或软硬件结合的方式等等,也就是说以下处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
在20世纪90年代,对于一个技术的改进可以很明显地区分是硬件上的改进(例如,对二极管、晶体管、开关等电路结构的改进)还是软件上的改进(对于方法流程的改进)。然而,随着技术的发展,当今的很多方法流程的改进已经可以视为硬件电路结构的直接改进。设计人员几乎都通过将改进的方法流程编程到硬件电路中来得到相应的硬件电路结构。因此,不能说一个方法流程的改进就不能用硬件实体模块来实现。例如,可编程逻辑器件(Programmable Logic Device, PLD)(例如现场可编程门阵列(Field Programmable GateArray,FPGA))就是这样一种集成电路,其逻辑功能由用户对器件编程来确定。由设计人员自行编程来把一个数字***“集成”在一片PLD上,而不需要请芯片制造厂商来设计和制作专用的集成电路芯片。而且,如今,取代手工地制作集成电路芯片,这种编程也多半改用“逻辑编译器(logic compiler)”软件来实现,它与程序开发撰写时所用的软件编译器相类似,而要编译之前的原始代码也得用特定的编程语言来撰写,此称之为硬件描述语言(Hardware Description Language,HDL),而HDL也并非仅有一种,而是有许多种,如ABEL(Advanced Boolean Expression Language)、AHDL(Altera Hardware DescriptionLanguage)、Confluence、CUPL(Cornell University Programming Language)、HDCal、JHDL(Java Hardware Description Language)、Lava、Lola、MyHDL、PALASM、RHDL(RubyHardware Description Language)等,目前最普遍使用的是VHDL(Very-High-SpeedIntegrated Circuit Hardware Description Language)与Verilog。本领域技术人员也应该清楚,只需要将方法流程用上述几种硬件描述语言稍作逻辑编程并编程到集成电路中,就可以很容易得到实现该逻辑方法流程的硬件电路。
控制器可以按任何适当的方式实现,例如,控制器可以采取例如微处理器或处理器以及存储可由该(微)处理器执行的计算机可读程序代码(例如软件或固件)的计算机可读介质、逻辑门、开关、专用集成电路(Application Specific Integrated Circuit,ASIC)、可编程逻辑控制器和嵌入微控制器的形式,控制器的例子包括但不限于以下微控制器:ARC 625D、Atmel AT91SAM、Microchip PIC18F26K20 以及Silicone Labs C8051F320,存储器控制器还可以被实现为存储器的控制逻辑的一部分。本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
上述实施例阐明的***、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的,计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
为了描述的方便,描述以上装置时以功能分为各种单元分别描述。当然,在实施本说明书时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白,本说明书的实施例可提供为方法、***、或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书是参照根据本说明书实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中,计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本领域技术人员应明白,本说明书的实施例可提供为方法、***或计算机程序产品。因此,本说明书可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本说明书可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本说明书可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本说明书,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于***实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
以上所述仅为本说明书的实施例而已,并不用于限制本说明书。对于本领域技术人员来说,本说明书可以有各种更改和变化。凡在本说明书的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种业务执行方法,其特征在于,包括:
获取文本数据,所述文本数据中包含有指定领域的知识信息;
将所述文本数据进行切分,得到各文本数据段以及各文本数据段对应的文本数据段向量,并根据各文本数据段,确定各组合文本数据段;
针对每个组合文本数据段,获取针对该组合文本数据段的提示语句,将针对该组合文本数据段的提示语句输入预设的目标模型,以使所述目标模型生成针对该组合文本数据段的各预设问题,作为各标注问题;
针对每个标注问题,确定该标注问题的标注问题向量,并根据该标注问题向量与各文本数据段对应的文本数据段向量间的向量距离,确定该标注问题对应的相关领域知识信息;
针对每个标注问题,根据该标注问题的相关领域知识信息,确定针对该标注问题的提示语句,并将该标注问题以及该标注问题的提示语句输入所述目标模型,以使所述目标模型生成针对该标注问题的预设回答,作为标注回答;
根据所述标注问题以及所述标注回答,构建标注文本数据集,并根据所述标注文本数据集对问答模型进行训练,以根据训练后的问答模型执行问答业务。
2.如权利要求1所述的方法,其特征在于,确定各组合文本数据段,具体包括:
针对每个文本数据段,获取该文本数据段的相邻文本数据段,并将该文本数据段与该文本数据段的相邻文本数据段进行拼接,得到针对该文本数据段的组合文本数据段。
3.如权利要求1所述的方法,其特征在于,获取针对该组合文本数据段的提示语句,具体包括:
将该组合文本数据段与所述文本数据进行拼接,并将拼接后的数据作为针对该组合文本数据段的提示语句。
4.如权利要求1所述的方法,其特征在于,根据该标注问题向量与各文本数据段对应的文本数据段向量间的向量距离,确定该标注问题对应的相关领域知识信息,具体包括:
将与该标注问题向量之间的向量距离满足预设条件的文本数据段向量作为目标文本数据段向量;
根据所述目标文本数据段向量,从构建出的向量数据库表中查询出与所述目标数据段向量相匹配的组合文本数据段,作为针对该标注问题的相关领域知识信息。
5.如权利要求4所述的方法,其特征在于,构建向量数据库表,具体包括:
针对每个组合文本数据段,以该组合文本数据段对应的文本数据段的文本数据段向量作为索引,将该组合文本数据段存入向量数据库表中,以构建出所述向量数据库表;
根据所述目标文本数据段向量,从构建出的向量数据库表中查询出与所述目标数据段向量相匹配的组合文本数据段,作为针对该标注问题的相关领域知识信息,具体包括:将所述目标文本数据段向量与所述向量数据库表中的各文本数据段向量进行匹配,以从所述向量数据库表中查询出与所述目标文本数据段向量相匹配的文本数据段向量对应的组合文本数据段,作为针对该标注问题的相关领域知识信息。
6.如权利要求1所述的方法,其特征在于,针对每个标注问题,根据该标注问题的相关领域知识信息,确定针对该标注问题的提示语句,具体包括:
针对每个标注问题,将该标注问题与该标注问题的相关领域知识信息进行拼接,以得到针对该标注问题的提示语句。
7.如权利要求1所述的方法,其特征在于,根据所述标注文本数据集对问答模型进行训练,具体包括:
将所述标注文本数据集中包含的标注问题作为输入问题输入到所述问答模型,以使所述问答模型输出针对所述输入问题的预测回答;
以最小化所述预测回答与所述输入问题对应的标注回答之间的偏差为优化目标,对所述问答模型进行训练。
8.一种业务执行装置,其特征在于,包括:
获取模块:用于获取文本数据,所述文本数据中包含有指定领域的知识信息;
切分模块:用于将所述文本数据进行切分,得到各文本数据段以及各文本数据段对应的文本数据段向量,并根据各文本数据段,确定各组合文本数据段;
第一生成模块:用于针对每个组合文本数据段,获取针对该组合文本数据段的提示语句,将针对该组合文本数据段的提示语句输入预设的目标模型,以使所述目标模型生成针对该组合文本数据段的各预设问题,作为各标注问题;
确定模块:用于针对每个标注问题,确定该标注问题的标注问题向量,并根据该标注问题向量与各文本数据段对应的文本数据段向量间的向量距离,确定该标注问题对应的相关领域知识信息;
第二生成模块:用于针对每个标注问题,根据该标注问题的相关领域知识信息,确定针对该标注问题的提示语句,并将该标注问题以及该标注问题的提示语句输入所述目标模型,以使所述目标模型生成针对该标注问题的预设回答,作为标注回答;
执行模块:用于根据所述标注问题以及所述标注回答,构建标注文本数据集,并根据所述标注文本数据集对问答模型进行训练,以根据训练后的问答模型执行问答业务。
9.一种计算机可读存储介质,其特征在于,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述权利要求1~7任一项所述的方法。
10.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现上述权利要求1~7任一项所述的方法。
CN202410410290.0A 2024-04-07 2024-04-07 一种业务执行方法、装置、存储介质以及电子设备 Active CN117992600B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410410290.0A CN117992600B (zh) 2024-04-07 2024-04-07 一种业务执行方法、装置、存储介质以及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410410290.0A CN117992600B (zh) 2024-04-07 2024-04-07 一种业务执行方法、装置、存储介质以及电子设备

Publications (2)

Publication Number Publication Date
CN117992600A true CN117992600A (zh) 2024-05-07
CN117992600B CN117992600B (zh) 2024-06-11

Family

ID=90889369

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410410290.0A Active CN117992600B (zh) 2024-04-07 2024-04-07 一种业务执行方法、装置、存储介质以及电子设备

Country Status (1)

Country Link
CN (1) CN117992600B (zh)

Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955762A (zh) * 2019-11-01 2020-04-03 上海百事通信息技术股份有限公司 一种智能问答平台
CN111241243A (zh) * 2020-01-13 2020-06-05 华中师范大学 面向知识测量的试题、知识、能力张量构建与标注方法
CN112527999A (zh) * 2020-12-22 2021-03-19 江苏省农业科学院 引入农业领域知识的抽取式智能问答方法及***
CN112632258A (zh) * 2020-12-30 2021-04-09 太平金融科技服务(上海)有限公司 文本数据处理方法、装置、计算机设备和存储介质
CN113205507A (zh) * 2021-05-18 2021-08-03 合肥工业大学 一种视觉问答方法、***及服务器
WO2022036616A1 (zh) * 2020-08-20 2022-02-24 中山大学 一种基于低标注资源生成可推理问题的方法和装置
WO2022095368A1 (zh) * 2020-11-04 2022-05-12 平安科技(深圳)有限公司 基于文本生成模型的问答语料生成方法和装置
WO2022105122A1 (zh) * 2020-11-17 2022-05-27 平安科技(深圳)有限公司 基于人工智能的答案生成方法、装置、计算机设备及介质
WO2022127040A1 (zh) * 2020-12-17 2022-06-23 平安科技(深圳)有限公司 文本处理方法、装置、设备及存储介质
WO2022142011A1 (zh) * 2020-12-30 2022-07-07 平安科技(深圳)有限公司 一种地址识别方法、装置、计算机设备及存储介质
WO2022227207A1 (zh) * 2021-04-30 2022-11-03 平安科技(深圳)有限公司 文本分类方法、装置、计算机设备和存储介质
CN115757773A (zh) * 2022-06-27 2023-03-07 浙江大学 一种多价值链问题文本分类方法和装置
WO2023125335A1 (zh) * 2021-12-28 2023-07-06 华为技术有限公司 问答对生成的方法和电子设备
CN117033609A (zh) * 2023-10-09 2023-11-10 腾讯科技(深圳)有限公司 文本视觉问答方法、装置、计算机设备和存储介质
CN117112743A (zh) * 2023-07-25 2023-11-24 西安交通大学 文本自动生成问题的可回答性评估方法、***及存储介质
CN117235226A (zh) * 2023-09-21 2023-12-15 支付宝(杭州)信息技术有限公司 一种基于大语言模型的问题应答方法及装置
CN117473054A (zh) * 2023-08-14 2024-01-30 中核核信信息技术(北京)有限公司 基于知识图谱的通用智能问答方法及装置
CN117591661A (zh) * 2024-01-18 2024-02-23 之江实验室 一种基于大语言模型的问答数据构建方法及装置
CN117668180A (zh) * 2023-11-17 2024-03-08 招商局金融科技有限公司 文档问答方法、文档问答设备以及可读存储介质
CN117708300A (zh) * 2023-12-28 2024-03-15 达观数据(苏州)有限公司 一种知识库问答方法、装置、设备及介质
CN117725222A (zh) * 2023-11-20 2024-03-19 中国科学院成都文献情报中心 融合知识图谱与大语言模型的文献复杂知识对象抽取方法

Patent Citations (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955762A (zh) * 2019-11-01 2020-04-03 上海百事通信息技术股份有限公司 一种智能问答平台
CN111241243A (zh) * 2020-01-13 2020-06-05 华中师范大学 面向知识测量的试题、知识、能力张量构建与标注方法
WO2022036616A1 (zh) * 2020-08-20 2022-02-24 中山大学 一种基于低标注资源生成可推理问题的方法和装置
WO2022095368A1 (zh) * 2020-11-04 2022-05-12 平安科技(深圳)有限公司 基于文本生成模型的问答语料生成方法和装置
WO2022105122A1 (zh) * 2020-11-17 2022-05-27 平安科技(深圳)有限公司 基于人工智能的答案生成方法、装置、计算机设备及介质
WO2022127040A1 (zh) * 2020-12-17 2022-06-23 平安科技(深圳)有限公司 文本处理方法、装置、设备及存储介质
CN112527999A (zh) * 2020-12-22 2021-03-19 江苏省农业科学院 引入农业领域知识的抽取式智能问答方法及***
WO2022142011A1 (zh) * 2020-12-30 2022-07-07 平安科技(深圳)有限公司 一种地址识别方法、装置、计算机设备及存储介质
CN112632258A (zh) * 2020-12-30 2021-04-09 太平金融科技服务(上海)有限公司 文本数据处理方法、装置、计算机设备和存储介质
WO2022227207A1 (zh) * 2021-04-30 2022-11-03 平安科技(深圳)有限公司 文本分类方法、装置、计算机设备和存储介质
CN113205507A (zh) * 2021-05-18 2021-08-03 合肥工业大学 一种视觉问答方法、***及服务器
WO2023125335A1 (zh) * 2021-12-28 2023-07-06 华为技术有限公司 问答对生成的方法和电子设备
CN115757773A (zh) * 2022-06-27 2023-03-07 浙江大学 一种多价值链问题文本分类方法和装置
CN117112743A (zh) * 2023-07-25 2023-11-24 西安交通大学 文本自动生成问题的可回答性评估方法、***及存储介质
CN117473054A (zh) * 2023-08-14 2024-01-30 中核核信信息技术(北京)有限公司 基于知识图谱的通用智能问答方法及装置
CN117235226A (zh) * 2023-09-21 2023-12-15 支付宝(杭州)信息技术有限公司 一种基于大语言模型的问题应答方法及装置
CN117033609A (zh) * 2023-10-09 2023-11-10 腾讯科技(深圳)有限公司 文本视觉问答方法、装置、计算机设备和存储介质
CN117668180A (zh) * 2023-11-17 2024-03-08 招商局金融科技有限公司 文档问答方法、文档问答设备以及可读存储介质
CN117725222A (zh) * 2023-11-20 2024-03-19 中国科学院成都文献情报中心 融合知识图谱与大语言模型的文献复杂知识对象抽取方法
CN117708300A (zh) * 2023-12-28 2024-03-15 达观数据(苏州)有限公司 一种知识库问答方法、装置、设备及介质
CN117591661A (zh) * 2024-01-18 2024-02-23 之江实验室 一种基于大语言模型的问答数据构建方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
郭崇慧;吕征达;: "一种基于集成学习的试题多知识点标注方法", 运筹与管理, no. 02, 25 February 2020 (2020-02-25) *
黄培馨;赵翔;方阳;朱慧明;肖卫东;: "融合对抗训练的端到端知识三元组联合抽取", 计算机研究与发展, no. 12, 15 December 2019 (2019-12-15) *

Also Published As

Publication number Publication date
CN117992600B (zh) 2024-06-11

Similar Documents

Publication Publication Date Title
CN117235226A (zh) 一种基于大语言模型的问题应答方法及装置
CN113221555B (zh) 一种基于多任务模型的关键词识别方法、装置及设备
CN110162778B (zh) 文本摘要的生成方法及装置
CN115952272B (zh) 一种生成对话信息的方法、装置、设备及可读存储介质
CN116188632A (zh) 一种图像的生成方法、装置、存储介质及电子设备
CN112417093B (zh) 一种模型训练的方法及装置
CN117076650B (zh) 一种基于大语言模型的智能对话方法、装置、介质及设备
CN116628198A (zh) 一种文本生成模型的训练方法、装置、介质及电子设备
CN117591661B (zh) 一种基于大语言模型的问答数据构建方法及装置
CN113887206B (zh) 一种模型训练及关键词提取方法及装置
CN117828360A (zh) 一种模型训练、代码生成方法、装置、存储介质及设备
CN107577660B (zh) 类目信息识别方法、装置及服务器
CN116662657A (zh) 一种模型训练和信息推荐的方法、装置、存储介质及设备
CN117992600B (zh) 一种业务执行方法、装置、存储介质以及电子设备
CN111209277A (zh) 一种数据处理方法、装置、设备及介质
CN116028626A (zh) 文本匹配方法、装置、存储介质以及电子设备
CN114912513A (zh) 一种模型训练的方法、识别信息的方法及装置
CN117271611B (zh) 一种基于大模型的信息检索方法、装置及设备
CN115017915B (zh) 一种模型训练、任务执行的方法及装置
CN117494068B (zh) 一种结合深度学习与因果推断的网络舆情分析方法及装置
CN117455015B (zh) 一种模型优化的方法、装置、存储介质及电子设备
CN117033469B (zh) 一种基于表格语义注释的数据库检索方法、装置以及设备
CN117171346A (zh) 一种实体链接方法、装置、存储介质及电子设备
CN116756293A (zh) 一种模型训练的方法、装置、存储介质及电子设备
CN117744650A (zh) 文本分词方法、装置及电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant