CN117312502A - 任务处理方法、问答任务处理方法及计算设备 - Google Patents
任务处理方法、问答任务处理方法及计算设备 Download PDFInfo
- Publication number
- CN117312502A CN117312502A CN202310975985.9A CN202310975985A CN117312502A CN 117312502 A CN117312502 A CN 117312502A CN 202310975985 A CN202310975985 A CN 202310975985A CN 117312502 A CN117312502 A CN 117312502A
- Authority
- CN
- China
- Prior art keywords
- task
- processed
- processing
- tasks
- text
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 48
- 238000012545 processing Methods 0.000 claims abstract description 752
- 238000000034 method Methods 0.000 claims description 104
- 238000001514 detection method Methods 0.000 claims description 43
- 238000013136 deep learning model Methods 0.000 claims description 28
- 238000004458 analytical method Methods 0.000 claims description 22
- 238000012216 screening Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims 1
- 239000013598 vector Substances 0.000 description 79
- 230000008569 process Effects 0.000 description 44
- 238000004891 communication Methods 0.000 description 20
- 238000012549 training Methods 0.000 description 18
- 230000006870 function Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 13
- 238000012544 monitoring process Methods 0.000 description 12
- 230000009467 reduction Effects 0.000 description 12
- 238000009877 rendering Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 11
- 238000013507 mapping Methods 0.000 description 10
- 230000001360 synchronised effect Effects 0.000 description 9
- 238000000605 extraction Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000011478 gradient descent method Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 239000008186 active pharmaceutical agent Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000013642 negative control Substances 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/332—Query formulation
- G06F16/3329—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3338—Query expansion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本说明书实施例提供任务处理方法、问答任务处理方法及计算设备,其中所述任务处理方法包括:接收多个任务处理请求;组合各待处理任务的任务信息,得到至少一个待处理任务组;针对各待处理任务中的目标待处理任务,调用搜索引擎获得搜索结果,并基于搜索结果更新至少一个待处理任务组中目标待处理任务的任务信息;利用文本处理模型,对至少一个待处理任务组中各待处理任务的任务信息进行处理,获得各待处理任务的任务处理结果;将各待处理任务的任务处理结果反馈至对应的请求端。先组合待处理任务组再搜索,避免目标待处理任务无法与其他待处理任务的任务信息一起被处理,及时得到并对应反馈任务处理结果,降低了延迟,提升了高并发度和用户体验。
Description
技术领域
本说明书实施例涉及数据处理技术领域,特别涉及一种任务处理方法。
背景技术
随着计算机技术的发展,利用不同样本任务的样本描述信息对文本处理模型这一深度学习模型进行训练后,利用训练得到的文本处理模型对输入任务信息进行处理,得到任务处理结果,在多个领域有广泛应用,例如,文本生成、文本分类、实体识别、推理等。
目前,由于文本处理模型的参数规模较大,例如,13B、50B或者175B的生成式大语言模型,是难以直接部署在请求端的。在进行文本处理的时候,需要请求端发送任务处理请求,在接收到任务处理请求后,利用文本处理模型,对任务进行处理后,反馈任务处理结果至请求端,通过交互的形式完成任务处理。利用大规模的样本完成对文本处理模型的训练,需要耗费较长的时间,样本更新往往不及时且样本一般都为通用样本,难以适应实际应用中不同待处理任务的需求,可以选择通过搜索引擎获取搜索结果来协助文本处理模型进行任务处理。部署在服务端的文本处理模型往往是同步处理多个待处理任务。
然而,由于文本处理模型的模型规模较大,同步处理多个待处理任务往往需要耗费大量时间,一般在数分钟,而将多个待处理任务组合得到待处理任务组,设置有时间窗口,一般为数秒,针对某一待处理任务,如果调用搜索引擎获取搜索结果的时间超过了该时间窗口,该待处理任务需要等待后续多个待处理任务重新组合得到待处理任务组,此时,文本处理模型正在完成前一待处理任务组的任务处理,需要长时间等待才能利用文本处理模型对该待处理任务的任务信息进行处理,造成需要调用搜索引擎的请求端长时间处于等待处理结果的状态,存在高延迟,且难以支持高并发的任务处理场景,请求端的用户体验不足。因此,亟需一种低延迟、高并发度的任务处理方法。
发明内容
有鉴于此,本说明书实施例提供了一种任务处理方法。本说明书一个或者多个实施例同步涉及一种问答任务处理方法,一种任务处理装置,一种问答任务处理装置,一种任务处理***,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种任务处理方法,包括:
接收多个任务处理请求,其中,任务处理请求携带待处理任务;
组合各待处理任务的任务信息,得到至少一个待处理任务组;
针对各待处理任务中的目标待处理任务,调用搜索引擎获得搜索结果,并基于搜索结果更新至少一个待处理任务组中目标待处理任务的任务信息;
利用文本处理模型,对至少一个待处理任务组中各待处理任务的任务信息进行处理,获得各待处理任务的任务处理结果,其中,文本处理模型为根据样本任务的样本任务信息训练得到的深度学习模型;
将各待处理任务的任务处理结果反馈至对应的请求端。
根据本说明书实施例的第二方面,提供了一种问答任务处理方法,包括:
接收多个任务处理请求,其中,任务处理请求携带问答任务;
组合各问答任务的问题文本,得到至少一个问答任务组;
针对各问答任务中的目标问答任务,调用搜索引擎获得搜索结果,并基于搜索结果更新至少一个问答任务组中目标问答任务的问题文本;
利用大语言模型,对至少一个问答任务组中各问答任务的问题文本进行处理,获得各问答任务的答复文本,其中,大语言模型为根据样本问答任务的样本问题文本训练得到的深度学习模型;
将各问答任务的答复文本反馈至对应的请求端。
根据本说明书实施例的第三方面,提供了一种任务处理装置,包括:
第一接收模块,被配置为接收多个任务处理请求,其中,任务处理请求携带待处理任务;
第一组合模块,被配置为组合各待处理任务的任务信息,得到至少一个待处理任务组;
第一搜索模块,被配置为针对各待处理任务中的目标待处理任务,调用搜索引擎获得搜索结果,并基于搜索结果更新至少一个待处理任务组中目标待处理任务的任务信息;
第一处理模块,被配置为利用文本处理模型,对至少一个待处理任务组中各待处理任务的任务信息进行处理,获得各待处理任务的任务处理结果,其中,文本处理模型为根据样本任务的样本任务信息训练得到的深度学习模型;
第一反馈模块,被配置为将各待处理任务的任务处理结果反馈至对应的请求端。
根据本说明书实施例的第四方面,提供了一种问答任务处理装置,包括:
第二接收模块,被配置为接收多个任务处理请求,其中,任务处理请求携带问答任务;
第二组合模块,被配置为组合各问答任务的问题文本,得到至少一个问答任务组;
第二搜索模块,被配置为针对各问答任务中的目标问答任务,调用搜索引擎获得搜索结果,并基于搜索结果更新至少一个问答任务组中目标问答任务的问题文本;
第二处理模块,被配置为利用大语言模型,对至少一个问答任务组中各问答任务的问题文本进行处理,获得各问答任务的答复文本,其中,大语言模型为根据样本问答任务的样本问题文本训练得到的深度学习模型;
第二反馈模块,被配置为将各问答任务的答复文本反馈至对应的请求端。
根据本说明书实施例的第五方面,提供了一种任务处理***,包括请求端和服务端;
请求端,用于发送任务处理请求至服务端,其中,任务处理请求携带待处理任务;
服务端,用于接收多个任务处理请求,组合各待处理任务的任务信息,得到至少一个待处理任务组,针对各待处理任务中的目标待处理任务,调用搜索引擎获得搜索结果,并基于搜索结果更新至少一个待处理任务组中目标待处理任务的任务信息,利用文本处理模型,对至少一个待处理任务组中各待处理任务的任务信息进行处理,获得各待处理任务的任务处理结果,其中,文本处理模型为根据样本任务的样本任务信息训练得到的深度学习模型,将各待处理任务的任务处理结果反馈至对应的请求端。
请求端,还用于接收服务端反馈的对应的任务处理结果。
根据本说明书实施例的第六方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述方法的步骤。
根据本说明书实施例的第七方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述方法的步骤。
根据本说明书实施例的第八方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述方法的步骤。
本说明书一个或多个实施例中,接收多个任务处理请求,其中,任务处理请求携带待处理任务;组合各待处理任务的任务信息,得到至少一个待处理任务组;针对各待处理任务中的目标待处理任务,调用搜索引擎获得搜索结果,并基于搜索结果更新至少一个待处理任务组中目标待处理任务的任务信息;利用文本处理模型,对至少一个待处理任务组中各待处理任务的任务信息进行处理,获得各待处理任务的任务处理结果,其中,文本处理模型为根据样本任务的样本任务信息训练得到的深度学习模型;将各待处理任务的任务处理结果反馈至对应的请求端。通过先将多个待处理任务组合得到待处理任务组再调用搜索引擎搜索,避免需要调用搜索引擎搜索的目标待处理任务未进入当前待处理任务组,进而无法与其他待处理任务的任务信息一起被文本处理模型处理,保证了至少一个待处理任务组同步被文本处理模型处理,目标待处理任务对应的请求端可以及时得到任务处理结果并反馈至对应的请求端,降低了任务处理的延迟,提升了任务处理的高并发度,提升了请求端的用户体验。
附图说明
图1是本说明书一个实施例提供的一种任务处理方法的流程图;
图2是本说明书一个实施例提供的一种问答任务处理方法的流程图;
图3是本说明书一个实施例提供的一种任务处理方法中映射归约模型架构图;
图4是本说明书一个实施例提供的一种任务处理方法的处理流程图;
图5是本说明书一个实施例提供的一种应用于推理场景的任务处理方法的处理过程流程图;
图6是本说明书一个实施例提供的一种任务处理装置的结构示意图;
图7是本说明书一个实施例提供的一种问答任务处理装置的结构示意图;
图8是本说明书一个实施例提供的一种任务处理***的结构示意图;
图9是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
此外,需要说明的是,本说明书一个或多个实施例所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据,并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准,并提供有相应的操作入口,供用户选择授权或者拒绝。
本说明书一个或多个实施例中,大模型是指具有大规模模型参数的深度学习模型,通常包含上亿、上百亿、上千亿、上万亿甚至十万亿以上的模型参数。大模型又可以称为基石模型/基础模型(Foundation Model),通过大规模无标注的语料进行大模型的预训练,产出亿级以上参数的预训练模型,这种模型能适应广泛的下游任务,模型具有较好的泛化能力,例如大规模语言模型(Large Language Model,LLM)、多模态预训练模型(multi-modal pre-training model)等。
大模型在实际应用时,仅需少量样本对预训练模型进行微调即可应用于不同的任务中,大模型可以广泛应用于自然语言处理(Natural Language Processing,简称NLP)、计算机视觉等领域,具体可以应用于如视觉问答(Visual QuestionAnswering,简称VQA)、图像描述(Image Caption,简称IC)、图像生成等计算机视觉领域任务,以及基于文本的情感分类、文本摘要生成、机器翻译等自然语言处理领域任务,大模型主要的应用场景包括数字助理、智能机器人、搜索、在线教育、办公软件、电子商务、智能设计等。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
映射归约模型(Map-Reduce模型):一种编程模型架构,用于大规模数据集(大于1TB)的并行运算。在映射阶段,通过映射函数,把多组键值对映射成一组新的键值对,再在归约阶段,依靠指定并发的归约函数,实现基本的并行计算任务。
批处理:将多个请求放入一个批次组合中,一次性发送至处理端进行处理,在交互性***中具有低延迟的效果。
目前,先采用多线程处理好每个请求对应的搜索引擎过程,处理好后再组成一个待处理任务组进入任务处理阶段。这种方法一般容易使得个别任务处理请求由于搜索引擎调用时间过长,而错过同一批次的待处理任务组的构建,进而等待时间过长。将搜索引擎抽离,调用搜索引擎,会引入更多的模块,并且对搜索结果和任务信息引入更大成本。
在本说明书中,提供了一种任务处理方法,本说明书同步涉及一种问答任务处理方法,一种任务处理装置,一种问答任务处理装置,一种任务处理***,一种计算设备,一种计算机可读存储介质以及一种计算机程序,在下面的实施例中逐一进行详细说明。
参见图1,图1示出了根据本说明书一个实施例提供的一种任务处理方法的流程图,包括如下具体步骤:
步骤102:接收多个任务处理请求,其中,任务处理请求携带待处理任务。
本说明书实施例应用于具有任务处理功能的应用程序、网页或者小程序的服务端,该服务端上可以直接部署有文本处理模型,也可以部署有调用接口来调用文本处理模型。服务端和请求端之间建立有数据连接,请求端为请求进行任务处理的客户端或者终端,例如,通过路由、网关等设备,消息队列等网络请求传输方式,以及sidecar(边车)、容器化等模式,实现数据连接。具体地,通过在请求端上输入待处理任务的任务信息,请求端基于输入的任务信息,生成对应的任务处理请求,并通过数据连接将该任务处理请求发送至服务端。
待处理任务为未被执行或者处理的任务,为一种特定类型的任务,包括但不限于:生成任务、分类任务、推理任务等,对应多模态的任务处理结果,可以进一步细分为:文本生成任务、图像生成任务、语音生成任务、文本分类任务、图像分类任务、实体识别任务、聚类任务、数值预测任务等,待处理任务通过任务信息这一信息载体表现。任务信息为对待处理任务进行自然语言描述的文本信息,例如,待处理任务为文本翻译任务,待处理任务的任务信息为:“请将以下句子翻译成英文:科技发展是生产力进步的重要因素”。由于深度学习模型无法直接处理自然语言,需要通过输入的任务信息的文本向量来理解并执行待处理任务(对文本向量进行特征变换),与实际的待处理任务之间存在一定的差异,即得到准确度不足的任务处理结果或者得到任务处理结果,因此,对于同一待处理任务,对应有不同的任务信息。任务处理请求为请求端生成并发送的待处理任务的网络请求,任务处理请求包含有待处理任务的任务信息,具有特定的网络传输协议格式。
接收多个任务处理请求,具体方式为:接收至少一个请求端发送的多个任务处理请求。
可选地,在接收多个任务处理请求之后,还包括如下具体步骤:记录请求端和任务处理请求之间的对应关系。
示例性地,用户A登录具有任务处理功能的网页客户端,在该网页客户端的前端输入推理任务A的任务信息:“请提取出以下文章的论点、论据和论证,并给出逻辑关系解释:……”,网页客户端基于该任务信息,生成对应的任务处理请求,并通过数据连接将该任务处理请求A发送至服务端,同理,用户B、用户C……用户Y共25个用户登录的网页客户端,并发送了任务处理请求B、任务处理请求C……任务处理请求Y共25个任务处理请求至网页服务端,网页服务端接收了以上25个任务处理请求,其中,任务处理请求A-Y对应包括待处理任务A-Y。
接收多个任务处理请求,其中,任务处理请求包括待处理任务。为后续组合得到待处理任务组奠定了基础。
步骤104:组合各待处理任务的任务信息,得到至少一个待处理任务组。
待处理任务组为文本处理模型一次执行待处理任务的任务批次(Batch),由至少两个待处理任务组成。由于文本处理模型不能直接处理自然语言,需要对多个待处理任务的任务信息进行特征提取,得到对应的文本向量,特征提取可以在组合得到待处理任务组之前,也可以在组合得到待处理任务组之后,在此不作限定。相应地,待处理任务组可以通过任务信息这一文本模态的信息载体表现,也可以通过任务信息的文本向量这一特征编码向量的信息载体表现,在此不作限定。
组合各待处理任务的任务信息,得到至少一个待处理任务组,具体方式为:利用待处理任务队列,组合各待处理任务的任务信息,得到至少一个待处理任务组。其中,待处理任务队列为用于存储多个待处理任务的任务队列。
示例性地,利用存储有25个请求端发送的待处理任务的待处理任务队列,组合8个待处理任务(待处理任务A、待处理任务B……待处理任务H)的任务信息,得到待处理任务组。
组合各待处理任务的任务信息,得到至少一个待处理任务组。避免了后续需要调用搜索引擎搜索的目标待处理任务未进入待处理任务组。
步骤106:针对各待处理任务中的目标待处理任务,调用搜索引擎获得搜索结果,并基于搜索结果更新至少一个待处理任务组中目标待处理任务的任务信息。
目标待处理任务为需要进行搜索增强的待处理任务,目标待处理任务需要调用搜索引擎进行搜索,实现对应的搜索增强,使得任务处理结果更加准确有效,准确有效地对应任务处理请求。目标待处理任务可以是请求端发送任务处理请求时确定的,即带有目标任务处理请求的标识,例如,用户在请求端上的具有任务处理功能的应用程序、网页或者小程序的前端,通过点选搜索增强控件,发送任务处理请求至服务端,确定该任务处理请求携带目标待处理任务。目标待处理任务还可以是服务端在接收到任务处理请求后确定的,例如,服务端接收到任务处理请求后,进行搜索增强规则检测,确定该任务处理请求携带的待处理任务是否需要进行搜索增强,若是,标记该待处理任务为目标待处理任务,该搜索检测规则可以为外置于文本处理模型的检测功能组件,也可以为内置于文本处理模型的插件,例如,大语言模型插件(LLM Plugins,Large Language Model Plugins)。
搜索引擎为一种信息搜索的应用,服务端通过搜索引擎的应用编程接口(API,Application Programming Interface)完成对搜索引擎的调用,搜索引擎通过任务信息的进行特征编码,根据该特征编码得到的特征编码向量从预先建立的索引库中进行搜索,确定对应的网络资源信息,进一步地,本说明书实施例中的搜索引擎抓取网络资源上的相关信息,作为搜索结果。例如,任务信息为“请说明同步通信和异步通信的区别”,根据该任务信息的特征编码向量从预先建立的索引库中进行搜索,确定对应的网络资源信息:域名为“www.ABC.com”,从该网页上抓取相关文本信息“同步通信(Synchronous Communication)中,发送方和接收方之间的通信必须同步进行……”。需要说明的是,搜索引擎不仅仅为一种文本模态的搜索引擎,可以通过文本模态的任务信息,搜索得到多种模态的搜索结果。搜索引擎未被从服务端剥离,避免了架构的复杂化。
搜索结果为搜索引擎返回的目标待处理任务的相关信息,可以为多模态信息,例如,文本模态的搜索结果、图表模态的搜索结果、图像模态的搜索结果、视频模态的搜索结果和音频模态的搜索结果等。例如,任务信息为“请说明同步通信和异步通信的区别”,调用搜索引擎获取文本模态的搜索结果“同步通信(Synchronous Communication)中,发送方和接收方之间的通信必须同步进行……”、同步通信和异步通信的执行流程图这一图像模态的搜索结果、同步通信和异步通信的执行实例的数据表这一图表模态的搜索结果。
调用搜索引擎获得搜索结果,具体方式为:根据目标待处理任务的任务信息,调用搜索引擎获得搜索结果。进一步地,根据目标待处理任务的任务信息的文本向量,调用搜索引擎获得搜索结果。更进一步地,根据目标待处理任务的任务信息的文本向量,通过搜索引擎的应用编程接口,调用搜索引擎获得搜索结果。需要说明的是,通过搜索引擎的应用编程接口完成搜索,是对目标待处理任务分配了对应的线程来实现的。
基于搜索结果更新至少一个待处理任务组中目标待处理任务的任务信息,具体方式为:基于搜索结果的特征向量,更新至少一个待处理任务组中目标待处理任务的任务信息的文本向量。例如,对搜索结果的特征向量和待处理任务组中目标待处理任务的任务信息的文本向量进行向量融合,得到更新的待处理任务组中目标待处理任务的任务信息的文本向量。其中,向量融合可以为拼接的方式(直接拼接、投票模式和贝叶斯模式等),也例如,基于搜索结果的特征向量确定提示向量,更新至少一个待处理任务组中目标待处理任务的任务信息的文本向量,在此不作限定。
需要说明的是,后续文本处理模型不能直接对自然语言进行处理,需要对特征向量进行处理,因而,需要将至少一个待处理任务组的目标向量输入文本处理模型。待处理任务组包括多个待处理任务的任务信息,待处理任务组的目标向量是由多个待处理任务的任务信息的文本向量构成的,本说明书实施例中是对多个待处理任务的任务信息的文本向量进行行列式的拼接得到的,因而,对目标待处理任务的任务信息进行更新,即为对待处理任务组的目标向量中目标待处理任务的文本向量进行更新。待处理任务组的目标向量,可以是在步骤104中对各待处理任务的任务信息进行文本特征编码后直接拼接得到的,也可以是在步骤106中完成目标待处理任务的任务信息的更新后,拼接更新后的各待处理任务的任务信息的文本向量得到的,在此不作限定。
示例性地,待处理任务组包含待处理任务A、待处理任务B……待处理任务H,共8个待处理任务的任务信息,其中,待处理任务H为目标待处理任务,对待处理任务H的任务信息进行文本特征编码,得到对应的文本向量Feature_H,根据文本向量Feature_H,通过搜索引擎的应用编程接口,调用搜索引擎获得搜索结果H,对搜索结果H的特征向量FeatureResult_H和待处理任务组中待处理任务H的任务信息的文本向量Feature_H进行向量融合,得到更新后的目标待处理任务的任务信息的文本向量Feature_H’,将8个待处理任务的任务信息的文本向量进行行列式的拼接,得到待处理任务组的目标向量FeatureTarget,其中,8个待处理任务的任务信息的文本向量为1×N的向量,拼接得到待处理任务组的目标向量TargetFeature,目标向量为10×N的向量。
针对各待处理任务中的目标待处理任务,调用搜索引擎获得搜索结果,并基于搜索结果更新至少一个待处理任务组中目标待处理任务的任务信息。通过先将多个待处理任务组合得到待处理任务组再调用搜索引擎获得搜索结果来更新目标待处理任务的任务信息,避免了目标待处理任务未进入当前至少一个待处理任务组,保证了后续至少一个待处理任务组同步被文本处理模型处理,为后续及时完成任务处理奠定了基础。
步骤108:利用文本处理模型,对至少一个待处理任务组中各待处理任务的任务信息进行处理,获得各待处理任务的任务处理结果,其中,文本处理模型为根据样本任务的样本任务信息训练得到的深度学习模型。
文本处理模型为具有任务处理功能的深度学习模型,文本处理模型为根据样本任务的样本任务信息训练得到,文本处理模型通过任务信息理解待处理任务的任务内容,进行对应的任务处理,得到任务处理结果。在数据层面,文本处理模型是通过对输入的文本向量进行特征变换,得到对应的输出向量,经过解码获得对应的任务处理结果。文本处理模型是可以处理不同任务,具有泛化能力。文本处理模型可以为一种大模型,可以为大语言模型,也可以为一种多个任务处理功能的深度学习模型组合得到的模型组,本说明书实施例中,以大语言模型进行说明。文本处理模型可以部署在服务端,服务端直接调用文本处理模型实例(文本处理模型以及运行该文本处理模型对应的软硬件资源)进行任务处理,也可以部署在独立的模型端,服务端通过调用接口来调用模型端的文本处理模型实例进行任务处理。
任务处理结果为文本处理模型基于任务信息,对待处理任务进行处理后,得到的任务处理结果。对应待处理任务组中目标待处理任务的类型,包括至少一种模态的任务处理结果,包括但不限于:文本模态、图像模态、图表模态和音频模态。例如,待处理任务为图像生成任务,任务处理结果为生成的图像,又例如,待处理任务为数值预测任务,任务处理结果为预测的数值。任务处理结果可以为一种实时结果,也可以为一种非实时结果,例如,待处理任务为文本生成任务,任务处理结果可以为实时生成的词语,也可以为最终生成的文本,又例如,待处理任务为推理任务,任务处理结果可以为实时的推理中间结果,也可以为最终的推理结果。
利用文本处理模型,对至少一个待处理任务组中各待处理任务的任务信息进行处理,获得各目标待处理任务对应的文本处理结果,具体方式为:将至少一个待处理任务组的目标向量输入文本处理模型,经文本处理模型进行处理,获得各待处理任务对应的任务处理结果。本说明书实施例中是对多个待处理任务的任务信息的文本向量进行行列式的拼接得到的,更新后的目标向量也是拼接得到的,文本处理模型对输入的目标向量,按照目标向量的行列顺序进行处理,即可顺序得到各待处理任务的任务处理结果,保证了后续可以准确地反馈至对应的请求端。
需要说明的是,服务端的任务处理流程是利用映射归约模型架构来实现,在组合得到至少一个待处理任务组之前,还包括对任务处理请求的参数进行检测,该参数检测的步骤在映射归约模型架构的映射阶段中实现,步骤104和步骤106在映射归约模型架构的归约阶段中实现。
需要说明的是,服务端部署有多个文本处理模型实例,例如,配置多个装载有文本处理模型的节点,对于待处理任务组,调用任务处理状态为空闲状态的文本处理模型实例,来执行步骤106,进一步避免了任务处理状态为处理状态的文本处理模型仍在处理前一待处理任务组,当前待处理任务组需要等到前一待处理任务组被处理完成,多个请求端长时间处于等待处理结果的状态。
示例性地,确定服务端上部署的20个大语言模型实例的任务处理状态,确定任务处理状态为空闲状态的大语言模型Model_GPT,将待处理任务组的目标向量TargetFeature输入大语言模型Model_GPT,经大语言模型Model_GPT进行处理,获得8个待处理任务对应的任务处理结果:任务处理结果A、任务处理结果B……任务处理结果H。
利用文本处理模型,对至少一个待处理任务组中各待处理任务的任务信息进行处理,获得各待处理任务的任务处理结果,其中,文本处理模型为根据样本任务的样本任务信息训练得到的深度学习模型。利用文本处理模型,及时完成对至少一个待处理任务组中各待处理任务的任务信息的处理,及时得到对应的任务处理结果,降低了任务处理的延迟,提升了任务处理的高并发度。
步骤110:将各待处理任务的任务处理结果反馈至对应的请求端。
将任务处理结果反馈至对应的请求端,具体方式为:根据预先记录的多个请求端和任务处理请求之间的对应关系,将任务处理结果反馈至对应的请求端。进一步地。通过服务端和多个请求端之间的数据连接,将任务处理结果反馈至对应的请求端。例如,通过路由、网关等设备,消息队列等分发方式,以及sidecar、容器化等模式,实现数据连接。
在将文本处理请求反馈至对应的请求端之后,请求端对任务处理结果进行渲染,用户基于渲染的任务处理结果,可以发送对任务处理结果的评价,包括但不限于:正向评价和负向评价,负向评价包括有事实性错误、未理解任务处理请求、文本处理请求有重复、文本处理请求存在敏感信息和任务处理结果无效等,服务端收集负向评价用于后续对文本处理模型的微调(Finetune)。
由于任务处理结果可以为一种实时结果,也可以为一种非实时结果,在任务处理结果为一种实时结果的情况下,同步将任务处理结果反馈至对应的请求端,在任务处理结果为非实时结果的情况下,在确定处理结束的情况下,将任务处理结果反馈至对应的请求端,其中,确定处理结束可以通过任务信息中的特殊字符判断,例如,“谢谢”和“?”,也可以通过任务处理结果的预设长度判断,例如,任务处理结果达到400个词的情况下,确认处理结束。
示例性地,将任务处理结果A反馈至用户A登录的网页客户端进行渲染,将任务处理结果B反馈至用户B登录的网页客户端进行渲染……将任务处理结果H反馈至用户H登录的网页客户端进行渲染。
本说明书实施例中,接收多个任务处理请求,其中,任务处理请求携带待处理任务;组合各待处理任务的任务信息,得到至少一个待处理任务组;针对各待处理任务中的目标待处理任务,调用搜索引擎获得搜索结果,并基于搜索结果更新至少一个待处理任务组中目标待处理任务的任务信息;利用文本处理模型,对至少一个待处理任务组中各待处理任务的任务信息进行处理,获得各待处理任务的任务处理结果,其中,文本处理模型为根据样本任务的样本任务信息训练得到的深度学习模型;将各待处理任务的任务处理结果反馈至对应的请求端。通过先将多个待处理任务组合得到待处理任务组再调用搜索引擎搜索,避免需要调用搜索引擎搜索的目标待处理任务未进入当前待处理任务组,进而无法与其他待处理任务的任务信息一起被文本处理模型处理,保证了至少一个待处理任务组同步被文本处理模型处理,目标待处理任务对应的请求端可以及时得到任务处理结果并反馈至对应的请求端,降低了任务处理的延迟,提升了任务处理的高并发度,提升了请求端的用户体验。
在本说明书一种可选实施例中,目标待处理任务为至少一个;
相应地,在步骤108之前,还包括如下具体步骤:
识别针对各所述目标待处理任务的搜索结果是否均已获得,且所述至少一个待处理任务组中各所述目标待处理任务的任务信息是否均已更新,以及搜索时间是否达到预设时长;
相应地,步骤108包括如下具体步骤:
在针对各所述目标待处理任务的搜索结果均已获得、且所述至少一个待处理任务组中各所述目标待处理任务的任务信息均已更新的情况下,或者在所述搜索时间达到所述预设时长的情况下,利用文本处理模型,对所述至少一个待处理任务组中各所述待处理任务的任务信息进行处理,获得各所述待处理任务的任务处理结果。
在目标待处理任务为至少一个的情况下,由于搜索引擎的性能、目标待处理任务的搜索复杂度等原因限制,难以保证同步获得各目标待处理任务的搜索结果,若此时还在等待获得某目标待处理任务的搜索结果,即未完成对该目标待处理任务的任务信息的更新,就利用文本处理模型对各待处理任务的任务信息进行处理,无法按照搜索增强完成对该目标待处理任务的处理,得到的任务处理结果的准确性和有效性不足,将准确性和有效性不足的任务处理结果反馈至对应的请求端,降低了用户体验。同时,也不能无限时地等待获得搜索结果完成任务信息的更新,同样造成需要调用搜索引擎的请求端长时间处于等待处理结果的状态,存在高延迟的问题。因而,需要在利用文本处理模型进行处理前,需要识别是否各目标待处理任务的搜索结果是否均已获得,并完成了任务信息的更新以及搜索时间是否达到预设时长,保证待处理任务组中的待处理任务同步(在同一任务批次)被文本处理模型处理。
识别针对各目标待处理任务的搜索结果是否均已获得,包括以下方式:1、查看搜索结果队列是否存储有各目标待处理任务的搜索结果;2、监控搜索引擎的应用编程接口请求:使用日志记录或监控工具来监控应用编程接口请求的执行情况;3、获取搜索结果的状态字段:使用应用编程接口调用搜索引擎时,通过获取搜索结果的状态字段,以便判断搜索结果是否成功。
识别待处理任务组中各目标待处理任务的任务信息是否均已更新,包括以下方式:1、监控待处理任务组中各目标待处理任务的任务信息更新的进度:通过定时或实时的方式来监控任务信息的更新进度,确定是否均已更新;2、查看任务信息更新的日志记录:查看任务信息更新的日志记录,以确定是否已经成功地更新了任务信息。
搜索时长为当前调用搜索引擎对目标待处理任务进行搜索的时长。预设时长为预先设定的针对目标待处理任务进行搜索的时长阈值,由于目标待处理任务的搜索,是通过分配对应的线程,通过搜索引擎的应用编程接口实现调用搜索引擎来搜索的,因而,预设时长是通过设置对应线程时长实现的。
示例性地,目标待处理任务包括待处理任务F和待处理任务H,利用日志记录和监控工具,识别针对待处理任务F和待处理任务H的搜索结果是否均已获得,且待处理任务组中待处理任务F和待处理任务H的任务信息的文本向量Feature_F和Feature_H是否均已更新,以及搜索时间是否达到预设时长,在搜索结果已获得且任务信息已更新的情况下,将待处理任务组的目标向量TargetFeature输入大语言模型Model_GPT,经大语言模型Model_GPT进行处理,获得8个待处理任务对应的任务处理结果:任务处理结果A、任务处理结果B……任务处理结果H。
识别针对各目标待处理任务的搜索结果是否均已获得,且待处理任务组中各目标待处理任务的任务信息是否均已更新,以及搜索时间是否达到预设时长;在针对各目标待处理任务的搜索结果均已获得、且待处理任务组中各目标待处理任务的任务信息均已更新的情况下,或者在所述搜索时间达到所述预设时长的情况下,利用文本处理模型,对待处理任务组中各待处理任务的任务信息进行处理,获得各待处理任务的任务处理结果。避免了未完成对目标待处理任务的任务信息的更新,就利用文本处理模型对各待处理任务的任务信息进行处理,保证了任务处理结果的准确性和有效性,提升了用户体验。
在本说明书一种可选实施例中,在识别针对各目标待处理任务的搜索结果是否均已获得,且至少一个待处理任务组中各目标待处理任务的任务信息是否均已更新之后,还包括如下具体步骤:
若各目标待处理任务中任一目标待处理任务的搜索结果未获得,则针对任一目标待处理任务,继续调用搜索引擎获得搜索结果。
参见上述说明书实施例,若此时还在等待获得目标待处理任务中任一目标待处理任务的搜索结果,即未完成对该目标待处理任务的任务信息的更新,就利用文本处理模型对各待处理任务的任务信息进行处理,无法按照搜索增强完成对该目标待处理任务的处理,得到的任务处理结果的准确性和有效性不足,将准确性和有效性不足的任务处理结果反馈至对应的请求端,降低了用户体验。因而,需要针对任一目标待处理任务,继续调用搜索引擎获得搜索结果,并完成后续任务信息的更新,保证待处理任务组中的待处理任务在同一任务批次被文本处理模型处理。
若各目标待处理任务中任一目标待处理任务的搜索结果未获得,则针对任一目标待处理任务,继续调用搜索引擎获得搜索结果,具体方式为:若各目标待处理任务中任一目标待处理任务的搜索结果未获得,则针对任一目标待处理任务,继续通过搜索引擎的应用编程接口,调用搜索引擎获得搜索结果。
示例性地,目标待处理任务包括待处理任务F和待处理任务H,利用日志记录和监控工具,识别针对待处理任务F和待处理任务H的搜索结果是否均已获得,且待处理任务组中待处理任务F和待处理任务H的任务信息的文本向量Feature_F和Feature_H是否均已更新,若待处理任务F的搜索结果未获得,则针对待处理任务F,继续通过搜索引擎的应用编程接口,调用搜索引擎获得搜索结果F。
若各目标待处理任务中任一目标待处理任务的搜索结果未获得,则针对任一目标待处理任务,继续调用搜索引擎获得搜索结果。避免了未完成对目标待处理任务的任务信息的更新,就利用文本处理模型对各待处理任务的任务信息进行处理,保证了任务处理结果的准确性和有效性,提升了用户体验。
在本说明书一种可选实施例中,在步骤106中针对各待处理任务中的目标待处理任务,调用搜索引擎获得搜索结果之后,还包括如下具体步骤:
统计搜索时间;
在搜索时间达到预设时长的情况下,停止执行调用搜索引擎获得搜索结果的步骤。
由于任务信息的准确性、搜索引擎性能等多种原因,会出现针对某一目标待处理任务的搜索需要耗费大量搜索时间的情况,此时处于同一待处理任务组中的其他待处理任务还在等待该目标待处理任务的搜索结果,以实现同一批次的文本处理模型的任务处理,增加了任务处理的延迟,不能及时获得任务处理结果并反馈至对应的请求端,因而,需要对搜索时间进行限制,不能无限制地搜索。
统计搜索时间,具体方式为:统计预先分配给目标待处理任务的搜索线程的运行时长。
在搜索时间达到预设时长的情况下,停止执行调用搜索引擎获得搜索结果的步骤,具体方式为:在搜索线程的运行时长达到预设线程时长的情况下,停止执行调用搜索引擎获得搜索结果的步骤。
示例性地,目标待处理任务为待处理任务F,统计预先分配给待处理任务F的搜索线程的运行时长ThreadTime,在搜索线程的运行时长ThreadTime达到预设线程时长ThreadLimitedTime的情况下,停止执行调用搜索引擎获得搜索结果的步骤。
统计搜索时间;在搜索时间达到预设时长的情况下,停止执行调用搜索引擎获得搜索结果的步骤。避免了同一待处理任务组中的其他待处理任务还在等待该目标待处理任务的搜索结果,降低了任务处理的延迟,提升了任务处理的高并发度,提升了请求端的用户体验。
在本说明书一种可选实施例中,在步骤104之前,还包括如下具体步骤:
根据多个任务处理请求的参数,对多个待处理任务进行筛选,获得满足预设参数检测条件的待处理任务。
预设参数检测条件为基于文本处理模型调用的参数可行性预先设置的检测条件,包括但不限于:预设数据量检测条件、预设硬件资源量检测条件、预设软件资源量检测条件。例如,待处理任务的内存带宽为500MB,预设内存检测条件为:每一条待处理任务的内存带宽小于等于300MB,则不满足预设硬件资源量检测条件这一预设参数检测条件。
示例性地,根据8个待处理任务的待处理任务的数据量、待处理任务的硬件资源量和待处理任务的软件资源量,对8个待处理任务进行筛选,得到满足预设数据量检测条件、预设硬件资源量检测条件和预设软件资源量检测条件的6个待处理任务(待处理任务A、待处理任务C……待处理任务H)。
根据多个任务处理请求的参数,对多个待处理任务进行筛选,获得满足预设参数检测条件的待处理任务。避免了在待处理任务的参数不满足预设参数检测条件的情况下,影响后续待处理任务组的处理,避免了多个请求端处于长时间等待状态,降低了任务处理的延迟,提升了任务处理的高并发度,提升了用户体验。
在本说明书一种可选实施例中,在根据多个待处理任务的参数,对多个待处理任务进行筛选之后,还包括如下具体步骤:
针对筛选待处理任务,利用文本处理模型,对筛选待处理任务的参数进行分析,得到参数分析结果,其中,筛选待处理任务为不满足预设参数检测条件的待处理任务;
将参数分析结果反馈至对应的请求端。
考虑到请求端的用户体验,需要在参数检测失败的情况下,对筛选待处理任务的参数进行分析,得到参数分析结果并反馈至请求端,协助请求端的客户进行后续处理,既不影响多个待处理任务的任务处理效率,同步,让参数检测失败的筛选待处理任务对应的请求端及时确定了任务处理进度,结合参数分析结果进行后续处理,提升了用户体验。
筛选待处理任务为不满足预设参数检测条件的待处理任务。例如,预设参数检测条件为预设内存检测条件:每一条待处理任务的内存带宽小于等于300MB,待处理任务的内存带宽为500MB,该待处理任务为筛选待处理任务。
参数分析结果为对待处理任务的参数进行参数可行性分析的分析结果,包括但不限于:待处理任务的数据量超阈值、待处理任务的硬件资源量超阈值、待处理任务的软件资源量超阈值、参数类型错误和参数超范围。例如,待处理任务的参数中显存带宽为32GB,参数分析结果为:当前显存空间上限为24GB,请修改需要显存空间。
需要说明的是,本说明书实施例中的文本处理模型为具有任务处理功能和对待处理任务的参数进行参数可行性分析功能的深度学习模型。文本处理模型对待处理任务的参数进行参数可行性分析功能是预先进行了监督训练得到的。
可选地,在将参数分析结果反馈至对应的请求端之后,还包括如下具体步骤:
接收更新任务处理请求,其中,更新任务处理请求包括更新待处理任务。可以将更新任务处理请求作为重新接收的普通任务处理请求,返回执行步骤102,也可以对更新任务处理请求进行处理加权,优先执行步骤104,在此不作限定。
示例性地,根据8个待处理任务的待处理任务的数据量、待处理任务的硬件资源量和待处理任务的软件资源量,对8个待处理任务进行筛选,得到满足预设数据量检测条件、预设硬件资源量检测条件和预设软件资源量检测条件的6个待处理任务(待处理任务A、待处理任务C……待处理任务H),获得不满足预设硬件参数检测条件的筛选待处理任务:待处理任务B和待处理任务E,利用文本处理模型,对待处理任务B和待处理任务E的参数进行分析,得到参数分析结果:待处理任务B“处理失败,当前显存空间上限为24G,请修改需要显存空间”,待处理任务E:“处理失败,该任务的任务信息为1200个字,请修改至400字以内”,将该参数分析结果反馈至对应的用户B和用户E的网页客户端进行渲染,接收用户B和用户E在网页客户端上重新输入的更新待处理任务B和更新待处理任务E的任务信息,对更新任务处理请求进行处理加权,优先执行步骤104,在最新待处理任务组中加入更新待处理任务B和更新待处理任务E。
针对筛选待处理任务,利用文本处理模型,对筛选待处理任务的参数进行分析,得到参数分析结果,其中,筛选待处理任务为不满足预设参数检测条件的待处理任务;将参数分析结果反馈至对应的请求端。避免了影响整个待处理任务组的处理进度,降低了总延迟,在参数检测失败的情况下,对待处理任务的参数进行分析,得到参数分析结果并反馈至请求端,协助请求端的客户进行后续处理,提升了请求端的用户体验。
在本说明书一种可选实施例中,在步骤108之前,还包括如下具体步骤:
获取多个初始文本处理模型的任务处理状态;
根据多个初始文本处理模型的任务处理状态,确定任务处理状态为空闲状态的初始文本处理模型为文本处理模型。
初始文本处理模型为待选择的具有任务处理功能的深度学习模型,任一初始文本处理模型为一个文本处理模型实例(文本处理模型以及运行该文本处理模型对应的软硬件资源),根据各初始文本处理模型的任务处理状态,确定空闲状态的初始文本处理模型来对待处理任务组进行处理。一般地,多个初始文本处理模型为相同参数的深度学习模型。多个初始文本处理模型可以部署在服务端,服务端直接调用文本处理模型实例(文本处理模型以及运行该文本处理模型对应的软硬件资源)进行任务处理,也可以部署在独立的模型端,服务端通过调用接口来调用模型端的文本处理模型实例进行任务处理。
任务处理状态为初始文本处理模型的当前处理状态,包括但不限于:处理中和空闲状态。
获取多个初始文本处理模型的任务处理状态,具体方式为:通过模型状态监测工具,获取多个初始文本处理模型的任务处理状态。其中,模型状态监测工具为对部署的多个初始文本处理模型的当前处理状态进行监测的工具,例如,sidecar。
示例性地,获取多个初始生成式大语言模型的任务处理状态,根据多个初始生成式大语言模型的任务处理状态,确定任务处理状态为空闲状态的初始生成式大语言模型为生成式大语言模型。
获取多个初始文本处理模型的任务处理状态;根据多个初始文本处理模型的任务处理状态,确定任务处理状态为空闲状态的初始文本处理模型为文本处理模型。通过确定处于空闲状态的文本处理模型,来进行后续的任务处理,避免了待处理任务组被分配至处理中的文本处理模型,需要等待处理完成,造成请求端长时间处于等待状态,降低了总延迟,提升了请求端的用户体验。
在本说明书一种可选实施例中,该方法还包括如下具体步骤:
在利用文本处理模型,对至少一个待处理任务组中任一待处理任务的任务信息进行处理失败的情况下,返回执行获取多个初始文本处理模型的任务处理状态的步骤。
在文本处理模型对至少一个待处理任务组中待处理任务的任务信息进行处理的过程中,由于文本处理模型实例的配置不合理或者软硬件故障,造成当前任务处理失败,而请求端还在等待处理结果,不进行模型处理失败执行的情况下,会造成请求端长时间处于等待状态,具有高延迟,需要重新确定文本处理模型,进行模型处理失败执行,及时完成对至少一个待处理任务组中待处理任务的任务信息的处理,降低延迟,提升用户体验。
在利用文本处理模型,对至少一个待处理任务组中任一待处理任务的任务信息进行处理失败的情况下,返回执行获取多个初始文本处理模型的任务处理状态的步骤,具体方式为:在利用文本处理模型,对至少一个待处理任务组中任一待处理任务的任务信息进行处理失败的情况下,结束对待处理任务组的处理,返回执行获取多个初始文本处理模型的任务处理状态的步骤。可选地,在利用文本处理模型,对至少一个待处理任务组中任一待处理任务的任务信息进行处理失败的情况下,结束对待处理任务组的处理,反馈处理失败消息至对应的请求端,返回执行获取多个初始文本处理模型的任务处理状态的步骤,其中,返回执行获取多个初始文本处理模型的任务处理状态的步骤可以为接收到处理指令的情况下,返回执行,也可以直接返回执行,在此不作限定。
需要说明的是,当前任务处理失败的原因可能为当前确定的文本处理模型的模型问题,也可能为实例配置中资源的问题,还可能为数据传输问题。可以从多个初始文本处理模型中去除文本处理模型后,获取多个初始文本处理模型的任务处理状态,重新根据多个初始文本处理模型的任务处理状态,确定任务处理状态为空闲状态的初始文本处理模型为文本处理模型。也可以保留文本处理模型,直接获取多个初始文本处理模型的任务处理状态,重新根据多个初始文本处理模型的任务处理状态,确定任务处理状态为空闲状态的初始文本处理模型为文本处理模型。上述两种方式根据具体的处理失败的原因确定,在此不作限定。
示例性地,在利用生成式大语言模型Model_GPT,对待处理任务组中任一待处理任务的任务信息进行处理失败的情况下,结束对待处理任务组的处理,获取多个初始生成式大语言模型的任务处理状态,重新根据多个初始生成式大语言模型的任务处理状态,确定任务处理状态为空闲状态的初始生成式大语言模型为生成式大语言模型Model_GPT。
在利用文本处理模型,对至少一个待处理任务组中任一待处理任务的任务信息进行处理失败的情况下,返回执行获取多个初始文本处理模型的任务处理状态的步骤。及时地完成了文本处理模型的更换来进行任务处理,避免了请求端长时间处于等待状态,降低了任务处理的延迟,提升了用户体验。
在本说明书一种可选实施例中,在步骤102之后还包括如下具体步骤:
将多个任务处理请求存储进待处理任务队列;
相应地,步骤104包括如下具体步骤:
从待处理任务队列的多个待处理任务中,选择至少两个待处理任务;
组合至少两个待处理任务的任务信息,得到至少一个待处理任务组。
一般地,服务端在接收到多个任务处理请求后,需要耗时数十秒进行来完成配置,保证后续对各任务处理请求的处理,通过引入“先进先出”的队列来存储接收到的多个任务处理请求,完成更合理均匀的分组配置。例如,接收到1000个任务处理请求,将1000个任务处理请求存储进待处理任务队列,再从中按照“先进先出”的方式,每10个为一个待处理任务组,完成更合理均匀的分组配置。
待处理任务队列为用于控制共享资源调用的任务队列,在多个线程之间协调待处理任务的处理。例如,为每个待处理任务分配对应的线程进行参数检测和特征提取,线程上限为10,则从待处理任务队列中选择10个待处理任务,协调控制了共享参数检测、特征提取的资源调用。
将多个任务处理请求存储进待处理任务队列,具体方式为:将多个任务处理请求按顺序存储进待处理任务队列。
从待处理任务队列的多个待处理任务中,选择至少两个待处理任务,具体方式为:从待处理任务队列的多个待处理任务中,按存储顺序选择至少两个待处理任务。待处理任务队列可以为一种全局队列,为至少两个待处理任务分配对应的线程,或者,待处理任务队列也可以为一种局部队列,为至少两个待处理任务分配同一线程。
通过从待处理任务队列的多个待处理任务中,选择至少两个待处理任务组合得到待处理任务组,集合了服务端实际的任务处理性能,完成不同批次的任务划分,按照批次完成至少两个待处理任务的同步处理,更为充分利用了文本处理模型的模型性能,实现了更合理的任务处理的规划。
示例性地,将25个用户登录的网页客户端发送的任务处理请求(任务处理请求A、任务处理请求B……任务处理请求Y)按顺序存储进待处理任务队列,从待处理任务队列的25个待处理任务中,按存储顺序选择8个待处理任务(待处理任务A、待处理任务B……待处理任务H),为8个待处理任务分配对应的线程。
将多个任务处理请求存储进待处理任务队列;从待处理任务队列的多个待处理任务中,选择至少两个待处理任务;组合至少两个待处理任务的任务信息,至少一个待处理任务组。实现了更合理的服务端资源管理,保证了任务处理的稳定性和可行性。
在本说明书一种可选实施例中,在步骤106中调用搜索引擎获得搜索结果之后,还包括如下具体步骤:
将各目标待处理任务的搜索结果反馈至对应的请求端;
接收第一请求端基于对应的搜索结果反馈的搜索反馈信息;
基于第一请求端反馈的搜索反馈信息,调用搜索引擎获得更新搜索结果。
搜索引擎获得的搜索结果,如果不能适配目标待处理任务,可以将搜索结果反馈至请求端,根据请求端反馈的搜索反馈信息进行优化搜索,避免基于当前不适配搜索结果更新目标待处理任务的任务信息,进行后续的任务处理,得到准确度不足的任务处理结果。
第一请求端为发送搜索反馈信息的请求端。
结果反馈信息为请求端基于对应的搜索结果反馈的信息,结果反馈信息用于优化搜索。包括但不限于:确定反馈信息、否定反馈信息和修改反馈信息。例如,确定反馈信息为“该结果满足预期”的文本或者用户在前端点选的确定控件(例如,点赞或者好评)。又例如,否定反馈信息为“该搜索结果出现事实性错误”的文本或者用户在前端点选的否定控件(例如,点灭或者差评)。还例如,修改反馈信息为“请以:请说明单工通信、全双工通信和半双工通信的区别”的修改任务信息。修改反馈信息可以是对任务信息的补充、替换或者删除,在此不作限定。
更新搜索结果为搜索引擎基于搜索反馈信息返回的目标待处理任务的相关信息,可以为多模态信息。
基于第一请求端反馈的搜索反馈信息,调用搜索引擎获得更新搜索结果,包括以下方式:1、基于搜索反馈信息更新目标待处理任务的任务信息,根据更新后的任务信息,调用搜索引擎获得更新搜索结果;2、根据搜索反馈信息和目标待处理任务的任务信息,调用搜索引擎获得更新搜索结果,在此不作限定。调用搜索引擎获得更新搜索结果,具体方式为:通过搜索引擎的应用编程接口,调用搜索引擎获得更新搜索结果。
示例性地,将待处理任务E的搜索结果E反馈至用户E登录的网页客户端,将待处理任务H的搜索结果H反馈至用户H登录的网页客户端,接收用户H登录的网页客户端基于搜索结果H反馈的搜索反馈信息H,搜索反馈信息H为修改反馈信息,基于该修改反馈信息修改待处理任务H的任务信息,根据更新后的任务信息,通过搜索引擎的应用编程接口,调用搜索引擎获得更新搜索结果H。
将各目标待处理任务的搜索结果反馈至对应的请求端;接收第一请求端基于对应的搜索结果反馈的搜索反馈信息;基于第一请求端反馈的搜索反馈信息,调用搜索引擎获得更新搜索结果。通过和请求端之间关于搜索结果的交互反馈,完成了针对目标待处理任务的优化搜索,提升了搜索结果的准确性,提升了更新任务信息的准确性,提升了任务处理的准确性。
在本说明书一种可选实施例中,在步骤110之后,还包括如下具体步骤:
接收第二请求端发送的处理反馈信息;
基于处理反馈信息,调用搜索引擎针对待处理任务执行优化搜索任务,获得目标搜索结果;
基于目标搜索结果,利用文本处理模型进行更新处理,得到更新任务处理结果;
将更新任务处理结果反馈至第二请求端。
在待处理任务不是需要调用搜索引擎进行搜索增强的目标待处理任务,或者目标待处理任务的任务信息因为搜索超时未更新的情况下,利用文本处理模型进行任务处理得到的任务处理结果可能存在准确性不足的问题,针对这一问题可以在将任务处理结果反馈至对应的请求端之后,接收请求端反馈的处理反馈信息,进行优化搜索增强来进行的更新任务处理,得到准确性更高的更新任务处理结果。通过优化搜索,将未搜索增强的待处理任务转换为需要搜索增强的目标待处理任务,也可以为更新目标待处理任务的任务信息进行优化搜索,在此不作限定。
第二请求端为发送处理反馈信息的请求端。
处理反馈信息为请求端基于对应的任务处理结果反馈的信息,处理反馈信息用于优化任务处理,具体地,将待处理任务转换为优化搜索增强的待处理任务,可选地,对待处理任务后对任务信息进行更新。例如,处理反馈信息为用户在请求端的前端上点选搜索增强控件后生成的处理反馈信息,又例如,处理反馈信息为用户在请求端的前端上点选搜索增强控件后,输入更新任务信息生成的处理反馈信息,还例如,处理反馈信息为用户在请求端的前端上输入更新任务信息生成的处理反馈信息。
目标搜索结果为搜索引擎基于处理反馈信息返回的优化搜索任务的相关信息,可以为多模态信息。在优化搜索任务为更新搜索任务的情况下,目标搜索结果为更新搜索结果,在优化搜索任务不为更新搜索任务(即之前的待处理任务不为目标待处理任务,此次新增搜索增强)。
更新任务处理结果为文本处理模型基于处理反馈信息,对待处理任务进行处理后,得到的任务处理结果。对应待处理任务组中目标待处理任务的类型,包括至少一种模态的任务处理结果,包括但不限于:文本模态、图像模态、图表模态和音频模态。例如,待处理任务为图像生成任务,任务处理结果为生成的图像,又例如,目标待处理任务为数值预测任务,任务处理结果为预测的数值。任务处理结果可以为一种实时结果,也可以为一种非实时结果,例如,待处理任务为文本生成任务,任务处理结果可以为实时生成的词语,也可以为最终生成的文本,又例如,待处理任务为推理任务,任务处理结果可以为实时的推理中间结果,也可以为最终的推理结果。
基于处理反馈信息,调用搜索引擎针对待处理任务执行优化搜索任务,获得目标搜索结果,包括以下方式:1、基于处理反馈信息更新待处理任务的任务信息,根据更新后的任务信息,调用搜索引擎获得目标搜索结果;2、根据处理反馈信息,调用搜索引擎获得目标搜索结果;3、根据处理反馈信息确定调用搜索引擎,根据任务处理信息,调用搜索引擎获得目标搜索结果,在此不作限定。调用搜索引擎针对待处理任务执行优化搜索任务,获得目标搜索结果,具体方式为:通过搜索引擎的应用编程接口,调用搜索引擎针对待处理任务执行优化搜索任务,获得目标搜索结果。
示例性地,将任务处理结果A反馈至用户A登录的网页客户端进行渲染,将任务处理结果B反馈至用户B登录的网页客户端进行渲染……将任务处理结果H反馈至用户H登录的网页客户端进行渲染,接收用户C登录的网页客户端反馈的处理反馈信息,基于处理反馈信息,通过搜索引擎的应用编程接口,调用搜索引擎针对待处理任务H执行优化搜索任务,获得目标搜索结果H,基于目标搜索结果H,利用文本处理模型,对待处理任务H的更新任务信息进行处理,得到待处理任务H的更新任务处理结果H,将更新任务处理结果H反馈至用户C登录的网页客户端进行渲染。
接收第二请求端发送的处理反馈信息;基于所述处理反馈信息,调用搜索引擎针对所述待处理任务执行优化搜索任务,获得目标搜索结果;基于所述目标搜索结果,利用所述文本处理模型进行更新处理,得到更新任务处理结果;将所述更新任务处理结果反馈至所述第二请求端。通过和请求端之间关于任务处理结果的交互反馈,完成了针对目标待处理任务的优化搜索和更新任务处理,提升了搜索结果的准确性,提升了任务处理的准确性。
在本说明书一种可选实施例中,基于目标搜索结果,利用文本处理模型进行更新处理,得到更新任务处理结果,包括如下具体步骤:
基于目标搜索结果,更新至少一个待处理任务组中待处理任务的任务信息;
利用文本处理模型,对任务信息进行处理,获得待处理任务的更新任务处理结果。
本说明书实施例与步骤106和步骤108的具体方式一致,参见上述步骤106和步骤108的说明,在此不再赘述。
示例性地,基于目标搜索结果H更新待处理任务H的任务信息,利用文本处理模型,对待处理任务H的更新任务信息进行处理,得到待处理任务H的更新任务处理结果H,将更新任务处理结果H反馈至用户C登录的网页客户端进行渲染。
基于目标搜索结果,更新至少一个待处理任务组中目标待处理任务的任务信息;利用文本处理模型,对任务信息进行处理,获得待处理任务的更新任务处理结果。利用更准确的目标搜索结果,完成了对至少一个待处理任务组中待处理任务的任务信息的更新,提升了任务信息的准确性,提升了任务处理的准确性。
在本说明书一种可选实施例中,在步骤108之前,还包括如下具体步骤:
获取样本集,其中,样本集包括多个样本任务,任一样本任务包括样本任务信息和对应的样本任务处理结果;
从样本集的多个样本任务中提取第一样本任务,其中,第一样本任务为多个样本任务中任意一个,第一样本任务包括第一样本任务信息和对应的第一样本任务处理结果;
利用文本处理模型,对第一样本任务信息进行处理,获得第一样本任务对应的预测任务处理结果;
基于预测任务处理结果和第一样本任务处理结果,确定损失值;
根据损失值,调整文本处理模型的参数,返回执行从样本集的多个样本任务中提取第一样本任务的步骤,在达到预设训练结束条件的情况下,获得训练完成的文本处理模型。
样本集为预先构建的用于文本处理模型训练的多个样本任务的集合,样本集包括多个样本任务,任一样本任务包括样本任务信息和对应的样本任务处理结果。样本任务为样本待执行任务,样本任务为不同类型的任务。样本任务信息为对样本任务进行自然语言描述的文本信息,样本任务处理结果为样本任务的任务执行结果,样本任务信息和样本任务处理结果构成训练数据和标签数据的样本组,一个样本任务可以包括多个样本组,还可以在样本任务上添加对应的提示文本进行有提示性的模型训练。样本任务信息可以从样本数据库中获取得到,也可以利用文本处理模型生成得到,还可以人为构造得到。样本任务处理结果可以从样本数据库中获取得到,也可以将样本描述信息输入其他训练完成的文本处理模型得到,还可以为人为构造得到。
可选地,样本任务的样本任务信息经过预处理,包括但不限于:脱敏处理、筛选处理和样本增强处理,例如,生成样本任务信息的相似文本作为扩充的样本任务信息。
损失值为预测任务处理结果和第一样本任务处理结果之间的差异度,包括但不限于:余弦损失值、交叉熵损失值、向量距离损失值。
预设训练结束条件为预先设定的文本处理模型训练结束的判断条件,包括但不限于:预设迭代次数、预设损失值阈值、预设训练收敛条件。
利用文本处理模型,对第一样本任务信息进行处理,获得第一样本任务对应的预测任务处理结果,具体方式为:对第一样本任务信息进行特征提取,得到第一样本任务信息的文本向量,将第一样本任务信息的文本向量输入文本处理模型,经过文本处理模型进行处理,获得第一样本任务对应的预测任务处理结果。
根据损失值,调整文本处理模型的参数,具体方式为:根据损失值,利用梯度下降法,调整文本处理模型的参数。
示例性地,获取预先构建的样本集,其中,样本集包括10000个样本任务SampleTask,任一样本任务包括样本任务信息和对应的样本任务处理结果,从样本集的10000个样本任务中提取第一样本任务SampleTask_i,其中,第一样本任务为10000个样本任务中任意一个,第一样本任务包括第一样本任务信息SampleTxt_i和对应的第一样本任务处理结果SampleRst_i,对第一样本任务信息进行特征提取,得到第一样本任务信息的文本向量FeatureSampleTxt_i,将第一样本任务信息的文本向量输入大语言模型,经过大语言模型进行处理,获得第一样本任务对应的预测任务处理结果PredictRst_i,基于预测任务处理结果和第一样本任务处理结果,确定交叉熵损失值Loss,根据交叉熵损失值,利用梯度下降法,调整大语言模型的参数,返回执行从样本集的多个样本任务中提取第一样本任务的步骤,在达到预设交叉熵损失值的情况下,获得训练完成的大语言模型Model_GPT。
获取样本集,其中,样本集包括多个样本任务,任一样本任务包括样本任务信息和对应的样本任务处理结果;从样本集的多个样本任务中提取第一样本任务,其中,第一样本任务为多个样本任务中任意一个,第一样本任务包括第一样本任务信息和对应的第一样本任务处理结果;利用文本处理模型,对第一样本任务信息进行处理,获得第一样本任务对应的预测任务处理结果;基于预测任务处理结果和第一样本任务处理结果,确定损失值;根据损失值,调整文本处理模型的参数,返回执行从样本集的多个样本任务中提取第一样本任务的步骤,在达到预设训练结束条件的情况下,获得训练完成的文本处理模型。通过样本任务信息和对应的样本文本处理结果,完成对文本处理模型的有监督训练,得到高性能的文本处理模型,保证了后续任务处理的准确度。
参见图2,图2示出了根据本说明书一个实施例提供的一种问答任务处理方法的流程图,包括如下具体步骤:
步骤202:接收多个任务处理请求,其中,任务处理请求携带问答任务。
步骤204:组合各问答任务的问题文本,得到至少一个问答任务组。
步骤206:针对各问答任务中的目标问答任务,调用搜索引擎获得搜索结果,并基于搜索结果更新至少一个问答任务组中目标问答任务的问题文本。
步骤208:利用大语言模型,对至少一个问答任务组中各问答任务的问题文本进行处理,获得各问答任务的答复文本,其中,大语言模型为根据样本问答任务的样本问题文本训练得到的深度学习模型。
步骤210:将各问答任务的答复文本反馈至对应的请求端。
本说明书实施例应用于具有问答任务处理功能的应用程序、网页或者小程序的服务端,该服务端上可以直接部署有大语言模型,也可以部署有调用接口来调用大语言模型。
问答任务为以问答形式完成的文本处理任务,问答任务的是通过与大语言模型的交互,根据问题文本和服务端反馈的答复文本,完成一种特定类型的任务的处理。包括但不限于:生成任务、分类任务、推理任务等,对应多模态的任务处理结果,可以进一步细分为:文本生成任务、文本分类任务、文本实体识别任务、聚类任务、数值预测任务等,问答任务通过问题文本这一信息载体表现。问题文本为对问答任务进行自然语言描述的文本,例如,问答任务为文本翻译任务,问答任务的问题文本为:“请将以下句子翻译成英文:科技发展是生产力进步的重要因素”。由于深度学习模型无法直接处理自然语言,需要通过输入的问题文本的文本向量来理解并执行问答任务(对文本向量进行特征变换),与实际的问答任务之间存在一定的差异,即得到准确度不足的任务处理结果或者得到任务处理结果,因此,对于同一问答任务,对应有不同的问题文本。任务处理请求为请求端生成并发送的问答任务的网络请求,任务处理请求包含有问答任务的问题文本,具有特定的网络传输协议格式。
问答任务组为大语言模型一次执行问答任务的任务批次(Batch),由至少两个问答任务组成。由于大语言模型不能直接处理自然语言,需要对多个问答任务的问题文本进行特征提取,得到对应的文本向量,特征提取可以在组合得到问答任务组之前,也可以在组合得到问答任务组之后,在此不做限定。相应地,问答任务组可以通过问题文本这一文本模态的信息载体表现,也可以通过问题文本的文本向量这一特征编码向量的信息载体表现,在此不作限定。
目标问答任务为需要进行搜索增强的问答任务,目标问答任务需要调用搜索引擎进行搜索,实现对应的搜索增强,使得答复文本更加准确有效,准确有效地对应任务处理请求。目标问答任务可以是请求端发送任务处理请求时确定的,即带有目标任务处理请求的标识,例如,用户在请求端上的具有问答任务处理功能的应用程序、网页或者小程序的前端,通过点选搜索增强控件,发送任务处理请求至服务端,确定该任务处理请求携带目标问答任务。目标问答任务还可以是服务端在接收到任务处理请求后确定的,例如,服务端接收到任务处理请求后,进行搜索增强规则检测,确定该任务处理请求携带的问答任务是否需要进行搜索增强,若是,标记该问答任务为目标问答任务,该搜索检测规则可以为外置于大语言模型的检测功能组件,也可以为内置于大语言模型的插件,例如,大语言模型插件(LLMPlugins,Large Language Model Plugins)。
大语言模型为模型参数规模达到一定程度的文本处理模型,本说明书实施例中,大语言模型通过输入的问题文本进行问答任务处理,生成对应的答复文本。
答复文本为大语言模型基于任务信息,对待处理任务进行处理后,得到的任务处理结果的文本载体。对应待处理任务组中目标待处理任务的类型,包括文本模态的任务处理结果。例如,问答任务为文本内生成任务,答复文本为生成的文本,又例如,问答任务为数值预测任务,答复文本为预测数值的文本。答复文本可以为一种实时结果,也可以为一种非实时结果,例如,问答任务为文本生成任务,答复文本可以为实时生成的词语,也可以为最终生成的文本,又例如,问答为推理任务,答复文本可以为实时的推理中间结果的文本,也可以为最终的推理结果的文本。
本说明书实施例与图1实施例出于同一发明构思,步骤202至步骤210的具体方式参见步骤102至步骤110。
示例性地,用户A登录具有问答任务处理功能的网页客户端,在该网页客户端的前端输入推理任务A的问题文本:“请提取出以下文章的论点、论据和论证,并给出逻辑关系解释:……”,网页客户端基于该问题文本,生成对应的任务处理请求,并通过数据连接将该任务处理请求A发送至服务端,同理,用户B、用户C……用户Y共25个用户登录的网页客户端,并发送了任务处理请求B、任务处理请求C……任务处理请求Y共25个任务处理请求至网页服务端,网页服务端接收了以上25个任务处理请求,其中,任务处理请求A-Y对应包括问答任务A-Y。利用存储有25个问答任务的问答任务队列,组合8个问答任务(问答任务A、问答任务B……问答任务H)的问题文本,得到问答任务组。问答任务组包含问答任务A、问答任务B……问答任务H,共8个问答任务的问题文本,其中,问答任务H为目标问答任务,对问答任务H的问题文本进行文本特征编码,得到对应的文本向量Feature_H,根据文本向量Feature_H,通过搜索引擎的应用编程接口,调用搜索引擎获得搜索结果H,对搜索结果H的特征向量FeatureResult_H和问答任务组中问答任务H的问题文本的文本向量Feature_H进行向量融合,得到更新后的目标问答任务的问题文本的文本向量Feature_H’,将8个问答任务的问题文本的文本向量进行行列式的拼接,得到问答任务组的目标向量FeatureTarget,其中,8个问答任务的问题文本的文本向量为1×N的向量,拼接得到问答任务组的目标向量TargetFeature,目标向量为10×N的向量。确定服务端上部署的20个大语言模型实例的任务处理状态,确定任务处理状态为空闲状态的大语言模型Model_GPT,将问答任务组的目标向量TargetFeature输入大语言模型Model_GPT,经大语言模型Model_GPT进行处理,获得8个问答任务对应的答复文本:答复文本A、答复文本B……答复文本H。将答复文本A反馈至用户A登录的网页客户端进行渲染,将答复文本B反馈至用户B登录的网页客户端进行渲染……将答复文本H反馈至用户H登录的网页客户端进行渲染。
本说明书实施例中,接收多个任务处理请求,其中,任务处理请求携带问答任务;组合各问答任务的问题文本,得到至少一个问答任务组;针对各问答任务中的目标问答任务,调用搜索引擎获得搜索结果,并基于搜索结果更新至少一个问答任务组中目标问答任务的问题文本;利用大语言模型,对至少一个问答任务组中各问答任务的问题文本进行处理,获得各问答任务的答复文本,其中,大语言模型为根据样本问答任务的样本问题文本训练得到的深度学习模型;将各问答任务的答复文本反馈至对应的请求端。通过先将多个问答任务组合得到问答任务组再调用搜索引擎搜索,避免需要调用搜索引擎搜索的目标问答任务未进入当前问答任务组,进而无法与其他问答任务的问题文本一起被文本处理模型处理,保证了至少一个问答任务组同步被问答模型处理,目标问题任务对应的请求端可以及时得到答复文本,降低了问答任务处理的延迟,提升了问答任务处理的高并发度,提升了请求端的用户体验。
图3示出了本说明书一个实施例提供的一种任务处理方法中映射归约模型架构图,如图3所示:
请求端和服务端之间设置有网关,服务端配置有对应的模型状态监测工具,执行对多个初始文本处理模型的任务处理状态的监测,服务端上部署有映射归约模型架构。
请求端发送的任务处理请求通过网关、全局队列和模型状态监测工具达到服务端。服务端同步接收N个任务处理请求,在映射阶段启动N个线程分别进行参数检测等过程,如果出现错误,则会直接返回,不让异常任务处理请求进入归约阶段,M个(M≤N)个任务处理请求进入归约阶段后,组合得到待处理任务组,利用文本处理模型,对待处理任务组中各待处理任务的任务信息进行处理,获得各待处理任务对应的任务处理结果,将任务处理结果反馈至对应的请求端。
图4示出了本说明书一个实施例提供的一种任务处理方法的处理流程图,如图4所示:
开始。进入映射阶段,在映射阶段,检测待处理任务是否满足预设参数检测条件。若否,进行参数检测失败执行,直接结束;若是,进入归约阶段。在归约阶段,组合各待处理任务的任务信息,得到至少一个待处理任务组,针对各目标待处理任务,调用搜索引擎获得搜索结果,利用文本处理模型,对至少一个待处理任务组中各待处理任务的任务信息进行处理,若处理失败,进行模型处理失败执行;若处理成功,获得各待处理任务的任务处理结果,将各任务处理结果反馈至对应的请求端。
下述结合附图5,以本说明书提供的任务处理方法在推理场景的应用为例,对所述任务处理方法进行进一步说明。其中,图5示出了本说明书一个实施例提供的一种应用于推理场景的任务处理方法的处理过程流程图,包括如下具体步骤:
步骤502:接收多个请求端发送的任务处理请求,其中,任务处理请求携带推理任务。
步骤504:将多个请求端发送的任务处理请求存储进推理任务队列。
步骤506:从推理任务队列的多个推理任务中,选择至少一个推理任务,根据任务处理请求的参数,对推理任务进行筛选,获得满足预设参数检测规则的推理任务,组合满足预设参数检测规则的推理任务,得到推理任务组。
步骤508:针对各推理任务中的目标推理任务,调用搜索引擎获得搜索结果,并基于搜索结果更新推理任务组中目标推理任务的任务信息。
步骤510:识别针对各目标推理任务的搜索结果是否均已获得,且推理任务组中各目标推理任务的任务信息是否均已更新。
步骤512:若各目标推理任务中任一目标推理任务的搜索结果未获得,则针对任一目标推理任务,继续调用搜索引擎获得搜索结果。
步骤514:统计搜索时间,在搜索时间达到预设时长的情况下,停止执行调用搜索引擎获得搜索结果的步骤,对于该任务,使用初始的任务信息。
步骤516:在针对各目标推理任务的搜索结果均已获得、且推理任务组中各目标推理任务的任务信息均已更新的情况下,利用大语言模型,对推理任务组中各推理任务的任务信息进行处理,获得各推理任务的推理结果。
步骤518:将各推理任务的推理结果反馈至对应的请求端。
本说明书实施例中,通过先将多个推理任务组合得到推理任务组再调用搜索引擎搜索,避免需要调用搜索引擎搜索的目标推理任务未进入当前推理任务组,进而无法与其他推理任务的任务信息一起被大语言模型处理,保证了推理任务组同步被推理模型处理,目标推理任务对应的请求端可以及时得到推理结果并反馈至对应的请求端,降低了任务推理的延迟,提升了任务推理的高并发度,提升了请求端的用户体验。并且,搜索引擎未被从服务端剥离,避免了架构的复杂化。
与上述方法实施例相对应,本说明书还提供了任务处理装置实施例,图6示出了本说明书一个实施例提供的一种任务处理装置的结构示意图。如图6所示,该装置包括:
第一接收模块602,被配置为接收多个任务处理请求,其中,任务处理请求携带待处理任务;
第一组合模块604,被配置为组合各待处理任务的任务信息,得到至少一个待处理任务组;
第一搜索模块606,被配置为针对各待处理任务中的目标待处理任务,调用搜索引擎获得搜索结果,并基于搜索结果更新至少一个待处理任务组中目标待处理任务的任务信息;
第一处理模块608,被配置为利用文本处理模型,对至少一个待处理任务组中各待处理任务的任务信息进行处理,获得各待处理任务的任务处理结果,其中,文本处理模型为根据样本任务的样本任务信息训练得到的深度学习模型;
第一反馈模块610,被配置为将各待处理任务的任务处理结果反馈至对应的请求端。
可选地,目标待处理任务为至少一个;
相应地,该装置还包括:
识别模块,被配置为识别针对各目标待处理任务的搜索结果是否均已获得,且至少一个待处理任务组中各目标待处理任务的任务信息是否均已更新,以及搜索时间是否达到预设时长;
相应地,第一处理模块608被进一步配置为:
在针对各目标待处理任务的搜索结果均已获得、且至少一个待处理任务组中各目标待处理任务的任务信息均已更新的情况下,或者在搜索时间达到预设时长的情况下,利用文本处理模型,对至少一个待处理任务组中各待处理任务的任务信息进行处理,获得各待处理任务的任务处理结果。
可选地,该装置还包括:
继续搜索模块,被配置为若各目标待处理任务中任一目标待处理任务的搜索结果未获得,则针对任一目标待处理任务,继续调用搜索引擎获得搜索结果。
可选地,该装置还包括:
停止搜索模块,被配置为统计搜索时间;在搜索时间达到预设时长的情况下,停止执行调用搜索引擎获得搜索结果的步骤。
可选地,该装置还包括:
筛选模块,被配置为根据多个任务处理请求的参数,对多个待处理任务进行筛选,获得满足预设参数检测条件的待处理任务。
可选地,该装置还包括:
筛选反馈模块,被配置为针对筛选待处理任务,利用文本处理模型,对筛选待处理任务的参数进行分析,得到参数分析结果,其中,筛选待处理任务为不满足预设参数检测条件的待处理任务;将参数分析结果反馈至对应的请求端。
可选地,该装置还包括:
模型选择模块,被配置为获取多个初始文本处理模型的任务处理状态;
根据多个初始文本处理模型的任务处理状态,确定任务处理状态为空闲状态的初始文本处理模型为文本处理模型。
可选地,该装置还包括:
第三处理模块,被配置为在利用文本处理模型,对至少一个待处理任务组中任一待处理任务的任务信息进行处理失败的情况下,返回执行获取多个初始文本处理模型的任务处理状态的步骤。
可选地,该装置还包括:
队列存储模块,被配置为将多个任务处理请求存储至待处理任务队列;
相应地,第一组合模块604被进一步配置为:
从待处理任务队列的多个待处理任务中,选择至少两个待处理任务;组合至少两个待处理任务的任务信息,得到至少一个待处理任务组。
可选地,该装置还包括:
处理反馈模块,被配置为接收第二请求端发送的处理反馈信息;基于处理反馈信息,调用搜索引擎针对待处理任务执行优化搜索任务,获得目标搜索结果;基于目标搜索结果,利用文本处理模型进行更新处理,得到更新任务处理结果;将更新任务处理结果反馈至第二请求端。
可选地,处理反馈模块被进一步配置为:
基于目标搜索结果,更新至少一个待处理任务组中待处理任务的任务信息;利用文本处理模型,对任务信息进行处理,获得待处理任务的更新任务处理结果。
本说明书实施例中,接收多个任务处理请求,其中,任务处理请求携带待处理任务;组合各待处理任务的任务信息,得到至少一个待处理任务组;针对各待处理任务中的目标待处理任务,调用搜索引擎获得搜索结果,并基于搜索结果更新至少一个待处理任务组中目标待处理任务的任务信息;利用文本处理模型,对至少一个待处理任务组中各待处理任务的任务信息进行处理,获得各待处理任务的任务处理结果,其中,文本处理模型为根据样本任务的样本任务信息训练得到的深度学习模型;将各待处理任务的任务处理结果反馈至对应的请求端。通过先将多个待处理任务组合得到待处理任务组再调用搜索引擎搜索,避免需要调用搜索引擎搜索的目标待处理任务未进入当前待处理任务组,进而无法与其他待处理任务的任务信息一起被文本处理模型处理,保证了至少一个待处理任务组同步被文本处理模型处理,目标待处理任务对应的请求端可以及时得到任务处理结果并反馈至对应的请求端,降低了任务处理的延迟,提升了任务处理的高并发度,提升了请求端的用户体验。
上述为本实施例的一种任务处理装置的示意性方案。需要说明的是,该任务处理装置的技术方案与上述的任务处理方法的技术方案属于同一构思,任务处理装置的技术方案未详细描述的细节内容,均可以参见上述任务处理方法的技术方案的描述。
与上述方法实施例相对应,本说明书还提供了问答任务处理装置实施例,图7示出了本说明书一个实施例提供的一种问答任务处理装置的结构示意图。如图7所示,该装置包括:
第二接收模块702,被配置为接收多个任务处理请求,其中,任务处理请求携带问答任务;
第二组合模块704,被配置为组合各问答任务的问题文本,得到至少一个问答任务组;
第二搜索模块706,被配置为针对各问答任务中的目标问答任务,调用搜索引擎获得搜索结果,并基于搜索结果更新至少一个问答任务组中目标问答任务的问题文本;
第二处理模块708,被配置为利用大语言模型,对至少一个问答任务组中各问答任务的问题文本进行处理,获得各问答任务的答复文本,其中,大语言模型为根据样本问答任务的样本问题文本训练得到的深度学习模型;
第二反馈模块710,被配置为将各问答任务的答复文本反馈至对应的请求端。
本说明书实施例中,接收多个任务处理请求,其中,任务处理请求携带问答任务;组合各问答任务的问题文本,得到至少一个问答任务组;针对各问答任务中的目标问答任务,调用搜索引擎获得搜索结果,并基于搜索结果更新至少一个问答任务组中目标问答任务的问题文本;利用大语言模型,对至少一个问答任务组中各问答任务的问题文本进行处理,获得各问答任务的答复文本,其中,大语言模型为根据样本问答任务的样本问题文本训练得到的深度学习模型;将各问答任务的答复文本反馈至对应的请求端。通过先将多个问答任务组合得到问答任务组再调用搜索引擎搜索,避免需要调用搜索引擎搜索的目标问答任务未进入当前问答任务组,进而无法与其他问答任务的问题文本一起被文本处理模型处理,保证了至少一个问答任务组同步被问答模型处理,目标问题任务对应的请求端可以及时得到答复文本,降低了问答任务处理的延迟,提升了问答任务处理的高并发度,提升了请求端的用户体验。
上述为本实施例的一种问答任务处理装置的示意性方案。需要说明的是,该问答任务处理装置的技术方案与上述的问答任务处理方法的技术方案属于同一构思,问答任务处理装置的技术方案未详细描述的细节内容,均可以参见上述问答任务处理方法的技术方案的描述。
与上述方法实施例相对应,本说明书还提供了任务处理***实施例,图8示出了本说明书一个实施例提供的一种任务处理***的结构示意图。如图8所示,该***包括请求端802和服务端804;
请求端802,用于发送任务处理请求至服务端,其中,任务处理请求携带待处理任务;
服务端804,用于接收多个任务处理请求,组合各待处理任务的任务信息,得到至少一个待处理任务组,针对各待处理任务中的目标待处理任务,调用搜索引擎获得搜索结果,并基于搜索结果更新至少一个待处理任务组中目标待处理任务的任务信息,利用文本处理模型,对至少一个待处理任务组中各待处理任务的任务信息进行处理,获得各待处理任务的任务处理结果,其中,文本处理模型为根据样本任务的样本任务信息训练得到的深度学习模型,将各待处理任务的任务处理结果反馈至对应的请求端802。
请求端802,还用于接收服务端804反馈的对应的任务处理结果。
本说明书实施例中,任务处理***包括请求端和服务端;请求端,用于发送任务处理请求至服务端,其中,任务处理请求携带待处理任务;服务端,用于接收多个任务处理请求,组合各待处理任务的任务信息,得到至少一个待处理任务组,针对各待处理任务中的目标待处理任务,调用搜索引擎获得搜索结果,并基于搜索结果更新至少一个待处理任务组中目标待处理任务的任务信息,利用文本处理模型,对至少一个待处理任务组中各待处理任务的任务信息进行处理,获得各待处理任务的任务处理结果,其中,文本处理模型为根据样本任务的样本任务信息训练得到的深度学习模型,将各待处理任务的任务处理结果反馈至对应的请求端。请求端,还用于接收服务端反馈的对应的任务处理结果。通过先将请求端发送的待处理任务组合得到待处理任务组再调用搜索引擎搜索,避免需要调用搜索引擎搜索的目标待处理任务未进入当前待处理任务组,进而无法与其他待处理任务的任务信息一起被文本处理模型处理,保证了至少一个待处理任务组同步被文本处理模型处理,目标待处理任务对应的请求端可以及时得到任务处理结果并反馈至对应的请求端,降低了任务处理的延迟,提升了任务处理的高并发度,提升了请求端的用户体验。
上述为本实施例的一种任务处理***的示意性方案。需要说明的是,该任务处理***的技术方案与上述的任务处理方法的技术方案属于同一构思,任务处理***的技术方案未详细描述的细节内容,均可以参见上述任务处理方法的技术方案的描述。
图9示出了本说明书一个实施例提供的一种计算设备的结构框图。该计算设备900的部件包括但不限于存储器910和处理器920。处理器920与存储器910通过总线930相连接,数据库950用于保存数据。
计算设备900还包括接入设备940,接入设备940使得计算设备900能够经由一个或多个网络960通信。这些网络的示例包括公用交换电话网(PSTN,Public SwitchedTelephone Network)、局域网(LAN,Local Area Network)、广域网(WAN,Wide AreaNetwork)、个域网(PAN,Personal Area Network)或诸如因特网的通信网络的组合。接入设备940可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC,networkinterface controller))中的一个或多个,诸如IEEE802.11无线局域网(WLAN,WirelessLocal Area Network)无线接口、全球微波互联接入(Wi-MAX,WorldwideInteroperability for Microwave Access)接口、以太网接口、通用串行总线(USB,Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC,Near FieldCommunication)。
在本说明书的一个实施例中,计算设备900的上述部件以及图9中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图9所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备900可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或个人计算机(PC,Personal Computer)的静止计算设备。计算设备900还可以是移动式或静止式的服务器。
其中,处理器920用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述任务处理方法或者问答任务处理方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的任务处理方法和问答任务处理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述任务处理方法或者问答任务处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述任务处理方法或者问答任务处理方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的任务处理方法和问答任务处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述任务处理方法或者问答任务处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述任务处理方法或者问答任务处理方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的任务处理方法和问答任务处理方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述任务处理方法或者问答任务处理方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据专利实践的要求进行适当的增减,例如在某些地区,根据专利实践,计算机可读介质不包括电载波信号和电信信号。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同步进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。
Claims (14)
1.一种任务处理方法,包括:
接收多个任务处理请求,其中,所述任务处理请求携带待处理任务;
组合各所述待处理任务的任务信息,得到至少一个待处理任务组;
针对各所述待处理任务中的目标待处理任务,调用搜索引擎获得搜索结果,并基于所述搜索结果更新所述至少一个待处理任务组中所述目标待处理任务的任务信息;
利用文本处理模型,对所述至少一个待处理任务组中各所述待处理任务的任务信息进行处理,获得各所述待处理任务的任务处理结果,其中,所述文本处理模型为根据样本任务的样本任务信息训练得到的深度学习模型;
将各所述待处理任务的任务处理结果反馈至对应的请求端。
2.根据权利要求1所述的方法,所述目标待处理任务为至少一个;
在所述利用文本处理模型,对所述至少一个待处理任务组中各所述待处理任务的任务信息进行处理,获得各所述待处理任务的任务处理结果之前,还包括:
识别针对各所述目标待处理任务的搜索结果是否均已获得,且所述至少一个待处理任务组中各所述目标待处理任务的任务信息是否均已更新,以及搜索时间是否达到预设时长;
所述利用文本处理模型,对所述至少一个待处理任务组中各所述待处理任务的任务信息进行处理,获得各所述待处理任务的任务处理结果,包括:
在针对各所述目标待处理任务的搜索结果均已获得、且所述至少一个待处理任务组中各所述目标待处理任务的任务信息均已更新的情况下,或者在所述搜索时间达到所述预设时长的情况下,利用文本处理模型,对所述至少一个待处理任务组中各所述待处理任务的任务信息进行处理,获得各所述待处理任务的任务处理结果。
3.根据权利要求2所述的方法,在所述识别针对各所述目标待处理任务的搜索结果是否均已获得,且所述至少一个待处理任务组中各所述目标待处理任务的任务信息是否均已更新之后,还包括:
若各所述目标待处理任务中任一目标待处理任务的搜索结果未获得,则针对所述任一目标待处理任务,继续调用搜索引擎获得搜索结果。
4.根据权利要求1-3中任一项所述的方法,在所述针对各所述待处理任务中的目标待处理任务,调用搜索引擎获得搜索结果之后,还包括:
统计搜索时间;
在所述搜索时间达到预设时长的情况下,停止执行所述调用搜索引擎获得搜索结果的步骤。
5.根据权利要求1所述的方法,在所述组合各所述待处理任务的任务信息,得到至少一个待处理任务组之前,还包括:
根据多个所述任务处理请求的参数,对多个所述待处理任务进行筛选,获得满足预设参数检测条件的待处理任务。
6.根据权利要求5所述的方法,在所述根据多个所述待处理任务的参数,对多个所述待处理任务进行筛选之后,还包括:
针对筛选待处理任务,利用所述文本处理模型,对所述筛选待处理任务的参数进行分析,得到参数分析结果,其中,所述筛选待处理任务为不满足所述预设参数检测条件的待处理任务;
将所述参数分析结果反馈至对应的请求端。
7.根据权利要求1所述的方法,在所述利用文本处理模型,对所述至少一个待处理任务组中各所述待处理任务的任务信息进行处理,获得各所述待处理任务的任务处理结果之前,还包括:
获取多个初始文本处理模型的任务处理状态;
根据所述多个初始文本处理模型的任务处理状态,确定任务处理状态为空闲状态的初始文本处理模型为所述文本处理模型。
8.根据权利要求7所述的方法,所述方法还包括:
在利用所述文本处理模型,对所述至少一个待处理任务组中任一待处理任务的任务信息进行处理失败的情况下,返回执行所述获取多个初始文本处理模型的任务处理状态的步骤。
9.根据权利要求1述的方法,在所述接收多个任务处理请求之后,还包括:
将所述多个任务处理请求存储至待处理任务队列;
所述组合各所述待处理任务的任务信息,得到至少一个待处理任务组,包括:
从所述待处理任务队列的多个所述待处理任务中,选择至少两个待处理任务;
组合所述至少两个待处理任务的任务信息,得到至少一个待处理任务组。
10.根据权利要求1所述的方法,在所述将各所述待处理任务的任务处理结果反馈至对应的请求端之后,还包括:
接收第二请求端发送的处理反馈信息;
基于所述处理反馈信息,调用搜索引擎针对所述待处理任务执行优化搜索任务,获得目标搜索结果;
基于所述目标搜索结果,利用所述文本处理模型进行更新处理,得到更新任务处理结果;
将所述更新任务处理结果反馈至所述第二请求端。
11.根据权利要求10所述的方法,所述基于所述目标搜索结果,利用所述文本处理模型进行更新处理,得到更新任务处理结果,包括:
基于所述目标搜索结果,更新所述至少一个待处理任务组中所述待处理任务的任务信息;
利用所述文本处理模型,对所述任务信息进行处理,获得所述待处理任务的更新任务处理结果。
12.一种问答任务处理方法,包括:
接收多个任务处理请求,其中,所述任务处理请求携带问答任务;
组合各所述问答任务的问题文本,得到至少一个问答任务组;
针对各所述问答任务中的目标问答任务,调用搜索引擎获得搜索结果,并基于所述搜索结果更新所述至少一个问答任务组中所述目标问答任务的问题文本;
利用大语言模型,对所述至少一个问答任务组中各所述问答任务的问题文本进行处理,获得各所述问答任务的答复文本,其中,所述大语言模型为根据样本问答任务的样本问题文本训练得到的深度学习模型;
将各所述问答任务的答复文本反馈至对应的请求端。
13.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至12任意一项所述方法的步骤。
14.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至12任意一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310975985.9A CN117312502A (zh) | 2023-08-03 | 2023-08-03 | 任务处理方法、问答任务处理方法及计算设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310975985.9A CN117312502A (zh) | 2023-08-03 | 2023-08-03 | 任务处理方法、问答任务处理方法及计算设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117312502A true CN117312502A (zh) | 2023-12-29 |
Family
ID=89248724
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310975985.9A Pending CN117312502A (zh) | 2023-08-03 | 2023-08-03 | 任务处理方法、问答任务处理方法及计算设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117312502A (zh) |
-
2023
- 2023-08-03 CN CN202310975985.9A patent/CN117312502A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11038821B1 (en) | Chatbot artificial intelligence | |
EP3885966B1 (en) | Method and device for generating natural language description information | |
CN117521675A (zh) | 基于大语言模型的信息处理方法、装置、设备及存储介质 | |
CN116595154B (zh) | 任务处理方法以及自动问答方法 | |
CN117332072B (zh) | 对话处理、语音摘要提取以及目标对话模型训练方法 | |
CN116431316B (zh) | 任务处理方法、***、平台及自动问答方法 | |
CN116610781A (zh) | 任务模型训练方法以及装置 | |
CN117573842B (zh) | 文档检索方法以及自动问答方法 | |
CN116756576B (zh) | 数据处理方法、模型训练方法、电子设备及存储介质 | |
CN116578423B (zh) | 任务处理方法、自动问答方法以及图像生成方法 | |
CN117971420A (zh) | 任务处理、交通任务处理以及任务处理模型训练方法 | |
CN117193964A (zh) | 任务处理方法以及自动问答方法 | |
CN117193965A (zh) | 任务处理方法、问答处理方法以及分布式*** | |
CN116415597A (zh) | 语音翻译、同声传译方法 | |
CN117312502A (zh) | 任务处理方法、问答任务处理方法及计算设备 | |
CN114969544A (zh) | 基于热点数据的推荐内容生成方法、装置、设备及介质 | |
CN112632241A (zh) | 智能会话的方法、装置、设备和计算机可读介质 | |
CN112948251A (zh) | 软件自动测试方法及装置 | |
CN117170837A (zh) | 任务处理方法、任务处理***及推理方法 | |
CN116822632B (zh) | 一种文本数据的推理方法、装置、存储介质和电子设备 | |
CN117934997B (zh) | 用于corner case样本生成的大语言模型***及方法 | |
CN117789099B (zh) | 视频特征提取方法及装置、存储介质及电子设备 | |
CN118363601A (zh) | 任务处理方法、代码补全方法、代码处理模型训练方法、基于代码处理模型的信息处理方法及模型训练平台 | |
CN116823358A (zh) | 任务筛选模型生成方法、装置、电子设备及存储介质 | |
CN117348986A (zh) | 任务处理方法、问答方法以及任务处理平台 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |