CN116956934A - 任务处理方法、装置、设备及存储介质 - Google Patents
任务处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116956934A CN116956934A CN202310754367.1A CN202310754367A CN116956934A CN 116956934 A CN116956934 A CN 116956934A CN 202310754367 A CN202310754367 A CN 202310754367A CN 116956934 A CN116956934 A CN 116956934A
- Authority
- CN
- China
- Prior art keywords
- task
- information
- model
- processing
- predefined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 23
- 238000003672 processing method Methods 0.000 title abstract description 21
- 238000012545 processing Methods 0.000 claims abstract description 226
- 238000000034 method Methods 0.000 claims abstract description 150
- 238000003058 natural language processing Methods 0.000 claims abstract description 28
- 238000012549 training Methods 0.000 claims description 78
- 238000000605 extraction Methods 0.000 claims description 49
- 230000003993 interaction Effects 0.000 claims description 27
- 238000010801 machine learning Methods 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 18
- 230000009471 action Effects 0.000 claims description 13
- 238000011049 filling Methods 0.000 claims description 5
- 238000013473 artificial intelligence Methods 0.000 abstract description 21
- 238000005065 mining Methods 0.000 description 44
- 230000008569 process Effects 0.000 description 28
- 238000005516 engineering process Methods 0.000 description 27
- 238000013135 deep learning Methods 0.000 description 17
- 230000000694 effects Effects 0.000 description 14
- 238000004458 analytical method Methods 0.000 description 13
- 230000008901 benefit Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 12
- 230000001965 increasing effect Effects 0.000 description 11
- 238000005457 optimization Methods 0.000 description 11
- 238000013461 design Methods 0.000 description 10
- 238000013519 translation Methods 0.000 description 10
- 239000000284 extract Substances 0.000 description 9
- 230000002829 reductive effect Effects 0.000 description 9
- 241000282414 Homo sapiens Species 0.000 description 7
- 238000011161 development Methods 0.000 description 7
- 230000003203 everyday effect Effects 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 230000006835 compression Effects 0.000 description 6
- 238000007906 compression Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000008451 emotion Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000002354 daily effect Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 208000019622 heart disease Diseases 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 102100033814 Alanine aminotransferase 2 Human genes 0.000 description 1
- 101710096000 Alanine aminotransferase 2 Proteins 0.000 description 1
- 206010063385 Intellectualisation Diseases 0.000 description 1
- 241000070023 Phoenicopterus roseus Species 0.000 description 1
- 238000012356 Product development Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- QVFWZNCVPCJQOP-UHFFFAOYSA-N chloralodol Chemical compound CC(O)(C)CC(C)OC(O)C(Cl)(Cl)Cl QVFWZNCVPCJQOP-UHFFFAOYSA-N 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000013140 knowledge distillation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000000547 structure data Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9032—Query formulation
- G06F16/90332—Natural language query formulation or dialogue systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/90335—Query processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/903—Querying
- G06F16/9038—Presentation of query results
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Machine Translation (AREA)
Abstract
本申请公开了一种任务处理方法、装置、设备及存储介质,涉及人工智能技术领域。所述方法包括:获取第一任务的描述信息和样例数据,第一任务是与自然语言处理有关的待处理的任务,描述信息用于指示第一任务的处理需求,样例数据用于指示第一任务的处理对象;从描述信息中,提取第一任务的至少一个要点信息,要点信息用于指示第一任务的处理要点;根据样例数据和至少一个要点信息,确定第一任务对应的任务提示信息,任务提示信息用于表征第一任务的处理需求和处理对象;通过任务处理模型根据任务提示信息,生成第一任务的处理结果。上述方法提升了生成的处理结果的精度。
Description
技术领域
本申请实施例涉及人工智能技术领域,特别涉及一种任务处理方法、装置、设备及存储介质。
背景技术
随着人工智能技术的发展,自然语言处理技术逐渐成熟。在自然语言处理技术中,能够根据用户的描述信息,来理解用户的意图,并给出对应的结果。
相关技术中,通过预训练大模型根据用户输入的描述信息,生成对应的处理结果。其中,预训练大模型是较为通用的语言模型,例如ChatGPT模型,其可以针对用户的任一描述信息,生成对应的处理结果。
然而,上述相关技术中,预训练的大模型是通用的语言模型,其对于用户指定任务的理解能力相对较弱,这也就导致了其对于用户针对指定任务的描述信息而生成的处理结果的精度较低。
发明内容
本申请实施例提供了一种任务处理方法、装置、设备及存储介质。所述技术方案如下:
根据本申请实施例的一个方面,提供了一种任务处理方法,所述方法包括:
获取第一任务的描述信息和样例数据,所述第一任务是与自然语言处理有关的待处理的任务,所述描述信息用于指示所述第一任务的处理需求,所述样例数据用于指示所述第一任务的处理对象;
从所述描述信息中,提取所述第一任务的至少一个要点信息,所述要点信息用于指示所述第一任务的处理要点;
根据所述样例数据和所述至少一个要点信息,确定所述第一任务对应的任务提示信息,所述任务提示信息用于表征所述第一任务的处理需求和处理对象;
通过任务处理模型根据所述任务提示信息,生成所述第一任务的处理结果。
根据本申请实施例的一个方面,提供了一种任务处理装置,所述装置包括:
数据获取模块,用于获取第一任务的描述信息和样例数据,所述第一任务是与自然语言处理有关的待处理的任务,所述描述信息用于指示所述第一任务的处理需求,所述样例数据用于指示所述第一任务的处理对象;
信息提取模块,用于从所述描述信息中,提取所述第一任务的至少一个要点信息,所述要点信息用于指示所述第一任务的处理要点;
信息确定模块,用于根据所述样例数据和所述至少一个要点信息,确定所述第一任务对应的任务提示信息,所述任务提示信息用于表征所述第一任务的处理需求和处理对象;
结果生成模块,用于通过任务处理模型根据所述任务提示信息,生成所述第一任务的处理结果。
根据本申请实施例的一个方面,提供了一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行以实现上述方法。
根据本申请实施例的一个方面,提供了一种计算机可读存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序由处理器加载并执行以实现上述方法。
根据本申请实施例的一个方面,提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机程序,处理器执行该计算机程序,使得该计算机设备执行上述方法。
本申请实施例提供的技术方案可以包括如下有益效果:
通过从针对第一任务的描述信息中提取至少一个要点信息,并结合第一任务的样例数据,来确定第一任务对应的任务提示信息。也即,通过提取要点的方式明确第一任务的处理需求,将不易被任务处理模型理解的描述信息转化为容易被任务处理模型理解的任务提示信息。因此,本申请有利于任务处理模型快速理解第一任务对应的处理需求,基于此,任务处理模型对于第一任务而生成的处理结果的精度也更加准确,更符合第一任务的处理需求。
附图说明
图1是本申请一个实施例提供的方案实施环境的示意图;
图2是本申请一个实施例提供的任务处理方法的示意图;
图3是本申请另一个实施例提供的任务处理方法的示意图;
图4是本申请另一个实施例提供的任务处理方法的示意图;
图5是本申请一个实施例提供的任务处理方法的流程图;
图6是本申请另一个实施例提供的任务处理方法的流程图;
图7是本申请另一个实施例提供的任务处理方法的流程图;
图8是本申请一个实施例提供的任务处理方法的框图;
图9是本申请一个实施例提供的任务处理装置的框图;
图10是本申请另一个实施例提供的任务处理装置的框图;
图11是本申请一个实施例提供的计算机设备的结构框图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在介绍本申请技术方案之前,先对本申请涉及的一些背景技术知识进行介绍说明。以下相关技术作为可选方案与本申请实施例的技术方案可以进行任意结合,其均属于本申请实施例的保护范围。本申请实施例包括以下内容中的至少部分内容。
人工智能(Artificial Intelligence,简称AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括自然语言处理技术、机器学习/深度学习等几大方向。
机器学习(Machine Learning,简称ML)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织相关的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
深度学习(Deep Learning,简称DL)是机器学习(Machine Learning,简称ML)领域中一个新的研究方向,它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在规律和表示层次,这些学习过程中获得的信息对诸如文字,图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力,能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法,在语音和图像识别方面取得的效果,远远超过先前相关技术。深度学习在搜索技术,数据挖掘,机器学习,机器翻译,自然语言处理,多媒体学习,语音,推荐和个性化技术,以及其他相关领域都取得了很多成果。深度学习使机器模仿视听和思考等人类的活动,解决了很多复杂的模式识别难题,使得人工智能相关技术取得了很大进步。
自然语言处理(Nature Language Processing,简称NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此,这一领域的研究将涉及自然语言,即人们日常使用的语言,所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
随着人工智能技术研究和进步,人工智能技术在多个领域展开研究和应用,例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、虚拟现实(Virtual Reality,简称VR)、增强现实(Augmented Reality,简称AR)、游戏、虚拟人、数字人等,相信随着技术的发展,人工智能技术将在更多的领域得到应用,并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的机器学习和自然语言处理等技术,具体通过如下实施例进行说明。
在介绍本申请技术方案之前,先对本申请涉及的一些名词进行解释说明。以下相关解释作为可选方案与本申请实施例的技术方案可以进行任意结合,其均属于本申请实施例的保护范围。本申请实施例包括以下内容中的至少部分内容。
1.预训练大模型(Pre-training model,简称PTM):是指在大规模数据集上进行预训练的深度学习模型,通常包含数十亿个参数和数千万个样本。在一些实施例中,预训练模型,也称基石模型、大模型,指具有大参量的深度神经网络(Deep neural network,简称DNN),在海量未标记的数据上对其进行训练,利用大参量DNN的函数近似能力使PTM在数据上提取共性特征,经微调(fine tune)、参数高效微调(PEFT)、prompt-tuning等技术,适用于下游任务。因此,预训练模型可以在小样本(Few-shot)或零样本(Zero-shot)场景下达到理想效果。PTM按照处理的数据模态可以分为语言模型(ELMO,BERT,GPT)、视觉模型(swin-transformer,ViT,V-MOE)、语音模型(VALL-E)、多模态模型(ViBERT,CLIP,Flamingo,Gato)等,其中多模态模型指建立两种或以上数据模态特征表示的模型。预训练模型是输出人工智能生成内容(AIGC)重要工具,也可以作为连接多个具体任务模型的通用接口。预训练大模型的目的是通过学习大规模数据集中的模式和规律,提取出通用的语言表示,以便在各种自然语言处理任务中进行微调和迁移学习。预训练大模型通常采用无监督学习的方式进行预训练,例如自编码器、语言模型等。在预训练阶段,模型通过学习大规模数据集中的语言结构和语义信息,提取出通用的语言表示,例如词向量、句向量等。在微调和迁移学习阶段,模型可以在少量标注数据上进行微调,以适应特定的自然语言处理任务,例如文本分类、情感分析、机器翻译等。预训练大模型已经在自然语言处理领域取得了很大的成功,例如BERT(Bidirectional Encoder Representation from Transformers,语言表示模型)、GPT-2、XLNet等模型,它们在各种自然语言处理任务中都取得了领先的性能。预训练大模型的优势在于可以利用大规模数据集中的语言结构和语义信息,提取出通用的语言表示,从而提高模型的泛化能力和性能。
2.ChatGPT:是一种基于大规模预训练语言模型的自然语言处理技术,由OpenAI开发。它是目前最先进的对话生成模型之一,可以生成高质量、连贯、富有逻辑的自然语言对话。ChatGPT的核心是一个基于Transformer架构的神经网络模型,它可以利用大规模的语料库进行预训练,从而学习到丰富的语言结构和语义信息。它具有以下的优势:(1)预训练模型:ChatGPT是基于大规模预训练语言模型(Generative Pre-trained Transformer,简称GPT)开发的,可以利用大规模的语料库进行预训练,从而学习到丰富的语言结构和语义信息。这使得ChatGPT可以生成高质量、连贯、富有逻辑的自然语言对话,具有很高的语言理解和生成能力。(2)上下文感知:ChatGPT可以根据上下文信息生成对话,即可以根据之前的对话内容生成后续的对话内容。这使得ChatGPT可以生成更加连贯、自然的对话,同时也可以更好地理解用户的意图和需求。(3)多样性生成:ChatGPT可以生成多样性的对话内容,即可以生成多种不同的回复,从而增加对话的多样性和趣味性。这使得ChatGPT可以更好地满足用户的需求和兴趣。(4)ChatGPT可以根据用户的需求和偏好生成对话内容,即可以控制对话的主题、情感、语气等方面。这使得ChatGPT可以更好地满足用户的个性化需求和场景。本申请实施例提供的技术方案可以利用ChatGPT来实现,也可以不利用ChatGPT实现,而利用中小型模型进行实现。
3.任务挖掘:通过自然语言描述进行任务挖掘是一种自然语言处理技术,旨在从用户提供的自然语言描述中,自动识别出用户需要完成的任务,并将其转化为计算机可执行的任务。这个技术可以帮助用户更方便地完成各种任务,提高用户体验和效率。同时,它也可以帮助企业和组织更好地理解用户需求,提供更好的服务和支持。任务挖掘的应用场景非常广泛,例如智能客服、智能助手、智能家居等。在智能客服领域,用户可以通过语音或文字描述自己的问题,***可以自动识别用户的意图,并提供相应的解决方案。在智能助手领域,用户可以通过语音或文字描述自己的需求,***可以自动识别用户的意图,并帮助用户完成相应的任务。在智能家居领域,用户可以通过语音或文字描述自己的需求,***可以自动识别用户的意图,并控制相应的家居设备。总之,基于用户描述进行任务挖掘是一种非常有用的自然语言处理技术,可以帮助用户更方便地完成各种任务,提高用户体验和效率,同时也可以帮助企业和组织更好地理解用户需求,提供更好的服务和支持。
4.最后对本申请实施例中涉及到的自然语言处理技术有关的九大基础任务(4.1~4.9)作示例性解释说明,这九大基础任务几乎完整涵盖了人类对于自然语言理解的知识广度。下述实施例中的预定义任务包括但不限于这九大基础任务中的至少之一。
4.1语言模型:语言模型是一种用于预测下一个单词或字符的模型。它可以根据前面的单词或字符来预测下一个单词或字符的概率。语言模型可以用于自动文本生成、机器翻译、语音识别等任务。常见的语言模型包括n-gram模型、循环神经网络(RecurrentNeural Network,简称RNN)模型、Transformer模型等。
4.2词性标注:词性标注是将文本中的每个单词标记为其词性的过程。词性标注可以用于文本分类、信息提取等任务。常见的词性标注方法包括基于规则的方法、基于统计的方法和基于深度学习的方法。
4.3命名实体识别:命名实体识别是将文本中的实体(如人名、地名、组织机构等)识别出来的过程。命名实体识别可以用于信息提取、问答***等任务。常见的命名实体识别方法包括基于规则的方法、基于统计的方法和基于深度学习的方法。
4.4句法分析:句法分析是将文本中的句子结构分析出来的过程。句法分析可以用于文本分类、信息提取等任务。常见的句法分析方法包括基于规则的方法、基于统计的方法和基于深度学习的方法。
4.5语义分析:语义分析是将文本中的意义分析出来的过程。语义分析可以用于情感分析、问答***等任务。常见的语义分析方法包括基于规则的方法、基于统计的方法和基于深度学习的方法。
4.6机器翻译:机器翻译是将一种语言翻译成另一种语言的过程。机器翻译可以用于跨语言通信、文本翻译等任务。常见的机器翻译方法包括基于规则的方法、基于统计的方法和基于深度学习的方法。
4.7文本分类:文本分类是将文本分为不同类别的过程。文本分类可以用于垃圾邮件过滤、情感分析等任务。常见的文本分类方法包括基于规则的方法、基于统计的方法和基于深度学习的方法。
4.8信息提取:信息提取是从文本中提取出有用信息的过程。信息提取可以用于知识图谱构建、问答***等任务。常见的信息提取方法包括基于规则的方法、基于统计的方法和基于深度学习的方法。
4.9问答***:问答***是根据用户提出的问题,从文本中找到答案并返回给用户的过程。问答***可以用于智能客服、智能助手等任务。常见的问答***方法包括基于规则的方法、基于统计的方法和基于深度学习的方法。
请参考图1,其示出了本申请一个实施例提供的方案实施环境的示意图。该方案实施环境可以包括:终端设备10和服务器20。
终端设备10包括但不限于手机、平板电脑、智能语音交互设备、游戏主机、可穿戴设备、多媒体播放设备、PC(Personal Computer,个人计算机)、车载终端、智能家电等电子设备。终端设备10中可以安装目标应用程序(如游戏应用程序)的客户端。可选地,该目标应用程序可以是需要下载安装的应用程序,也可以是即点即用的应用程序,本申请实施例对此不作限定。
在本申请实施例中,目标应用程序可以是任务处理应用程序、搜索类应用程序、查询类应用程序、社交类应用程序、仿真程序中的任意一种。另外,对于不同的应用程序来说,其需要处理的任务是不同的。以目标应用程序是任务处理应用程序来说,它可以是为企业或者个人定制的应用程序,该任务处理应用程序可以响应于用户针对特定类型的任务的描述信息,并根据给定的样例数据,从而输出对于该任务的处理结果。可选地,终端设备10中运行有上述目标应用程序的客户端。在另一些实施例中,该目标应用程序也可以是一个网页,在运行该网页的终端设备10上,响应于用户针对特定任务的描述信息,并结合样例数据,该网页可以输出特定任务对应的处理结果。
服务器20用于为终端设备10中的目标应用程序的客户端提供后台服务。例如,服务器20可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式***,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器,但并不局限于此。
终端设备10和服务器20之间可通过网络进行互相通信。该网络可以是有线网络,也可以是无线网络。
本申请实施例提供的方法,各步骤的执行主体可以是计算机设备,该计算机设备是指具备数据计算、处理和存储能力的电子设备。计算机设备可以是图1中的终端设备10,也可以是服务器20。
在介绍本申请实施例提供的技术方案之前,在对相关技术中的一些任务挖掘方法以及对应的缺点进行简要说明。基于用户描述和提供的数据进行任务挖掘是一个复杂的自然语言处理任务,需要结合多种技术和方法来实现。不同的技术和方法有各自的优缺点,需要根据具体的应用场景和需求选择合适的方法。
1.基于规则的方法。这种方法使用人工设计的规则来识别用户的意图和任务,同时结合提供的数据进行任务挖掘。例如,可以使用正则表达式、有限状态机等规则来提取用户描述中的关键信息,然后结合提供的数据进行任务挖掘。这种方法的优点是简单易懂,但是需要大量的人工设计和维护规则,难以应对复杂的自然语言描述和数据。缺点:基于规则的方法:通过手动定义规则来识别和提取文本中的信息。他主要通过人工定义的方法,因此具有较强的可解释性,同时可以应用在各类的文本中,包括结构化和非结构化的数据,应用范围较为广泛。但是十分依赖人工的情况下,导致需要很多专业领域的知识和经验,需要耗费大量的时间和精力,每一套规则针对特定任务生成,不具备可迁移性。
2.基于统计的方法。这种方法使用机器学习算法来学习用户的意图和任务,同时结合提供的数据进行任务挖掘。例如,可以使用朴素贝叶斯、支持向量机等算法来学习用户描述和提供的数据之间的关系,然后进行任务挖掘。这种方法的优点是可以自动学习规则和特征,适用于复杂的自然语言描述和数据,但是需要大量的标注数据和特征工程。缺点:基于统计的方法:它通过对大量数据进行统计分析来识别和提取文本中的信息。该方法的自动化程度高,并且具有较强大扩展性和可移植性,但是由于统计的方法通常是黑盒模型,难以解释和理解模型的内在机制,同时要求高质量的数据,不然非常容易影响到模型的效果,这些条件对于实际的应用场景中也是有着一定的困难。
3.基于图神经网络的方法。这种方法使用图神经网络来学习用户描述和提供的数据之间的关系,然后进行任务挖掘。例如,可以使用图卷积神经网络、图注意力网络等算法来学习用户描述和提供的数据之间的关系,然后进行任务挖掘。这种方法的优点是可以自动学习规则和特征,适用于复杂的自然语言描述和数据,同时可以处理图结构数据,但是需要大量的计算资源和数据。缺点:基于图神经网络的方法:它通过对文本构建图结构,并利用图神经网络进行学习和推断,来识别和提取文本中的信息。该方法可以通过增加节点和边的数量和改变模型参数等方式进行扩展和改进,以适应不同的任务和应用。但是需要大量的计算资源进行模型的训练和推断,因此需要几倍较强的计算能力和存储能力。
4.基于知识图谱的方法。这种方法使用知识图谱来表示用户描述和提供的数据之间的关系,然后进行任务挖掘。例如,可以使用本体论等技术来构建知识图谱,然后将用户描述和提供的数据映射到知识图谱中,进行任务挖掘。这种方法的优点是可以利用丰富的领域知识和语义信息,提高任务挖掘的准确性和效率,但是需要大量的知识工程和维护。缺点:基于知识图谱的方法:它通过构建和利用知识图谱来识别和提取文本中的信息。这种方式可以有效的利用好已有的知识库,通过增加实体和关系的方式,能够有效的挖掘出不同的任务,但是知识图谱的构建难度大,需要具备专业领域知识的人进行构建和维护,后期的迭代成本较高。
本申请实施例提供的技术方案,可以以ChatGPT为例子,阐述如何利用大型预训练模型来通过拆解要点,组成任务模板来进行任务挖掘,希望同时具有基于规则的方法、基于统计的方法、基于图神经网络的方法、基于知识图谱的方法各自的优势,在以下方面带来提升:(1)更快的产品开发速度:使用预训练模型可以减少模型开发的时间和成本,因为模型已经在大规模数据上进行了预训练,可以直接用于任务挖掘,大大的减少了模型的开发时间,快速的实现效果。(2)更加精准的捕捉需求:使用ChatGPT进行任务挖掘,可以通过多轮对话的自我纠正,有效利用上下文的相关信息,更加精准的识别到用户需求,以便于更好的生成任务的结构。(3)更好的资源利用率:使用ChatGPT可以实现零样本的学习,而不需要去手机更多的训练样本,大大的提升了资源利用率。(4)更好的泛化能力:使用ChatGPT进行任务挖掘可以更好地处理复杂的语言任务,例如生成文本、机器翻译、文本分类、情感分析等。总之,使用ChatGPT进行任务挖掘可以提高模型的性能和鲁棒性,从而能够更好的完成用户的需求,也便于提升每个下游任务的效果。为了达到以上目的,本申请提出了基于ChatGPT的任务挖掘的三大步骤:1.通过ChatGPT对用户的描述和部分数据进行综合的判断,抽取出动作,目标,实体,交互方式,约束和限制,异常处理六大要点作为任务的关键基础。2.通过六大要点,生成一个任务模板的prompt(提示词),作为任务库的匹配样本,同时便于后期做少样本的数据扩充。3.再次利用ChatGPT对模板的prompt和线下的任务库进行匹配,映射到基础任务,同时对于一些多任务的复杂情况,采取prompt优化策略实现多任务的集成表达。以此实现了对于复杂场景下的任务挖掘,同时再大模型的助力下快速的实现的任务的全流程。通过以上流程后得到的任务提示信息,作为大规模预训练模型的输入,完成全自动的任务流程,实现闭环。整个过程中,将复杂的信息过滤掉,减少预训练模型对噪声信息的影响,从而保证了结果的准确性,用时保证整个流程在预训练模型的强大的知识能力的帮助下,大大提升了任务的效率和效果。
需要进行说明的是,本申请实施例提供的技术方案中,可以采用ChatGPT等大规模预训练模型来实现本申请实施例提供的技术方案,此时由于ChatGPT已经是相对较为完善的预训练模型,在此基础上继续本申请实施例提供的技术方案,能够有效保证任务挖掘以及任务处理的准确度和精度。此时,ChatGPT中认为是包括下述要点提取模型、匹配模型、任务处理模型的至少之一。而相应地,也可以不采用类似ChatGPT这种大规模预训练模型,而设计一些中小型模型来实现本申请实施例提供的技术方案,也即下述要点提取模型、匹配模型、任务处理模型均是中小型模型。此时由于采用中小型模型来实现本申请的技术方案,能够有效降低模型的使用成本,并且由于各部分模型是独立的,相对来说模型的训练和使用较为简洁。因此,在保证使用成本的基础上,平衡了模型输出的处理结果的精度和使用需求(用户对于精度的要求)的关系。综上,对于本申请实施例提供的技术方案对于具体用在何种类型的模型上,本申请对此不作限定。
更进一步地,本申请实施例采用ChatGPT+中小型模型的方式来进行任务挖掘以及任务处理。在一些实施例中,当采用中小型模型来进行任务挖掘时,通过下述实施例中采用的步骤,根据样例数据以及至少一个要点信息,确定第一任务对应的任务提示信息之后。考虑到开发人员针对第一任务设计的是通用的任务模板,该任务模板可以适用于任何与自然语言处理有关的任务,虽然将不同的要点信息填充至该通用的任务模板之后组装形成的任务提示信息可以表征不同的任务需求。但是考虑到通用的任务模板的设计,很有可能导致针对第一任务的任务提示信息存在不流畅等问题。为了使得任务提示信息可以更好地表征任务需求,本申请实施例中,采用ChatGPT来进一步优化任务提示信息的表述。具体流程如下:利用要点提取模型提取描述信息中的至少一个要点信息,将要点信息填充进任务模板中,组装形成任务提示信息。在得到任务提示信息之后,一方面,从上述九大基础任务中确定与最匹配的基础任务,利用最匹配的基础任务的任务数据库来对任务处理模型进行微调。另一方面,将ChatGPT作为任务模板优化器,将上述组装成功的任务提示信息作为ChatGPT的输入,并将上述九大基础任务分别对应的任务模板作为条件,同样提供给ChatGPT,使得ChatGPT能够学习到上述九大基础任务分别对应的任务模板中的上下文连贯的语义信息,从而给第一任务对应的任务提示信息进行优化,得到优化后的任务提示信息。可选地,将优化后的任务提示信息输入到微调后的任务处理模型中,得到第一任务对应的处理结果。通过上述要点提取模型+ChatGPT+任务处理模型的方式,能够使得任务提示信息之间衔接的较为流畅,可读性更强,从而有利于任务处理模型来处理优化后的任务提示信息,得到更加准确的处理结果。
本申请中具体的任务挖掘以及任务处理的流程,参见下述实施例的解释说明。
请参考图2,其示出了本申请一个实施例提供的任务处理方法的示意图。
在机器学习和深度学习领域中,首先需要通过用户的语言描述,对用户的意图进行精确的挖掘,从而对已有任务库进行选择和匹配,以完成下游任务模板的构造,训练出适合的任务模型。但在实际过程中,由于用户的背景文本的不同,描述和提供的数据可能存在歧义,任务可能涉及到复杂性的流程等问题,然而大部分的模型无法达到GPT4的效果,无法直接从这么随机多样的信息中准确挖掘任务,使得任务挖掘这项技术存在着很大的挑战。为了解决这个问题,本申请实施例提供的技术方案开始尝试使用预训练的大规模语言模型(本方案中也可以称为要点提取模型)来理解用户的意图和任务,使用预训练的大规模语言模型来理解用户的意图和任务,能够适应各种不同场景下的情况,大大的提高的模型的鲁棒性,从而帮助用户更好的解决实际问题。同时在对任务进行精确挖掘后,可以将提取出来的任务模板做预训练模型(本方案也可以称为任务处理模型或者实现任务模型)的输入,借助强大的知识特征,完成用户的任务需求。
如图2的210所示,本申请中先获取第一任务的描述信息以及样例数据,并从描述信息中获取至少一个要点信息。接着,将要点信息以及样例数据填充进任务模板,得到第一任务对应的任务提示信息。将第一任务对应的任务提示信息经过任务处理模型200,得到第一任务的处理结果(具体解释参见下述实施例)。
请参考图3,其示出了本申请另一个实施例提供的任务处理方法的示意图。如图3的300所示,将针对第一任务的描述信息输入到要点提取模型中,得到至少一个要点,并将至少一个要点填充到任务模板,同时结合样例数据,得到任务提示信息,将得到的任务提示信息输入到任务处理模型中,得到第一任务的处理结果。此时,要点提取模型以及任务处理模型均是训练完成的机器学习模型。
请参考图4,其示出了本申请另一个实施例提供的任务处理方法的示意图。如图4的400所示,将针对第一任务的描述信息输入到要点提取模型中,得到至少一个要点,并将至少一个要点填充到任务模板,同时结合样例数据,得到任务提示信息。此时,将任务提示信息与上述九大基础任务分别对应的任务模板进行匹配,得到匹配的基础任务,在得到匹配的基础任务之后,利用匹配的基础任务的任务数据库对任务处理模型进行微调,使得微调后的任务处理模型能够具备正确的任务处理方向。将第一任务的任务提示信息输入到微调后的任务处理模型中,得到第一任务的处理结果。其中,要点提取模型是预训练完成的机器学习模型。
本申请实施例中提出了一种基于大规模预训练模型(要点提取模型)进行任务挖掘的任务挖掘方法,它通过在大规模数据上进行预训练,然后在特定任务上进行微调,来识别和提取文本中的信息。并进一步利用任务处理模型来处理挖掘出来的任务。该方案至少包括以下优点:(1)高效性。基于大规模预训练模型的方法可以利用大规模数据进行预训练,从而获得较好的效果,同时在特定任务上进行微调,可以快速地适应不同的任务和应用。(2)精度高。基于大规模预训练模型的方法可以利用大规模数据进行预训练,从而获得较好的泛化能力和精度,同时在特定任务上进行微调,可以进一步提高模型的准确性。(3)可迁移性强。基于大规模预训练模型的方法可以将已经学习好的模型和参数迁移到其他任务和应用中,以提高模型的效率和准确性。(4)可扩展性强。基于大规模预训练模型的方法可以通过增加数据量和改变模型参数等方式进行扩展和改进,以适应不同的任务和应用。(5)可解释性强。基于大规模预训练模型的方法可以通过可视化模型和参数来解释和理解模型的内部机制和推断过程。综上,本申请实施例提供的技术方案具有高效性、精度高、可迁移性强、可扩展性强、可解释性强等优点。
请参考图5,其示出了本申请一个实施例提供的任务处理方法的流程图。该方法各步骤的执行主体可以是上文介绍的终端设备10,也可以是服务器20。在下文方法实施例中,为了便于描述,仅以各步骤的执行主体为“计算机设备”进行介绍说明。该方法可以包括如下几个步骤(510~540)中的至少一个步骤:
步骤510,获取第一任务的描述信息和样例数据,第一任务是与自然语言处理有关的待处理的任务,描述信息用于指示第一任务的处理需求,样例数据用于指示第一任务的处理对象。
描述信息:可以理解为用户输入的针对第一任务的处理需求。本申请实施例对于描述信息的内容以及格式等不作限定。用户可以通过文字、语音、图片等形式作为描述信息。在一些实施例中,基于用户输入的文字、语音、图片等信息,获取描述信息。可选地,当用户输入为文字时,直接将用户输入的文字作为描述信息。可选地,当用户的输入为语音时,通过语音转文字的方式,将用户输入的语音转变为文字,作为描述信息。可选地,当用户的输入为图片时,通过图片内容提取的方式,从用户输入的图片中获取描述信息。在一些实施例中,不同类型的用户或企业的需求不同,对应的描述信息也就不同。
样例数据:用于指示第一任务的处理对象。可选地,样例数据与第一任务存在对应关系。示例性地,先存在样例数据,其次才基于样例数据,会存在第一任务,进而才会有针对第一任务的描述信息。这也就意味着,当样例数据发生改变时,第一任务也会发生改变。相应地,当第一任务发生改变时,也需要提供对应的样例数据。
下面针对上述第一任务、描述信息以及样例数据作以下示例性说明。
场景1:保险公司每天都会接收到保险报案信息。第一任务可以是“从保险报案信息中确定报案人的手机号,地址,报案原因”。此时,描述信息可以是“你好,我是一个保险公司业务员,我每天会收到很多的保险报案信息,我需要有审阅这些信息,然后提取出报案人的手机号,地址,报案原因,并根据这些信息去逐步向客户核对。因为每天需要接触大量的信息,在这方面会浪费很多时间,因此需要你帮我提取下这些,并以手机号,地址,原因的顺序为列名,表格的形式传送给我,对于信息中不符合规则的手机号,希望你能告诉我并且标记出来,如果识别不到请标记为空”。相应地,样例数据是“每天收到的保险报案信息”。示例性地,一条样例数据为“我是深圳市xx电子科技有限公司的行政人员,我司一名员工,在上班时突发心脏病,送至深圳市xx人民医院医治无效后死亡。遂来报案,我们的保单号是xxxxxxxx,我的联系电话是123456789。被保险人:深圳市xx电子科技有限公司。出险原因:突发心脏病。治疗医院:深圳市xx人民医院。出险时间:上班时。保单号:xxxxxxxx。联系电话:123456789”。
场景2:医院中每天都有大量的患者预约就医,需要根据各个科室的每天的预约就诊人数来安排值班医生的数量。第一任务可以是“从每天预约就医的患者中确定各个科室的预约就诊人数”。此时描述信息可以是“你好,我是医护工作人员,我院每天会有大量的患者预约就诊信息,我需要审阅这些信息,并且提取预约就诊患者的姓名、年龄以及就诊科室,我需要统计这些信息。请您帮助我统计下预约就诊科室、预约就诊的患者姓名以及预约就诊的患者年龄,并以文本的形式传送给我”。相应地,样例数据是“每天患者的预约就诊信息”。示例性地,一条样例数据是“我是xxx,年龄xx岁,预约x月x日早上8点来你院内科就诊。患者编号:xxx。患者姓名:xxx。患者年龄:xx。预约就诊时间:x月x日早上8点。预约就诊科室:内科”。
场景3:在线上考试场景中,存在多场考试,并且每场考试都大量答题者以及答题者提交的电子答卷,需要分配批卷老师来审阅这些电子答卷。第一任务:“根据批卷老师的带教信息为老师分配待批阅的电子答卷”。此时描述信息可以是“你好,我是考试举办方,我方于6.7-6.9举办了xx考试,并且涉及多门科目,我需要为所有考生的电子答卷分配批卷老师。请您帮助我根据各位批卷老师的带教信息来分配所有考生的电子答卷。请注意,同时需要分配批卷时间,在休息时间不可安排批卷任务。请以电子答卷卷号、批卷老师序号、批卷时间的顺序为列名,表格的形式传送给我,对于信息中不符合规则的电子答卷卷号,希望你能告诉我并且标记出来,如果识别不到请标记为空”。此时,样例数据是“电子答卷卷号和电子答卷对应的科目、批卷老师的姓名、序号以及带教信息”。
由上述场景可知,针对不同的任务需求,需要获取到与该任务对应的样例数据。倘若,仅有任务需求,而无样例数据(任务的处理对象),则很有可能导致无法处理该任务,或者任务的处理结果不准确的情况发生。一般来说,也可以理解为本申请实施例提供的技术方案,能够为存在不同需求的场景设计任务处理模型。例如上述保险场景中,由于获取到了样例数据(保险报案信息),则基于保险报案信息中的任何问题都可以是第一任务,此时任务处理模型存在处理该第一任务的能力。相应地,如果没有保险报案信息,而仅有第一任务的描述信息,则任务处理模型虽然同样可以得到处理结果,但是必然导致处理结果不准确的情况发生。因此,本申请实施例提供的技术方案中,通过将第一任务的描述信息与第一任务对应的处理对象相结合的方式来解决第一任务,能够满足不同场景的不同需求,实现了定制化需求并且保证了生成出来的结果的精度。
步骤520,从描述信息中,提取第一任务的至少一个要点信息,要点信息用于指示第一任务的处理要点。
在实际场景中,所能得到的信息主要包括用户对于自己需求的描述,数据介绍,以及所提供的部分数据样例,而这部分的信息往往是杂乱的,缺少规律性的。同时由于不同用户的背景,描述方式的不同,如果直接对这部分信息进行任务提取的话容易受到噪声数据的影响,同时模型的效果也会受到影响。因此需要通过要点提取的方式对已有信息进行归纳总结,获得所需要的有益信息。为了从用户描述和样例数据中提取关键信息,以便更好地理解用户需求和设计解决方案。本申请实施例设计了以下要点。
在一些实施例中,至少一个要点信息包括以下至少之一:动作信息,用于指示第一任务需要完成的操作;目标信息,用于指示第一任务期望达到的结果;实体信息,用于指示期望执行第一任务的角色;交互方式信息,用于指示用户与任务处理模型之间的交互方式;约束限制信息,用于指示在执行第一任务时需要遵守的规则或限制条件;异常处理信息,用于指示在执行第一任务时遇到的异常情况以及相应的处理方式。
在一些实施例中,动作信息又称为动作,指用户需要完成的操作或行为,如查找、改写、评价等。
在一些实施例中,目标信息又称为目标,是指用户对于第一任务所期望达到的结果或目的,如查询某个特定信息、完成某个特定的事情等。
在一些实施例中,实体信息又称为实体,是指用户需要操作的对象或角色,如需要充当一个心理医生,写作助手等。
在一些实施例中,交互方式信息又称为交互方式,是指用户与***(任务处理模型)交互的方式,如命令行、输出特定的编码、符号等。
在一些实施例中,约束限制信息又称为约束和限制,是指用户在完成任务时需要遵守的规则或限制条件,如输出格式的限制、答案范围的限制等等。
在一些实施例中,异常处理信息又称为异常处理,是指用户在完成任务时可能遇到的异常情况以及相应的处理方式,如错误提示、恢复机制等。
下面针对上述场景1、场景2以及场景3分别示出其提取出来的要点信息。
针对上述场景1,提取出来的要点包括以下至少之一。动作信息:阅读保险报案信息;目标信息:从给定保险报案信息中抽取用户的手机号,地址,报案原因;实体信息:你需要作为一个保险业务员;交互方式信息:输出结果表格形式;约束限制信息:手机号,地址,原因的顺序为列名,输出为表格的形式;异常处理信息:对于识别不到请标记成空。
针对上述场景2,提取出来的要点包括以下至少之一。动作信息:审阅患者预约就诊信息;目标信息:从给定的每天患者的预约就诊信息中抽取预约就诊科室、预约就诊的患者姓名以及预约就诊的患者年龄;实体信息:你需要作为一个医护工作人员;交互方式信息:输出结果文本形式;约束限制信息:无;异常处理信息:无。
针对上述场景3,提取出来的要点包括以下至少之一。动作信息:为所有考生的电子答卷分配批卷老师;目标信息:从给定电子答卷卷号和电子答卷对应的科目、批卷老师的姓名、序号以及带教信息中根据各位批卷老师的带教信息来分配所有考生的电子答卷并分配批卷时间;实体信息:你需要作为一个考试举办方;交互方式信息:输出结果表格形式;约束限制信息:以电子答卷卷号、批卷老师序号、批卷时间的顺序为列名,在休息时间不可安排批卷任务;异常处理信息:对于识别不到请标记成空。
不难发现,虽然本申请实施例设计了六大要点,但是在部分要点提取不到的情况下,可以设置空字符串,表征针对该要点信息未曾提取到相关内容。本申请实施例对于如何从描述信息中提取要点信息的方式不作限定,可以采用机器学习的方式从描述信息中提取要点信息。
本申请实施例中,通过上述的要点提取,可以把这些杂乱的信息过滤出来具有以下优点。(1)在大量信息的情况下,通过要点提取可以快速获取信息的核心内容,避免了阅读冗长、重复、无关的信息,从而提高了信息获取的效率。(2)使得信息的理解过程更加简单、直观、易于消化,从而提高了信息的吸收和记忆效果。(3)使得信息的理解过程更加简单、直观、易于消化,从而提高了信息的吸收和记忆效果。在获取到六大要点的基础上,就可以给后续的流程提供坚实的基础。
步骤530,根据样例数据和至少一个要点信息,确定第一任务对应的任务提示信息,任务提示信息用于表征第一任务的处理需求和处理对象。
在一些实施例中,任务提示信息认为是基于第一任务的描述信息确定出来的。
在一些实施例中,任务提示信息包括:任务角色信息,用于指示期望执行所述第一任务的角色;任务概述信息,用于指示所述第一任务需要完成的操作和期望达到的结果;任务指令信息,用于指示在规定的要求下,针对采用规定的交互方式提供的所述样例数据进行处理。可选地,任务提示信息的类型可以是任务提示词。
在一些实施例中,根据上述要点信息中的实体信息,确定任务角色信息。在一些实施例中,实体信息直接构成任务角色信息。以上述场景1为例,任务角色信息是“你需要作为一个保险业务员”。其他两种场景,参见场景1,不作赘述。
在一些实施例中,根据上述要点信息中的动作信息以及目标信息,确定任务概述信息。在一些实施例中,将动作信息以及目标信息以一定格式组装,得到任务概述信息。示例性地,针对上述场景1,任务概述信息是“你需要阅读保险报案信息,实现从给定保险报案信息中抽取用户的手机号,地址,报案原因”。其他两种场景,参见场景1,不作赘述。
在一些实施例中,基于样例数据,根据上述要点信息中的交互方式信息、约束限制信息以及异常处理信息,确定任务指令信息。在一些实施例中,将样例数据、交互方式信息、约束限制信息以及异常处理信息以一定格式进行组装,得到任务指定信息。示例性地,针对上述场景1,任务指令信息是“给定的样例数据是每天收到的保险报案信息,你的交互方式是输出结果表格形式,并且有以下要求:手机号,地址,原因的顺序为列名,输出为表格的形式并且对于识别不到请标记成空”。其他两种场景,参见场景1,不作赘述。
综上,任务角色信息、任务概述信息以及任务指令信息是对上述提取到的要点信息以及样例数据的组合归纳。可选地,利用一定衔接词对要点信息进行衔接。可选地,要点信息之间的衔接词是预先设定好的,也可以自动生成,本申请不作限定。
另外,通过上述步骤510至步骤530,实现了基于描述信息以及样例数据对第一任务的任务挖掘,使得挖掘出来的任务是能够被模型更好地处理的任务。
步骤540,通过任务处理模型根据任务提示信息,生成第一任务的处理结果。
本申请实施例中的任务处理模型是机器学习模型,对于该任务处理模型的训练方法不作限定。在一些实施例中,可以采用少量样本的训练样本集对该任务处理模型进行训练,也可以采用强化学习的方式对该任务处理模型进行训练,还可以采用对比学习的方式对该任务处理模型进行训练。当然,还可以采用下述实施例中的匹配的基础任务的任务数据库对该任务处理模型进行微调,具体参见下述实施例。
针对任务处理模型的模型架构,本申请同样不作限定。任务处理模型可以看作一个黑盒,该任务处理模型的输入是任务提示信息,输出是第一任务的处理结果。在一些实施例中,该任务处理模型中包括编码器和解码器,通过编码器对任务提示信息进行编码,通过解码器从该任务提示信息中解码出处理结果。在一些实施例中,该任务处理模型是transformer模型。在另一些实施例中,该任务处理模型是大规模的预训练模型,例如ChatGPT。
本申请实施例提供的技术方案通过从针对第一任务的描述信息中提取至少一个要点信息,并结合第一任务的样例数据,来确定第一任务对应的任务提示信息。也即,通过提取要点的方式明确第一任务的处理需求,将不易被任务处理模型理解的描述信息转化为容易被任务处理模型理解的任务提示信息。因此,本申请有利于任务处理模型快速理解第一任务对应的处理需求,基于此,任务处理模型对于第一任务而生成的处理结果的精度也更加准确,更符合第一任务的处理需求。
请参考图6,其示出了本申请另一个实施例提供的任务处理方法的流程图。该方法各步骤的执行主体可以是上文介绍的终端设备10,也可以是服务器20。在下文方法实施例中,为了便于描述,仅以各步骤的执行主体为“计算机设备”进行介绍说明。该方法可以包括如下几个步骤(610~640)中的至少一个步骤:
步骤610,获取第一任务的描述信息和样例数据,第一任务是与自然语言处理有关的待处理的任务,描述信息用于指示第一任务的处理需求,样例数据用于指示第一任务的处理对象。
步骤620,通过要点提取模型从描述信息中,提取第一任务的至少一个要点信息,要点提取模型是预训练完成的机器学习模型,要点信息用于指示第一任务的处理要点。
本申请实施例中的要点提取模型是机器学习模型,对于该要点提取模型的训练方法不作限定。在一些实施例中,可以采用少量样本的训练样本集对该要点提取模型进行训练,也可以采用强化学习的方式对该要点提取模型进行训练,还可以采用对比学习的方式对该要点提取模型进行训练。
针对要点提取模型的模型架构,本申请同样不作限定。要点提取模型可以看作一个黑盒,该要点提取模型的输入是描述信息,输出是至少一个要点信息。在一些实施例中,该要点提取模型中包括编码器和解码器,通过编码器对描述信息进行编码,通过解码器从该描述信息中解码出至少一个要点信息。在一些实施例中,该要点提取模型是transformer模型。在另一些实施例中,该要点提取模型是大规模的预训练模型,例如ChatGPT。
在本申请实施例提供的技术方案中,要点提取模型是预训练完成的机器学***。基于大规模预训练模型的任务挖掘可以为应用带来更高的智能化水平,提高应用的竞争力和用户体验。
步骤630,将样例数据和至少一个要点信息填充至任务模板中,得到第一任务对应的任务提示信息,任务模板用于定义任务提示信息的规范化格式,任务提示信息用于表征第一任务的处理需求和处理对象。
在一些实施例中,不同的第一任务对应通用的任务模板(固定的任务模板),即使第一任务发生改变,任务模板不发生变化。可选地,任务模板是提前设计好的。可选地,任务模板为“任务角色信息:{实体信息};任务概述信息:{你需要{动作信息},要实现{目标信息}};任务指令信息:{给定的数据是{input(格式与线下数据库(样例数据)一致)}(没有数据,这部分无),你的交互方式是{交互方式信息},并且有以下要求:{约束限制信息}{异常处理信息}}”。可选地,直接将提取出来的要点信息填充进该任务模板中,将样例数据填充同样填充进去。在一些实施例中,在填充样例数据时,可以针对描述信息的一些约束以及限制条件有选择性地填充数据。可选地,对于上述场景1、场景2以及场景3均采用该通用的任务模板。
在另一些实施例中,不同类型的第一任务对应不同的任务模板,当第一任务的类型发生改变时,任务模板发生变化。可选地,此时可以针对不同的任务定制需求的企业或者个人,单独定制任务模板。例如,为保险公司单独定制一个任务模板,为医院单独定制一个任务模板,为考试举办方单独定制一个模板。此时,任务模板可以人工设计。可选地,上述场景1、场景2以及场景3对应不同的任务模板。
步骤640,通过任务处理模型根据任务提示信息,生成第一任务的处理结果。
本申请实施例提供的技术方案中,为至少一个要点信息设计了通用的任务模板,实现了在提取出来要点信息之后,直接填充进任务模板中,自动生成任务提示信息。因此,保证了任务实现挖掘的自动化。另外,由于是通用的模板,能够满足不同的任务需求,即使任务模板不同,但在提取出来要点不同的情况下,仍然能够确定出不同的任务信息提示词,表征不同的任务需求。因此,本申请实施例中在进行任务挖掘时结合共性特征以及个性特征,从而能够体现出不同需求。
当然,在针对不同类型的任务设计的任务模板时,则更加能够体现本申请实施例中任务挖掘的多样性和灵活性。基于单独定制的任务模板,以及基于描述信息确定出来的要点信息,加大任务需求与任务需求的区分力度,从而更好地处理任务,进一步提升任务处理结果的精度。
请参考图7,其示出了本申请另一个实施例提供的任务处理方法的流程图。该方法各步骤的执行主体可以是上文介绍的终端设备10,也可以是服务器20。在下文方法实施例中,为了便于描述,仅以各步骤的执行主体为“计算机设备”进行介绍说明。该方法可以包括如下几个步骤(710~750)中的至少一个步骤:
步骤710,获取第一任务的描述信息和样例数据,第一任务是与自然语言处理有关的待处理的任务,描述信息用于指示第一任务的处理需求,样例数据用于指示第一任务的处理对象。
步骤720,从描述信息中,提取第一任务的至少一个要点信息,要点信息用于指示第一任务的处理要点。
步骤730,根据样例数据和至少一个要点信息,确定第一任务对应的任务提示信息,任务提示信息用于表征第一任务的处理需求和处理对象。
步骤740,根据第一任务对应的任务提示信息以及至少一个预定义任务分别对应的任务模板信息,从至少一个预定义任务中,确定与第一任务相匹配的第一预定义任务;其中,每一个预定义任务对应一种任务类型,预定义任务对应的任务模板信息用于表征预定义任务对应的任务类型。
在一些实施例中,预定义任务包括上述九大基础任务中的至少之一。可选地,从这九大基础任务中匹配出与第一任务相匹配的预定义任务。可选地,上述九大基础任务对应九种任务类型。在另一些实施例中,由于上述九大基础任务是较为成熟的任务,其对应有大量的基础数据(训练数据集)。可选地,基于基础数据确定上述九大基础任务的任务模板信息。以预定义任务是词性标注任务为例,词性标注任务对应的任务模板信息可以是“下面我们给出一段文本信息{input},请你提取出这段文本的每个词语,并且给出每个词语的词性,输出格式是{词语:词性}”。可选地,上述九大基础任务分别对应的任务模板信息可以是现有的基础数据中已经总结归纳出来的,也可以是本申请基于上述九大任务分别对应的基础数据而总结归纳出来的,对于预定义任务对应的任务模板信息的来源本申请不作限定。在另一些实施例中,任务模板信息用于表征预定义任务对应的任务类型,进一步地,任务模板信息还用于表征该类型任务下的任务的输入输出信息以及中间的处理流程信息。
在一些实施例中,针对至少一个预定义任务中的每一个预定义任务,确定第一任务对应的任务提示信息与预定义任务对应的任务模板信息之间的匹配度;将匹配度的最大值对应的预定义任务,确定为第一预定义任务。可选地,进行一次匹配对比,第一次匹配对比从总共M个预定义任务中直接找出匹配度最大值对应的预定义任务。可选地,进行至少两次匹配,第一次匹配对比从总共M个预定义任务中找出匹配度前K的预定义任务。第二次匹配对比从该K个预定义任务中唯一确定出一个最匹配的预定义任务。其中,M为正整数,K为小于M的正整数。可选地,第一次匹配对比和第二次匹配对比采用不同的匹配方式。
在一些实施例中,匹配方式包括以下两种。
第一种:计算第一任务对应的任务提示信息与预定义任务对应的任务模板信息之间的语义相似度;将语义相似度确定为匹配度。可选地,语义相似度用于表征第一任务对应的任务提示信息与预定义任务对应的任务模板信息之间的相似度。本申请实施例对于计算语义相似度的方式不作限定。可选地,将第一任务对应的任务提示信息与预定义任务对应的任务模板信息分别转化为特征向量,进而计算特征向量之间的距离,该距离可以是余弦距离、欧式距离等等。将特征向量之间的距离认为是第一任务对应的任务提示信息与预定义任务对应的任务模板信息之间的相似度。
第二种,通过匹配模型根据第一任务对应的任务提示信息和预定义任务对应的任务模板信息,确定匹配度;其中,匹配模型为机器学习模型。匹配模型是用于计算相似度的预训练完成的机器学习模型。该匹配的输入是第一任务对应的任务提示信息与预定义任务对应的任务模板信息,输出是第一任务对应的任务提示信息与预定义任务之间的匹配度。对于该匹配模型的具体架构本申请不作限定。
在另一些实施例中,在进行匹配时,可以先不将样例数据填充进任务模板,而只将要点信息填充进任务模板之后得到的信息,认为是任务提示信息,来与预定义任务对应的任务模板信息进行匹配,从而得到匹配结果。此种匹配方式不匹配输入数据,而仅匹配具体的任务要求,能够有效降低匹配量,从而降低匹配成本,提高匹配效率。
在一些实施例中,与上述场景1中的第一任务的任务提示信息匹配的第一预定义任务是信息提取任务。在一些实施例中,与上述场景2中的第一任务的任务提示信息匹配的第一预定义任务是文本分类任务。在一些实施例中,与上述场景3中的第一任务的任务提示信息匹配的文本分类任务。
步骤750,基于第一预定义任务对应的任务数据库,对任务处理模型的参数进行调整,得到调整后的任务处理模型;其中,第一预定义任务对应的任务数据库中包括与第一预定义任务有关的模型训练数据。
在本申请实施例中,利用第一预定义任务对应的任务数据库对任务处理模型的参数进行调整,或者称之为微调,第一预定义任务也可以称为匹配的基础任务、相似任务等等。利用第一预定义任务对应的任务数据库来对任务处理模型的参数进行调整,能够使得任务处理模型的处理方向是相对正确的,从而有利于提升处理结果的准确度。
在一些实施例中,利用第一预定义任务对应的任务数据库中包括的与第一预定义任务有关的模型训练数据,对任务处理模型的参数进行调整,得到调整后的任务处理模型。在一些实施例中,模型训练数据包括训练样本集。在一些实施例中,训练样本中包括训练样本以及训练标签。可选地利用该模型训练数据对任务处理模型进行微调。示例性地,当第一预定义任务是词性标注任务时,一条模型训练数据可以是“输入:地球是圆的;输出:地球-名词,是-谓词,圆的-形容词”。
在一些实施例中,第一预定义任务对应的任务数据库中还包括与第一预定义任务有关的模型的模型参数。在一些实施例中,将第一任务对应的任务提示信息输入到任务处理模型中,得到任务处理模型的第一输出结果;将第一任务对应的任务提示信息输入到第一预定义任务有关的模型中,得到第一预定义任务有关的模型的第二输出结果;以最小化第一输出结果和第二输出结果的差值为目标,对任务处理模型的参数进行调整,得到调整后的任务处理模型。在一些实施例中,由于第一预定义任务对应的任务数据库中还包括与第一预定义任务有关的模型的模型参数,直接将该模型参数复制到另一个模型中,得到与第一预定义任务对应的任务模型,或者直接将一个成熟的第一预定义任务的模型拿过来进行使用。可选地,将第一任务对应的任务提示信息输入到任务处理模型中,得到任务处理模型的第一输出结果;将第一任务对应的任务提示信息输入到第一预定义任务有关的模型中,得到第一预定义任务有关的模型的第二输出结果。通过比对学习的方式,对任务处理模型的参数进行微调。
在另一些实施例中,匹配出来的预定义任务有多个。例如,取匹配度前K个预定义任务。可选地,利用该K个预定义任务分别对应的任务数据库来对任务处理模型进行参数调整。在实际的场景中,往往一个基础任务无法充分的满足用户的需求,因此需要考虑到多任务之间的合作。在任务匹配过程中如果发现有多个基础任务和第一预定义任务的任务提示信息相近,则希望这些任务能够相互配合,通过多任务流程化的方式共同帮助用户。在一些实施例中,利用ChatGPT帮助设计多任务辅助流程,然后需要利用交互式的多轮对话方式完成。在一些实施例中,提供任务提示信息一次性生成和交互式生成是两种不同的方式,它们的差异在于生成的方式和生成结果的质量。一次性生成答案的含义是,ChatGPT在接收到输入后,可以一次性生成完整的答案,而不需要多次交互。这意味着,ChatGPT可以在一次输入后,直接生成完整的回答或文本,而不需要用户进行多次迭代或交互。例如,如果用户输入一个问题,ChatGPT可以一次性生成完整的答案,而不需要用户进行多次迭代或交互。这种一次性生成答案的方式,可以提高模型的效率和用户的体验,减少用户的等待时间和交互次数。ChatGPT可以进行多轮对话,即在前一轮对话的基础上,继续生成下一轮对话。这意味着,ChatGPT可以模拟人类对话的过程,进行更加复杂和灵活的交互。ChatGPT可以根据用户的输入,生成相应的回答或文本,并且可以根据用户的反馈进行调整和修改。这意味着,ChatGPT可以与用户进行实时的交互,根据用户的需求和反馈进行动态调整和生成。例如,在一个聊天机器人的场景中,用户可以输入一个问题,ChatGPT可以生成一个回答,然后用户可以根据回答的内容进行反馈,ChatGPT可以根据用户的反馈进行调整和修改,生成更加准确和合理的回答。这种交互式生成的方式,可以提高模型的灵活性和适应性,更好地满足用户的需求和反馈。本申请实施例通过ChatGPT设计完流程的基础上,按照所预定的流程通过多轮对话的方式逐步完成用户任务的实现,这样就实现了复杂场景下的多任务需求,同时有效的利用了任务之间相关性,任务反馈的上下文,使得得到的处理结果得到不断的优化,不仅提升了用户体验效果,还在很大程度上提升了生成的处理结果的精度。
步骤760,通过调整后的任务处理模型根据任务提示信息,生成第一任务的处理结果。
在一些实施例中,在对任务处理模型进行微调之后,得到调整后的任务处理模型,并将任务提示信息输入至微调后的任务处理模型,生成第一任务的处理结果。
本申请实施例提供的技术方案中,由于上述基础任务几乎完整了涵盖了人类对自然语言理解的知识广度,因此搜集大量的资料和数据,对以上的基础的九大任务总结出特定的数据格式,收集下载相关的数据集,找到大量的相关任务描述。把这些有着较为成熟的知识体系的任务的信息进行整理,作为线下任务匹配库,在通过上面流程生成了任务提示信息的前提下,只需要通过ChatGPT一个简单的指令,就可以准确高效的映射到线下任务库中的基础任务中,并利用匹配到的基础任务对应的任务数据库对任务处理模型进行微调训练,从而实现任务的有针对性的迭代和优化。
综上,本申请实施例中提出的任务挖掘以及任务处理方法可以为产品侧带来以下五个方面的提升:(1)提高产品的智能化水平:基于大规模预训练模型的任务挖掘可以利用大规模数据进行预训练,从而获得较好的泛化能力和精度,可以为产品带来更高的智能化水平,提高产品的竞争力。(2)提升产品的用户体验:基于大规模预训练模型的任务挖掘可以通过对用户的需求进行分析,提供更加个性化和精准的服务,从而提升产品的用户体验,增加用户的黏性和忠诚度。(3)降低产品的开发成本:基于大规模预训练模型的任务挖掘可以利用已有的预训练模型和参数,减少产品的开发成本和时间,同时可以通过微调模型和参数,快速地适应不同的任务和应用。(4)提高产品的数据安全性:基于大规模预训练模型的任务挖掘可以利用已有的预训练模型和参数,减少对用户数据的依赖,从而提高产品的数据安全性和隐私保护能力。(5)增加产品的可扩展性:基于大规模预训练模型的任务挖掘可以通过增加数据量和改变模型参数等方式进行扩展和改进,以适应不同的任务和应用,从而增加产品的可扩展性和适应性。总之,基于大规模预训练模型的任务挖掘可以为产品侧带来更高的智能化水平、更好的用户体验、更低的开发成本和更高的数据安全性,可以帮助产品在市场竞争中获得更大的优势。
下面对于本申请实施例中提到的要点提取模型以及任务处理模型的优化方式进行概述。(1)模型结构优化:可以通过改变模型结构、增加层数、调整参数等方式来优化模型,提高模型的准确性和泛化能力。(2)数据增强和清洗:可以通过增加数据量、改进数据质量、增加数据多样性等方式来优化数据,提高模型的泛化能力和效果。(3)预训练策略优化:可以通过改变预训练策略、增加预训练数据、调整预训练参数等方式来优化预训练过程,提高模型的泛化能力和效果。例如,Lora、p-tuning等方法,加入更多的数据,尝试不同的损失函数,评估指标。(4)微调策略优化:可以通过改变微调策略、增加微调数据、调整微调参数等方式来优化微调过程,提高模型的准确性和效率,例如增加特定任务的数据质量,指令学习调整模型,使用更好的正则化方法等。(5)模型压缩和加速:可以通过模型压缩、剪枝、量化、加速等方式来优化模型的大小和速度,提高模型的效率和可用性,模型压缩与量化是指通过压缩与量化的技术帮助减小模型大小和加速模型推理,从而降低模型在存储和计算方面的成本。模型压缩通常包括剪枝、低秩分解、知识蒸馏等,模型量化指将模型中的浮点数参数转换为定点数或整数参数,从而减小模型大小和加速模型推理。总之,针对大规模预训练模型的任务挖掘,可以从模型结构优化、数据增强和清洗、预训练策略优化、微调策略优化和模型压缩和加速等方向进行优化,以提高模型的准确性、泛化能力、效率和可用性。
请参考图8,其示出了本申请另一个实施例提供的任务处理方法的流程图。该方法各步骤的执行主体可以是上文介绍的终端设备10,也可以是服务器20。在下文方法实施例中,为了便于描述,仅以各步骤的执行主体为“计算机设备”进行介绍说明。该方法可以包括如下几个步骤(810~860)中的至少一个步骤:
步骤810,从第一任务的描述信息中提取至少一个要点信息。
步骤820,结合第一任务的样例数据,确定第一任务的任务描述信息。
步骤830,确定与第一任务匹配的预定义任务。
在一些实施例中,在上述确定出第一预定义任务之后,任务处理模型中同时保留上次的参数调整数据,根据任务处理模型中上次的参数调整数据,执行下述步骤840。参数调整数据中至少包括上次模型调整对应的第一预定义任务。
步骤840,当前任务处理模型是否已经利用匹配的预定义任务的任务数据库微调过。
若是,则执行步骤860,若否,则执行步骤850。
步骤850,利用匹配的预定义任务的任务数据库对当前任务处理模型进行微调。
步骤860,将任务提示信息输入到任务处理模型中,得到第一任务的处理结果。
下述为本申请装置实施例,可以用于执行本申请方法实施例。对于本申请装置实施例中未披露的细节,请参照本申请方法实施例。
请参考图9,其示出了本申请一个实施例提供的任务处理装置的框图。该装置900可以包括:数据获取模块910、信息提取模块920、信息确定模块930和结果生成模块940。
数据获取模块910,用于获取第一任务的描述信息和样例数据,所述第一任务是与自然语言处理有关的待处理的任务,所述描述信息用于指示所述第一任务的处理需求,所述样例数据用于指示所述第一任务的处理对象。
信息提取模块920,用于从所述描述信息中,提取所述第一任务的至少一个要点信息,所述要点信息用于指示所述第一任务的处理要点。
信息确定模块930,用于根据所述样例数据和所述至少一个要点信息,确定所述第一任务对应的任务提示信息,所述任务提示信息用于表征所述第一任务的处理需求和处理对象。
结果生成模块940,用于通过任务处理模型根据所述任务提示信息,生成所述第一任务的处理结果。
在一些实施例中,所述至少一个要点信息包括以下至少之一:动作信息,用于指示所述第一任务需要完成的操作;目标信息,用于指示所述第一任务期望达到的结果;实体信息,用于指示期望执行所述第一任务的角色;交互方式信息,用于指示用户与所述任务处理模型之间的交互方式;约束限制信息,用于指示在执行所述第一任务时需要遵守的规则或限制条件;异常处理信息,用于指示在执行所述第一任务时遇到的异常情况以及相应的处理方式。
在一些实施例中,所述任务提示信息包括:任务角色信息,用于指示期望执行所述第一任务的角色;任务概述信息,用于指示所述第一任务需要完成的操作和期望达到的结果;任务指令信息,用于指示在规定的要求下,针对采用规定的交互方式提供的所述样例数据进行处理。
在一些实施例中,信息确定模块930,用于将所述样例数据和所述至少一个要点信息填充至任务模板中,得到所述第一任务对应的任务提示信息,所述任务模板用于定义所述任务提示信息的规范化格式。
在一些实施例中,信息提取模块920,用于通过要点提取模型从所述描述信息中,提取所述第一任务的至少一个要点信息,所述要点提取模型是预训练完成的机器学习模型。
在一些实施例中,如图10所示,所述装置还包括任务确定模块950、模型调整模块960。
任务确定模块950,用于根据所述第一任务对应的任务提示信息以及至少一个预定义任务分别对应的任务模板信息,从所述至少一个预定义任务中,确定与所述第一任务相匹配的第一预定义任务;其中,每一个预定义任务对应一种任务类型,所述预定义任务对应的任务模板信息用于表征所述预定义任务对应的任务类型。
模型调整模块960,用于基于所述第一预定义任务对应的任务数据库,对所述任务处理模型的参数进行调整,得到调整后的任务处理模型;其中,所述第一预定义任务对应的任务数据库中包括与所述第一预定义任务有关的模型训练数据。
结果生成模块940,用于通过所述调整后的任务处理模型根据所述任务提示信息,生成所述第一任务的处理结果。
在一些实施例中,所述任务数据库中所述第一预定义任务对应的任务数据库中还包括与所述第一预定义任务有关的模型的模型参数。
模型调整模块960,用于利用所述第一预定义任务对应的任务数据库中包括的与所述第一预定义任务有关的模型训练数据,对所述任务处理模型的参数进行调整,得到所述调整后的任务处理模型;或,将所述第一任务对应的任务提示信息输入到所述任务处理模型中,得到所述任务处理模型的第一输出结果;将所述第一任务对应的任务提示信息输入到所述第一预定义任务有关的模型中,得到所述第一预定义任务有关的模型的第二输出结果;以最小化所述第一输出结果和所述第二输出结果的差值为目标,对所述任务处理模型的参数进行调整,得到所述调整后的任务处理模型。
在一些实施例中,任务确定模块950,用于针对所述至少一个预定义任务中的每一个预定义任务,确定所述第一任务对应的任务提示信息与所述预定义任务对应的任务模板信息之间的匹配度;将所述匹配度的最大值对应的预定义任务,确定为所述第一预定义任务。
在一些实施例中,任务确定模块950,用于计算所述第一任务对应的任务提示信息与所述预定义任务对应的任务模板信息之间的语义相似度;将所述语义相似度确定为所述匹配度;或,通过匹配模型根据所述第一任务对应的任务提示信息和所述预定义任务对应的任务模板信息,确定所述匹配度;其中,所述匹配模型为机器学习模型。
图11示出了本申请另一个示例性实施例提供的计算机设备的结构框图。
通常,计算机设备1100包括有:处理器1101和存储器1102。
处理器1101可以包括一个或多个处理核心,比如4核心处理器、11核心处理器等。处理器1101可以采用DSP(Digital Signal Processing,数字信号处理)、FPGA(FieldProgrammable Gate Array,现场可编程门阵列)、PLA(Programmable Logic Array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1101也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称CPU(Central ProcessingUnit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1101可以在集成有GPU(Graphics Processing Unit,图像处理器),GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1101还可以包括AI处理器,该AI处理器用于处理有关机器学习的计算操作。
存储器1102可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是有形的和非暂态的。存储器1102还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1102中的非暂态的计算机可读存储介质存储有计算机程序,该计算机程序由处理器1101加载并执行以实现上述各方法实施例提供的方法。
本领域技术人员可以理解,图11中示出的结构并不构成对计算机设备1100的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
在示例性实施例中,还提供了一种计算机可读存储介质,所述存储介质中存储有计算机程序,所述计算机程序在被处理器执行时以实现上述方法。
可选地,该计算机可读存储介质可以包括:ROM(Read-Only Memory,只读存储器)、RAM(Random Access Memory,随机存取存储器)、SSD(Solid State Drives,固态硬盘)或光盘等。其中,随机存取存储器可以包括ReRAM(Resistance Random Access Memory,电阻式随机存取存储器)和DRAM(Dynamic Random Access Memory,动态随机存取存储器)。
在示例性实施例中,还提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序存储在计算机可读存储介质中。计算机设备的处理器从所述计算机可读存储介质中读取所述计算机程序,所述处理器执行所述计算机程序,使得所述计算机设备执行上述方法。
需要说明的是,本申请中相关数据(例如样例数据、描述信息等等)收集处理在实例应用时应该严格根据相关国家法律法规的要求,获取个人信息主体的知情同意或单独同意,并在法律法规及个人信息主体的授权范围内,开展后续数据使用及处理行为。
应当理解的是,在本文中提及的“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。另外,本文中描述的步骤编号,仅示例性示出了步骤间的一种可能的执行先后顺序,在一些其它实施例中,上述步骤也可以不按照编号顺序来执行,如两个不同编号的步骤同时执行,或者两个不同编号的步骤按照与图示相反的顺序执行,本申请实施例对此不作限定。
以上所述仅为本申请的示例性实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (13)
1.一种任务处理方法,其特征在于,所述方法包括:
获取第一任务的描述信息和样例数据,所述第一任务是与自然语言处理有关的待处理的任务,所述描述信息用于指示所述第一任务的处理需求,所述样例数据用于指示所述第一任务的处理对象;
从所述描述信息中,提取所述第一任务的至少一个要点信息,所述要点信息用于指示所述第一任务的处理要点;
根据所述样例数据和所述至少一个要点信息,确定所述第一任务对应的任务提示信息,所述任务提示信息用于表征所述第一任务的处理需求和处理对象;
通过任务处理模型根据所述任务提示信息,生成所述第一任务的处理结果。
2.根据权利要求1所述的方法,其特征在于,所述至少一个要点信息包括以下至少之一:
动作信息,用于指示所述第一任务需要完成的操作;
目标信息,用于指示所述第一任务期望达到的结果;
实体信息,用于指示期望执行所述第一任务的角色;
交互方式信息,用于指示用户与所述任务处理模型之间的交互方式;
约束限制信息,用于指示在执行所述第一任务时需要遵守的规则或限制条件;
异常处理信息,用于指示在执行所述第一任务时遇到的异常情况以及相应的处理方式。
3.根据权利要求2所述的方法,其特征在于,所述任务提示信息包括:
任务角色信息,用于指示期望执行所述第一任务的角色;
任务概述信息,用于指示所述第一任务需要完成的操作和期望达到的结果;
任务指令信息,用于指示在规定的要求下,针对采用规定的交互方式提供的所述样例数据进行处理。
4.根据权利要求1所述的方法,其特征在于,所述根据所述样例数据和所述至少一个要点信息,确定所述第一任务对应的任务提示信息,包括:
将所述样例数据和所述至少一个要点信息填充至任务模板中,得到所述第一任务对应的任务提示信息,所述任务模板用于定义所述任务提示信息的规范化格式。
5.根据权利要求1所述的方法,其特征在于,所述从所述描述信息中,提取所述第一任务的至少一个要点信息,包括:
通过要点提取模型从所述描述信息中,提取所述第一任务的至少一个要点信息,所述要点提取模型是预训练完成的机器学习模型。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述根据所述样例数据和所述至少一个要点信息,确定所述第一任务对应的任务提示信息之后,还包括:
根据所述第一任务对应的任务提示信息以及至少一个预定义任务分别对应的任务模板信息,从所述至少一个预定义任务中,确定与所述第一任务相匹配的第一预定义任务;其中,每一个预定义任务对应一种任务类型,所述预定义任务对应的任务模板信息用于表征所述预定义任务对应的任务类型;
基于所述第一预定义任务对应的任务数据库,对所述任务处理模型的参数进行调整,得到调整后的任务处理模型;其中,所述第一预定义任务对应的任务数据库中包括与所述第一预定义任务有关的模型训练数据;
所述通过任务处理模型根据所述任务提示信息,生成所述第一任务的处理结果,包括:
通过所述调整后的任务处理模型根据所述任务提示信息,生成所述第一任务的处理结果。
7.根据权利要求6所述的方法,其特征在于,所述第一预定义任务对应的任务数据库中还包括与所述第一预定义任务有关的模型的模型参数;
所述基于所述第一预定义任务对应的任务数据库,对所述任务处理模型的参数进行调整,得到调整后的任务处理模型,包括:
利用所述第一预定义任务对应的任务数据库中包括的与所述第一预定义任务有关的模型训练数据,对所述任务处理模型的参数进行调整,得到所述调整后的任务处理模型;
或,
将所述第一任务对应的任务提示信息输入到所述任务处理模型中,得到所述任务处理模型的第一输出结果;将所述第一任务对应的任务提示信息输入到所述第一预定义任务有关的模型中,得到所述第一预定义任务有关的模型的第二输出结果;以最小化所述第一输出结果和所述第二输出结果的差值为目标,对所述任务处理模型的参数进行调整,得到所述调整后的任务处理模型。
8.根据权利要求6所述的方法,其特征在于,所述根据所述第一任务对应的任务提示信息以及至少一个预定义任务分别对应的任务模板信息,从所述至少一个预定义任务中,确定与所述第一任务相匹配的第一预定义任务,包括:
针对所述至少一个预定义任务中的每一个预定义任务,确定所述第一任务对应的任务提示信息与所述预定义任务对应的任务模板信息之间的匹配度;
将所述匹配度的最大值对应的预定义任务,确定为所述第一预定义任务。
9.根据权利要求8所述的方法,其特征在于,所述确定所述第一任务对应的任务提示信息与所述预定义任务对应的任务模板信息之间的匹配度,包括:
计算所述第一任务对应的任务提示信息与所述预定义任务对应的任务模板信息之间的语义相似度;将所述语义相似度确定为所述匹配度;
或,通过匹配模型根据所述第一任务对应的任务提示信息和所述预定义任务对应的任务模板信息,确定所述匹配度;其中,所述匹配模型为机器学习模型。
10.一种任务处理装置,其特征在于,所述装置包括:
数据获取模块,用于获取第一任务的描述信息和样例数据,所述第一任务是与自然语言处理有关的待处理的任务,所述描述信息用于指示所述第一任务的处理需求,所述样例数据用于指示所述第一任务的处理对象;
信息提取模块,用于从所述描述信息中,提取所述第一任务的至少一个要点信息,所述要点信息用于指示所述第一任务的处理要点;
信息确定模块,用于根据所述样例数据和所述至少一个要点信息,确定所述第一任务对应的任务提示信息,所述任务提示信息用于表征所述第一任务的处理需求和处理对象;
结果生成模块,用于通过任务处理模型根据所述任务提示信息,生成所述第一任务的处理结果。
11.一种计算机设备,其特征在于,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述计算机程序由所述处理器加载并执行以实现如权利要求1至9任一项所述的方法。
12.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序由处理器加载并执行以实现如权利要求1至9任一项所述的方法。
13.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序,所述计算机程序存储在计算机可读存储介质中,处理器从所述计算机可读存储介质读取并执行所述计算机程序,以实现如权利要求1至9任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310754367.1A CN116956934A (zh) | 2023-06-25 | 2023-06-25 | 任务处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310754367.1A CN116956934A (zh) | 2023-06-25 | 2023-06-25 | 任务处理方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116956934A true CN116956934A (zh) | 2023-10-27 |
Family
ID=88455672
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310754367.1A Pending CN116956934A (zh) | 2023-06-25 | 2023-06-25 | 任务处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116956934A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117762499A (zh) * | 2024-02-21 | 2024-03-26 | 腾讯科技(深圳)有限公司 | 任务指令构建方法和任务处理方法 |
-
2023
- 2023-06-25 CN CN202310754367.1A patent/CN116956934A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117762499A (zh) * | 2024-02-21 | 2024-03-26 | 腾讯科技(深圳)有限公司 | 任务指令构建方法和任务处理方法 |
CN117762499B (zh) * | 2024-02-21 | 2024-05-28 | 腾讯科技(深圳)有限公司 | 任务指令构建方法和任务处理方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN112131366B (zh) | 训练文本分类模型及文本分类的方法、装置及存储介质 | |
US12001964B2 (en) | Artificial intelligence advisory systems and methods for behavioral pattern matching and language generation | |
CN112131393A (zh) | 一种基于bert和相似度算法的医疗知识图谱问答***构建方法 | |
WO2023029506A1 (zh) | 病情分析方法、装置、电子设备及存储介质 | |
CN112015917A (zh) | 基于知识图谱的数据处理方法、装置及计算机设备 | |
US11532387B2 (en) | Identifying information in plain text narratives EMRs | |
BR112021012457A2 (pt) | Linguagem de solução natural | |
CN111651579B (zh) | 信息查询方法、装置、计算机设备和存储介质 | |
US20220415203A1 (en) | Interface to natural language generator for generation of knowledge assessment items | |
CN116956934A (zh) | 任务处理方法、装置、设备及存储介质 | |
Jing et al. | Knowledge-enhanced attentive learning for answer selection in community question answering systems | |
Berge et al. | Combining unsupervised, supervised and rule-based learning: the case of detecting patient allergies in electronic health records | |
CN113657086B (zh) | 词语处理方法、装置、设备及存储介质 | |
CN111339252A (zh) | 一种搜索方法、装置及存储介质 | |
Gupta et al. | Fundamentals Of Chat GPT For Beginners Using AI | |
CN114139546A (zh) | 使用语法树集合之间的差异和语义树集合之间的差异制定问题 | |
EP3901875A1 (en) | Topic modelling of short medical inquiries | |
CN117473057A (zh) | 问答处理方法、***、设备和存储介质 | |
CN117149982A (zh) | 基于人工智能的问答处理方法、装置、设备及存储介质 | |
Wulff | Physics language and language use in physics—What do we know and how AI might enhance language-related research and instruction | |
CN116956869A (zh) | 文本标准化方法、装置、电子设备及存储介质 | |
US11880664B2 (en) | Identifying and transforming text difficult to understand by user | |
Huang et al. | Inferring Stressors from Conversation: Towards an Emotional Support Robot Companion | |
Carl | Translation norms, translation behavior, and continuous vector space models | |
CN113314236A (zh) | 一种面向高血压的智能问答*** |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication |