CN114386390B - 一种数据处理方法、装置、计算机设备及存储介质 - Google Patents

一种数据处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN114386390B
CN114386390B CN202111435202.5A CN202111435202A CN114386390B CN 114386390 B CN114386390 B CN 114386390B CN 202111435202 A CN202111435202 A CN 202111435202A CN 114386390 B CN114386390 B CN 114386390B
Authority
CN
China
Prior art keywords
preset
model
statement
sentence
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111435202.5A
Other languages
English (en)
Other versions
CN114386390A (zh
Inventor
谭瑞
吴海英
王洪斌
蒋宁
权佳成
陈旭阳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mashang Consumer Finance Co Ltd
Original Assignee
Mashang Consumer Finance Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mashang Consumer Finance Co Ltd filed Critical Mashang Consumer Finance Co Ltd
Publication of CN114386390A publication Critical patent/CN114386390A/zh
Application granted granted Critical
Publication of CN114386390B publication Critical patent/CN114386390B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例公开了一种数据处理方法、装置、计算机设备及存储介质，本申请实施例通过从待训练文本中确定预设语句；将待训练文本作为训练数据以及预设语句作为标签数据输入至第一预设模型进行迭代训练，输出第一目标语句向量；基于预设自注意力模型从待训练文本中选取上文摘要语句集和下文摘要语句集；将上文摘要语句集和下文摘要语句集作为训练数据以及预设语句作为标签数据输入至第二预设模型进行迭代训练，输出第二目标语句向量；根据第一目标语句向量和第二目标语句向量的第一差异对预设自注意力模型的模型参数进行更新，直至确定第一模型收敛；通过第一模型收敛后的预设自注意力模型从待处理文本中选取摘要数据。极大提升了数据处理的效率。

Description

一种数据处理方法、装置、计算机设备及存储介质
相关申请的交叉引用
本申请要求于2021年11月25日提交的申请号为2021114155525的中国申请的优先权，其在此处于所有目的通过引用将其全部内容并入本文。
技术领域
本申请涉及自然语言处理技术领域，具体涉及一种数据处理方法、装置、计算机设备及存储介质。
背景技术
自动文摘的过程主要是总结文本文档中心意思，目的是创建包含原始文档主要内容的摘要。在新闻、金融、医疗等领域具有意义重大的应用场景。特别是现在的互联网信息时代，信息过载使得人们迫切地希望能在最短的时间内了解最多且最有用的文字信息，文本摘要自动生成技术使得这一项需求得以实现。
在现有技术中，自动文本摘要技术可以按照一定的权重，从原文中抽取能表达文章中心思想或者文章中比较重要的一条或几条句子，然后组合起来形成摘要。在对现有技术的研究和实践过程中，本申请的发明人发现，现有技术中，往往需要大量的人力预先对文本进行人工标注之后，才能实现自动文本摘要技术，导致成本较高且处理的周期较长，数据处理的效率较低。
发明内容
本申请实施例提供一种数据处理方法、装置、计算机设备及存储介质，可以提升数据处理的效率。
为解决上述技术问题，本申请实施例提供以下技术方案：
一种数据处理方法，包括：
从待训练文本中确定预设语句，所述待训练文本包括多条语句；
将作为训练数据的所述待训练文本以及作为标签数据的所述预设语句输入至第一预设模型进行迭代训练，输出第一目标语句向量；
基于预设自注意力模型从所述待训练文本中选取上文摘要语句集和下文摘要语句集；
将作为训练数据的所述上文摘要语句集和下文摘要语句集以及作为标签数据的所述预设语句输入至第二预设模型进行迭代训练，输出第二目标语句向量；
根据所述第一目标语句向量和第二目标语句向量的第一差异对所述预设自注意力模型的模型参数进行更新，并返回基于预设自注意力模型从所述待训练文本中选取上文摘要语句集和下文摘要语句集，直至根据所述第一差异确定第一模型收敛。
一种数据处理装置，包括：
确定单元，用于从待训练文本中确定预设语句，所述待训练文本包括多条语句；
第一输入单元，用于将作为训练数据的所述待训练文本以及作为标签数据的所述预设语句输入至第一预设模型进行迭代训练，输出第一目标语句向量；
第一选取单元，用于基于预设自注意力模型从所述待训练文本中选取上文摘要语句集和下文摘要语句集；
第二输入单元，用于将作为训练数据的所述上文摘要语句集和下文摘要语句集以及作为标签数据的所述预设语句输入至第二预设模型进行迭代训练，输出第二目标语句向量；
第一更新单元，用于根据所述第一目标语句向量和第二目标语句向量的第一差异对所述预设自注意力模型的模型参数进行更新，并返回基于预设自注意力模型从所述待训练文本中选取上文摘要语句集和下文摘要语句集，直至根据所述第一差异确定第一模型收敛。
在一些实施例中，所述确定单元，包括：
获取子单元，用于获取所述待训练文本的语句数量；
确定子单元，用于根据所述语句数量以及预设比例确定目标序号；
选取子单元，用于从所述待训练文本中选取目标序号上的语句确定为预设语句。
在一些实施例中，所述选取子单元，用于：
获取所述待训练文本中目标序号对应的第一语句；
在检测到所述第一语句的字符数量大于预设字符数量的情况下，将所述第一语句确定为预设语句；
在检测到所述第一语句的字符数量不大于预设字符数量的情况下，从小于所述目标序号的语句中选取序号最大且字符数量大于预设字符数量的第二语句确定为预设语句。
在一些实施例中，所述第一预设模型为第一预设编解码模型，所述第一输入单元，用于：
将所述待训练文本输入第一预设编解码模型，输出对应的第三语句；
将所述预设语句作为标签数据，计算所述第三语句的对应的编码向量和所述预设语句对应的编码向量之间的第二差异；
基于所述第二差异对所述第一预设编解码模型的模型参数进行迭代调节，直至根据所述第二差异确定第二模型收敛；
将所述待训练文本输入第二模型收敛后的第一预设编码模型，输出对应的第四语句，并将所述第四语句对应的编码向量确定为第一目标语句向量。
在一些实施例中，所述第二预设模型为第二预设编解码模型，所述第二输入单元，用于：
将所述上文摘要语句集和下文摘要语句集输入第二预设编解码模型，输出对应的第五语句；
将所述预设语句作为标签数据，计算所述第五语句的对应的编码向量和所述预设语句对应的编码向量之间的第三差异；
基于所述第三差异对所述第二预设编解码模型的模型参数进行迭代调节，直至根据所述第三差异确定第三模型收敛；
将所述上文摘要语句集和下文摘要语句集输入第三模型收敛后的第二预设编码模型，输出对应的第六语句，并将所述第六语句对应的编码向量确定为第二目标语句向量。
在一些实施例中，所述装置，还包括第二选取单元，用于：
通过第一模型收敛后的预设自注意力模型从待处理文本中选取目标上文摘要语句集和目标下文摘要语句集作为摘要数据。
在一些实施例中，所述装置，还包括第一分类处理单元，用于：
获取序号小于目标序号的语句对应的第一中间向量；
将所述第一中间向量输入至第一预设分类模型，输出第一分类向量；
将所述预设语句作为分类标签数据，计算所述第一分类向量和所述预设语句对应的编码向量之间的第四差异；
基于所述第四差异对所述第一预设分类模型的模型参数进行迭代调节，直至根据所述第四差异确定第四模型收敛；
将所述第一中间向量输入第四模型收敛的第一预设分类模型，输出对应的第一目标分类向量。
在一些实施例中，所述装置，还包括第二分类处理单元，用于：
获取上文摘要语句集中的语句对应的第二中间向量；
将所述第二中间向量输入至第二预设分类模型，输出第二分类向量；
将所述预设语句作为分类标签数据，计算所述第二分类向量和所述预设语句对应的编码向量之间的第五差异；
基于所述第五差异对所述第二预设分类模型的模型参数进行迭代调节，直至根据所述第五差异确定第五模型收敛；
将所述第二中间向量输入第五模型收敛的第二预设分类模型，输出对应的第二目标分类向量；
第二更新单元，用于根据所述第一目标分类向量和第二目标分类向量的第六差异对第一模型收敛后的预设自注意力模型的模型参数进行分类更新，得到分类更新后的预设自注意力模型；
第三更新单元，用于通过分类更新后的预设自注意力模型更新上文摘要语句集，并返回执行获取上文摘要语句集中的语句对应的第二中间向量，直至根据所述第六差异确定第六模型收敛；
所述第二选取单元，还用于通过第六模型收敛后的预设自注意力模型从待处理文本中选取目标上文摘要语句集和目标下文摘要语句集作为摘要数据。
在一些实施例中，所述第一选取单元，包括：
分割子单元，用于基于所述预设语句将所述待训练文本分割为上文语句集和下文语句集；
第一选取子单元，用于根据预设自注意力模型从所述上文语句集中选取上文摘要语句集；
第二选取子单元，用于根据所述预设自注意力模型从所述下文语句集和预设语句中选取下文摘要语句集。
在一些实施例中，所述第一选取子单元，用于：
基于所述预设自注意力模型输出所述上文语句集中每一语句的权重值；
按照所述权重值由大到小的选取顺序，选取权重值之和大于预设权重值的语句组成上文摘要语句集。
一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行上述数据处理方法中的步骤。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据处理方法中的步骤。
一种计算机程序产品或计算机程序，所述计算机程序产品或计算机程序包括计算机指令，所述计算机指令存储在存储介质中。计算机设备的处理器从存储介质读取所述计算机指令，处理器执行所述计算机指令，使得所述计算机上述数据处理方法中的步骤。
本申请实施例通过从待训练文本中确定预设语句；将作为训练数据的待训练文本以及作为标签数据的预设语句输入至第一预设模型进行迭代训练，输出第一目标语句向量；基于预设自注意力模型从待训练文本中选取上文摘要语句集和下文摘要语句集；将上文摘要语句集和下文摘要语句集作为训练数据以及预设语句作为标签数据输入至第二预设模型进行迭代训练，输出第二目标语句向量；根据第一目标语句向量和第二目标语句向量的第一差异对预设自注意力模型的模型参数进行更新，直至根据第一差异确定第一模型收敛；通过第一模型收敛后的预设自注意力模型从待处理文本中选取摘要数据。相对于需要人力预先对文本进行人工标注的方案而言，本申请可以以自监督进行摘要选取的训练，通过训练后的自注意力模型选取更为准确的摘要，极大提升了数据处理的效率。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的数据处理***的场景示意图；
图2a是本申请实施例提供的数据处理方法的流程示意图；
图2b为本申请实施例提供的编解码模型的框架示意图；
图3是本申请实施例提供的数据处理方法的另一流程示意图；
图4为本申请实施例提供的数据处理***的框架示意图；
图5是本申请实施例提供的数据处理装置的结构示意图；
图6是本申请实施例提供的服务器的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本发明实施例提供一种数据处理方法、装置、计算机设备及存储介质。其中，该数据处理方法可以应用于数据处理装置中。该数据处理装置可以集成在计算机设备中，该计算机设备可以是具有数据处理功能的终端。其中，该终端可以是智能手机、平板电脑、笔记本电脑、台式计算机以及智能手表等，但并不局限于此。该计算机设备也可以是服务器，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式***，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、网络加速服务(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
请参阅图1，为本申请提供的数据处理的场景示意图；如图所示，计算机设备采集待训练文本，该待训练文本可以为客户和公司客服对话生成的文本，从待训练文本中确定预设语句，该待训练文本包括多条语句；将该待训练文本作为训练数据以及该预设语句作为标签数据输入至第一预设模型进行迭代训练，输出第一目标语句向量；基于预设自注意力模型从该待训练文本中选取上文摘要语句集和下文摘要语句集；将该上文摘要语句集和下文摘要语句集作为训练数据以及该预设语句作为标签数据输入至第二预设模型进行迭代训练，输出第二目标语句向量；根据该第一目标语句向量和第二目标语句向量的第一差异对该预设自注意力模型的模型参数进行更新，并返回基于预设自注意力模型从该待训练文本中选取上文摘要语句集和下文摘要语句集，直至根据第一差异确定第一模型收敛；通过第一模型收敛后的预设自注意力模型从待处理文本中选取目标上文摘要语句集和目标下文摘要语句集作为摘要数据。
需要说明的是，图1所示的数据处理的场景示意图仅仅是一个示例，本申请实施例描述的数据处理场景是为了更加清楚地说明本申请的技术方案，并不构成对于本申请提供的技术方案的限定。本领域普通技术人员可知，随着数据处理的演变和新业务场景的出现，本申请提供的技术方案对于类似的技术问题，同样适用。
以下分别进行详细说明。
在本实施例中，将从数据处理装置的角度进行描述，该数据处理装置具体可以集成在具备储存单元并安装有微处理器而具有运算能力的服务器中。
请参阅图2a，图2a是本申请实施例提供的数据处理方法的流程示意图。该数据处理方法包括：
在步骤101中，从待训练文本中确定预设语句。
其中，该待训练文本中可以包括多个语句，每一语句可以为一句话，该训练文本可以为一个章节的语句或者由多个对话语句形成的文本集。在本申请实施例的场景，可以为客服和用户进行对话，记录彼此的对话内容形成的待训练文本，例如，当用户连线客服之后，用户提出问题，而客服解答处理用户问题时，可以将彼此问题和回答以多个语句形成待训练文本的形式记录下来。
该待训练文本可以反映用户问题和诉求、解决方案和安抚用户的手段，但是由于该待训练文本中往往存在大量的无用语句，例如谢谢、不客气以及你好呀等，所以往往需要用户将待训练文本中的重要语句以摘要数据的形式进行记录，而在实际场景中，客服每日解决的用户进线量很大，如果需要手工撰写摘要数据，将导致大量客服资源的占用，另外，手工撰写的标准不一，还容易出现错词漏句等情况，而简单的通过自动文本摘要技术需要大量的人力预先对文本进行人工标注，将会导致成本较高且处理的周期较长等问题。
本申请实施例为了解决上述问题，提供以自监督训练的方式来生成摘要数据，具体请继续参阅以下步骤，首先，可以从待训练文本中确定预设语句，该预设语句，即标签语句，该预设语句一般可以选取整个待训练文本三分之二位置左右的语句，且该预设语句一般需要字符长度大于5个字符，避免将一些无用语句作为标签语句，例如将好的、谢谢、稍等或者您好等语句作为标签语句。
在一些实施方式中，从待训练文本中确定预设语句，可以包括：
(1)获取该待训练文本的语句数量；
(2)根据该语句数量以及预设比例确定目标序号；
(3)从该待训练文本中选取目标序号上的语句确定为预设语句。
其中，获取该待训练文本的语句数量，例如10句，该预设比例即用来抽取预设语句的语句位置，例如为五分之四或者三分之二，以此，可以根据该语句数量以及预设比例确定抽取语句的语句位置的目标序号，例如可以将语句数量10乘以预设比例五分之四，得出目标序号为8，进而从该待训练文本中选取第八句上的语句作为预设语句。
在一些实施方式中，从该待训练文本中选取目标序号上的语句确定为预设语句，可以包括
(1.1)获取该待训练文本中目标序号对应的第一语句；
(1.2)在检测到该第一语句的字符数量大于预设字符数量时的情况下，将该第一语句确定为预设语句，将该第一语句确定为预设语句；
(1.3)在当检测到该第一语句的字符数量不大于预设字符数量的情况下，从小于该目标序号的语句中选取序号最大且字符数量大于预设字符数量的第二语句确定为预设语句。
其中，为了避免该预设语句的字符长度过短导致影响后续的处理，在确定目标序号之后，可以获取该待训练文本中目标序号对应的第一语句，检测该第一语句的字符数量是否大于预设字符数量，该预设字符数量可以为5个、6个的等，当检测到该第一语句的字符数量大于预设字符数量时，说明该第一预设没满足条件，将该第一语句确定为预设语句。相反的，当检测到该第一语句的字符数量不大于预设字符数量时，基于目标序列依次往前选取，将第一个满足字符数量大于预设字符数量的第二语句确定为预设语句。
在步骤102中，将作为训练数据的待训练文本以及作为标签数据的预设语句输入至第一预设模型进行迭代训练，输出第一目标语句向量。
自然语言处理(Nature Language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法。自然语言处理是一门融语言学、计算机科学、数学于一体的科学。因此，这一领域的研究将涉及自然语言，即人们日常使用的语言，所以它与语言学的研究有着密切的联系。自然语言处理技术通常包括文本处理、语义理解、机器翻译、机器人问答、知识图谱等技术。
本申请实施例提供的方案涉及人工智能的自然语言处理等技术，具体通过如下实施例进行说明：
该第一预设模型可以为深度学习的模型框架，例如编码-解码(Encoder-Decoder)模型，该模型也被叫做Sequence to Sequence learning(字符串序列至字符串序列学习)。所谓编码，就是将输入序列转化成一个固定长度的向量；解码，就是将之前生成的固定向量再转化成输出序列。可以理解为在给定一个字符串序列后，希望得到与之对应的另一个字符序列，两个字符序列之间可以是语义上的对应关系、预测关系或者是一种概括关系。
在现在的深度学习领域当中，通常的做法是将输入的源Sequence编码到一个中间的context当中，这个context是一个特定长度的编码(可以理解为一个向量)，然后再通过这个context还原成一个输出的目标Sequence。
如果用人的思维来看，就是我们先看到源Sequence，将其读一遍，然后在我们大脑当中就记住了这个源Sequence，并且存在大脑的某一个位置上，形成我们自己的记忆(对应Context)，然后我们再经过思考，将这个大脑里的东西转变成输出，然后写下来。
那么我们大脑读入的过程叫做Encoder，即将输入的东西变成我们自己的记忆，放在大脑当中，而这个记忆可以叫做Context(语境)，然后我们再根据这个Context，转化成答案写下来，这个写的过程叫做Decoder。其实就是编码-存储-解码的过程。
而对应的，大脑怎么读入(Encoder怎么工作)有一个特定的方式，怎么记忆(Context)有一种特定的形式，怎么转变成答案(Decoder怎么工作)又有一种特定的工作方式，特定的工作方式需要大量的训练学习得到。
请一并参阅图2b所示，图2b为本申请实施例提供的编解码模型的框架示意图，本申请实施例中的Encoder-Decoder框架20可以这么直观地去理解：可以把它看作适合处理由一个语句集(X1)生成另外一个句子(预测的预设语句)的通用处理模型。
以此，需要说明的是，上述作为标签数据的预设语句为所述训练文本的标签数据，也即，所述预设语句作为每个训练文本的标签数据。本申请实施例可以将该待训练文本作为语句集输入至第一预设模型中进行训练，输出预测的预设语句，根据预测的预设语句与真实的预设语句之间的差异迭代训练该第一预设模型，直至收敛，该收敛条件可以为该差异收敛或者训练的次数达到一定数量，例如训练达到1000次，最后以收敛的第一预设模型输出相应的最终预测的预设语句，该最终预测的预设语句为经过上下文语句预测出来的语句，为了实现后续的比较，可以将该最终预测的预设语句对应的编码向量确定为第一目标语句向量，该编码向量可以为该字符编码(英语：Character encoding)也称字集码，是把字符集中的字符编码为指定集合中某一对象(例如：比特模式、自然数序列、8位组或者电脉冲)，具体的可以用ASCII(美国信息交换标准代码)将最终预测的预设语句转化为第一目标语句向量，以实现后续的比较。
在一些实施方式中，以该第一预设模型为第一预设编解码模型进行说明，将待训练文本作为训练数据以及预设语句作为标签数据输入至第一预设模型进行迭代训练，输出第一目标语句向量的步骤，可以包括：
(1)将该待训练文本输入第一预设编解码模型，输出对应的第三语句；
(2)将该预设语句作为标签数据，计算该第三语句的对应的编码向量和该预设语句对应的编码向量之间的第二差异；
(3)基于该第二差异对该第一预设编解码模型的模型参数进行迭代调节，直至该第二模型收敛；
(4)将该待训练文本输入第二模型收敛后的第一预设编码模型，输出对应的第四语句，并将该第四语句对应的编码向量确定为第一目标语句向量。
其中，可以将该待训练文本输入第一预设编解码模型，即encoder-decoder结构模型，首先encoder层可以包括char_embedding(字符向量)和sentence_embedding(句子向量)以及position_embedding(位置向量)，将每一句子的多个字符串合并(concate)进而encoder，该encoder采用BiLSTM结构，该BiLSTM结构为Bi-directional Long Short-TermMemory的缩写，是由前向LSTM与后向LSTM组合而成，用于做上下有关系的序列标注任务，将该待训练文本中每一句子表达为中间向量。
在encoder和decoder之间采用bridge(桥)层进行过渡，用于更好的过渡到decoder层，decoder层将中间向量解码为预测的第三语句，将之前的预设语句作为标签数据，本申请实施例可以训练以上下文来表达预设语句的学习，以此，计算该预测的第三语句对应的编码向量与该预设语句对应的编码向量之间的第二差异，在一实施方式中，该编码向量之间的第二差异可以为计算两者之间的欧式距离，该欧式距离越大，说明预测的第三语句和预设语句差别越大，两者越不接近。该欧式距离越小，说明预测第三语句和预测语句差别越小，两者越接近。
进一步的，可以基于该第二差异对该第一预设编码模型的模型参数调节，该模型参数为预先配置的，该模型参数可以随着学习的进行而越来越准确，最终实现可以通过待训练文本预测到准确的预测语句，以此，可以根据该第二差异不断对第一预设编码模型训练，直至该第二差异开始收敛，即代表为第二模型收敛，说明该第一预设编解码模型训练完成，最后将该待训练文本输入至第二模型收敛的第一预设编解码模型，可以输出最终预测的第四语句，进而可以将该第四语句对应的编解码向量确定为第一目标语句向量，该第一目标语句向量为通过上下文语句预测得到的向量。
在一实施方式中，可以通过以下损失函数计算第二差异来实现对第一预设编码模型的训练：
L_(G_context)＝-Σlogp(um|u≠m；encocontext)
其中，该L_(G_context)即为第二差异，该um即为预设语句的编码向量，该encocontext为上下文预测的预设语句的编码向量。
在步骤103中，基于预设自注意力模型从待训练文本中选取上文摘要语句集和下文摘要语句集。
其中，该预设自注意力模型为模拟的是人脑的注意力模型，举个例子来说，当我们观赏一幅画时，虽然我们可以看到整幅画的全貌，但是在我们深入仔细地观察时，其实眼睛聚焦的就只有很小的一块，这个时候人的大脑主要关注在这一小块图案上，也就是说这个时候人脑对整幅图的关注并不是均衡的，是有一定的权重区分的。
本申请实施例中可以以预设语句作为分割点，将待训练文本分为上文部分和下文部分，可以从上文部分选取上文摘要语句集和从下文部分选取下文摘要语句集，具体可以通过预设自注意力模型从上文部分的每一句子赋值相应的权重，该权重越大，说明该句子表达的信息越多，该权重越小，说明该句子表达的信息越少，以此，可以从上文部分选取权重较大的部分句子作为上文摘要语句集，同理，使用上述方法从下文部分选取下文摘要语句集，此处不做具体赘述，由于此时该预设自注意力模型目前只是单纯从一些语义上选取上文摘要语句集和下文摘要语句集，并没有考虑到上下文的表达和关系，此时的上文摘要语句集和下文摘要语句集是不准确的，所以还需要进行调整，具体请具体参阅以下实施例。
在一些实施方式中，该基于预设自注意力模型从待训练文本中选取上文摘要语句集和下文摘要语句集的步骤，可以包括：
(1)基于该预设语句将该待训练文本分割为上文语句集和下文语句集；
(2)根据预设自注意力模型从该上文语句集中选取上文摘要语句集；
(3)根据该预设自注意力模型从该下文摘要语句集和预设语句中选取下文摘要语句集。
其中，可以基于该预设语句将该待训练文本分割为上文语句集和下文语句集，之所以需要分为上文语句集和下文语句集进行摘要选取，是因为如果全文选取摘要是为了避免上文语句集或者下文语句集中的语句权重偏向，导致摘要只取某一块的语句而导致记录不全面。
以此，根据预设自注意力模型从该上文语句集中对每一语句进行权重值的分配，该权重值反应了该语句的重要程度，权重值越高，重要程度越高，该权重值越底，重要程度越低，以此可以基于权重值由大到小的顺序选取一定数量的语句作为上下摘要语句集，该数量可以定义为上文语句集的语句数量的二分之一或者三分之二。
同理，可以根据预设自注意力模型从该下文语句集中对每一语句进行权重值的分配，该权重值反应了该语句的重要程度，以此可以基于权重值由大到小的顺序选取一定数量的语句作为下文摘要语句集。
在步骤104中，将作为训练数据的上文摘要语句集和下文摘要语句集以及作为标签数据的预设语句输入至第二预设模型进行迭代训练，输出第二目标语句向量。
本申请实施例可以上文摘要语句集和下文摘要语句集作为训练输入至第二预设模型中进行训练，输出预测的预设语句，根据预测的预设语句与真实的预设语句之间的差异迭代训练该第二预设模型，直至收敛，该收敛条件可以为该差异收敛或者训练的次数达到一定数量，例如训练达到1000次，最后以收敛的第二预设模型输出相应的最终预测的预设语句，该最终预测的预设语句为经过上文摘要语句集和下文摘要语句集预测出来的语句，为了实现后续的比较，可以将此处该最终预测的预设语句对应的编码向量确定为第二目标语句向量，该编码向量可以为该字符编码(英语：Character encoding)也称字集码，是把字符集中的字符编码为指定集合中某一对象，具体的可以用ASCII码将最终预测的预设语句转化为第一目标语句向量，以实现后续的比较，需要说明的是该第一目标语句向量和第二目标语句向量的字符编码方式相同。
在一些实施方式中，以该第二预设模型为第二预设编解码模型进行说明，将上文摘要语句集和下文摘要语句集作为训练数据以及预设语句作为标签数据输入至第二预设模型进行迭代训练，输出第二目标语句向量的步骤，可以包括：
(1)将该上文摘要语句集和下文摘要语句集输入第二预设编解码模型，输出对应的第五语句；
(2)将该预设语句作为标签数据，计算该第五语句的对应的编码向量和该预设语句对应的编码向量之间的第三差异；
(3)基于该第三差异对该第二预设编解码模型的模型参数进行迭代调节，直至该第三模型收敛；
(4)将该上文摘要语句集和下文摘要语句集输入第三模型收敛后的第二预设编码模型，输出对应的第六语句，并将该第六语句对应的编码向量确定为第二目标语句向量。
其中，可以将上文摘要语句集和下文摘要语句集输入第一预设编解码模型，即encoder-decoder结构模型，首先encoder层可以包括char_embedding(字符向量)和sentence_embedding(句子向量)以及position_embedding(位置向量)，将上文摘要语句集和下文摘要语句集中每一句子的多个字符串合并(concate)进而encoder，该encoder采用BiLSTM结构，该BiLSTM结构为Bi-directional Long Short-Term Memory的缩写，是由前向LSTM与后向LSTM组合而成，用于做上下有关系的序列标注任务，将该上文摘要语句集和下文摘要语句集中每一句子表达为中间向量。
在encoder和decoder之间采用bridge(桥)层进行过渡，用于更好的过渡到decoder层，decoder层将中间向量解码为预测的第五语句，将之前的预设语句作为标签数据，本申请实施例可以训练以上文摘要语句集和下文摘要语句集来表达预设语句的学习，以此，计算该预测的第五语句对应的编码向量与该预设语句对应的编码向量之间的第三差异，在一实施方式中，该编码向量之间的第三差异可以为计算两者之间的欧式距离，该欧式距离越大，说明预测的第五语句和预设语句差别越大，两者越不接近。该欧式距离越小，说明预测第五语句和预测语句差别越小，两者越接近。
进一步的，可以基于该第三差异对该第二预设编码模型的模型参数调节，该模型参数为预先配置的，该模型参数可以随着学习的进行而越来越准确，最终实现可以通过上文摘要语句集和下文摘要语句集预测到准确的预测语句，以此，可以根据该第三差异不断对第二预设编码模型训练，直至该第三差异开始收敛，即代表第三模型收敛，说明该第二预设编解码模型训练完成，最后将该上文摘要语句集和下文摘要语句集输入至第三模型收敛的第二预设编解码模型，可以输出最终预测的第六语句，进而可以将该第六语句对应的编解码向量确定为第二目标语句向量，该第二目标语句向量为通过上文摘要和下文摘要预测得到的向量。
在步骤105中，根据第一目标语句向量和第二目标语句向量的第一差异对预设自注意力模型的模型参数进行更新，并返回基于预设自注意力模型从待训练文本中选取上文摘要语句集和下文摘要语句集，直至根据第一差异确定第一模型收敛。
其中，该第一目标语句向量为通过待训练文本预测得到的向量，该第二目标语句向量为通过上文摘要语句集和下文摘要语句集预测得到的向量，该第一差异可以为两者之间的欧式距离，该欧式距离可以反映两者预测出来的文本差别，该第一差异越大，说明两者预测出来的文本差别越大，该第一差异越小，说明两者预测出来的文本差异越小。
需要说明的是，上文摘要语句集和下文摘要语句集的数据完整性会小于上下文全集(待训练文本)的数据完整性，所以两者预测的结果会有差异，上文摘要语句集和下文摘要语句集选取的语句越准确，最后预测出来的第一差异越小，上文摘要语句集和下文摘要语句集选取的语句越不准确，最后预测出来的第一差异越大，以此，可以根据该第一差异反向对预设自注意力模型的模型参数进行更新，在更新之后，返回步骤103，基于更新后的预设自注意力模型从待训练文本中重新选择上文摘要语句集和下文摘要语句集，进而重新计算第一差异，直至该第一差异开始收敛，即代表第一模型收敛，该收敛的条件可以为两者的差值收敛或者迭代次数满足数量，例如迭代次数1000次，假设该第一模型收敛，说明以上下文表达的第一目标语句向量和上文摘要语句集和下文摘要语句集表达的第二目标语句向量接近，即以上文摘要语句集和下文摘要语句集可以很好的表达出全文上下语句集表达的效果，即说明上文摘要语句集和下文摘要语句集选取的语句已经很准确，该第一模型收敛后的预设自注意力模型训练完成。
在步骤106，通过第一模型收敛后的预设自注意力模型从待处理文本中选取目标上文摘要语句集和目标下文摘要语句集作为摘要数据。
其中，由于该第一模型收敛后的预设自注意力模型训练完成，可以从待处理文本中以上述方式选取出预设语句，基于该预设语句区分上文语句集和下文语句集，进而根据该第一模型收敛后的预设自注意力模型可以从待处理文本中的上文语句集和下文语句集准确的评估出目标上文摘要语句集和目标下文摘要语句集于集作为摘要数据，以此，本申请实施例不需要进行人工标注，而以自监督形式实现对预设自注意力模型进行上文摘要集和下文摘要语句集的学习，得到可以识别出准确的目标上文摘要语句集和目标下文摘要语句集的第一模型收敛后的预设自注意力模型，进而自动识别出准确的摘要数据。
由上述可知，本申请实施例通过从待训练文本中确定预设语句；将作为训练数据的待训练文本以及作为标签数据的预设语句输入至第一预设模型进行迭代训练，输出第一目标语句向量；基于预设自注意力模型从待训练文本中选取上文摘要语句集和下文摘要语句集；将上文摘要语句集和下文摘要语句集作为训练数据以及预设语句作为标签数据输入至第二预设模型进行迭代训练，输出第二目标语句向量；根据第一目标语句向量和第二目标语句向量的第一差异对预设自注意力模型的模型参数进行更新，直至根据第一差异确定第一模型收敛；通过第一模型收敛后的预设自注意力模型从待处理文本中选取摘要数据。相对于需要人力预先对文本进行人工标注的方案而言，本申请可以以自监督进行摘要选取的训练，通过训练后的自注意力模型选取更为准确的摘要，极大提升了数据处理的效率。
结合上述实施例所描述的方法，以下将举例作进一步详细说明。
在本实施例中，将以该数据处理装置具体集成在服务器中为例进行说明，具体参照以下说明。
请参阅图3，图3为本申请实施例提供的数据处理方法的另一流程示意图。该方法流程可以包括：
在步骤201中，服务器获取待训练文本的语句数量，根据语句数量以及预设比例确定目标序号，获取待训练文本中目标序号对应的第一语句。
为了更好的说明本申请实施例，请结合参阅图4所示，图4为本申请实施例提供的数据处理***20的框架示意图，服务器可以获取待训练文本，假设该待训练文本包括6个语句和该预设比例为三分之二，以此，根据该语句数量以及预设比例确定目标序号为4，并获取该待训练文本中目标序号4对应的第一语句(会话语句4)作为mask语句。
在步骤202中，在服务器检测到第一语句的字符数量大于预设字符数量的情况下，将第一语句确定为预设语句。
其中，为了避免该预设语句的字符长度过短导致影响后续的处理，在确定目标序号之后，可以获取该第一语句的字符数量，假设为7个字符，该预设字符数量为5，那么服务器检测到第一语句的字符数量大于预设字符数量时，将第一语句确定为预设语句。
在步骤203中，在服务器检测到第一语句的字符数量不大于预设字符数量的情况下，从小于目标序号的语句中选取序号最大且字符数量大于预设字符数量的第二语句确定为预设语句。
其中，假设为第一语句的字符数量为3个字符，该预设字符数量为5，那么服务器检测到第一语句的字符数量不大于预设字符数量时，从小于目标序号的语句中选取序号最大且字符数量大于预设字符数量的第二语句确定为预设语句，即以此从会话语句3、2和1顺序遍历，将第一个遍历得到的字符大于预设字符数量的第二语句确定为预设语句。
在步骤204中，服务器将待训练文本输入第一预设编解码模型，输出对应的第三语句，将预设语句作为标签数据，计算第三语句的对应的编码向量和预设语句对应的编码向量之间的第二差异，基于第二差异对第一预设编解码模型的模型参数进行迭代调节，直至根据第二差异确定第二模型收敛。
其中，服务器可以将该待训练文本输入第一预设编解码模型，即encoder-decoder结构模型，首先encoder层可以将该待训练文本中每一句子表达为中间向量，decoder层将中间向量解码为预测的第三语句，将之前的预设语句作为标签数据，本申请实施例可以训练以上下文来表达预设语句的学习，以此，计算该预测的第三语句对应的编码向量与该预设语句对应的编码向量之间的第二差异，该编码向量之间的第二差异可以为计算两者之间的欧式距离。
进一步的，可以基于该第二差异对该第一预设编码模型的模型参数调节，该模型参数可以随着学习的进行而越来越准确，最终实现可以通过待训练文本预测到准确的预测语句，以此，可以根据该第二差异不断对第一预设编码模型训练，直至该第二差异开始收敛，即代表第二模型收敛，即说明该第一预设编解码模型训练完成。
在一实施方式中，可以通过以下损失函数计算第二差异来实现对第一预设编码模型的训练：
L_(G_context)＝-Σlogp(um|u≠m；encocontext)
其中，该L_(G_context)即为损失，该um即为预设语句的编码向量，该encocontext为上下文预测的预设语句的编码向量。
在步骤205中，服务器将待训练文本输入第二模型收敛后的第一预设编码模型，输出对应的第四语句，并将第四语句对应的编码向量确定为第一目标语句向量。
其中，将该待训练文本输入至第二模型收敛的第一预设编解码模型，可以输出最终预测的第四语句(预测会话语句4)，进而可以将该第四语句对应的编解码向量确定为第一目标语句向量，该第一目标语句向量为通过上下文语句预测得到的向量。
在步骤206中，服务器基于预设语句将待训练文本分割为上文语句集和下文语句集，基于预设自注意力模型输出上文语句集中每一语句的权重值，按照该权重值由大到小的选取顺序，选取权重值之和大于预设权重值的语句组成上文摘要语句集。
其中，服务器可以基于预设语句(会话语句4)将待训练文本分割为上文语句集会话语句1、会话语句2和会话语句3以及下文语句集会话语句5和会话语句6。
基于根据预设自注意力模型从该上文语句集中对每一语句进行权重值的分配，例如会话语句1为0.33，会话语句2为0.48以及会话语句3为0.18。根据权重值进行由大到小的顺序的排序为会话语句2为0.48、会话语句1为0.33和会话语句3为0.18。该预设权重值可以为0.5，即可以按照由大到小的顺序选取权重值之和大于0.5的会话语句2和会话语句1组成上文摘要语句集，上文摘要语句集中的排序以原文为准，即上文摘要语句集中排序为会话语句1和会话语句2。
在步骤207中，服务器根据预设自注意力模型从下文语句集和预设语句中选取下文摘要语句集。
其中，该下文摘要语句集选取的过程请参照上文摘要语句集的选取过程，此处不作具体赘述，唯一区别是，该下文摘要语句集选取的范围除了下文语句集，还包括预设语句。
在步骤208中，服务器将上文摘要语句集和下文摘要语句集输入第二预设编解码模型，输出对应的第五语句，将预设语句作为标签数据，计算第五语句的对应的编码向量和预设语句对应的编码向量之间的第三差异，基于第三差异对第二预设编解码模型的模型参数进行迭代调节，直至根据第三差异确定第三模型收敛。
其中，可以将上文摘要语句集和下文摘要语句集输入第一预设编解码模型，即encoder-decoder结构模型，首先encoder层可以将该上文摘要语句集和下文摘要语句集中每一句子表达为中间向量。
decoder层将上文摘要语句集和下文摘要语句集中每一句子表达的中间向量解码为预测的第五语句，将之前的预设语句作为标签数据，本申请实施例可以训练以上文摘要语句集和下文摘要语句集来表达预设语句的学习，以此，计算该预测的第五语句对应的编码向量与该预设语句对应的编码向量之间的第三差异，第三差异可以为计算两者之间的欧式距离，该欧式距离越大，说明预测的第五语句和预设语句差别越大，两者越不接近。该欧式距离越小，说明预测第五语句和预测语句差别越小，两者越接近。
进一步的，可以基于该第三差异对该第二预设编码模型的模型参数调节，该模型参数为预先配置的，该模型参数可以随着学习的进行而越来越准确，最终实现可以通过上文摘要语句集和下文摘要语句集预测到准确的预测语句，以此，可以根据该第三差异不断对第二预设编码模型训练，直至该第三差异开始收敛，即代表第三模型收敛，即说明该第二预设编解码模型训练完成。
在步骤209中，服务器将上文摘要语句集和下文摘要语句集输入第三模型收敛后的第二预设编码模型，输出对应的第六语句，并将第六语句对应的编码向量确定为第二目标语句向量。
其中，服务器将该上文摘要语句集和下文摘要语句集输入至第三模型收敛的第二预设编解码模型，可以输出最终预测的第六语句(预测会话语句4)，进而可以将该第六语句对应的编解码向量确定为第二目标语句向量，该第二目标语句向量为通过上文摘要和下文摘要预测得到的向量。
在步骤210中，服务器根据第一目标语句向量和第二目标语句向量的第一差异对预设自注意力模型的模型参数进行更新，并返回基于预设自注意力模型从待训练文本中选取上文摘要语句集和下文摘要语句集，直至根据第一差异确定第一模型收敛。
其中，该第一目标语句向量为通过待训练文本预测得到的向量，该第二目标语句向量为通过上文摘要语句集和下文摘要语句集预测得到的向量，该第一差异可以为两者之间的欧式距离，该欧式距离可以反映两者预测出来的文本差别，该第一差异越大，说明两者预测出来的文本差别越大，该第一差异越小，说明两者预测出来的文本差异越小。
需要说明书的是，上文摘要语句集和下文摘要语句集的数据完整性会小于上下文全集(待训练文本)的数据完整性，所以两者预测的结果会有差异，上文摘要语句集和下文摘要语句集选取的语句越准确，最后预测出来的第一差异越小，上文摘要语句集和下文摘要语句集选取的语句越不准确，最后预测出来的第一差异越大，以此，可以根据该第一差异反向对预设自注意模型的模型参数书进行更新，在更新之后，返回步骤206，通过更新后的预设自注意力模型从待训练文本中重新选择上文摘要语句集和下文摘要语句集，进而重新计算第一差异，直至该第一差异开始收敛，即代表第一模型收敛，该收敛的条件可以为两者的差值收敛或者迭代次数满足数量，例如迭代次数满足1000次，假设该第一模型收敛，说明以上下文表达的第一目标语句向量和上文摘要语句集和下文摘要语句集表达的第二目标语句向量接近，即以上文摘要语句集和下文摘要语句集可以很好的表达出全文上下语句集表达的效果，即说明上文摘要语句集和下文摘要语句集选取的语句已经很准确，该第一模型收敛后的预设自注意力模型训练完成。
在一实施例中，该第一差异也可以理解为评估第一目标语句向量和第二目标语句向量之间的评估分布差异，可以通过以下F-divergence损失函数计算公式实现：
|L_(G_fd)
＝-∑FD(p(um|u≠m；encocontext)||p(um|abs1,abs2；encoabsstractabs))
其中，该L_(G_fd)即为第一差异，该um即为预设语句的编码向量，该encocontext为上下文预测的预设语句的编码向量，该abs1为上文摘要语句集的编码向量，abs2为下文摘要语句的编码向量，encoabsstractabs为上文摘要语句集和下文摘要语句集预测的预设语句的编码向量。
在步骤211中，服务器通过第一模型收敛后的预设自注意力模型从待处理文本中选取目标上文摘要语句集和目标下文摘要语句集作为摘要数据。
其中，由于该第一模型收敛后的预设自注意力模型训练完成，可以从待处理文本中以上述方式选取出预设语句，基于该预设语句区分上文语句集和下文语句集，进而根据该第一模型收敛后的预设自注意力模型可以从待处理文本中的上文语句集和下文语句集准确的评估出目标上文摘要语句集和目标下文摘要语句集于集作为摘要数据。
在一些实施方式中，该数据处理方法，还包括：
(1)获取序号小于目标序号的语句对应的第一中间向量。
(2)将该第一中间向量输入至第一预设分类模型，输出第一分类向量。
(3)将该预设语句作为分类标签数据，计算该第一分类向量和该预设语句对应的编码向量之间的第四差异。
(4)基于该第四差异对该第一预设分类模型的模型参数进行迭代调节，直至该第四模型收敛。
(5)将该第一中间向量输入第四模型收敛的第一预设分类模型，输出对应的第一目标分类向量。
(6)获取上文摘要语句集中的语句对应的第二中间向量。
(7)将该第二中间向量输入至第二预设分类模型，输出第二分类向量。
(8)将该预设语句作为分类标签数据，计算该第二分类向量和该预设语句对应的编码向量之间的第五差异。
(9)基于该第五差异对该第二预设分类模型的模型参数进行迭代调节，直至该第五模型收敛。
(10)将该第二中间向量输入第五模型收敛的第二预设分类模型，输出对应的第二目标分类向量。
(11)根据该第一目标分类向量和第二目标分类向量的第六差异对第一模型收敛后的预设自注意力模型的模型参数进行分类更新，得到分类更新后的预设自注意力模型。
(12)通过分类更新后的预设自注意力模型更新上文摘要语句集，并返回执行获取上文摘要语句集中的语句对应的第二中间向量，直至该第六模型收敛。
本申请实施例还可以基于分类维度上继续对自注意力模型进一步进行优化，具体为，首先获取上文语句集，即序号小于目标序号的会话语句4的会话语句3、会话语句2和会话语句1对应的第一中间向量，在一实施例中，该第一中间向量可以为第一预设编解码模型中encoder层转化的向量。
进一步的，该第一预设分类模型可以为多类别分类模型，可以从该上文语句集中选取2个作为负样本，在下文语句集中选取1个作为负样本，将预设语句作为标签信息，将该第一中间向量输入至第一预设分类模型中进行训练，输出第一分类向量，计算该第一分类向量和预设语句对应的编码向量之间的第四差异，该第四差异可以为两者的欧式距离，基于该第四差异对第一预设分类模型的模型参数进行迭代调节，直至该第四差异开始收敛，即代表第四模型收敛，即说明第一预设分类模型训练完成。最后将第一中间向量输入第四模型收敛的第一预设分类模型，可以输出最终的第一目标分类向量(分类预测向量4)，该第一目标分类向量代表通过上文预测得到的分类向量。
在一实施方式中，可以通过以下损失函数计算第四差异来实现对第一预设分类模型的训练：
Figure BDA0003381536860000201
其中，该L_(C_(context_front))即为第四差异，该pn为预设语句对应的编码向量，
Figure BDA0003381536860000202
为第一分类向量。
对于上文摘要，可以获取上文摘要语句集对应的第二中间向量，在一实施方式中，该第二中间向量可以为第二预设编解码模型中encoder层对于上文摘要语句集转化的中间向量。
进一步的，该第二预设分类模型可以为多类别分类模型，可以从该上文摘要语句集中选取2个作为负样本，在下文摘要语句集中选取1个作为负样本，将预设语句作为标签信息，将该第二中间向量输入至第二预设分类模型中进行训练，输出第二分类向量，计算该第二分类向量和预设语句对应的编码向量之间的第五差异，该第五差异可以为两者的欧式距离，基于该第五差异对第二预设分类模型的模型参数进行迭代调节，直至该第五差异开始收敛，即代表第五模型收敛，即说明第二预设分类模型训练完成。最后将第二中间向量输入第五模型收敛的第二预设分类模型，可以输出最终的第二目标分类向量(分类预测向量4)，该第二目标分类向量代表通过取上文摘要语句集预测得到的分类向量。
其中，该第一目标分类向量代表通过上文预测得到的分类向量，该第二目标分类向量代表通过取上文摘要语句集预测得到的分类向量，该第六差异可以为两者之间的欧式距离，该欧式距离可以反映两者分类预测出来的分类结果差别，该第六差异越大，说明两者预测出来的分类结果差别越大，该第六差异越小，说明两者预测出来的分类结果差异越小。
在一实施例中，该第六差异也可以理解为评估第一目标分类向量和第二目标分类向量之间的评估分布差异，可以通过以下F-divergence损失函数计算公式实现：
Figure BDA0003381536860000211
其中，此处该L_(C_fd)即为第六差异，p(nfront)为第一目标分类向量，
Figure BDA0003381536860000212
为第二目标分类向量。
需要说明的是，上文摘要语句集的数据完整性会小于上文集的数据完整性，所以两者预测的分类结果会有差异，上文摘要语句集选取的语句越准确，最后预测出来分类结果与上文预测出来的分类结果的第六差异越小，上文摘要语句集和下文摘要语句集选取的语句越不准确，最后预测出来分类结果与上文预测出来的分类结果的第六差异越大，以此，可以根据该第六差异反向对预设自注意力模型的模型参数书进行更新，得到分类更新后的预设自注意力模型，在更新之后，重新以分类更新后的预设自注意力模型更新上文摘要语句集，并返回执行(2)获取上文摘要语句集中的语句对应的第二中间向量，直至该第六差异开始收敛，即代表第六模型收敛，该收敛的条件可以为两者的差值收敛或者迭代次数满足数量，例如迭代次数1000次，假设该第六模型收敛，说明以上文表达的第一目标分类向量和上文摘要语句集表达的第二目标分类向量接近，即以上文摘要语句集可以很好的表达出上文集表达的效果，即说明上文摘要语句集选取的语句在分类维度上进一步准确。该第六模型收敛后的预设自注意力模型训练完成，选取摘要的效果进一步提升。
在一实施方式中，该通过第一模型收敛后的预设自注意力模型从待处理文本中选取目标上文摘要语句集和目标下文摘要语句集作为摘要数据的步骤，包括：
(13)通过第六模型收敛后的预设自注意力模型从待处理文本中选取目标上文摘要语句集和目标下文摘要语句集作为摘要数据。
其中，通过该第六模型收敛后的预设自注意力模型从待处理文本中选取目标上文摘要语句集和目标下文摘要语句集作为摘要数据，可以使得选取的摘要数据的精准度进一步提升。
由上述可知，本申请实施例通过从待训练文本中确定预设语句；将作为训练数据的待训练文本以及作为标签数据的预设语句输入至第一预设模型进行迭代训练，输出第一目标语句向量；基于预设自注意力模型从待训练文本中选取上文摘要语句集和下文摘要语句集；将上文摘要语句集和下文摘要语句集作为训练数据以及预设语句作为标签数据输入至第二预设模型进行迭代训练，输出第二目标语句向量；根据第一目标语句向量和第二目标语句向量的第一差异对预设自注意力模型的模型参数进行更新，直至根据第一差异确定第一模型收敛；通过第一模型收敛后的预设自注意力模型从待处理文本中选取摘要数据。相对于需要人力预先对文本进行人工标注的方案而言，本申请可以以自监督进行摘要选取的训练，通过训练后的自注意力模型选取更为准确的摘要，极大提升了数据处理的效率。
将上述实施例以应用场景说明，上述数据处理方法可以集成在对话摘要接口(人工智能控件)，客服在接收到客户来电沟通为客户进行服务时，可以通过该人工智能控件快速调用数据处理方法实现摘要生成，客服可以进行确认和修改。
请参阅图5，图5为本申请实施例提供的数据处理装置的结构示意图，其中该数据处理装置可以包括确定单元301、第一输入单元302、第一选取单元303、第二输入单元304、第一更新单元305以及第二选取单元306等。
确定单元301，用于从待训练文本中确定预设语句，该待训练文本包括多条语句。
在一些实施例中，该确定单元301，包括：
获取子单元，用于获取该待训练文本的语句数量；
确定子单元，用于根据该语句数量以及预设比例确定目标序号；
选取子单元，用于从该待训练文本中选取目标序号上的语句确定为预设语句。
在一些实施例中，该选取子单元，用于：
获取该待训练文本中目标序号对应的第一语句；
在检测到该第一语句的字符数量大于预设字符数量的情况下当检测到该第一语句的字符数量大于预设字符数量时，将该第一语句确定为预设语句；
在检测到该第一语句的字符数量不大于预设字符数量的情况下当检测到该第一语句的字符数量不大于预设字符数量时，从小于该目标序号的语句中选取序号最大且字符数量大于预设字符数量的第二语句确定为预设语句。
第一输入单元302，用于将作为训练数据的该待训练文本以及作为标签数据的该预设语句输入至第一预设模型进行迭代训练，输出第一目标语句向量。
在一些实施例中，该第一预设模型为第一预设编解码模型，该第一输入单元302，用于：
将该待训练文本输入第一预设编解码模型，输出对应的第三语句；
将该预设语句作为标签数据，计算该第三语句的对应的编码向量和该预设语句对应的编码向量之间的第二差异；
基于该第二差异对该第一预设编解码模型的模型参数进行迭代调节，直至根据该第二差异确定第二模型收敛直至该第二差异收敛；
将该待训练文本输入第二差异收敛第二模型收敛后的第一预设编码模型，输出对应的第四语句，并将该第四语句对应的编码向量确定为第一目标语句向量。
第一选取单元303，用于基于预设自注意力模型从该待训练文本中选取上文摘要语句集和下文摘要语句集。
在一些实施例中，该第一选取单元303，包括：
分割子单元，用于基于该预设语句将该待训练文本分割为上文语句集和下文语句集；
第一选取子单元，用于根据预设自注意力模型从该上文语句集中选取上文摘要语句集；
第二选取子单元，用于根据该预设自注意力模型从该下文语句集和预设语句中选取下文摘要语句集。
在一些实施例中，该第一选取子单元，用于：
基于该预设自注意力模型输出该上文语句集中每一语句的权重值；
根据该权重值对上文语句集中每一语句进行由大到小顺序的排序；
按照该权重值由大到小的选取顺序，选取权重值之和大于预设权重值的语句组成上文摘要语句集。
第二输入单元304，用于将该上文摘要语句集和下文摘要语句集作为训练数据以及该预设语句作为标签数据输入至第二预设模型进行迭代训练，输出第二目标语句向量。
在一些实施例中，该第二预设模型为第二预设编解码模型，该第二输入单元304，用于：
将该上文摘要语句集和下文摘要语句集输入第二预设编解码模型，输出对应的第五语句；
将该预设语句作为标签数据，计算该第五语句的对应的编码向量和该预设语句对应的编码向量之间的第三差异；
基于该第三差异对该第二预设编解码模型的模型参数进行迭代调节，直至根据该第三差异确定第三模型收敛直至该第三差异收敛；
将该上文摘要语句集和下文摘要语句集输入第三差异收敛第三模型收敛后的第二预设编码模型，输出对应的第六语句，并将该第六语句对应的编码向量确定为第二目标语句向量。
第一更新单元305，用于根据该第一目标语句向量和第二目标语句向量的第一差异对该预设自注意力模型的模型参数进行更新，并返回基于预设自注意力模型从该待训练文本中选取上文摘要语句集和下文摘要语句集，直至根据该第一差异确定第一模型收敛。
第二选取单元306，用于通过第一模型收敛后的预设自注意力模型从待处理文本中选取目标上文摘要语句集和目标下文摘要语句集作为摘要数据。
在一些实施例中，该装置，还包括第一分类处理单元，用于：
获取序号小于目标序号的语句对应的第一中间向量；
将该第一中间向量输入至第一预设分类模型，输出第一分类向量；
将该预设语句作为分类标签数据，计算该第一分类向量和该预设语句对应的编码向量之间的第四差异；
基于该第四差异对该第一预设分类模型的模型参数进行迭代调节，直至根据该第四差异确定第四模型收敛直至该第四差异收敛；
将该第一中间向量输入第四差异收敛第四模型收敛的第一预设分类模型，输出对应的第一目标分类向量。
在一些实施例中，该装置，还包括第二分类处理单元，用于：
获取上文摘要语句集中的语句对应的第二中间向量；
将该第二中间向量输入至第二预设分类模型，输出第二分类向量；
将该预设语句作为分类标签数据，计算该第二分类向量和该预设语句对应的编码向量之间的第五差异；
基于该第五差异对该第二预设分类模型的模型参数进行迭代调节，直至根据该第五差异确定第五模型收敛直至该第五差异收敛；
将该第二中间向量输入第五差异收敛第五模型收敛的第二预设分类模型，输出对应的第二目标分类向量；
第二更新单元，用于根据该第一目标分类向量和第二目标分类向量的第六差异对第一差异收敛第一模型收敛后的预设自注意力模型的模型参数进行分类更新，得到分类更新后的预设自注意力模型；
第三更新单元，用于通过分类更新后的预设自注意力模型更新上文摘要语句集，并返回执行获取上文摘要语句集中的语句对应的第二中间向量，直至根据该第六差异确定第六模型收敛；
该第二选取单元306，还用于通过第六差异收敛第六模型收敛后的预设自注意力模型从待处理文本中选取目标上文摘要语句集和目标下文摘要语句集作为摘要数据。
以上各个单元的具体实施可参见前面的实施例，在此不再赘述。
由上述可知，本申请实施例通过确定单元301从待训练文本中确定预设语句；第一输入单元302将作为训练数据的待训练文本以及作为标签数据的预设语句输入至第一预设模型进行迭代训练，输出第一目标语句向量；第一选取单元303基于预设自注意力模型从待训练文本中选取上文摘要语句集和下文摘要语句集；第二输入单元304将上文摘要语句集和下文摘要语句集作为训练数据以及预设语句作为标签数据输入至第二预设模型进行迭代训练，输出第二目标语句向量；第一更新单元305根据第一目标语句向量和第二目标语句向量的第一差异对预设自注意力模型的模型参数进行更新，直至根据该第一差异确定第一模型收敛；第二选取单元306通过第一模型收敛后的预设自注意力模型从待处理文本中选取摘要数据。相对于需要人力预先对文本进行人工标注的方案而言，本申请可以以自监督形式进行摘要选取的训练，通过训练后的自注意力模型选取更为准确的摘要，极大提升了数据处理的效率。
本申请实施例还提供一种计算机设备，如图6所示，其示出了本申请实施例所涉及的服务器的结构示意图，具体来讲：
该计算机设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解，图6中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
处理器401是该计算机设备的控制中心，利用各种接口和线路连接整个计算机设备的各个部分，通过运行或执行存储在存储器402内的软件程序和/或模块，以及调用存储在存储器402内的数据，执行计算机设备的各种功能和处理数据，从而对计算机设备进行整体监控。可选的，处理器401可包括一个或多个处理核心；可选的，处理器401可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器401中。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据服务器的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器402还可以包括存储器控制器，以提供处理器401对存储器402的访问。
计算机设备还包括给各个部件供电的电源403，可选的，电源403可以通过电源管理***与处理器401逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电***、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
计算机设备还可包括输入单元404，该输入单元404可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
尽管未示出，计算机设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，计算机设备中的处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现前述实施例提供的各种方法步骤，如下：
从待训练文本中确定预设语句，该待训练文本包括多条语句；将作为训练数据的该待训练文本以及作为标签数据的该预设语句输入至第一预设模型进行迭代训练，输出第一目标语句向量；基于预设自注意力模型从该待训练文本中选取上文摘要语句集和下文摘要语句集；将作为训练数据的该上文摘要语句集和下文摘要语句集以及作为标签数据的该预设语句输入至第二预设模型进行迭代训练，输出第二目标语句向量；根据该第一目标语句向量和第二目标语句向量的第一差异对该预设自注意力模型的模型参数进行更新，并返回基于预设自注意力模型从该待训练文本中选取上文摘要语句集和下文摘要语句集，直至根据该第一差异确定第一模型收敛。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对数据处理方法的详细描述，此处不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本申请实施例所提供的任一种数据处理方法中的步骤。例如，该指令可以执行如下步骤：
从待训练文本中确定预设语句，该待训练文本包括多条语句；将作为训练数据的该待训练文本以及作为标签数据的该预设语句输入至第一预设模型进行迭代训练，输出第一目标语句向量；基于预设自注意力模型从该待训练文本中选取上文摘要语句集和下文摘要语句集；将作为训练数据的该上文摘要语句集和下文摘要语句集以及作为标签数据的该预设语句输入至第二预设模型进行迭代训练，输出第二目标语句向量；根据该第一目标语句向量和第二目标语句向量的第一差异对该预设自注意力模型的模型参数进行更新，并返回基于预设自注意力模型从该待训练文本中选取上文摘要语句集和下文摘要语句集，直至根据该第一差异确定第一模型收敛。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例提供的各种可选实现方式中提供的方法。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该计算机可读存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该计算机可读存储介质中所存储的指令，可以执行本申请实施例所提供的任一种数据处理方法中的步骤，因此，可以实现本申请实施例所提供的任一种数据处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本申请实施例所提供的一种数据处理方法、装置、计算机设备及存储介质进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种数据处理方法，其特征在于，包括：
获取待训练文本的语句数量；
根据所述语句数量以及预设比例确定目标序号；
从所述待训练文本中选取目标序号上的语句确定为预设语句；
将作为训练数据的所述待训练文本以及作为标签数据的所述预设语句输入至第一预设模型进行迭代训练，输出第一目标语句向量；
基于预设自注意力模型从所述待训练文本中选取上文摘要语句集和下文摘要语句集；
将作为训练数据的所述上文摘要语句集和下文摘要语句集以及作为标签数据的所述预设语句输入至第二预设模型进行迭代训练，输出第二目标语句向量；
根据所述第一目标语句向量和第二目标语句向量的第一差异对所述预设自注意力模型的模型参数进行更新，并返回基于预设自注意力模型从所述待训练文本中选取上文摘要语句集和下文摘要语句集，直至根据所述第一差异确定第一模型收敛；
所述数据处理方法，还包括：
获取序号小于目标序号的语句对应的第一中间向量；
将所述第一中间向量输入至第一预设分类模型，输出第一分类向量；
将所述预设语句作为分类标签数据，计算所述第一分类向量和所述预设语句对应的编码向量之间的第四差异；
基于所述第四差异对所述第一预设分类模型的模型参数进行迭代调节，直至根据所述第四差异确定第四模型收敛；
将所述第一中间向量输入第四模型收敛的第一预设分类模型，输出对应的第一目标分类向量。
2.根据权利要求1所述的数据处理方法，其特征在于，所述从所述待训练文本中选取目标序号上的语句确定为预设语句的步骤，包括：
获取所述待训练文本中目标序号对应的第一语句；
在检测到所述第一语句的字符数量大于预设字符数量的情况下，将所述第一语句确定为预设语句；
在检测到所述第一语句的字符数量不大于预设字符数量的情况下，从小于所述目标序号的语句中选取序号最大且字符数量大于预设字符数量的第二语句确定为预设语句。
3.根据权利要求1所述的数据处理方法，其特征在于，所述第一预设模型为第一预设编解码模型，所述将作为训练数据的所述待训练文本以及作为标签数据的所述预设语句输入至第一预设模型进行迭代训练，输出第一目标语句向量的步骤，包括：
将所述待训练文本输入第一预设编解码模型，输出对应的第三语句；
将所述预设语句作为标签数据，计算所述第三语句的对应的编码向量和所述预设语句对应的编码向量之间的第二差异；
基于所述第二差异对所述第一预设编解码模型的模型参数进行迭代调节，直至根据所述第二差异确定第二模型收敛；
将所述待训练文本输入第二模型收敛后的第一预设编码模型，输出对应的第四语句，并将所述第四语句对应的编码向量确定为第一目标语句向量。
4.根据权利要求3所述的数据处理方法，其特征在于，所述第二预设模型为第二预设编解码模型，所述将作为训练数据的所述上文摘要语句集和下文摘要语句集以及作为标签数据的所述预设语句输入至第二预设模型进行迭代训练，输出第二目标语句向量的步骤，包括：
将所述上文摘要语句集和下文摘要语句集输入第二预设编解码模型，输出对应的第五语句；
将所述预设语句作为标签数据，计算所述第五语句的对应的编码向量和所述预设语句对应的编码向量之间的第三差异；
基于所述第三差异对所述第二预设编解码模型的模型参数进行迭代调节，直至根据所述第三差异确定第三模型收敛；
将所述上文摘要语句集和下文摘要语句集输入第三模型收敛后的第二预设编码模型，输出对应的第六语句，并将所述第六语句对应的编码向量确定为第二目标语句向量。
5.根据权利要求1所述的数据处理方法，其特征在于，所述将所述第一中间向量输入第四模型收敛的第一预设分类模型，输出对应的第一分类向量的步骤之后，还包括：
获取上文摘要语句集中的语句对应的第二中间向量；
将所述第二中间向量输入至第二预设分类模型，输出第二分类向量；
将所述预设语句作为分类标签数据，计算所述第二分类向量和所述预设语句对应的编码向量之间的第五差异；
基于所述第五差异对所述第二预设分类模型的模型参数进行迭代调节，直至根据所述第五差异确定第五模型收敛；
将所述第二中间向量输入第五模型收敛的第二预设分类模型，输出对应的第二目标分类向量；
根据所述第一目标分类向量和第二目标分类向量的第六差异对第一模型收敛后的预设自注意力模型的模型参数进行分类更新，得到分类更新后的预设自注意力模型；
通过分类更新后的预设自注意力模型更新上文摘要语句集，并返回执行获取上文摘要语句集中的语句对应的第二中间向量，直至根据所述第六差异确定第六模型收敛。
6.根据权利要求1所述的数据处理方法，其特征在于，所述基于预设自注意力模型从所述待训练文本中选取上文摘要语句集和下文摘要语句集的步骤，包括：
基于所述预设语句将所述待训练文本分割为上文语句集和下文语句集；
根据预设自注意力模型从所述上文语句集中选取上文摘要语句集；
根据所述预设自注意力模型从所述下文语句集和预设语句中选取下文摘要语句集。
7.根据权利要求6所述的数据处理方法，其特征在于，所述根据预设自注意力模型从所述上文语句集中选取上文摘要语句集的步骤，包括：
基于所述预设自注意力模型输出所述上文语句集中每一语句的权重值；
按照所述权重值由大到小的选取顺序，选取权重值之和大于预设权重值的语句组成上文摘要语句集。
8.根据权利要求1至7任一项所述的数据处理方法，其特征在于，所述方法，还包括：
通过第一模型收敛后的预设自注意力模型从待处理文本中选取目标上文摘要语句集和目标下文摘要语句集作为摘要数据。
9.一种数据处理装置，其特征在于，包括：
确定单元，用于从待训练文本中确定预设语句，所述待训练文本包括多条语句；
第一输入单元，用于将作为训练数据的所述待训练文本以及作为标签数据的所述预设语句输入至第一预设模型进行迭代训练，输出第一目标语句向量；
第一选取单元，用于基于预设自注意力模型从所述待训练文本中选取上文摘要语句集和下文摘要语句集；
第二输入单元，用于将作为训练数据的所述上文摘要语句集和下文摘要语句集以及作为标签数据的所述预设语句输入至第二预设模型进行迭代训练，输出第二目标语句向量；
第一更新单元，用于根据所述第一目标语句向量和第二目标语句向量的第一差异对所述预设自注意力模型的模型参数进行更新，并返回基于预设自注意力模型从所述待训练文本中选取上文摘要语句集和下文摘要语句集，直至根据所述第一差异确定第一模型收敛；
所述确定单元，包括：
获取子单元，用于获取该待训练文本的语句数量；
确定子单元，用于根据该语句数量以及预设比例确定目标序号；
选取子单元，用于从该待训练文本中选取目标序号上的语句确定为预设语句；
所述装置，还包括第一分类处理单元，用于：
获取序号小于目标序号的语句对应的第一中间向量；
将该第一中间向量输入至第一预设分类模型，输出第一分类向量；
将该预设语句作为分类标签数据，计算该第一分类向量和该预设语句对应的编码向量之间的第四差异；
基于该第四差异对该第一预设分类模型的模型参数进行迭代调节，直至根据该第四差异确定第四模型收敛直至该第四差异收敛；
将该第一中间向量输入第四差异收敛第四模型收敛的第一预设分类模型，输出对应的第一目标分类向量。
10.一种计算机设备，其特征在于，包括存储器、处理器以及存储在所述存储器中并可以在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至8任一项所述的数据处理方法中的步骤。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至8任一项所述的数据处理方法中的步骤。
CN202111435202.5A 2021-11-25 2021-11-29 一种数据处理方法、装置、计算机设备及存储介质 Active CN114386390B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111415552 2021-11-25
CN2021114155525 2021-11-25

Publications (2)

Publication Number Publication Date
CN114386390A CN114386390A (zh) 2022-04-22
CN114386390B true CN114386390B (zh) 2022-12-06

Family

ID=81195135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111435202.5A Active CN114386390B (zh) 2021-11-25 2021-11-29 一种数据处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN114386390B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280112A (zh) * 2017-06-22 2018-07-13 腾讯科技（深圳）有限公司 摘要生成方法、装置及计算机设备
CN109657051A (zh) * 2018-11-30 2019-04-19 平安科技（深圳）有限公司 文本摘要生成方法、装置、计算机设备及存储介质
CN110209802A (zh) * 2019-06-05 2019-09-06 北京金山数字娱乐科技有限公司 一种提取摘要文本的方法及装置
CN110263163A (zh) * 2019-06-05 2019-09-20 阿里巴巴集团控股有限公司 一种获取文本摘要的方法和装置
CN110674283A (zh) * 2019-08-15 2020-01-10 中国平安财产保险股份有限公司 文本摘要的智能抽取方法、装置、计算机设备及存储介质
CN110765264A (zh) * 2019-10-16 2020-02-07 北京工业大学 一种增强语义相关性的文本摘要生成方法
CN112560479A (zh) * 2020-12-24 2021-03-26 北京百度网讯科技有限公司 摘要抽取模型训练方法、摘要抽取方法、装置和电子设备
CN112732899A (zh) * 2020-12-31 2021-04-30 平安科技（深圳）有限公司 摘要语句提取方法、装置、服务器及计算机可读存储介质
CN113434642A (zh) * 2021-08-27 2021-09-24 广州云趣信息科技有限公司 文本摘要生成方法、装置及电子设备
CN113609287A (zh) * 2021-09-16 2021-11-05 深圳豹耳科技有限公司 一种文本摘要的生成方法、装置、计算机设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112069309B (zh) * 2020-09-14 2024-03-15 腾讯科技（深圳）有限公司 信息获取方法、装置、计算机设备及存储介质

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108280112A (zh) * 2017-06-22 2018-07-13 腾讯科技（深圳）有限公司 摘要生成方法、装置及计算机设备
CN109657051A (zh) * 2018-11-30 2019-04-19 平安科技（深圳）有限公司 文本摘要生成方法、装置、计算机设备及存储介质
CN110209802A (zh) * 2019-06-05 2019-09-06 北京金山数字娱乐科技有限公司 一种提取摘要文本的方法及装置
CN110263163A (zh) * 2019-06-05 2019-09-20 阿里巴巴集团控股有限公司 一种获取文本摘要的方法和装置
CN110674283A (zh) * 2019-08-15 2020-01-10 中国平安财产保险股份有限公司 文本摘要的智能抽取方法、装置、计算机设备及存储介质
CN110765264A (zh) * 2019-10-16 2020-02-07 北京工业大学 一种增强语义相关性的文本摘要生成方法
CN112560479A (zh) * 2020-12-24 2021-03-26 北京百度网讯科技有限公司 摘要抽取模型训练方法、摘要抽取方法、装置和电子设备
CN112732899A (zh) * 2020-12-31 2021-04-30 平安科技（深圳）有限公司 摘要语句提取方法、装置、服务器及计算机可读存储介质
CN113434642A (zh) * 2021-08-27 2021-09-24 广州云趣信息科技有限公司 文本摘要生成方法、装置及电子设备
CN113609287A (zh) * 2021-09-16 2021-11-05 深圳豹耳科技有限公司 一种文本摘要的生成方法、装置、计算机设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度主动学习的柬语单文档抽取式摘要方法;余兵兵 等;《计算机应用与软件》;20210429;第38卷(第4期);全文 *

Also Published As

Publication number Publication date
CN114386390A (zh) 2022-04-22

Similar Documents

Publication Publication Date Title
US11386271B2 (en) Mathematical processing method, apparatus and device for text problem, and storage medium
KR102577514B1 (ko) 텍스트 창작 방법, 텍스트 창작 장치, 전자 기기 및 저장 매체
CN110232183B (zh) 关键词提取模型训练方法、关键词提取方法、装置及存储介质
CN110956018B (zh) 文本处理模型的训练方法、文本处理方法、装置及存储介质
CN109063174B (zh) 查询答案的生成方法及装置、计算机存储介质、电子设备
US20190155905A1 (en) Template generation for a conversational agent
CN111931517B (zh) 文本翻译方法、装置、电子设备以及存储介质
CN111738025B (zh) 基于人工智能的翻译方法、装置、电子设备和存储介质
CN108228576B (zh) 文本翻译方法及装置
CN112183058B (zh) 基于bert句子向量输入的诗词生成方法及装置
CN111930915B (zh) 会话信息处理方法、装置、计算机可读存储介质及设备
CN113807074A (zh) 基于预训练语言模型的相似语句生成方法和装置
CN113569017B (zh) 一种模型处理方法、装置、电子设备及存储介质
CN111401037B (zh) 自然语言的生成方法、装置、电子设备及存储介质
CN116012481B (zh) 图像生成处理方法、装置、电子设备及存储介质
CN111859953A (zh) 训练数据的挖掘方法、装置、电子设备及存储介质
CN113918031A (zh) 使用子字符信息进行中文标点恢复的***和方法
CN115810068A (zh) 一种图像描述生成方法、装置、存储介质及电子设备
CN115759119A (zh) 一种金融文本情感分析方法、***、介质和设备
CN115269768A (zh) 要素文本处理方法、装置、电子设备和存储介质
CN113360001A (zh) 输入文本的处理方法、装置、电子设备和存储介质
CN117236340A (zh) 问答方法、装置、设备和介质
CN114386390B (zh) 一种数据处理方法、装置、计算机设备及存储介质
CN115130470B (zh) 一种文本关键词的生成方法、装置、设备及介质
CN115248846B (zh) 文本识别方法、设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
OL01 Intention to license declared
OL01 Intention to license declared