CN116702781A - 文本数据增强方法和装置、电子设备、存储介质 - Google Patents
文本数据增强方法和装置、电子设备、存储介质 Download PDFInfo
- Publication number
- CN116702781A CN116702781A CN202310833537.5A CN202310833537A CN116702781A CN 116702781 A CN116702781 A CN 116702781A CN 202310833537 A CN202310833537 A CN 202310833537A CN 116702781 A CN116702781 A CN 116702781A
- Authority
- CN
- China
- Prior art keywords
- entity
- text
- vector
- corpus
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 85
- 239000013598 vector Substances 0.000 claims abstract description 314
- 238000012545 processing Methods 0.000 claims abstract description 72
- 238000004220 aggregation Methods 0.000 claims abstract description 19
- 230000002776 aggregation Effects 0.000 claims abstract description 16
- 230000015654 memory Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 11
- 230000008569 process Effects 0.000 claims description 9
- 238000012216 screening Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 abstract description 22
- 230000011218 segmentation Effects 0.000 description 22
- 238000013473 artificial intelligence Methods 0.000 description 13
- 238000003058 natural language processing Methods 0.000 description 12
- 238000004891 communication Methods 0.000 description 11
- 238000012549 training Methods 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 5
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000036651 mood Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 238000013480 data collection Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 235000019580 granularity Nutrition 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
- G06F40/295—Named entity recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/12—Use of codes for handling textual entities
- G06F40/126—Character encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/194—Calculation of difference between files
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请实施例提供了一种文本数据增强方法和装置、电子设备、存储介质，属于金融科技技术领域。该方法包括：获取初始文本语料；将初始文本语料输入至预先训练的实体识别模型进行命名实体识别，得到实体数据，该实体数据包括文本命名实体和文本命名实体在初始文本语料中的实***置信息；对文本命名实体进行实体编码处理，得到文本实体向量；对文本实体向量进行聚类处理，得到实体聚类集，其中，实体聚类集包括相似实体向量；根据相似实体向量和实***置信息对文本命名实体进行语料生成处理，得到目标文本语料。本申请实施例能够生成高质量的文本语料。
Description
技术领域
本申请涉及金融科技技术领域，尤其涉及一种文本数据增强方法和装置、电子设备、存储介质。
背景技术
目前，在金融科技的智能客服、多轮对话、机器人外呼等场景中，由于大量及时有效的信息通常分布在如研报、新闻资讯等社交媒体的非结构化的文本数据中，则需要高精度、高鲁棒性和高效率的自然语言处理技术从中高效准确地挖掘出结构化信息。自然语言处理在问答***、知识图谱等技术领域的应用上，通常使用预训练语言模型对大量的数据进行分析处理。但是，由于现实场景中的可搜集的数据量少，数据搜集的时间成本很高，并且数据的人工标注成本很高，导致相关技术场景的文本语料储备不足。然而，自然语言处理技术的模型训练又依赖于大量的文本语料。因此，相关技术通常使用数据增强的方法扩展语料的数量。例如，在原始文本语料中通过随机***或删除无意义的语气助词、副词等停用词的方式进行文本数据增强。但是，由于一些原始文本语料去除停用词后,文本语料的整个语义表达都会发生改变，则相关技术的文本数据增强方法得到的增强样本的文本质量较低。因此，如何提供一种能够生成高质量文本语料的数据增强方法，成为了亟待解决的技术问题。
发明内容
本申请实施例的主要目的在于提出一种文本数据增强方法和装置、电子设备、存储介质，旨在提供一种能够生成高质量文本语料的数据增强方法。
为实现上述目的，本申请实施例的第一方面提出了一种文本数据增强方法，所述方法包括：
获取初始文本语料；
将所述初始文本语料输入至预先训练的实体识别模型进行命名实体识别，得到实体数据，所述实体数据包括文本命名实体和所述文本命名实体在所述初始文本语料中的实***置信息；
对所述文本命名实体进行实体编码处理，得到文本实体向量；
对所述文本实体向量进行聚类处理，得到实体聚类集，其中，所述实体聚类集包括相似实体向量；
根据所述相似实体向量和所述实***置信息对所述文本命名实体进行语料生成处理，得到目标文本语料。
在一些实施例中，所述对所述文本实体向量进行聚类处理，得到实体聚类集，包括：
对所述文本实体向量进行向量搜索处理，得到实体向量集；
根据预设数量阈值从所述实体向量集中筛选出目标实体向量；
对所述目标实体向量进行聚类处理，得到所述实体聚类集。
在一些实施例中，所述对所述文本实体向量进行向量搜索处理，得到实体向量集，包括：
根据预设实体距离阈值对所述文本实体向量进行访问，得到当前实体向量；
获取所述当前实体向量的实体访问标签；
若所述实体访问标签为未标记标签，则根据所述预设实体距离阈值对所述当前实体向量进行向量搜索处理，得到所述实体向量集；其中，所述未标记标签表征所述当前实体向量未被访问。
在一些实施例中，所述对所述文本实体向量进行向量搜索处理，得到实体向量集，还包括：
若所述实体访问标签为已标记标签，则更新所述当前实体向量；其中，所述已标记标签表征所述当前实体向量已被访问；
获取更新后的所述当前实体向量，得到待搜索实体向量；
识别所述待搜索实体向量的标签类别，得到当前访问标签；
若所述当前访问标签为所述未标记标签，则根据所述预设实体距离阈值对所述待搜索实体向量进行向量搜索处理，得到所述实体向量集。
在一些实施例中，所述根据预设数量阈值从所述实体向量集中筛选出目标实体向量，包括：
获取所述实体向量集的实体数量；
对所述实体数量和所述预设数量阈值进行数值比较，得到比较结果；
根据所述比较结果从所述实体向量集中筛选出所述目标实体向量。
在一些实施例中，所述对所述目标实体向量进行聚类处理，得到所述实体聚类集，包括：
对所述目标实体向量进行聚类处理，得到候选实体向量；
将所述目标实体向量与所述候选实体向量进行语义相似度计算，得到语义相似度数据；
若所述语义相似度数据大于或等于预设相似度阈值，则将所述候选实体向量作为所述相似实体向量。
在一些实施例中，所述根据所述相似实体向量和所述实***置信息对所述文本命名实体进行语料生成处理，得到目标文本语料，包括；
对所述相似实体向量进行解码处理，得到目标相似实体；
根据所述实***置信息和所述初始文本语料确定目标实体；
根据所述目标相似实体更新所述目标实体，得到所述目标文本语料。
为实现上述目的，本申请实施例的第二方面提出了一种文本数据增强装置，所述装置包括：
语料获取模块，用于获取初始文本语料；
命名实体识别模块，用于将所述初始文本语料输入至预先训练的实体识别模型进行命名实体识别，得到实体数据，所述实体数据包括文本命名实体和所述文本命名实体在所述初始文本语料中的实***置信息；
实体编码模块，用于对所述文本命名实体进行实体编码处理，得到文本实体向量；
实体聚类模块，用于对所述文本实体向量进行聚类处理，得到实体聚类集，其中，所述实体聚类集包括相似实体向量；
语料生成模块，用于根据所述相似实体向量和所述实***置信息对所述文本命名实体进行语料生成处理，得到目标文本语料。
为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
为实现上述目的，本申请实施例的第四方面提出了一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
本申请提出的一种文本数据增强方法和装置、电子设备、存储介质，其通过获取初始文本语料，并将初始文本语料输入至预先训练的实体识别模型进行命名实体识别，得到实体数据，该实体数据包括文本命名实体和文本命名实体在初始文本语料中的实***置信息。然后，对文本命名实体进行实体编码处理，得到文本实体向量，并对文本实体向量进行聚类处理，得到实体聚类集，其中，该实体聚类集包括相似实体向量。最后，根据相似实体向量和实***置信息对文本命名实体进行语料生成处理，得到目标文本语料。本申请实施例通过对文本实体向量进行聚类的数据增强方法，能够扩展现实场景中的语料储备，且能够生成高质量的文本语料。
附图说明
图1是本申请实施例提供的文本数据增强方法的流程图；
图2是图1中的步骤S140的流程图；
图3是图2中的步骤S210的第一流程图；
图4是图2中的步骤S210的第二流程图；
图5是图2中的步骤S220的流程图；
图6是图2中的步骤S230的流程图；
图7是图1中的步骤S150的流程图；
图8是本申请实施例提供的文本数据增强装置的结构示意图；
图9是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
首先，对本申请中涉及的若干名词进行解析：
人工智能(Artificial Intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用***的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家***等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
自然语言处理(Natural Language Processing，NLP)：NLP用计算机来处理、理解以及运用人类语言(如中文、英文等)，NLP属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息意图识别、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域，它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。
聚类：指将物理或抽象对象的集合分成由类似的对象组成的多个类的过程。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。
命名实体识别(Named Entity Recognition，NER)：又称作“专名识别”，是指识别文本中具有特定意义或预设类型的实体的方法。
目前，在金融科技的智能客服、多轮对话、机器人外呼等场景中，由于大量及时有效的信息通常分布在如研报、新闻资讯等社交媒体的非结构化的文本数据中，则需要高精度、高鲁棒性和高效率的自然语言处理技术从中高效准确地挖掘出结构化信息。自然语言处理在问答***、知识图谱等技术领域的应用上，通常使用预训练语言模型对大量的数据进行分析处理。但是，由于现实场景中的可搜集的数据量少，数据搜集的时间成本很高，并且数据的人工标注成本很高，导致相关技术场景的文本语料储备不足。然而，自然语言处理技术的模型训练又依赖于大量的文本语料。因此，相关技术通常使用数据增强的方法扩展语料的数量。例如，在原始文本语料中通过随机***或删除无意义的语气助词、副词等停用词的方式进行文本数据增强。但是，由于一些原始文本语料去除停用词后,文本语料的整个语义表达都会发生改变，则相关技术的文本数据增强方法得到的增强样本的文本质量较低。因此，如何提供一种能够生成高质量文本语料的数据增强方法，成为了亟待解决的技术问题。
基于此，本申请实施例提供了一种文本数据增强方法和装置、电子设备、存储介质，旨在提供一种能够生成高质量文本语料的数据增强方法。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的文本数据增强方法，涉及人工智能技术领域。本申请实施例提供的文本数据增强方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式***，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content DeliveryNetwork，CDN)以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现文本数据增强方法的应用等，但并不局限于以上形式。
本申请可用于众多通用或专用的计算机***环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
请参阅图1，图1是本申请实施例提供的文本数据增强方法的一个可选的流程图，在一些实施例中，图1中的方法具体可以包括但不限于步骤S110至步骤S150，下面结合图1对这五个步骤进行详细介绍。
步骤S110，获取初始文本语料；
步骤S120，将初始文本语料输入至预先训练的实体识别模型进行命名实体识别，得到实体数据，实体数据包括文本命名实体和文本命名实体在初始文本语料中的实***置信息；
步骤S130，对文本命名实体进行实体编码处理，得到文本实体向量；
步骤S140，对文本实体向量进行聚类处理，得到实体聚类集，其中，实体聚类集包括相似实体向量；
步骤S150，根据相似实体向量和实***置信息对文本命名实体进行语料生成处理，得到目标文本语料。
本申请实施例所示意的步骤S110至步骤S150，通过获取初始文本语料，并将初始文本语料输入至预先训练的实体识别模型进行命名实体识别，得到实体数据，该实体数据包括文本命名实体和文本命名实体在初始文本语料中的实***置信息。然后，对文本命名实体进行实体编码处理，得到文本实体向量，并对文本实体向量进行聚类处理，得到实体聚类集，其中，该实体聚类集包括相似实体向量。最后，根据相似实体向量和实***置信息对文本命名实体进行语料生成处理，得到目标文本语料。本申请实施例通过对文本实体向量进行聚类的数据增强方法，扩展了现实场景中的语料储备，且能够生成高质量的文本语料。例如，在金融科技的智能客服场景中，当采用本申请的文本数据增强方法生成了大量高质量的文本语料，则根据这些高质量的文本预料对智能客服的语义识别模型进行训练。因此，训练后的语义识别模型应用在智能客服中，能够提高对目标对象多级语音的识别准确度，从而能够针对具体的语义意图去构建话术，提高回复精准度，进而提升对象体验。
需要说明的是，在实际应用环境中，本申请实施例提供的文本数据增强方法可以分别由终端或服务器执行，或由终端和服务器协同执行。其中，终端通过网络与服务器进行通信，例如，以该文本数据增强方法在对应的终端执行为例进行说明，具体为：终端从本地获取初始文本语料，并根据训练得到的实体识别模型对初始文本语料进行命名实体识别，得到包括文本命名实体和文本命名实体在初始文本语料中的实***置信息的实体数据。之后，根据文本命名实体进行聚类处理，得到包括相似实体向量的实体聚类集，以根据相似实体向量和实***置信息对初始文本语料中的文本命名实体进行语料生成，得到目标文本语料，即该目标文本语料为扩展生成的高质量文本语料。该文本数据增强方法也可以部署于服务器，以便服务器也可以实现上述文本数据增强方法的步骤。
在一些实施例的步骤S110中，训练语言模型是资源语言处理的重要技术手段，且预训练语言模型的训练依靠大量的语料，而现实场景中的语料储备明显不足，故需要使用数据增强的方法扩展语料体量，以实现根据扩展后的语料对预训练语言模型的调整。当需要对下游任务场景的语料进行数据增强以扩展文本语料数量时，首先，获取初始语料库，该初始语料库包括多个初始文本语料。
需要说明的是，初始语料库中的初始文本语料可以是预先人为定义的文本语料，也可以是通过编写网络爬虫或者脚本程序,进行有目标性地爬取数据，得到带有文本命名实体的文本语料。
需要说明的是，初始语料库也可以为根据需要选择的公开数据集，例如：新闻文本分类数据集THUCNews、上下文中的公共对象(Common Objects in Context，COCO)数据集等，在此不作具体限定。
在一些实施例的步骤S120中，由于初始文本语料中还包括无意义的语气助词、副词等停用词，为了提高生成的文本语料的质量，则将初始文本语料输入至预先训练的实体识别模型进行命名实体识别得到实体数据，该实体数据包括文本命名实体和文本命名实体在初始文本语料中的实***置信息。
需要说明的是，实体数据包括多个文本命名实体和每个文本命名实体的实***置信息，实***置信息用于表征对应的文本命名实体在初始文本语料中的实体槽位，根据该实体槽位可以准确地确定文本命名实体中每个字符在初始文本语料中的位置。
示例性的，实体槽位可以表示为识别出的文本命名实体的一个序列标签，即根据该序列标签就能够准确地确定文本命名实体中每个字符在初始文本语料中的位置。例如，假设初始文本语料为“一起去XY玩”，则将该初始文本语料输入至实体识别模型进行命名实体识别得到实体数据。其中，该实体数据包括识别出的文本命名实体T1：“XY”和该T1对应的实体槽位，该实体槽位对应的序列标签可以表示为“O1-O1-O1-B1-E1-O1”，O1对应表示初始文本预料中不属于文本命名实体的字符，B1对应表示初始文本预料中文本命名实体T1的开始字符，E1对应表示初始文本预料中文本命名实体T1的结束字符。此外，当根据其他初始文本语料，如“一起去LMN吃饭”,LMN为地点名称，将该初始文本语料输入至实体识别模型进行命名实体识别，得到实体数据，该实体数据包括识别到的文本命名实体T2：“LMN”和该文本命名实体T2的实体槽位，该实体槽位的序列标签可以表示为“O2-O2-O2-B2-I2-E2-O2-O2”，其中，O2对应表示初始文本预料中不属于文本命名实体的字符，B2对应表示初始文本预料中文本命名实体T2的开始字符，I2对应表示初始文本预料中文本命名实体T2的内部字符，E2对应表示初始文本预料中文本命名实体T2的结束字符。
需要说明的是，实体识别模型可以采用基于双向长短期记忆网络(Bi-directional Long Short-Term Memory，BiLSTM)结合条件随机场算法(ConditionalRandom Field Algorithm，CRF)的模型结构，也可以采用迭代扩张卷积神经网络(IteratedDilated Convolutional Neural Network，ID-CNN)结合CRF的模型结构，本申请实施例的实体识别模型可以根据实际需要进行设定，在此不作具体限定。
需要说明的是，实体识别模型的训练过程具体为，当基于ID-CNN和CRF构建初始识别模型，获取训练样本集，该训练样本集包括样本数据，可以使用分词器(tokenizer)或采用基于词典的分词算法或基于统计的分词算法等将样本数据进行分词处理，得到分词序列，分词序列包括多个样本分词和每个样本分词的样本实体标签。将分词序列输入至初始识别模型，对分词序列进行特征提取，得到分词特征。通过ID-CNN的空洞卷积增大模型的感受野，以多个卷积核为一个网络单元，即通过对分词特征重复多次卷积处理以学习上下文的特征，得到标签数量维度的目标特征。再通过CRF对目标特征进行解码，即确定预测实体标签，根据该预测实体标签和样本实体标签对初始识别模型进行参数调整，得到实体识别模型。
需要说明的是，将初始文本语料输入至预先训练的实体识别模型进行命名实体识别，具体包括，对该初始文本预料进行分词处理，得到文本分词序列，即可以根据不同的分词粒度对初始文本预料进行分词处理，得到多个文本分词组合的文本分词序列。例如，初始文本语料为“一起去吃饭”，则经过分词处理后得到的文本分词序列为“一起/去/吃饭”。将该文本分词序列输入至训练的实体识别模型进行命名实体识别，得到文本分词序列中每个文本分词的目标预测概率，该目标预测概率用于表征每个文本分词是否属于文本命名实体，即根据目标预测概率确定文本命名实体，并根据该文本命名实体在初始文本语料中进行槽位抽取，确定该文本命名实体的实***置信息。
示例性的，在金融科技的保险业务咨询场景中，初始文本预料为“这个保险保额是多少”，则经过分词处理后得到的文本分词序列为“这个/保险/保额/是多少”。因此，将该文本分词序列输入至训练的实体识别模型进行命名实体识别，确定文本命名实体，并根据该文本命名实体在初始文本语料中进行槽位抽取，确定该文本命名实体的实***置信息。并根据与抽取的文本命名实体聚类相同的实体词进行替换，以扩充文本预料样本。
在一些实施例的步骤S130中，为了更好地实现对文本命名实体的聚类处理，并消除文本命名实体的歧义，将得到的文本命名实体进行实体编码处理，得到文本实体向量。
需要说明的是，本申请实施例可以采用BERT模型、全局向量模型(GlobalVectors，GloVe模型)、快速文本分类模型等任一种对文本命名实体进行实体编码处理，在此不作具体限定，可以根据实际需要进行灵活设定。
在一些实施例的步骤S140中，为了规避命名实体识别阶段抽取出的噪音数据，以生成高质量的文本语料，通过对文本实体向量进行聚类处理，得到实体聚类集，该实体聚类集包括相似实体向量，该相似实体向量用于表示与文本实体向量的语义相似度较高的实体向量。
需要说明的是，在得到初始文本语料全部的文本实体向量后，将根据所有的文本识别向量进行聚类处理，以提高文本数据增强的聚类效率，避免多次重复聚类比较。其中，进行聚类处理的文本识别向量可以来源于相同的初始文本语料，也可以来源于初始语料库的其他初始文本语料。
在一些实施例的步骤S150中，为了实现对文本语料的扩展，根据相似实体向量和实***置信息对文本命名实体进行语料生成处理，得到目标文本语料。具体地，根据文本命名实体的实***置信息，将实体聚类集中的每个相似实体向量更新到初始文本语料中的对应位置，以生成多个目标文本语料。
需要说明的是，在得到多个目标文本语料后，将目标文本语料和初始文本语料混合构建目标语料集，以扩展了初始语料库。
请参阅图2，图2是本申请实施例提供的步骤S140的具体方法的流程图。在一些实施例中，步骤S140具体可以包括但不限于步骤S210至步骤S230，下面结合图2对这三个步骤进行详细介绍。
步骤S210，对文本实体向量进行向量搜索处理，得到实体向量集；
步骤S220，根据预设数量阈值从实体向量集中筛选出目标实体向量；
步骤S230，对目标实体向量进行聚类处理，得到实体聚类集。
在一些实施例的步骤S210中，为了避免命名实体识别阶段抽取出的噪音数据对文本数据增强的影响，从而生成高质量的文本语料，通过依次对每个文本实体向量进行向量搜索处理，即相当于以该文本实体向量为基础向量，根据该基础向量对进行聚类处理的其余文本实体向量进行向量搜索，得到每个文本实体向量对应的实体向量集。
需要说明的是，本申请实施例可以基于密度的聚类算法(Density-Based SpatialClustering of Applications with Noise，DBSCAN)对文本实体向量进行聚类处理。
在一些实施例的步骤S220中，为了使得到的实体聚类集能够更准确得实现每个实体聚类集中的文本实体向量都是尽可能相似，而不同实体聚类集中的文本实体向量尽可能相异，且为了避免不同的实体聚类集之间产生实体向量重复的问题，根据预设数量阈值从实体向量集中筛选出目标实体向量，该目标实体向量用于表征聚类得到的实体聚类集的聚类核心数据。
在一些实施例的步骤S230中，对目标实体向量进行聚类处理，得到实体聚类集。具体地，根据目标实体向量对全部文本实体向量进行聚类处理，得到多个实体聚类集。本申请实施例基于文本实体向量的密度确定实体聚类集，能够有效规避命名实体识别阶段抽取出的噪音数据，以生成高质量的文本语料。
请参阅图3，图3是本申请实施例提供的步骤S210的具体方法的一个流程图。在一些实施例中，步骤S210具体可以包括但不限于步骤S310至步骤S330，下面结合图3对这三个步骤进行详细介绍。
步骤S310，根据预设实体距离阈值对文本实体向量进行访问，得到当前实体向量；
步骤S320，获取当前实体向量的实体访问标签；
步骤S330，若实体访问标签为未标记标签，则根据预设实体距离阈值对当前实体向量进行向量搜索处理，得到实体向量集；其中，未标记标签表征当前实体向量未被访问。
在一些实施例的步骤S310至步骤S330中，依次对每个文本实体向量进行向量搜索处理，具体地，根据预设实体距离阈值对文本实体向量进行访问，将当前正在搜索的文本实体向量记为当前实体向量。获取当前实体向量的实体访问标签，该实体访问标签用于表征当前实体向量是否已经完成了向量搜索处理。若实体访问标签为未标记标签，则根据预设实体距离阈值对当前实体向量进行向量搜索处理，得到实体向量集。其中，未标记标签用于表征当前实体向量未被访问，即当前实体向量未进行向量搜索处理。
请参阅图4，图4是本申请实施例提供的步骤S210的具体方法的另一个流程图。在一些实施例中，在获取当前实体向量的实体访问标签后，步骤S210具体还可以包括但不限于步骤S410至步骤S440，下面结合图4对这四个步骤进行详细介绍。
步骤S410，若实体访问标签为已标记标签，则更新当前实体向量；其中，已标记标签表征当前实体向量已被访问；
步骤S420，获取更新后的当前实体向量，得到待搜索实体向量；
步骤S430，识别待搜索实体向量的标签类别，得到当前访问标签；
步骤S440，若当前访问标签为所述未标记标签，则根据预设实体距离阈值对待搜索实体向量进行向量搜索处理，得到实体向量集。
在一些实施例的步骤S410至步骤S440中，根据预设实体距离阈值对文本实体向量进行访问，将当前正在搜索的文本实体向量记为当前实体向量。获取当前实体向量的实体访问标签，若实体访问标签为已标记标签，则表示该当前实体向量已被访问，即该当前实体向量已经完成了向量搜索处理。之后，更新当前实体向量，即选择下一个文本实体向量进行向量搜索处理。其中，选择下一个文本实体向量的方式可以为随机选择，也可以为根据该当前实体向量对应的实体向量集中的任一个文本实体向量进行向量更新。获取更新后的当前实体向量，即将更新后的向量作为待搜索实体向量。识别该待搜索实体向量的标签类别，即为当前访问标签，该当前访问标签用于表征待搜索实体向量是否已经完成了向量搜索处理。若当前访问标签为未标记标签，则根据预设实体距离阈值对待搜索实体向量进行向量搜索处理，得到实体向量集。其中，此时的未标记标签用于表征待搜索实体向量未被访问，即待搜索实体向量未进行向量搜索处理。
需要说明的是，为了更大程度的扩充文本语料，在识别到所有文本实体向量的访问标签都为已标记标签后，再根据预设数量阈值从实体向量集中筛选出目标实体向量。
请参阅图5，图5是本申请实施例提供的步骤S220的具体方法的流程图。在一些实施例中，步骤S220具体可以包括但不限于步骤S510至步骤S530，下面结合图5对这三个步骤进行详细介绍。
步骤S510，获取实体向量集的实体数量；
步骤S520，对实体数量和预设数量阈值进行数值比较，得到比较结果；
步骤S530，根据比较结果从实体向量集中筛选出目标实体向量。
在一些实施例的步骤S510至步骤S530中，为了准确地聚类出多个实体聚类集，且避免不同得实体聚类集之间产生实体向量重复的问题，获取实体向量集的实体数量，对实体数量和预设数量阈值进行数值比较，得到比较结果，并根据比较结果从实体向量集中筛选出目标实体向量。
需要说明的是，为了避免文本实体向量中噪声数据的影响，预设实体数量阈值包括实体最大阈值和实体最小阈值，若比较结果表示该文本实体向量的实体向量集的向量数量大于或等于实体最大阈值，则将文本实体向量标记为目标实体向量。
需要说明的是，若比较结果表示该文本实体向量的实体向量集的向量数量小于实体最小阈值，则将文本实体向量标记为噪声实体向量，该噪声实体向量为噪声数据。
需要说明的是，若比较结果表示该文本实体向量的实体向量集的向量数量小于实体最大阈值且大于实体最小阈值，则将文本实体向量标记为边界实体向量。
需要说明的是，预设实体数量阈值为小于总文本实体向量的数值，且可以根据实际需要进行灵活设定。
需要说明的是，为了提高聚类效率，可以将噪声实体向量进行实体向量剔除。
请参阅图6，图6是本申请实施例提供的步骤S230的具体方法的流程图。在一些实施例中，步骤S230具体可以包括但不限于步骤S610至步骤S630，下面结合图6对这三个步骤进行详细介绍。
步骤S610，对目标实体向量进行聚类处理，得到候选实体向量；
步骤S620，将目标实体向量与候选实体向量进行语义相似度计算，得到语义相似度数据；
步骤S630，若语义相似度数据大于或等于预设相似度阈值，则将候选实体向量作为相似实体向量。
在一些实施例的步骤S610中，为了实现每个实体聚类集中的文本实体向量都是尽可能相似，而不同实体聚类集中的文本实体向量尽可能相异。对目标实体向量进行聚类处理，得到候选实体向量，即以目标实体向量为基础向量，根据预设实体距离阈值对目标实体向量进行聚类处理，得到候选实体向量，该候选实体向量用于表示在预设实体距离阈值内的实体向量。
在一些实施例的步骤S620和步骤S630中，将目标实体向量与候选实体向量进行语义相似度计算，得到语义相似度数据，该语义相似度数据用于表示目标实体向量与候选实体向量的语义相似概率值。若语义相似度数据大于或等于预设相似度阈值，则将候选实体向量作为相似实体向量。
需要说明的是，本申请实施例可以采用余弦相似度、欧式距离等方法计算语义相似度，在此不作具体限定，可以根据实际需要灵活设定。
在一些实施例中，在得到语义相似度数据之后，步骤S230的方法还包括：若候选实体向量与目标实体向量之间的语义相似度数据小于预设相似度阈值，则表明以当前的预设实体距离阈值找到的实体向量与目标实体向量不太相似，为了生成高质量的文本语料，则对预设实体距离阈值进行阈值降低处理，以更新该预设实体距离阈值。
请参阅图7，图7是本申请实施例提供的步骤S150的具体方法的流程图。在一些实施例中，步骤S150具体可以包括但不限于步骤S710至步骤S730，下面结合图7对这三个步骤进行详细介绍。
步骤S710，对相似实体向量进行解码处理，得到目标相似实体；
步骤S720，根据实***置信息和初始文本语料确定目标实体；
步骤S730，根据目标相似实体更新目标实体，得到目标文本语料。
在一些实施例的步骤S710至步骤S730中，在确定了文本实体向量所属的实体聚类集和对应的相似实体向量后，首先，对相似实体向量进行解码处理，得到目标相似实体，以转换为向量对应的文本形式。根据实***置信息在初始文本语料查找，确定需要进行扩展的文本命名实体，即为目标实体。根据实体聚类集确定该目标实体对应的至少一个目标相似实体，根据目标相似实体更新目标实体，即将每个目标相似实体作为目标实体，得到对应的目标文本语料。因此，将初始文本语料中的至少一个文本命名实体都进行组合更新，可以得到初始文本语料对应的多个目标文本语料，从而扩展了现实场景中的语料储备，且能够生成高质量的文本语料。
需要说明的是，例如，在金融科技的保险业务咨询场景中，对于初始文本语料“我想办UVW业务”，得到实体槽位的序列标签“O2-O2-O2-B2-I2-E2-O2-O2”，并确定文本命名实体“UVW”，“UVW”为保险业务名称。之后，采用本申请的文本数据增强方法对文本命名实体“UVW”进行聚类处理，可以得到目标相似实体“UVX”、“UVY”、“UY”，其中，“UVX”、“UVY”、“UY”都是实体聚类集中与文本命名实体“UVW”相似的类型相同的目标相似实体。将文本命名实体“UVW”作为目标实体，将每个目标相似实体“UVX”、“UVY”、“UY”作为新的目标实体，得到目标文本语料“我想办UVX业务”、我想办UVY业务”、“我想办UY业务”。因此，本申请的文本数据增强方法可以保证文本语料的整个语义表达不会发生改变，即提供一种能够生成高质量文本语料的数据增强方法。
请参阅图8，本申请实施例还提供一种文本数据增强装置，可以实现上述文本数据增强方法，该装置包括：
语料获取模块810，用于获取初始文本语料；
命名实体识别模块820，用于将初始文本语料输入至预先训练的实体识别模型进行命名实体识别，得到实体数据，实体数据包括文本命名实体和文本命名实体在初始文本语料中的实***置信息；
实体编码模块830，用于对文本命名实体进行实体编码处理，得到文本实体向量；
实体聚类模块840，用于对文本实体向量进行聚类处理，得到实体聚类集，其中，实体聚类集包括相似实体向量；
语料生成模块850，用于根据相似实体向量和实***置信息对文本命名实体进行语料生成处理，得到目标文本语料。
本申请实施例的文本数据增强装置的具体实施方式与上述文本数据增强方法的具体实施例基本相同，在此不再赘述。
本申请实施例还提供了一种电子设备，电子设备包括括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述文本数据增强方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
请参阅图9，图9示意了另一实施例的电子设备的硬件结构，电子设备包括：
处理器910，可以采用通用的中央处理器(Central Processing Unit，CPU)、微处理器、应用专用集成电路(Application Specific Integrated Circuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；
存储器920，可以采用只读存储器(Read Only Memory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(Random Access Memory，RAM)等形式实现。存储器920可以存储操作***和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器920中，并由处理器910来调用执行本申请实施例的文本数据增强方法；
输入/输出接口930，用于实现信息输入及输出；
通信接口940，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；
总线950，在设备的各个组件(例如处理器910、存储器920、输入/输出接口930和通信接口940)之间传输信息；
其中处理器910、存储器920、输入/输出接口930和通信接口940通过总线950实现彼此之间在设备内部的通信连接。
本申请实施例还提供了一种存储介质，存储介质为计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述文本数据增强方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例提供了一种文本数据增强方法和装置、电子设备、存储介质，其通过获取初始文本语料，并将初始文本语料输入至预先训练的实体识别模型进行命名实体识别，得到实体数据，该实体数据包括文本命名实体和文本命名实体在初始文本语料中的实***置信息。然后，对文本命名实体进行实体编码处理，得到文本实体向量。为了避免命名实体识别阶段抽取出的噪音数据对文本数据增强的影响，从而生成高质量的文本语料，依次对每个文本实体向量进行向量搜索处理，即根据预设实体距离阈值对文本实体向量进行访问，得到当前实体向量。获取当前实体向量的实体访问标签，若实体访问标签为未标记标签，则根据预设实体距离阈值对当前实体向量进行向量搜索处理得到实体向量集；若实体访问标签为已标记标签，则更新当前实体向量，并获取更新后的待搜索实体向量，识别待搜索实体向量的标签类别，得到当前访问标签，若当前访问标签为所述未标记标签，则根据预设实体距离阈值对待搜索实体向量进行向量搜索处理得到实体向量集。为了准确地聚类出多个实体聚类集，且避免不同得实体聚类集之间产生实体向量重复的问题，以获取实体向量集的实体数量，对实体数量和预设数量阈值进行数值比较，得到比较结果，并根据比较结果从实体向量集中筛选出目标实体向量。之后，为了实现每个实体聚类集中的文本实体向量都是尽可能相似，而不同实体聚类集中的文本实体向量尽可能相异，对目标实体向量进行聚类处理得到候选实体向量，并将目标实体向量与候选实体向量进行语义相似度计算，得到语义相似度数据，若语义相似度数据大于或等于预设相似度阈值，则将候选实体向量作为相似实体向量；若候选实体向量与目标实体向量之间的语义相似度数据小于预设相似度阈值，则表明以当前的预设实体距离阈值找到的实体向量与目标实体向量不太相似，则对预设实体距离阈值进行阈值降低处理，更新该预设实体距离阈值，从而生成高质量的文本语料。最后，根据相似实体向量和实***置信息对文本命名实体进行语料生成处理，得到目标文本语料。本申请实施例通过对文本实体向量进行聚类的数据增强方法，扩展了现实场景中的语料储备，且能够生成高质量的文本语料。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。
Claims (10)
1.一种文本数据增强方法，其特征在于，所述方法包括：
获取初始文本语料；
将所述初始文本语料输入至预先训练的实体识别模型进行命名实体识别，得到实体数据，所述实体数据包括文本命名实体和所述文本命名实体在所述初始文本语料中的实***置信息；
对所述文本命名实体进行实体编码处理，得到文本实体向量；
对所述文本实体向量进行聚类处理，得到实体聚类集，其中，所述实体聚类集包括相似实体向量；
根据所述相似实体向量和所述实***置信息对所述文本命名实体进行语料生成处理，得到目标文本语料。
2.根据权利要求1所述的方法，其特征在于，所述对所述文本实体向量进行聚类处理，得到实体聚类集，包括：
对所述文本实体向量进行向量搜索处理，得到实体向量集；
根据预设数量阈值从所述实体向量集中筛选出目标实体向量；
对所述目标实体向量进行聚类处理，得到所述实体聚类集。
3.根据权利要求2所述的方法，其特征在于，所述对所述文本实体向量进行向量搜索处理，得到实体向量集，包括：
根据预设实体距离阈值对所述文本实体向量进行访问，得到当前实体向量；
获取所述当前实体向量的实体访问标签；
若所述实体访问标签为未标记标签，则根据所述预设实体距离阈值对所述当前实体向量进行向量搜索处理，得到所述实体向量集；其中，所述未标记标签表征所述当前实体向量未被访问。
4.根据权利要求3所述的方法，其特征在于，所述对所述文本实体向量进行向量搜索处理，得到实体向量集，还包括：
若所述实体访问标签为已标记标签，则更新所述当前实体向量；其中，所述已标记标签表征所述当前实体向量已被访问；
获取更新后的所述当前实体向量，得到待搜索实体向量；
识别所述待搜索实体向量的标签类别，得到当前访问标签；
若所述当前访问标签为所述未标记标签，则根据所述预设实体距离阈值对所述待搜索实体向量进行向量搜索处理，得到所述实体向量集。
5.根据权利要求2所述的方法，其特征在于，所述根据预设数量阈值从所述实体向量集中筛选出目标实体向量，包括：
获取所述实体向量集的实体数量；
对所述实体数量和所述预设数量阈值进行数值比较，得到比较结果；
根据所述比较结果从所述实体向量集中筛选出所述目标实体向量。
6.根据权利要求2所述的方法，其特征在于，所述对所述目标实体向量进行聚类处理，得到所述实体聚类集，包括：
对所述目标实体向量进行聚类处理，得到候选实体向量；
将所述目标实体向量与所述候选实体向量进行语义相似度计算，得到语义相似度数据；
若所述语义相似度数据大于或等于预设相似度阈值，则将所述候选实体向量作为所述相似实体向量。
7.根据权利要求1至6任一项所述的方法，其特征在于，所述根据所述相似实体向量和所述实***置信息对所述文本命名实体进行语料生成处理，得到目标文本语料，包括；
对所述相似实体向量进行解码处理，得到目标相似实体；
根据所述实***置信息和所述初始文本语料确定目标实体；
根据所述目标相似实体更新所述目标实体，得到所述目标文本语料。
8.一种文本数据增强装置，其特征在于，所述装置包括：
语料获取模块，用于获取初始文本语料；
命名实体识别模块，用于将所述初始文本语料输入至预先训练的实体识别模型进行命名实体识别，得到实体数据，所述实体数据包括文本命名实体和所述文本命名实体在所述初始文本语料中的实***置信息；
实体编码模块，用于对所述文本命名实体进行实体编码处理，得到文本实体向量；
实体聚类模块，用于对所述文本实体向量进行聚类处理，得到实体聚类集，其中，所述实体聚类集包括相似实体向量；
语料生成模块，用于根据所述相似实体向量和所述实***置信息对所述文本命名实体进行语料生成处理，得到目标文本语料。
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的方法。
10.一种存储介质，所述存储介质为计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310833537.5A CN116702781A (zh) | 2023-07-07 | 2023-07-07 | 文本数据增强方法和装置、电子设备、存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310833537.5A CN116702781A (zh) | 2023-07-07 | 2023-07-07 | 文本数据增强方法和装置、电子设备、存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116702781A true CN116702781A (zh) | 2023-09-05 |
Family
ID=87837463
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310833537.5A Pending CN116702781A (zh) | 2023-07-07 | 2023-07-07 | 文本数据增强方法和装置、电子设备、存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116702781A (zh) |
-
2023
- 2023-07-07 CN CN202310833537.5A patent/CN116702781A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107679039B (zh) | 用于确定语句意图的方法和装置 | |
| CN108287858B (zh) | 自然语言的语义提取方法及装置 | |
| CN112164391B (zh) | 语句处理方法、装置、电子设备及存储介质 | |
| CN107085581B (zh) | 短文本分类方法和装置 | |
| CN111291195B (zh) | 一种数据处理方法、装置、终端及可读存储介质 | |
| CN110162594B (zh) | 文本数据的观点生成方法、装置及电子设备 | |
| CN113392209B (zh) | 一种基于人工智能的文本聚类方法、相关设备及存储介质 | |
| WO2023108993A1 (zh) | 基于深度聚类算法的产品推荐方法、装置、设备及介质 | |
| CN110457585B (zh) | 负面文本的推送方法、装置、***及计算机设备 | |
| CN108304376B (zh) | 文本向量的确定方法、装置、存储介质及电子装置 | |
| CN110968725B (zh) | 图像内容描述信息生成方法、电子设备及存储介质 | |
| CN111339250A (zh) | 新类别标签的挖掘方法及电子设备、计算机可读介质 | |
| CN114595357A (zh) | 视频搜索方法和装置、电子设备、存储介质 | |
| CN115640394A (zh) | 文本分类方法、文本分类装置、计算机设备及存储介质 | |
| CN116258137A (zh) | 文本纠错方法、装置、设备和存储介质 | |
| CN115905528A (zh) | 具有时序特征的事件多标签分类方法、装置及电子设备 | |
| CN115269781A (zh) | 模态关联度预测方法、装置、设备、存储介质及程序产品 | |
| CN113408282B (zh) | 主题模型训练和主题预测方法、装置、设备及存储介质 | |
| CN114490949A (zh) | 基于bm25算法的文档检索方法、装置、设备及介质 | |
| CN111950261B (zh) | 提取文本关键词的方法、设备和计算机可读存储介质 | |
| CN112926341A (zh) | 文本数据处理方法、装置 | |
| CN116543798A (zh) | 基于多分类器的情感识别方法和装置、电子设备、介质 | |
| CN114611529B (zh) | 意图识别方法和装置、电子设备及存储介质 | |
| CN116364054A (zh) | 基于diffusion的语音合成方法、装置、设备、存储介质 | |
| CN116127066A (zh) | 文本聚类方法、文本聚类装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |