CN114064894A - 文本处理方法、装置、电子设备及存储介质 - Google Patents

文本处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN114064894A
CN114064894A CN202111350160.5A CN202111350160A CN114064894A CN 114064894 A CN114064894 A CN 114064894A CN 202111350160 A CN202111350160 A CN 202111350160A CN 114064894 A CN114064894 A CN 114064894A
Authority
CN
China
Prior art keywords
text
target
vector
clustering
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111350160.5A
Other languages
English (en)
Inventor
袁梦菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Life Insurance Company of China Ltd
Original Assignee
Ping An Life Insurance Company of China Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Life Insurance Company of China Ltd filed Critical Ping An Life Insurance Company of China Ltd
Priority to CN202111350160.5A priority Critical patent/CN114064894A/zh
Publication of CN114064894A publication Critical patent/CN114064894A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3344—Query execution using natural language analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请实施例提供了一种文本处理方法、装置、电子设备及存储介质，属于人工智能技术领域。该方法包括：获取待处理的原始文本；对原始文本进行特征提取，得到目标文本数据；对目标文本数据进行编码处理，得到文本隐性特征向量；对文本隐性特征向量进行解码处理，得到目标文本向量；该方法还包括：通过预设的文本分类模型和文本类别标签对目标文本向量进行标签分类处理，得到包含文本类别标签的目标分类文本；或者，通过预设的文本聚类模型和文本聚类标签对目标文本向量进行聚类处理，得到目标聚类文本集。本申请实施例能够提高文本分类或者文本聚类的准确性。

Description

文本处理方法、装置、电子设备及存储介质
技术领域
本申请涉及人工智能技术领域，尤其涉及一种文本处理方法、装置、电子设备及存储介质。
背景技术
目前，在对文本处理时，常常是将多标签文本分类/聚类任务分为多个单标签的二元分类/聚类任务，使用待处理文本和类别标签的关系来进行分类/聚类，这种方法虽然能够捕获到待处理文本与类别标签间的关系，但是忽略了类别标签与类别标签之间的关系，从而导致文本处理的准确性差。因此，如何提供一种文本处理方法，能够提高文本分类或者文本聚类的准确性，成为了亟待解决的技术问题。
发明内容
本申请实施例的主要目的在于提出一种文本处理方法、装置、电子设备及存储介质，旨在提高文本分类或者文本聚类的准确性。
为实现上述目的，本申请实施例的第一方面提出了一种文本处理方法，所述方法包括：
获取待处理的原始文本；
对所述原始文本进行特征提取，得到目标文本数据；
对所述目标文本数据进行编码处理，得到文本隐性特征向量；
对所述文本隐性特征向量进行解码处理，得到目标文本向量；
所述方法还包括：
通过预设的文本分类模型和文本类别标签对所述目标文本向量进行标签分类处理，得到包含所述文本类别标签的目标分类文本；
或者，
通过预设的文本聚类模型和文本聚类标签对所述目标文本向量进行聚类处理，得到目标聚类文本集。
在一些实施例，所述对所述原始文本进行特征提取，得到目标文本数据的步骤，包括：
识别所述原始文本中的文本实体特征；
利用预先训练的序列分类器对所述文本实体特征进行特征分类处理，得到第一文本特征；
对所述第一文本特征进行特征提取，得到目标文本数据。
在一些实施例，所述对所述文本隐性特征向量进行解码处理，得到目标文本向量的步骤，包括：
对所述文本隐性特征向量进行数据重采样处理，得到中间文本向量；
对所述中间文本向量进行解码处理，得到目标文本向量。
在一些实施例，所述对所述目标文本数据进行编码处理，得到文本隐性特征向量的步骤，包括：
将所述目标文本数据映射到预设的向量空间，得到目标文本特征；
根据预设的编码顺序和编码维度，对所述目标文本特征进行编码处理，得到文本隐性特征向量。
在一些实施例，所述通过预设的文本分类模型和文本类别标签对所述目标文本向量进行标签分类处理，得到包含所述文本类别标签的目标分类文本的步骤，包括：
根据预设的分类函数和文本类别标签对目标文本向量进行标签分类处理，得到标签文本向量；
对标签文本向量进行语义分析处理，得到目标分类文本。
在一些实施例，所述对标签文本向量进行语义分析处理，得到目标分类文本的步骤，包括：
计算所述标签文本向量和参考文本向量的相似度；
根据所述相似度，对预设的文本词库内的文本词段进行筛选处理，得到标准文本词段；
对所述标准文本词段进行拼接处理，得到目标分类文本。
在一些实施例，所述对所述目标文本数据进行编码处理，得到文本隐性特征向量的步骤，包括：
将所述目标文本数据映射到预设的向量空间，得到目标文本特征；
根据预设的编码顺序和编码维度，对所述目标文本特征进行编码处理，得到预设特征维度的文本隐向量；
根据预设的权重比例，对所述文本隐向量进行加权处理，得到文本隐性特征向量。
在一些实施例，所述通过预设的文本聚类模型和文本聚类标签对所述目标文本向量进行聚类处理，得到目标聚类文本集的步骤，包括：
根据预设的聚类算法和文本聚类标签对所述目标文本向量进行聚类处理，得到包含文本聚类标签的目标聚类文本；
将包含相同文本聚类标签的所述目标聚类文本纳入同一集合，得到目标聚类文本集。
为实现上述目的，本申请实施例的第二方面提出了一种文本处理装置，所述装置包括：
原始文本获取模块，用于获取待处理的原始文本；
特征提取模块，用于对所述原始文本进行特征提取，得到目标文本数据；
编码处理模块，用于对所述目标文本数据进行编码处理，得到文本隐性特征向量；
解码处理模块，用于对所述文本隐性特征向量进行解码处理，得到目标文本向量；
文本处理模块，用于通过预设的文本分类模型和文本类别标签对所述目标文本向量进行标签分类处理，得到包含所述文本类别标签的目标分类文本；或者用于通过预设的文本聚类模型和文本聚类标签对所述目标文本向量进行聚类处理，得到目标聚类文本集。
为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述计算机程序被所述处理器执行时实现上述第一方面所述的方法。
为实现上述目的，本申请实施例的第四方面提出了一种计算机可读存储介质，用于计算机可读存储，所述计算机可读存储介质存储有一个或者多个计算机程序，所述一个或者多个计算机程序可被一个或者多个处理器执行，以实现上述第一方面所述的方法。
本申请提出的文本处理方法、装置、电子设备及存储介质，其通过获取待处理的原始文本；对原始文本进行特征提取，得到目标文本数据，能够有效地剔除原始文本中相关性不高的数据，缩小数据总量。进而，对目标文本数据进行编码处理，得到文本隐性特征向量；对文本隐性特征向量进行解码处理，得到目标文本向量；最后，既可以通过预设的文本分类模型和文本类别标签对目标文本向量进行标签分类处理，得到包含文本类别标签的目标分类文本，能够根据文本类别对目标文本进行分类，提高每一文本类别中的目标分类文本的相关性，从而提高文本分类的准确性；也可以通过预设的文本聚类模型和文本聚类标签对目标文本向量进行聚类处理，得到目标聚类文本集，通过对目标文本进行聚类处理，可以根据预设的文本聚类标签将相关性较高的目标文本归为一个类别，得到目标聚类文本集，从而提高文本聚类的准确性。
附图说明
图1是本申请实施例提供的文本处理方法的流程图；
图2是图1中的步骤S102的流程图；
图3是图1中的步骤S103的流程图；
图4是图1中的步骤S104的流程图；
图5是图1中的步骤S105的流程图；
图6是图5中的步骤S502的流程图；
图7是图1中的步骤S103的另一流程图；
图8是图1中的步骤S105的另一流程图；
图9是本申请实施例提供的文本处理装置的结构示意图；
图10是本申请实施例提供的电子设备的硬件结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
首先，对本申请中涉及的若干名词进行解析：
人工智能(artificial intelligence，AI)：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用***的一门新的技术科学；人工智能是计算机科学的一个分支，人工智能企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家***等。人工智能可以对人的意识、思维的信息过程的模拟。人工智能还是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
自然语言处理(natural language processing，NLP)：NLP用计算机来处理、理解以及运用人类语言(如中文、英文等)，NLP属于人工智能的一个分支，是计算机科学与语言学的交叉学科，又常被称为计算语言学。自然语言处理包括语法分析、语义分析、篇章理解等。自然语言处理常用于机器翻译、手写体和印刷体字符识别、语音识别及文语转换、信息检索、信息抽取与过滤、文本分类与聚类、舆情分析和观点挖掘等技术领域，它涉及与语言处理相关的数据挖掘、机器学习、知识获取、知识工程、人工智能研究和与语言计算相关的语言学研究等。
信息抽取(Information Extraction，NER)：从自然语言文本中抽取指定类型的实体、关系、事件等事实信息，并形成结构化数据输出的文本处理技术。信息抽取是从文本数据中抽取特定信息的一种技术。文本数据是由一些具体的单位构成的，例如句子、段落、篇章，文本信息正是由一些小的具体的单位构成的，例如字、词、词组、句子、段落或是这些具体的单位的组合。抽取文本数据中的名词短语、人名、地名等都是文本信息抽取，当然，文本信息抽取技术所抽取的信息可以是各种类型的信息。
变分自解码器(Variational auto-encoder，VAE):变分自解码器是一类重要的生成模型(generative model)。变分自解码器在训练时加入正则化防止过拟合，保证隐层空间具有足够的能力进行生成过程的自编码器。编码器生成的分布被选为正态分布，编码器就可以训练返回描述这些正太分布的均值和协方差矩阵这些统计量。一个输入被编码成分布是因为它可以很自然地表达潜在空间的全局正则化和局部正则化，局部是因为方差的控制，全局是因为均值的控制。变分自编码器的损失函数由重构项(最后层)和正则项(隐层)组成。正则项为生成的分布和正太分布之间的KL散度来表示。其中，正则化的作用是使隐层空间可以进行生成过程，所以需满足以下两个特点：连续性和完整性。连续性可以理解为隐层中两个相近的点解码后应该近似是一样的；完整性理解为分布中采样得到的点解码后的内容应该是有具体意义的。如果单单是将隐层中的点变成分布是不足以满足上面两个特点。所以需要定义一个好的正则项，即编码器生成的分布接近标准正太分布，协方差矩阵接近单位阵，均值为0。这个正则化项，可以防止模型在潜在空间中对数据进行遥远的编码，并鼓励尽可能多的返回分布“重叠”，从而满足预期的连续性和完整性条件。正则项会提高重构损失，所以训练时需要权衡这两个损失。
batch(批量)：Batch大小(即批量大小)是一个超参数，用于定义在更新内部模型参数之前要处理的样本数，也就是在模型的内部参数更新之前控制训练样本的数量。训练数据集可以分为一个或多个Batch，其中，当所有训练样本用于创建一个Batch时，学习算法称为批量梯度下降；当批量是一个样本的大小时，学习算法称为随机梯度下降；当批量大小超过一个样本且小于训练数据集的大小时，学习算法称为小批量梯度下降。Batch大小是在更新模型之前处理的多个样本。
编码(encoder)：就是将输入序列转化成一个固定长度的向量；
解码(decoder)：就是将之前生成的固定向量再转化成输出序列；其中，输入序列可以是文字、语音、图像、视频；输出序列可以是文字、图像。
隐变量：隐变量是不可观测的随机变量，通常通过可观测变量的样本对隐变量作出推断。举个高斯混合模型的例子，GMM中隐变量指的是每个observation对应的高斯component，由于产生过程是不可观测的(或者说隐藏的)，故得名隐变量。我们可以通过收集样本对隐变量。
上采样(upsampling)：上采样是指放大图像，也称图像插值(interpolating)，其主要目的在于放大原图像,从而使图像可以显示在更高分辨率的显示设备上。上采样原理：图像放大几乎都是采用内插值方法，即在原有图像像素的基础上在像素点之间采用合适的插值算法***新的元素。插值算法主要包括基于边缘的图像插值算法和基于区域的图像插值算法。
下采样(subsampled)：下采样是指缩小图像，也称降采样(downsampled)，其主要目的在于使得图像符合显示区域的大小，以及生成对应图像的缩略图。下采样原理：对于一幅图像I尺寸为M*N，对其进行s倍下采样，即得到(M/s)*(N/s)尺寸的得分辨率图像，当然s应该是M和N的公约数才行，如果考虑的是矩阵形式的图像，就是把原始图像s*s窗口内的图像变成一个像素，这个像素点的值就是窗口内所有像素的均值。
batch(批量)：Batch大小(即批量大小)是一个超参数，用于定义在更新内部模型参数之前要处理的样本数，也就是在模型的内部参数更新之前控制训练样本的数量。训练数据集可以分为一个或多个Batch，其中，当所有训练样本用于创建一个Batch时，学习算法称为批量梯度下降；当批量是一个样本的大小时，学习算法称为随机梯度下降；当批量大小超过一个样本且小于训练数据集的大小时，学习算法称为小批量梯度下降。Batch大小是在更新模型之前处理的多个样本。
反向传播：反向传播的大致原理为：将训练集数据输入到神经网络的输入层，经过神经网络的隐藏层，最后达到神经网络的输出层并输出结果；由于神经网络的输出结果与实际结果有误差，则计算估计值与实际值之间的误差，并将该误差从输出层向隐藏层反向传播，直至传播到输入层；在反向传播的过程中，根据误差调整各种参数的值；不断迭代上述过程，直至收敛。
协同过滤算法：是一种较为著名和常用的推荐算法，它基于对用户历史行为数据的挖掘发现用户的喜好偏向，并预测用户可能喜好的产品进行推荐，或者找到相似的用户(基于用户)或物品(基于物品)。基于用户的协同过滤算法的实现主要需要解决两个问题，一是如何找到和你有相似爱好的人，也就是要计算数据的相似度。
文本分类(text categorization)：给定分类体系，将文本集中的每个文本分到某个或者某几个类别中，这个过程称为文本分类。文本分类是一种有指导的学习(supervisedlearning)过程。文本分类过程可以分为手工分类和自动分类。前者最著名的实例是yahoo的网页分类体系，是由专家定义了分类体系，然后人工将网页分类。这种方法需要大量人力，现实中已经采用的很少了。自动文本分类(automatic text categorization)算法大致可以分为两类：知识工程(knowledge engineering)方法和机器学习(machine learning)方法。知识工程方法指的是由专家为每个类别定义一些规则，这些规则代表了这个类别的特征，自动把符合规则的文档划分到相应的类别中。这方面最著名的***是CONSTRUE。上个世纪90年代之后，机器学习方法成为主导。机器学习方法与知识工程方法相比，能够达到相似的精确度，但是减少了大量的人工参与。
文本聚类(text clustering)：将文本集合分组成多个类或簇，使得在同一个簇中的文本内容具有较高的相似度，而不同簇中的文本内容差别较大，这个过程称为文本聚类。文本聚类是一种无指导的学习(unsupervised learning)过程。文本聚类有很多应用，比如提高IR***的查全率，导航/组织电子资源，等等。www.vivisimo.com是一个成熟的文本聚类***。根据聚成的簇的特点，聚类技术通常分为层次聚类(hierarchical clustering)和划分聚类(partitional clustering)。前者比较典型的例子是凝聚层次聚类算法，后者的典型例子是k-means算法。近年来出现了一些新的聚类算法，它们基于不同的理论或技术，比如图论，模糊集理论，神经网络以及核技术(kernel techniques)等等。
相关技术中，将可能同时属于多个类别的文本称之为多标签文本，随着人工智能技术的发展，基于机器学习的多标签文本分类和文本聚类方法被广泛应用。目前，在对文本处理时，常常是将多标签文本分类/聚类任务分为多个单标签的二元分类/聚类任务，使用待处理文本和类别标签的关系来进行分类/聚类，这种方法虽然能够捕获到待处理文本与类别标签间的关系，但是忽略了类别标签与类别标签之间的关系，从而导致文本处理的准确性差。因此，如何提供一种文本处理方法，能够提高文本分类以及文本聚类的准确性，成为了亟待解决的技术问题。
基于此，本申请实施例提供了一种文本处理方法、装置、电子设备及存储介质，能够提高文本分类以及文本聚类的准确性。
本申请实施例提供的文本处理方法、装置、电子设备及存储介质，具体通过如下实施例进行说明，首先描述本申请实施例中的文本处理方法。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的文本处理方法，涉及人工智能技术领域。本申请实施例提供的文本处理方法可应用于终端中，也可应用于服务器端中，还可以是运行于终端或服务器端中的软件。在一些实施例中，终端可以是智能手机、平板电脑、笔记本电脑、台式计算机等；服务器端可以配置成独立的物理服务器，也可以配置成多个物理服务器构成的服务器集群或者分布式***，还可以配置成提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN以及大数据和人工智能平台等基础云计算服务的云服务器；软件可以是实现文本处理方法的应用等，但并不局限于以上形式。
本申请可用于众多通用或专用的计算机***环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
图1是本申请实施例提供的文本处理方法的一个可选的流程图，图1中的方法可以包括但不限于包括步骤S101至步骤S105：
步骤S101，获取待处理的原始文本；
步骤S102，对原始文本进行特征提取，得到目标文本数据；
步骤S103，对目标文本数据进行编码处理，得到文本隐性特征向量；
步骤S104，对文本隐性特征向量进行解码处理，得到目标文本向量；
步骤S105，通过预设的文本分类模型和文本类别标签对目标文本向量进行标签分类处理，得到包含文本类别标签的目标分类文本；或者，通过预设的文本聚类模型和文本聚类标签对目标文本向量进行聚类处理，得到目标聚类文本集。
在一些实施例的步骤S101中，可以通过编写网络爬虫,设置好数据源之后进行有目标性的爬取数据，得到待处理的原始文本。需要说明的是，该原始文本为自然语言文本。
请参阅图2，在一些实施例中，步骤S102可以包括但不限于包括步骤S201至步骤S203：
步骤S201，识别原始文本中的文本实体特征；
步骤S202，利用预先训练的序列分类器对文本实体特征进行特征分类处理，得到第一文本特征；
步骤S203，对第一文本特征进行特征提取，得到目标文本数据。
具体地，在步骤S201中，利用预设的词法分析模型识别原始文本中的文本实体特征。例如，预先构建文本数据词库，该文本数据词库可以包括各种文本类型相关的专有名词、术语、非专有名称等等。通过这一文本数据词库，预设的词法分析模型可以根据文本数据词库里包含的特定文本语料以及预设的词性类别，对原始文本中的文本实体特征进行识别，该文本实体特征可以包括与当前需求相关的文本专有名词、术语、非专有名称、修饰词、时间信息等多个维度的实体词汇。
为了更准确地提取文本实体特征，在步骤S202中，还可以利用预先训练的序列分类器对文本实体特征进行标记，使得这些文本实体特征都能够带上预设的标签，以便提高分类效率。具体地，预先训练的序列分类器可以是最大熵马尔科夫模型(MEMM模型)或者基于条件随机场算法(CRF)的模型或者是基于双向长短时记忆算法(bi-LSTM)的模型。例如，可以基于bi-LSTM算法构建序列分类器，在基于bi-LSTM算法的模型中,输入单词wi和字符嵌入，通过左到右的长短记忆和右向左的长短时记忆,使得在输出被连接的位置生成单一的输出层。序列分类器通过这一输出层可以将输入的文本实体特征直接传递到softmax分类器上,通过softmax分类器在预设的词性类别标签上创建一个概率分布，从而根据概率分布对文本实体特征进行标记分类，得到第一文本特征，这些第一文本特征为包括目标文本参数的文本实体特征。
最后，执行步骤S203，利用卷积层对第一文本特征进行卷积处理，以实现对第一文本特征的提取，得到所需要的目标文本数据。
在一些实施例中，在步骤S103之前，该方法还包括预先构建及训练文本处理模型，其中，文本处理模型为变分自解码模型。该文本处理模型包括多个密集层和多个卷积层，其中，密集层和卷积层之间跳跃连接，通过密集层和卷积层之间的跳跃连接能够减小梯度流失，提高文本处理模型的拟合性能。
为了实现对目标文本数据的编码处理和解码处理，上述文本处理模型包括编码模块和解码模块，其中，编码模块包括至少一个下采样网络，解码模块包括至少一个上采样网络。该文本处理模型的训练过程包括但不限于以下步骤a至步骤f：
步骤a，获取样本文本；
步骤b，对样本文本进行多次映射处理，得到样本文本特征；
步骤c，将样本文本特征输入到初始模型；
步骤d，通过初始模型对样本文本特征进行归一化处理，得到批归一化矩阵和通道归一化矩阵；
步骤e，根据预设的权重向量，对批归一化矩阵和通道归一化矩阵进行矩阵相乘处理，得到归一化值；
步骤f，根据归一化值对初始模型的损失函数进行优化，以更新初始模型，得到文本处理模型。
具体地，该初始模型为变分自解码模型，首先执行步骤a，获取包含文本类别标签的样本文本。进而，执行步骤b，利用MLP网络对样本文本进行多次映射处理，得到样本文本特征，其中，样本文本特征的尺寸为[N,C,H,W]，N代表数量，C代表通道数，H代表高度，W代表宽度。
进而，执行步骤c，将样本文本特征输入至初始模型中。
在执行步骤d时，在批量分层维度(batch)上，对样本文本特征的数量、高度、宽度进行归一化处理，算法过程具体为：沿着通道方向计算每个batch的均值u；沿着通道方向计算每个batch的方差σ2；对输入的样本文本特征x做归一化处理，具体计算公式如公式(1)所示；引入缩放变量γ和平移变量β,从而得到批归一化矩阵为y＝γ*x+β。另外，还需要在通道维度上对样本文本特征的通道数、高度、宽度进行归一化处理，得到通道归一化矩阵；其中，每一通道的均值μl和方差μl如公式(2)和公式(3)所示：
Figure BDA0003355475090000081
Figure BDA0003355475090000082
Figure BDA0003355475090000083
在执行步骤e时，根据预设的权重向量，对批归一化矩阵和通道归一化矩阵进行矩阵相乘处理，得到归一化值。
最后，执行步骤f，根据归一化值以及预设的损失函数计算初始模型的模型损失，即loss值，再利用梯度下降法对loss值进行反向传播，将loss值反馈回初始模型，修改初始模型的模型参数，重复上述过程，直至loss值满足预设的迭代条件，其中，预设的迭代条件是可以迭代次数达到预设值，或者是损失函数的变化方差小于预设阈值。当loss值满足预设的迭代条件时可以停止反向传播，将最后的模型参数作为最终的模型参数，完成对初始模型的更新，得到文本处理模型。
需要说明的是，在本申请实施例中，上述模型损失可以包括重构损失、KL散度损失以及正则化损失，即通过重构损失来定义原始文本与重构文本之间的绝对差异；通过KL散度损失来定义隐变量维度中先验分布与后验分布的差别；通过正则化损失可以更好地控制KL发散的问题，使得整个模型的更加的光滑，通过上述模型损失的计算及优化能够有利于模型训练的稳定性。
请参阅图3，在一些实施例中，步骤S103可以包括但不限于包括步骤S301至步骤S302：
步骤S301，将目标文本数据映射到预设的向量空间，得到目标文本特征；
步骤S302，根据预设的编码顺序和编码维度，对目标文本特征进行编码处理，得到文本隐性特征向量。
具体地，在步骤S301中，可以采用MLP网络对目标文本数据进行语义空间到向量空间上的多次映射处理，将目标文本数据映射到预先设定的向量空间中，得到目标文本特征，该目标文本特征可以是文本特征，也可以是图像特征。
进而，可以执行步骤S302，通过上述文本处理模型的编码模块可以根据自下而上的编码顺序和编码维度，对目标文本特征进行编码处理。例如，对目标文本特征进行初次编码，得到最底层的文本隐性特征向量z1，然后逐层向上进行下采样处理，得到每一层对应的文本隐性特征向量[z2,z3…,zk]。
进一步地，为了提高编码质量，编码模块包括编码器和下采样单元，编码器的卷积层的步长为1，且编码器的卷积层的输入特征和输出特征尺寸相同；下采样单元的卷积层的步长为2，下采样单元的输出特征尺寸是输入特征尺寸的一半，其中，输入特征可以为图像特征或者文本特征。
通过上述预先训练的文本处理模型的编码模块对目标文本数据的编码处理，得到的文本隐性特征向量z不再是一个分布，而是在不同维度上的多个分布[z1,z2,…,zk]。该方式相较于传统技术中的将高维度的文本信息映射到低维的隐变量层z的方法，能够有效地避免目标文本数据的丢失，能够有效地提高重构文本的文本质量。
请参阅图4，在一些实施例中，步骤S104可以包括但不限于包括步骤S401至步骤S402：
步骤S401，对文本隐性特征向量进行数据重采样处理，得到中间文本向量；
步骤S402，对中间文本向量进行解码处理，得到目标文本向量。
具体地，在步骤S401中，可以采用最邻近内插法、双线性内插法和三次卷积法内插法中的至少一种对每个文本隐性特征向量进行数据重采样处理，即按照一定的间隔采集文本隐性特征向量的灰度数值，对采集到的灰度值进行分析。当采集到的灰度值不在采样点上的原始函数的数值集合范围内时，则利用采用最邻近内插法、双线性内插法或者三次卷积法内插法对已采样点进行内插处理，得到目标文本数据在不同维度上的多个分布[Y1,Y2,…,Yk]，即多个中间文本向量。
进而，可以执行步骤S402，通过上述文本处理模型的解码模块对中间文本向量进行解码处理和上采样处理，该解码过程与前述的编码过程相对称。例如，对不同维度上的中间文本向量进行解码处理，然后逐层向上进行上采样处理，以实现所有维度的中间文本向量的解码处理和上采样处理，从而得到目标文本向量。
进一步地，为了提高解码质量，解码模块包括解码器和上采样单元，解码器的卷积层的步长为1，且解码器的输入特征和输出特征尺寸相同；上采样单元的卷积层的步长为2，上采样单元的输出特征尺寸是输入特征尺寸的两倍，其中，输入特征可以为图像特征或者文本特征。
通过上述预先训练的文本处理模型的解码模块对目标文本数据的解码处理，得到的目标文本向量也是在不同维度上的多个分布。该方式相较于传统技术中的文本处理方法能够有效地避免目标文本数据的丢失，从而提高重构文本的文本质量。
请参阅图5，在一些实施例中，为了实现文本分类，步骤S105还可以包括但不限于包括步骤S501至步骤S502：
步骤S501，根据预设的分类函数和文本类别标签对目标文本向量进行标签分类处理，得到标签文本向量；
步骤S502，对标签文本向量进行语义分析处理，得到目标分类文本。
需要说明的是，该文本分类模型可以为textCNN模型。该文本分类模型包括Embedding层，卷积层，池化层和输出层。通常经过文本分类模型的Embedding层可以采用ELMO，GLOVE，Word2Vector，Bert等算法将输入的文本生成一个稠密向量。进而通过文本分类模型的卷积层和池化层对该稠密向量进行卷积处理和池化处理，得到目标特征向量，进而将特征向量输入至输出层，通过输出层中的预设函数即可对目标特征向量进行分类操作，以实现对文本的分类。
具体地，在步骤S501中，预设的分类函数可以是softmax函数，通过softmax函数根据预设的文本类别标签对目标文本向量进行标签分类处理，在每一文本类别上创建一个概率分布，根据每一文本类别的概率分布情况对目标文本向量进行标记，使得每一目标文本向量带熵对应的文本类别标签，从而得到标签文本向量。
进而，执行步骤S502,通过对标签文本向量与参考文本向量进行对比，得到对比结果。根据对比结果以及文本词段的字符数量、词性类别等等对预设的文本词库内的文本词段进行筛选，得到标准文本词段。最后对标准文本词段进行拼接处理，得到目标分类文本。该方式能够对标签文本向量进行过滤，剔除掉相关性较低或者词性不符合需求的文本词段，提高目标分类文本的合理性。
请参阅图6，在一些实施例，步骤S502还可以包括但不限于包括步骤S601至步骤S603：
步骤S601，计算标签文本向量和参考文本向量的相似度；
步骤S602，根据相似度，对预设的文本词库内的文本词段进行筛选处理，得到标准文本词段；
步骤S603，对标准文本词段进行拼接处理，得到目标分类文本。
具体地，在步骤S601中，可以通过余弦相似度算法等协同过滤算法来计算每一标签文本向量与参考文本向量之间的相似度。例如，假设标签文本向量为u，参考文本向量为v，则根据余弦相似度算法(如公式(4)所示)，计算标签文本向量和参考文本向量的相似度,其中，uT为u的转置。
Figure BDA0003355475090000101
进而，可以执行步骤S602，进而，根据相似度与预设的相似度阈值的大小关系，从预设的文本词库内筛选出需要的文本字段。例如，从预设的文本词库内筛选出相似度大于或者等于相似度阈值的文本词段，将这些文本词段作为标准文本词段。
最后，执行步骤S603，将这些标准文本词段转化为SQL语句，通过数据库平台对这些SQL语句进行拼接融合，得到符合要求的目标分类文本。
通过上述步骤S101至步骤S105,能够根据文本类别对目标文本进行分类，提高每一文本类别中的目标分类文本的相关性，从而提高文本分类的准确性。
请参阅图7，在另一些实施例，步骤S103可以包括但不限于包括步骤S701至步骤S703：
步骤S701，将目标文本数据映射到预设的向量空间，得到目标文本特征；
步骤S702，根据预设的编码顺序和编码维度，对目标文本特征进行编码处理，得到预设特征维度的文本隐向量；
步骤S703，根据预设的权重比例，对文本隐向量进行加权处理，得到文本隐性特征向量。
具体地，在步骤S701中，可以采用MLP网络对目标文本数据进行语义空间到向量空间上的多次映射处理，将目标文本数据映射到预先设定的向量空间中，得到目标文本特征，该目标文本特征可以是文本特征，也可以是图像特征。
进而，执行步骤S702，通过上述文本处理模型的编码模块可以根据自下而上的编码顺序和编码维度，对目标文本特征进行编码处理和下采样处理。例如，对目标文本特征进行初次编码，得到最底层的文本隐向量，然后逐层向上进行下采样处理，得到每一层对应的文本隐向量。根据预设的特征维度对每一层对应的文本隐向量进行识别，可以较为方便地获取到每一特征维度的文本隐向量。需要说明的是，预设的特征维度可以包括情感维度、文本语义维度、文本主题维度等等。每一预设的特征维度对应的关键词，识别出每一特征维度对应的文本隐向量。
最后，执行步骤S703,根据不同的聚类需求，对每一特征维度设置不同的权重比例，通过这一权重比例对每一特征维度的文本隐向量进行加权处理、掩码处理等等，来改变每一层上的每一特征维度的占比，从而改变文本聚类的角度。例如，假定特征维度为3，即隐变量层的维度为3，可以通过对每一隐变量层进行均匀采样来得到每一特征维度代表的含义。若第一特征维度为情感维度，第二特征维度为文本语义维度，第三特征维度为文本主题维度。若当前的聚类任务是针对情感方面的，则可以将第一特征维度的权重比例调高，设置权重比例为8:1:1。使得获取到的文本隐性特征向量包括更多情感维度的文本特征。
进一步地，为了提高编码质量，编码模块包括编码器和下采样单元，编码器的卷积层的步长为1，且编码器的卷积层的输入特征和输出特征尺寸相同；下采样单元的卷积层的步长为2，下采样单元的输出特征尺寸是输入特征尺寸的一半，其中，输入特征可以为图像特征或者文本特征。
通过上述预先训练的文本处理模型的编码模块对目标文本数据的编码处理，得到的文本隐性特征向量z不再是一个分布，而是在不同维度上的多个分布[z1,z2,…,zk]。通过该文本处理模型，可以根据隐变量的分布观测出不同隐变量层的各个特征维度表征的不同含义，从而根据实际的聚类任务设置不同的权要比例，以改变聚类角度，提高文本聚类的准确性。
进一步地，执行步骤S104，其中，步骤S104可以包括但不限于包括上述步骤S401至步骤S402，在此不再赘述。
最后，执行步骤S105，以通过对目标文本进行聚类处理，将相关性较高的目标文本归为一个类别，得到目标文本集合。
需要说明的是，本申请的文本聚类模型可以包括基于划分的聚类算法，通过给定一个有N个元组或者纪录的数据集，构造K个分组，每一个分组就代表一个聚类，K<N。而且这K个分组满足下列条件：(1)每一个分组至少包含一个数据纪录；(2)每一个数据纪录属于且仅属于一个分组；对于给定的K，基于划分的聚类算法首先给出一个初始的分组方法，以后通过反复迭代的方法改变分组，使得每一次改进之后的分组方案都较前一次更好，即同一分组中的记录越近越好，而不同分组中的记录越远越好。请参阅图8，在另一些实施例，为了实现文本聚类，步骤S105还可以包括但不限于包括步骤S801至步骤S802：
步骤S801，根据预设的聚类算法和文本聚类标签对目标文本向量进行聚类处理，得到包含文本聚类标签的目标聚类文本；
步骤S802，将包含相同文本聚类标签的目标聚类文本纳入同一集合，得到目标聚类文本集。
具体地，执行步骤S801,预设的聚类算法可以包括kmeans算法、TF-IDF加权算法等等。例如，通过TF-IDF加权算法计算每一目标文本向量与每一文本聚类标签对应的参考向量之间的差异性，该差异性可以用相似度进行表征，也可以是其他。通过TF-IDF加权算法来评估每一个待处理文本对预设的文本集合的重要程度。根据每一目标文本向量与参考向量的差异性，来确定该目标文本向量所属的文本聚类集合，从而根据每一目标文本向量所属的文本聚类集合，对待处理文本进行标注，得到包含文本聚类标签的目标聚类文本。
进而，执行步骤S802,对目标文本的文本聚类标签进行识别，将包含相同文本聚类标签的目标聚类文本纳入同一集合，根据不同的文本聚类标签，能够得到多个不同的文本聚类集，从而达到文本聚类的目的。
通过上述步骤S101至步骤S105,能够通过对目标文本进行聚类处理，根据预设的文本聚类标签将相关性较高的目标文本归为一个类别，从而提高文本聚类的准确性。
本申请实施例通过获取待处理的原始文本；对原始文本进行特征提取，得到目标文本数据，能够有效地剔除原始文本中相关性不高的数据，缩小数据总量。进而，对目标文本数据进行编码处理，得到文本隐性特征向量；对文本隐性特征向量进行解码处理，得到目标文本向量；最后，既可以根据预设的文本类别标签对目标文本向量进行标签分类处理，得到包含文本类别标签的目标分类文本，能够根据文本类别对目标文本进行分类，提高每一文本类别中的目标分类文本的相关性，从而提高文本分类的准确性；也可以根据预设的文本聚类标签对目标文本向量进行聚类处理，得到目标聚类文本集，通过对目标文本进行聚类处理，可以根据预设的文本聚类标签将相关性较高的目标文本归为一个类别，得到目标聚类文本集，从而提高文本聚类的准确性。
请参阅图9，本申请实施例还提供一种文本处理装置，可以实现上述文本处理方法，该装置包括：
原始文本获取模块901，用于获取待处理的原始文本；
特征提取模块902，用于对原始文本进行特征提取，得到目标文本数据；
编码处理模块903，用于对目标文本数据进行编码处理，得到文本隐性特征向量；
解码处理模块904，用于对文本隐性特征向量进行解码处理，得到目标文本向量；
文本处理模块905，用于通过预设的文本分类模型和文本类别标签对目标文本向量进行标签分类处理，得到包含文本类别标签的目标分类文本；或者用于通过预设的文本聚类模型和文本聚类标签对目标文本向量进行聚类处理，得到目标聚类文本集。
该文本处理装置的具体实施方式与上述文本处理方法的具体实施例基本相同，在此不再赘述。
本申请实施例还提供了一种电子设备，电子设备包括：存储器、处理器、存储在存储器上并可在处理器上运行的计算机程序以及用于实现处理器和存储器之间的连接通信的数据总线，计算机程序被处理器执行时实现上述文本处理方法。该电子设备可以为包括平板电脑、车载电脑等任意智能终端。
请参阅图10，图10示意了另一实施例的电子设备的硬件结构，电子设备包括：
处理器1001，可以采用通用的CPU(Central ProcessingUnit，中央处理器)、微处理器、应用专用集成电路(ApplicationSpecificIntegratedCircuit，ASIC)、或者一个或多个集成电路等方式实现，用于执行相关程序，以实现本申请实施例所提供的技术方案；
存储器1002，可以采用只读存储器(ReadOnlyMemory，ROM)、静态存储设备、动态存储设备或者随机存取存储器(RandomAccessMemory，RAM)等形式实现。存储器1002可以存储操作***和其他应用程序，在通过软件或者固件来实现本说明书实施例所提供的技术方案时，相关的程序代码保存在存储器1002中，并由处理器1001来调用执行本申请实施例的文本处理方法；
输入/输出接口1003，用于实现信息输入及输出；
通信接口1004，用于实现本设备与其他设备的通信交互，可以通过有线方式(例如USB、网线等)实现通信，也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信；
总线1005，在设备的各个组件(例如处理器1001、存储器1002、输入/输出接口1003和通信接口1004)之间传输信息；
其中处理器1001、存储器1002、输入/输出接口1003和通信接口1004通过总线1005实现彼此之间在设备内部的通信连接。
本申请实施例还提供了一种计算机可读存储介质，用于计算机可读存储，计算机可读存储介质存储有一个或者多个计算机程序，一个或者多个计算机程序可被一个或者多个处理器执行，以实现上述文本处理方法。
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该处理器。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例描述的实施例是为了更加清楚的说明本申请实施例的技术方案，并不构成对于本申请实施例提供的技术方案的限定，本领域技术人员可知，随着技术的演变和新应用场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本领域技术人员可以理解的是，图1-8中示出的技术方案并不构成对本申请实施例的限定，可以包括比图示更多或更少的步骤，或者组合某些步骤，或者不同的步骤。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、***、设备中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b或c中的至少一项(个)，可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括多指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例的方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等各种可以存储程序的介质。
以上参照附图说明了本申请实施例的优选实施例，并非因此局限本申请实施例的权利范围。本领域技术人员不脱离本申请实施例的范围和实质内所作的任何修改、等同替换和改进，均应在本申请实施例的权利范围之内。

Claims (11)

1.一种文本处理方法，其特征在于，所述方法包括：
获取待处理的原始文本；
对所述原始文本进行特征提取，得到目标文本数据；
对所述目标文本数据进行编码处理，得到文本隐性特征向量；
对所述文本隐性特征向量进行解码处理，得到目标文本向量；
所述方法还包括：
通过预设的文本分类模型和文本类别标签对所述目标文本向量进行标签分类处理，得到包含所述文本类别标签的目标分类文本；
或者，
通过预设的文本聚类模型和文本聚类标签对所述目标文本向量进行聚类处理，得到目标聚类文本集。
2.根据权利要求1所述的文本处理方法，其特征在于，所述对所述原始文本进行特征提取，得到目标文本数据的步骤，包括：
识别所述原始文本中的文本实体特征；
利用预先训练的序列分类器对所述文本实体特征进行特征分类处理，得到第一文本特征；
对所述第一文本特征进行特征提取，得到目标文本数据。
3.根据权利要求1所述的文本处理方法，其特征在于，所述对所述文本隐性特征向量进行解码处理，得到目标文本向量的步骤，包括：
对所述文本隐性特征向量进行数据重采样处理，得到中间文本向量；
对所述中间文本向量进行解码处理，得到目标文本向量。
4.根据权利要求1所述的文本处理方法，其特征在于，所述对所述目标文本数据进行编码处理，得到文本隐性特征向量的步骤，包括：
将所述目标文本数据映射到预设的向量空间，得到目标文本特征；
根据预设的编码顺序和编码维度，对所述目标文本特征进行编码处理，得到文本隐性特征向量。
5.根据权利要求1所述的文本处理方法，其特征在于，所述通过预设的文本分类模型和文本类别标签对所述目标文本向量进行标签分类处理，得到包含所述文本类别标签的目标分类文本的步骤，包括：
根据预设的分类函数和文本类别标签对目标文本向量进行标签分类处理，得到标签文本向量；
对标签文本向量进行语义分析处理，得到目标分类文本。
6.根据权利要求5所述的文本处理方法，其特征在于，所述对标签文本向量进行语义分析处理，得到目标分类文本的步骤，包括：
计算所述标签文本向量和参考文本向量的相似度；
根据所述相似度，对预设的文本词库内的文本词段进行筛选处理，得到标准文本词段；
对所述标准文本词段进行拼接处理，得到目标分类文本。
7.根据权利要求1所述的文本处理方法，其特征在于，所述对所述目标文本数据进行编码处理，得到文本隐性特征向量的步骤，包括：
将所述目标文本数据映射到预设的向量空间，得到目标文本特征；
根据预设的编码顺序和编码维度，对所述目标文本特征进行编码处理，得到预设特征维度的文本隐向量；
根据预设的权重比例，对所述文本隐向量进行加权处理，得到文本隐性特征向量。
8.根据权利要求1所述的文本处理方法，其特征在于，所述通过预设的文本聚类模型和文本聚类标签对所述目标文本向量进行聚类处理，得到目标聚类文本集的步骤，包括：
根据预设的聚类算法和文本聚类标签对所述目标文本向量进行聚类处理，得到包含文本聚类标签的目标聚类文本；
将包含相同文本聚类标签的所述目标聚类文本纳入同一集合，得到目标聚类文本集。
9.一种文本处理装置，其特征在于，所述装置包括：
原始文本获取模块，用于获取待处理的原始文本；
特征提取模块，用于对所述原始文本进行特征提取，得到目标文本数据；
编码处理模块，用于对所述目标文本数据进行编码处理，得到文本隐性特征向量；
解码处理模块，用于对所述文本隐性特征向量进行解码处理，得到目标文本向量；
文本处理模块，用于通过预设的文本分类模型和文本类别标签对所述目标文本向量进行标签分类处理，得到包含所述文本类别标签的目标分类文本；或者用于通过预设的文本聚类模型和文本聚类标签对所述目标文本向量进行聚类处理，得到目标聚类文本集。
10.一种电子设备，其特征在于，所述电子设备包括存储器、处理器、存储在所述存储器上并可在所述处理器上运行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线，所述计算机程序被所述处理器执行时实现如权利要求1至8任一项所述的文本处理方法的步骤。
11.一种计算机可读存储介质，用于计算机可读存储，其特征在于，所述计算机可读存储介质存储有一个或者多个计算机程序，所述一个或者多个计算机程序可被一个或者多个处理器执行，以实现权利要求1至8中任一项所述的文本处理方法的步骤。
CN202111350160.5A 2021-11-15 2021-11-15 文本处理方法、装置、电子设备及存储介质 Pending CN114064894A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111350160.5A CN114064894A (zh) 2021-11-15 2021-11-15 文本处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111350160.5A CN114064894A (zh) 2021-11-15 2021-11-15 文本处理方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN114064894A true CN114064894A (zh) 2022-02-18

Family

ID=80272171

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111350160.5A Pending CN114064894A (zh) 2021-11-15 2021-11-15 文本处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN114064894A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115130432A (zh) * 2022-07-13 2022-09-30 平安科技（深圳）有限公司 文本处理方法、文本处理装置、电子设备及存储介质
CN115269855A (zh) * 2022-09-29 2022-11-01 北京邮电大学 基于预训练编码器的论文细粒度化多标签标注方法及装置
CN117851588A (zh) * 2023-06-19 2024-04-09 合肥奕谦信息科技有限公司 基于大数据的业务信息处理方法、装置及计算机设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115130432A (zh) * 2022-07-13 2022-09-30 平安科技（深圳）有限公司 文本处理方法、文本处理装置、电子设备及存储介质
CN115130432B (zh) * 2022-07-13 2023-05-05 平安科技（深圳）有限公司 文本处理方法、文本处理装置、电子设备及存储介质
CN115269855A (zh) * 2022-09-29 2022-11-01 北京邮电大学 基于预训练编码器的论文细粒度化多标签标注方法及装置
CN117851588A (zh) * 2023-06-19 2024-04-09 合肥奕谦信息科技有限公司 基于大数据的业务信息处理方法、装置及计算机设备

Similar Documents

Publication Publication Date Title
CN113792818B (zh) 意图分类方法、装置、电子设备及计算机可读存储介质
CN114358007A (zh) 多标签识别方法、装置、电子设备及存储介质
CN114064894A (zh) 文本处理方法、装置、电子设备及存储介质
CN113887215A (zh) 文本相似度计算方法、装置、电子设备及存储介质
WO2023108993A1 (zh) 基于深度聚类算法的产品推荐方法、装置、设备及介质
CN114626097A (zh) 脱敏方法、脱敏装置、电子设备及存储介质
CN114139553A (zh) 对话文本生成方法、装置、电子设备及存储介质
CN111475622A (zh) 一种文本分类方法、装置、终端及存储介质
CN114359810A (zh) 视频摘要生成方法、装置、电子设备及存储介质
CN114358201A (zh) 基于文本的情感分类方法和装置、计算机设备、存储介质
CN113704428A (zh) 智能问诊方法、装置、电子设备及存储介质
CN113987187A (zh) 基于多标签嵌入的舆情文本分类方法、***、终端及介质
CN114416995A (zh) 信息推荐方法、装置及设备
CN114595357A (zh) 视频搜索方法和装置、电子设备、存储介质
CN113849661A (zh) 实体嵌入数据的提取方法和装置、电子设备、存储介质
CN114841146A (zh) 文本摘要生成方法和装置、电子设备及存储介质
CN114048354B (zh) 基于多元表征和度量学习的试题检索方法、装置及介质
CN114613462A (zh) 医疗数据处理方法和装置、电子设备及存储介质
CN114637847A (zh) 模型的训练方法、文本分类方法和装置、设备、介质
CN114358020A (zh) 疾病部位识别方法、装置、电子设备及存储介质
CN114627282A (zh) 目标检测模型的建立方法、应用方法、设备、装置及介质
CN114492661A (zh) 文本数据分类方法和装置、计算机设备、存储介质
CN114490949A (zh) 基于bm25算法的文档检索方法、装置、设备及介质
CN109117471B (zh) 一种词语相关度的计算方法及终端
CN114091475A (zh) 对话文本生成方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination