CN114117048A - 一种文本分类的方法、装置、计算机设备及存储介质 - Google Patents
一种文本分类的方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN114117048A CN114117048A CN202111436398.XA CN202111436398A CN114117048A CN 114117048 A CN114117048 A CN 114117048A CN 202111436398 A CN202111436398 A CN 202111436398A CN 114117048 A CN114117048 A CN 114117048A
- Authority
- CN
- China
- Prior art keywords
- sample
- text classification
- model
- classification model
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 82
- 238000013145 classification model Methods 0.000 claims abstract description 130
- 238000012549 training Methods 0.000 claims abstract description 116
- 230000006870 function Effects 0.000 claims abstract description 21
- 238000012545 processing Methods 0.000 claims description 31
- 239000013598 vector Substances 0.000 claims description 25
- 230000011218 segmentation Effects 0.000 claims description 23
- 230000003321 amplification Effects 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 22
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 22
- 238000002372 labelling Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 11
- 238000013434 data augmentation Methods 0.000 claims description 10
- 230000003190 augmentative effect Effects 0.000 claims description 9
- 238000006243 chemical reaction Methods 0.000 claims description 9
- 238000012217 deletion Methods 0.000 claims description 6
- 230000037430 deletion Effects 0.000 claims description 6
- 230000003416 augmentation Effects 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 15
- 238000013473 artificial intelligence Methods 0.000 abstract description 12
- 230000008569 process Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 4
- 238000003780 insertion Methods 0.000 description 4
- 230000037431 insertion Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 230000008676 import Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 101100481876 Danio rerio pbk gene Proteins 0.000 description 1
- 101100481878 Mus musculus Pbk gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请公开了一种文本分类的方法、装置、计算机设备及存储介质，属于人工智能技术领域。本申请基于UDA网络框架构建文本分类模型，其中，文本分类模型的损失函数包括有监督损失项和无监督损失项，获取训练样本，其中，训练样本包括有标签样本和无标签样本，对无标签样本进行标注，得到伪标签，将训练样本导入文本分类模型进行训练，并基于有监督损失项和无监督损失项计算预测误差，基于预测误差对初始文本分类模型进行迭代更新，当需要进行文本分类时，将待分类文本数据导入文本分类模型，输出分类文本结果。此外，本申请还涉及区块链技术，待分类文本数据可存储于区块链中。本申请提高了文本分类模型训练效率，同时还能够保证模型的准确率。
Description
技术领域
本申请属于人工智能技术领域，具体涉及一种文本分类的方法、装置、计算机设备及存储介质。
背景技术
目前，业内现有文本分类技术主要采用有监督学习方法来完成，分类过程包括文本预处理、特征抽取、分类模型及评价等步骤，监督学习分类算法多一般基于朴素贝叶斯的多变量贝努利模型、多项式模型、支持向量机或者深度学习方法实现，其中，深度学习方法包括多层感知机MLP、卷积神经网络CNN和循环神经网络CNN。虽然有监督学习高效，且准确度高，但是难实际应用，因为有监督学习的方法需要大量的有标签数据进行训练，而由于自然语言处理任务大部分属于认知层面的任务，因而数据标注的难度和不确定性显著高于感知层面的任务，例如图像识别、语音识别等。
市面上也有少部分文本分类通过半监督学习方法实现，主要采用Pseudo-Label这种经典模型，该模型方法核心在于利用训练中的模型对无标签数据进行预测，以概率最高的类别作为无标签数据的伪标签，然后运用熵正则(entropy regularization)思想，将无监督数据转为目标函数的正则项。实际应用中，就是将拥有伪标签的无标签数据视为有标签的数据，然后用交叉熵来评估误差大小。但目前半监督学习方法对于预测的伪标签一视同仁，若模型对于预测类别都具有较低概率值，仍会把最大概率值作为对应的伪标签，实际应用中，此举会给模型引入错误信号，影响模型准确率。
发明内容
本申请实施例的目的在于提出一种文本分类的方法、装置、计算机设备及存储介质，以解决现有半监督学习的文本分类方案存在的对于预测的伪标签一视同仁，导致文本分类结果的准确率不高的技术问题。
为了解决上述技术问题，本申请实施例提供一种文本分类的方法，采用了如下所述的技术方案：
一种文本分类的方法，包括：
接收分类模型训练指令，并构建初始文本分类模型，其中，初始文本分类模型的损失函数包括有监督损失项和无监督损失项；
从预设数据库中获取第一训练样本，其中，所述第一训练样本包括有标签样本和无标签样本；
基于预设的开源标注模型对所述无标签样本进行标注，得到所述无标签样本的伪标签，并组合所述有标签样本和携带伪标签的所述无标签样本，得到第二训练样本；
将所述第二训练样本导入所述初始文本分类模型进行模型训练，生成样本分类结果；
基于所述有监督损失项和所述无监督损失项计算所述样本分类结果与预设标准分类结果之间的误差，得到预测误差；
基于所述预测误差，使用反向传播算法对所述初始文本分类模型进行迭代更新，得到训练好的文本分类模型；
接收文本分类指令，获取待分类文本数据，将所述待分类文本数据导入训练好的所述文本分类模型，输出分类文本结果。
进一步地，在所述从预设数据库中获取第一训练样本的步骤之后，还包括：
对所述无标签样本进行分类；
通过预设的数据增广方法对分类后的无标签样本进行数据增广，得到增广样本。
进一步地，所述通过预设的数据增广方法对分类后的无标签样本进行数据增广，得到增广样本的步骤，具体包括：
对分类后的无标签样本进行分词处理，得到样本分词；
获取所述样本分词的同义词，并通过所述同义词对所述样本分词进行随机替换，得到第一样本；
将所述同义词随机***所述样本分词中，得到第二样本；
对所述样本分词进行随机交换，得到第三样本；
对所述样本分词进行随机删除，得到第四样本；
组合所述第一样本、所述第二样本、所述第三样本和所述第四样本，得到所述增广样本。
进一步地，所述通过预设的数据增广方法对分类后的无标签样本进行数据增广，得到增广样本的步骤，具体包括：
对分类后的无标签样本进行分词处理，得到样本分词；
对所述样本分词进行随机删除，并将完成随机删除后的样本分词导入预先训练好的文本生成模型，生成增广样本。
进一步地，所述初始文本分类模型包括嵌入层、卷积层和全连接层，所述将所述第二训练样本导入所述初始文本分类模型进行模型训练，生成样本分类结果的步骤，具体包括：
通过所述嵌入层对所述第二训练样本进行向量特征转换处理，得到初始向量；
采用所述卷积层对所述初始向量进行卷积运算，得到所述初始向量对应的特征数据；
将所述特征数据导入所述全连接层中进行相似度计算，输出相似度最大的识别结果作为所述第二训练样本对应的样本分类结果。
进一步地，所述基于所述有监督损失项和所述无监督损失项计算所述样本分类结果与预设标准分类结果之间的误差，得到预测误差的步骤，具体包括：
基于所述有监督损失项计算所述有标签样本分类结果与所述第一标准分类结果之间的误差，得到第一误差；
基于所述无监督损失项计算所述无标签样本分类结果与所述第二标准分类结果之间的误差，得到第二误差。
进一步地，基于所述预测误差，使用反向传播算法对所述初始文本分类模型进行迭代更新，得到训练好的文本分类模型的步骤，具体包括：
基于所述反向传播算法在所述初始文本分类模型的网络层中传递所述预测误差；
获取所述初始文本分类模型中网络层的识别误差，并将所述识别误差与预设误差阈值进行比较；
若所述识别误差大于预设误差阈值，则对所述初始文本分类模型进行迭代更新，直到所述识别误差小于或等于预设误差阈值为止；
输出所述识别误差小于或等于预设误差阈值的初始文本分类模型，得到训练好的所述文本分类模型。
为了解决上述技术问题，本申请实施例还提供一种文本分类的装置，采用了如下所述的技术方案：
一种文本分类的装置，包括：
模型构建模块，用于接收分类模型训练指令，并构建初始文本分类模型，其中，初始文本分类模型的损失函数包括有监督损失项和无监督损失项；
样本获取模块，用于从预设数据库中获取第一训练样本，其中，所述第一训练样本包括有标签样本和无标签样本；
样本标注模块，用于基于预设的开源标注模型对所述无标签样本进行标注，得到所述无标签样本的伪标签，并组合所述有标签样本和携带伪标签的所述无标签样本，得到第二训练样本；
模型训练模块，用于将所述第二训练样本导入所述初始文本分类模型进行模型训练，生成样本分类结果；
损失预测模块，用于基于所述有监督损失项和所述无监督损失项计算所述样本分类结果与预设标准分类结果之间的误差，得到预测误差；
模型迭代模块，用于基于所述预测误差，使用反向传播算法对所述初始文本分类模型进行迭代更新，得到训练好的文本分类模型；
文本分类模块，用于接收文本分类指令，获取待分类文本数据，将所述待分类文本数据导入训练好的所述文本分类模型，输出分类文本结果。
为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上述任一项所述的文本分类的方法的步骤。
为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上述中任一项所述的文本分类的方法的步骤。
与现有技术相比，本申请实施例主要有以下有益效果：
本申请公开了一种文本分类的方法、装置、计算机设备及存储介质，属于人工智能技术领域。本申请通构建一个半监督的文本分类模型，通过有标签样本和携带伪标签的无标签样本对文本分类模型进行半监督训练，并通过设置模型损失函数的有监督损失项和无监督损失项，通过有监督损失项计算标签样本对应的分类结果的误差，以及通过无监督损失项计算无标签样本对应的分类结果的误差，将有标签样本和无标签样本对应的分类结果进行单独处理。本申请可以通过少量有标签数据和大量无标签数据训练出具备强泛化能力文本分类模型，满足了更多业务场景，提高模型训练效率，同时还能够保证模型的准确率。
附图说明
为了更清楚地说明本申请中的方案，下面将对本申请实施例描述中所需要使用的附图作一个简单介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请可以应用于其中的示例性***架构图；
图2示出了根据本申请的文本分类的方法的一个实施例的流程图；
图3示出了根据本申请的文本分类的装置的一个实施例的结构示意图；
图4示出了根据本申请的计算机设备的一个实施例的结构示意图。
具体实施方式
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同；本文中在申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请；本申请的说明书和权利要求书及上述附图说明中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。本申请的说明书和权利要求书或上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
为了使本技术领域的人员更好地理解本申请方案，下面将结合附图，对本申请实施例中的技术方案进行清楚、完整地描述。
如图1所示，***架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如网页浏览器应用、购物类应用、搜索类应用、即时通信工具、邮箱客户端、社交平台软件等。
终端设备101、102、103可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、MP3播放器(Moving PictureExpertsGroup Audio Layer III，动态影像专家压缩标准音频层面3)、MP4(MovingPictureExperts Group Audio Layer IV，动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。
服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上显示的页面提供支持的后台服务器，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。
需要说明的是，本申请实施例所提供的文本分类的方法一般由服务器执行，相应地，文本分类的装置一般设置于服务器中。
应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
继续参考图2，示出了根据本申请的文本分类的的方法的一个实施例的流程图。本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用***。
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互***、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。所述的文本分类的方法，包括以下步骤：
S201，接收分类模型训练指令，并构建初始文本分类模型，其中，初始文本分类模型的损失函数包括有监督损失项和无监督损失项。
在本申请具体的实施例中，本申请的文本分类模型基于UDA(Unsupervised DataAugmentation，半监督学***坦的，输入数据语义不变仅变更形式的，模型的输出也能够基本保持不变，可以保证模型输入输出的一致性，提高文本分类的精度。
文本分类模型考虑到上线部署的要求，在UDA框架基础上，分别采用了BERT_base和TextCNN作为子分类模型。TextcCNN是一种轻量级模型，预先通过谷歌数亿语料数据进行预训练，实际应用时，只需根据实际情况调整卷积核大小等参数即可获得相应的模型效果。为了获得更强的泛化能力，将BERT模型在1000多万条开源数据上进行了二次预训练。而通过UDA的框架，可以充分利用无标签数据使现有模型在原本的性能基础上能够进一步提升。
需要说明的是，TextCNN是一种预训练卷积网络，BERT是一种预训练语言模型，预训练的目的就是，提前训练好这些下游任务中底层的、共性的部分模型，然后再用下游任务各自的样本数据来训练各自的模型，这样就可以极大地加快收敛速度。
具体的，服务器接收分类模型训练指令后，基于UDA网络框架构建初始文本分类模型，初始文本分类模型中包括预先训练好的BERT_base和TextCNN，并搭建初始文本分类模型的损失函数，其中，初始文本分类模型的损失函数包括有监督损失项和无监督损失项。其中，有监督损失项(Supervised Cross-entropy Loss)用来计算有标签数据的误差，采用了常用的交叉熵作为目标；无监督损失项(Unsupervised Consistency Loss)用来计算无标签数据的误差。
在本实施例中，文本分类的方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式接收分类模型训练指令。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
S202，从预设数据库中获取第一训练样本，其中，所述第一训练样本包括有标签样本和无标签样本。
具体的，服务器在完成初始文本分类模型的搭建之后，从预设数据库中获取训练样本，其中，训练样本为预先收集的文本数据，例如金融领域短文本等等，训练样本包括有标签样本和无标签样本，有标签样本为预先完成标注的文本数据，无标签样本为未经标注处理的文本数据。
S203，基于预设的开源标注模型对所述无标签样本进行标注，得到所述无标签样本的伪标签，并组合所述有标签样本和携带伪标签的所述无标签样本，得到第二训练样本。
其中，预设的开源标注模型为Pseudo-Label模型，Pseudo-Label模型该模型方法核心在于利用训练中的模型，结合的深度神经网络半监督学习方法对无标签数据进行预测，以概率最高的类别作为无标签数据的伪标签。
具体的，服务器在获得第一训练样本之后，基于预设的开源标注模型对第一训练样本中的无标签样本进行标注，得到无标签样本的伪标签，并组合所述有标签样本和携带伪标签的所述无标签样本，得到第二训练样本。
S204，将所述第二训练样本导入所述初始文本分类模型进行模型训练，生成样本分类结果。
其中，初始文本分类模型基于UDA网络框架构建，并分别采用了BERT_base和TextCNN作为模型核心组成，BERT_base是一种预训练语言模型，通过提前训练好下游任务中底层的、共性的部分模型，可以极大地加快收敛速度。TextCNN部分包括嵌入层、卷积层和全连接层，用于进行特征提取和分类预测。
具体的，服务器将第二训练样本导入初始文本分类模型，此时的第二训练样本包括有标签样本和携带有伪标签的无标签样本，通过有标签样本和携带有伪标签的无标签样本分别对初始文本分类模型进行模型训练，生成样本分类结果，其中，样本分类结果包括有标签样本分类结果和无标签样本分类结果。
S205，基于所述有监督损失项和所述无监督损失项计算所述样本分类结果与预设标准分类结果之间的误差，得到预测误差。
具体的，在模型训练过程中，通过初始文本分类模型的损失函数计算样本分类结果与预设标准分类结果之间的误差，其中，初始文本分类模型的损失函数包括有监督损失项和无监督损失项，有监督损失项用来计算有标签数据的误差，采用了常用的交叉熵作为目标，无监督损失项用来计算无标签数据的误差。
需要说明的是，样本分类结果包括有标签样本分类结果和无标签样本分类结果，标准分类结果包括第一标准分类结果和第二标准分类结果，其中，第一标准分类结果基于有标签样本的标签生成，第二标准分类结果基于无标签样本的伪标签生成。
S206，基于所述预测误差，使用反向传播算法对所述初始文本分类模型进行迭代更新，得到训练好的文本分类模型。
其中，反向传播算法，即误差反向传播算法(Backpropagation algorithm，BP算法)适合于多层神经元网络的一种学习算法，它建立在梯度下降法的基础上，用于深度学习网络的误差计算。BP网络的输入、输出关系实质上是一种映射关系：一个n输入m输出的BP神经网络所完成的功能是从n维欧氏空间向m维欧氏空间中一有限域的连续映射，这一映射具有高度非线性。BP算法的学习过程由正向传播过程和反向传播过程组成。在正向传播过程中，输入信息通过输入层经隐含层，逐层处理并传向输出层，并转入反向传播，逐层求出目标函数对各神经元权值的偏导数，构成目标函数对权值向量的梯量，以作为修改权值的依据。
具体的，服务器使用反向传播算法在初始文本分类模型的网络层中传递预测误差，然后获取每一个网络层的识别误差，并根据识别误差与预设误差阈值对初始文本分类模型进行迭代更新，得到训练好的文本分类模。
S207，接收文本分类指令，获取待分类文本数据，将所述待分类文本数据导入训练好的所述文本分类模型，输出分类文本结果。
具体的，服务器在完成模型训练后，获得一个可以实现文本分类的模型，当服务接收文本分类指令，获取待分类文本数据，直接将待分类文本数据导入训练好的文本分类模型，输出分类文本结果。
在本实施例中，文本分类的方法运行于其上的电子设备(例如图1所示的服务器)可以通过有线连接方式或者无线连接方式接收文本分类指令。需要指出的是，上述无线连接方式可以包括但不限于3G/4G连接、WiFi连接、蓝牙连接、WiMAX连接、Zigbee连接、UWB(ultra wideband)连接、以及其他现在已知或将来开发的无线连接方式。
在上述实施例中，本申请可以通过少量有标签数据和大量无标签数据训练出具备强泛化能力文本分类模型，满足了更多业务场景，提高模型训练效率，同时还能够保证模型的准确率。
进一步地，在所述从预设数据库中获取第一训练样本的步骤之后，还包括：
对所述无标签样本进行分类；
通过预设的数据增广方法对分类后的无标签样本进行数据增广，得到增广样本。
需要说明的是，为了提高模型训练的速率和准确度，需要预先对训练样本进行分类，同时通过数据增广使得各类训练样本实现均衡。例如，对金融领域短文本按照业务类型进来分类，分类标签主要分为25个类别，本申请简化为7个类别，分别为企业账户、支付结算、电子政务、客户经理基本法、授信融资、跨境金融、供应链金融，每种类别选取约10000条数据为训练集，1000条数据为测试集。在训练集中有标签数据约1000条，其余均为无标签数据，按照采集数据的难易程度及业务热门程度，企业账户的数据量最多，跨境金融的最少，比例约为3：1，为了保证各类训练样本均衡，可以对训练样本进行数据增广。
具体的，服务器在获得第一训练样本后，对第一训练样本中的无标签样本进行分类，通过预设的数据增广方法对分类后的无标签样本进行数据增广，得到增广样本。
需要额外说明的是，针对第一训练样本中的有标签样本，为了保证样本均衡，服务器也可以通过对有标签样本分类后，通过预设的数据增广方法对分类后的有标签样本进行样本增广，使得各类有标签样本实现均衡。
进一步地，所述通过预设的数据增广方法对分类后的无标签样本进行数据增广，得到增广样本的步骤，具体包括：
对分类后的无标签样本进行分词处理，得到样本分词；
获取所述样本分词的同义词，并通过所述同义词对所述样本分词进行随机替换，得到第一样本；
将所述同义词随机***所述样本分词中，得到第二样本；
对所述样本分词进行随机交换，得到第三样本；
对所述样本分词进行随机删除，得到第四样本；
组合所述第一样本、所述第二样本、所述第三样本和所述第四样本，得到所述增广样本。
具体的，在本申请一种具体的实施例中，可以通过EDA技术分别进行同义词替换、随机***、随机交换、随机删除和句子位置随机替换实现数据增广。详细的说，同义词替换(SR)：从句子中随机选择非停止词。用随机选择的同义词替换这些单词；随机***(RI)：随机的找出句中某个不属于停用词集的词，并求出其随机的同义词，将该同义词***句子的一个随机位置。重复n次；随机交换(RS)：随机的选择句中两个单词并交换它们的位置。重复n次；随机删除(RD)：以概率p随机删除句子中每个单词。
其中，EDA(easy data augmentation)是一种应用于文本分类的简单的数据增强技术，由4种方法组成，分别是：同义词替换、随机***、随机替换与随机删除，论文证明使用EDA的数据增强技术可以在小样本学习中显著提升模型性能，以50％的训练集达到传统方法使用全部训练集一样的准确率。
进一步地，所述通过预设的数据增广方法对分类后的无标签样本进行数据增广，得到增广样本的步骤，具体包括：
对分类后的无标签样本进行分词处理，得到样本分词；
对所述样本分词进行随机删除，并将完成随机删除后的样本分词导入预先训练好的文本生成模型，生成增广样本。
在本申请另一种具体的实施例中，基于上下文信息的文本增强技术也是近几年主流的技术，首先需要一个训练好的语言模型LM，对于需要增强的原始文本，随机去掉文中的一个词或字，然后将文本的剩余部分输入语言模型，选择语言模型所预测的topk个词去替换原文中被去掉的词，以形成k条新的文本，即增广样本。
在上述实施例中，本申请通过对训练样本进行分类，已经对分类后的样本基于预设的数据增广方法进行样本增广，保证样本均衡，使得通过增广后的训练样本训练的文本分类模型能够充分学习各类训练样本的特征，获得更高的文本分类效果。
进一步地，所述初始文本分类模型包括嵌入层、卷积层和全连接层，所述将所述第二训练样本导入所述初始文本分类模型进行模型训练，生成样本分类结果的步骤，具体包括：
通过所述嵌入层对所述第二训练样本进行向量特征转换处理，得到初始向量；
采用所述卷积层对所述初始向量进行卷积运算，得到所述初始向量对应的特征数据；
将所述特征数据导入所述全连接层中进行相似度计算，输出相似度最大的识别结果作为所述第二训练样本对应的样本分类结果。
具体的，初始文本分类模型包括嵌入层、卷积层和全连接层，嵌入层用于对训练样本进行向量特征转换处理的向量转换端口，通过直接将第二训练样本导入到嵌入层中的向量转换端口进行向量特征转换处理，得到第二训练样本对应的初始向量。卷积层中存在预先设置好的卷积核，当卷积层接收到初始向量后，利用预先设置好的卷积核对初始向量进行卷积操作，得到对应的特征数据。全连接层中包含预先设置好的分类器，将特征数据导入到全连接层中，并利用设置好的分类器对特征数据进行相似度计算，将相似度最大的识别结果进行输出，将相似度最大的识别结果作为第二训练样本对应的样本分类结果。
在上述实施例中，本申请通过将训练样本输入到初始文本分类模型，通过训练样本对初始文本分类模型进行训练。
进一步地，所述基于所述有监督损失项和所述无监督损失项计算所述样本分类结果与预设标准分类结果之间的误差，得到预测误差的步骤，具体包括：
基于所述有监督损失项计算所述有标签样本分类结果与所述第一标准分类结果之间的误差，得到第一误差；
基于所述无监督损失项计算所述无标签样本分类结果与所述第二标准分类结果之间的误差，得到第二误差。
具体的，服务器基于有监督损失项计算有标签样本分类结果与第一标准分类结果之间的误差，得到第一误差，基于无监督损失项计算无标签样本分类结果与第二标准分类结果之间的误差，得到第二误差。
其中，针对有标签样本分类结果的损失计算，依旧通过交叉熵作为目标，构建有监督损失项，有监督损失项表达式F1如下：
针对无标签样本分类结果的损失计算，通过构建无监督损失项的表达式F2如下：
其中，DKL散度又称相对熵，如果对于同一个随机变量xi有两个单独的概率分布p(xi)和q(xi)，就可以使用DKL散度来衡量这两个分布的差异，DKL值越小，表明p(xi)和q(xi)分布越相近，使用DKL散度评估无标签样本分类结果与第二标准分类结果之间的差距。
在上述实施例中，通过有监督损失项计算标签样本对应的分类结果的误差，以及通过无监督损失项计算无标签样本对应的分类结果的误差，通过将有标签样本和无标签样本对应的分类结果进行单独处理。
进一步地，基于所述预测误差，使用反向传播算法对所述初始文本分类模型进行迭代更新，得到训练好的文本分类模型的步骤，具体包括：
基于所述反向传播算法在所述初始文本分类模型的网络层中传递所述预测误差；
获取所述初始文本分类模型中网络层的识别误差，并将所述识别误差与预设误差阈值进行比较；
若所述识别误差大于预设误差阈值，则对所述初始文本分类模型进行迭代更新，直到所述识别误差小于或等于预设误差阈值为止；
输出所述识别误差小于或等于预设误差阈值的初始文本分类模型，得到训练好的所述文本分类模型。
具体的，基于反向传播算法在初始文本分类模型的网络层中传递预测误差，获取初始文本分类模型中网络层的识别误差，并将识别误差与预设误差阈值进行比较，若识别误差大于预设误差阈值，则对初始文本分类模型进行迭代更新，直到识别误差小于或等于预设误差阈值为止，输出识别误差小于或等于预设误差阈值的初始文本分类模型，得到训练好的文本分类模型。
在上述实施例中，本申请通过使用反向传播算法在初始文本分类模型的网络层中传递预测误差，然后获取每一个网络层的识别误差，并根据识别误差与预设误差阈值对初始文本分类模型进行迭代更新，得到拟合的文本分类模。
在上述实施例中，本申请公开了一种文本分类的方法，属于人工智能技术领域。本申请通过UDA网络框架构建一个半监督的文本分类模型，通过有标签样本和携带伪标签的无标签样本对文本分类模型进行半监督训练，并通过设置模型损失函数的有监督损失项和无监督损失项，通过有监督损失项计算标签样本对应的分类结果的误差，以及通过无监督损失项计算无标签样本对应的分类结果的误差，通过将有标签样本和无标签样本对应的分类结果进行单独处理。本申请可以通过少量有标签数据和大量无标签数据训练出具备强泛化能力文本分类模型，满足了更多业务场景，提高模型训练效率，同时还能够保证模型的准确率。
需要强调的是，为进一步保证上述待分类文本数据的私密和安全性，上述待分类文本数据还可以存储于一区块链的节点中。
本申请所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读指令来指令相关的硬件来完成，该计算机可读指令可存储于一计算机可读取存储介质中，该计算机可读指令在执行时，可包括如上述各方法的实施例的流程。其中，前述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)等非易失性存储介质，或随机存储记忆体(Random Access Memory，RAM)等。
应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
进一步参考图3，作为对上述图2所示方法的实现，本申请提供了一种文本分类的装置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
如图3所示，本实施例所述的文本分类的装置包括：
模型构建模块301，用于接收分类模型训练指令，并构建初始文本分类模型，其中，初始文本分类模型的损失函数包括有监督损失项和无监督损失项；
样本获取模块302，用于从预设数据库中获取第一训练样本，其中，所述第一训练样本包括有标签样本和无标签样本；
样本标注模块303，用于基于预设的开源标注模型对所述无标签样本进行标注，得到所述无标签样本的伪标签，并组合所述有标签样本和携带伪标签的所述无标签样本，得到第二训练样本；
模型训练模块304，用于将所述第二训练样本导入所述初始文本分类模型进行模型训练，生成样本分类结果；
损失预测模块305，用于基于所述有监督损失项和所述无监督损失项计算所述样本分类结果与预设标准分类结果之间的误差，得到预测误差；
模型迭代模块306，用于基于所述预测误差，使用反向传播算法对所述初始文本分类模型进行迭代更新，得到训练好的文本分类模型；
文本分类模块307，用于接收文本分类指令，获取待分类文本数据，将所述待分类文本数据导入训练好的所述文本分类模型，输出分类文本结果。
进一步地，所述文本分类的装置还包括：
样本分类模块，用于对所述无标签样本进行分类；
样本增广模块，用于通过预设的数据增广方法对分类后的无标签样本进行数据增广，得到增广样本。
进一步地，所述样本增广模块具体包括：
分词处理单元，用于对分类后的无标签样本进行分词处理，得到样本分词；
随机替换单元，用于获取所述样本分词的同义词，并通过所述同义词对所述样本分词进行随机替换，得到第一样本；
随机***单元，用于将所述同义词随机***所述样本分词中，得到第二样本；
随机交换单元，用于对所述样本分词进行随机交换，得到第三样本；
随机删除单元，用于对所述样本分词进行随机删除，得到第四样本；
样本组合单元，用于组合所述第一样本、所述第二样本、所述第三样本和所述第四样本，得到所述增广样本。
进一步地，所述样本增广模块具体包括：
分词处理单元，用于对分类后的无标签样本进行分词处理，得到样本分词；
样本增广单元，用于对所述样本分词进行随机删除，并将完成随机删除后的样本分词导入预先训练好的文本生成模型，生成增广样本。
进一步地，所述初始文本分类模型包括嵌入层、卷积层和全连接层，所述模型训练模块304具体包括：
向量转换单元，用于通过所述嵌入层对所述第二训练样本进行向量特征转换处理，得到初始向量；
卷积运算单元，用于采用所述卷积层对所述初始向量进行卷积运算，得到所述初始向量对应的特征数据；
相似度计算单元，用于将所述特征数据导入所述全连接层中进行相似度计算，输出相似度最大的识别结果作为所述第二训练样本对应的样本分类结果。
进一步地，所述损失预测模块305具体包括：
第一误差计算单元，用于基于所述有监督损失项计算所述有标签样本分类结果与所述第一标准分类结果之间的误差，得到第一误差；
第二误差计算单元，用于基于所述无监督损失项计算所述无标签样本分类结果与所述第二标准分类结果之间的误差，得到第二误差。
进一步地，所述模型迭代模块306具体包括：
误差传递单元，用于基于所述反向传播算法在所述初始文本分类模型的网络层中传递所述预测误差；
误差比对单元，用于获取所述初始文本分类模型中网络层的识别误差，并将所述识别误差与预设误差阈值进行比较；
模型迭代单元，用于当所述识别误差大于预设误差阈值时，对所述初始文本分类模型进行迭代更新，直到所述识别误差小于或等于预设误差阈值为止；
模型输出单元，用于输出所述识别误差小于或等于预设误差阈值的初始文本分类模型，得到训练好的所述文本分类模型。
本申请公开了一种文本分类的装置，属于人工智能技术领域。本申请通过UDA网络框架构建一个半监督的文本分类模型，通过有标签样本和携带伪标签的无标签样本对文本分类模型进行半监督训练，并通过设置模型损失函数的有监督损失项和无监督损失项，通过有监督损失项计算标签样本对应的分类结果的误差，以及通过无监督损失项计算无标签样本对应的分类结果的误差，将有标签样本和无标签样本对应的分类结果进行单独处理。本申请可以通过少量有标签数据和大量无标签数据训练出具备强泛化能力文本分类模型，满足了更多业务场景，提高模型训练效率，同时还能够保证模型的准确率。
为解决上述技术问题，本申请实施例还提供计算机设备。具体请参阅图4，图4为本实施例计算机设备基本结构框图。
所述计算机设备4包括通过***总线相互通信连接存储器41、处理器42、网络接口43。需要指出的是，图中仅示出了具有组件41-43的计算机设备4，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。其中，本技术领域技术人员可以理解，这里的计算机设备是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的设备，其硬件包括但不限于微处理器、专用集成电路(ApplicationSpecific Integrated Circuit，ASIC)、可编程门阵列(Field－Programmable GateArray，FPGA)、数字处理器(Digital Signal Processor，DSP)、嵌入式设备等。
所述计算机设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述计算机设备可以与用户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互。
所述存储器41至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器41可以是所述计算机设备4的内部存储单元，例如该计算机设备4的硬盘或内存。在另一些实施例中，所述存储器41也可以是所述计算机设备4的外部存储设备，例如该计算机设备4上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(FlashCard)等。当然，所述存储器41还可以既包括所述计算机设备4的内部存储单元也包括其外部存储设备。本实施例中，所述存储器41通常用于存储安装于所述计算机设备4的操作***和各类应用软件，例如文本分类的方法的计算机可读指令等。此外，所述存储器41还可以用于暂时地存储已经输出或者将要输出的各类数据。
所述处理器42在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器42通常用于控制所述计算机设备4的总体操作。本实施例中，所述处理器42用于运行所述存储器41中存储的计算机可读指令或者处理数据，例如运行所述文本分类的方法的计算机可读指令。
所述网络接口43可包括无线网络接口或有线网络接口，该网络接口43通常用于在所述计算机设备4与其他电子设备之间建立通信连接。
本申请公开了一种计算机设备，属于人工智能技术领域。本申请通过UDA网络框架构建一个半监督的文本分类模型，通过有标签样本和携带伪标签的无标签样本对文本分类模型进行半监督训练，并通过设置模型损失函数的有监督损失项和无监督损失项，通过有监督损失项计算标签样本对应的分类结果的误差，以及通过无监督损失项计算无标签样本对应的分类结果的误差，将有标签样本和无标签样本对应的分类结果进行单独处理。本申请可以通过少量有标签数据和大量无标签数据训练出具备强泛化能力文本分类模型，满足了更多业务场景，提高模型训练效率，同时还能够保证模型的准确率。
本申请还提供了另一种实施方式，即提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可读指令，所述计算机可读指令可被至少一个处理器执行，以使所述至少一个处理器执行如上述的文本分类的方法的步骤。
本申请公开了一种存储介质，属于人工智能技术领域。本申请通过UDA网络框架构建一个半监督的文本分类模型，通过有标签样本和携带伪标签的无标签样本对文本分类模型进行半监督训练，并通过设置模型损失函数的有监督损失项和无监督损失项，通过有监督损失项计算标签样本对应的分类结果的误差，以及通过无监督损失项计算无标签样本对应的分类结果的误差，将有标签样本和无标签样本对应的分类结果进行单独处理。本申请可以通过少量有标签数据和大量无标签数据训练出具备强泛化能力文本分类模型，满足了更多业务场景，提高模型训练效率，同时还能够保证模型的准确率。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本申请各个实施例所述的方法。
本申请可用于众多通用或专用的计算机***环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器***、基于微处理器的***、置顶盒、可编程的消费电子设备、网络PC、小型计算机、大型计算机、包括以上任何***或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
显然，以上所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，附图中给出了本申请的较佳实施例，但并不限制本申请的专利范围。本申请可以以许多不同的形式来实现，相反地，提供这些实施例的目的是使对本申请的公开内容的理解更加透彻全面。尽管参照前述实施例对本申请进行了详细的说明，对于本领域的技术人员来而言，其依然可以对前述各具体实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等效替换。凡是利用本申请说明书及附图内容所做的等效结构，直接或间接运用在其他相关的技术领域，均同理在本申请专利保护范围之内。
Claims (10)
1.一种文本分类的方法，其特征在于，包括：
接收分类模型训练指令，并建初始文本分类模型，其中，初始文本分类模型的损失函数包括有监督损失项和无监督损失项；
从预设数据库中获取第一训练样本，其中，所述第一训练样本包括有标签样本和无标签样本；
基于预设的开源标注模型对所述无标签样本进行标注，得到所述无标签样本的伪标签，并组合所述有标签样本和携带伪标签的所述无标签样本，得到第二训练样本；
将所述第二训练样本导入所述初始文本分类模型进行模型训练，生成样本分类结果；
基于所述有监督损失项和所述无监督损失项计算所述样本分类结果与预设标准分类结果之间的误差，得到预测误差；
基于所述预测误差，使用反向传播算法对所述初始文本分类模型进行迭代更新，得到训练好的文本分类模型；
接收文本分类指令，获取待分类文本数据，将所述待分类文本数据导入训练好的所述文本分类模型，输出分类文本结果。
2.如权利要求1所述的文本分类的方法，其特征在于，在所述从预设数据库中获取第一训练样本的步骤之后，还包括：
对所述无标签样本进行分类；
通过预设的数据增广方法对分类后的无标签样本进行数据增广，得到增广样本。
3.如权利要求2所述的文本分类的方法，其特征在于，所述通过预设的数据增广方法对分类后的无标签样本进行数据增广，得到增广样本的步骤，具体包括：
对分类后的无标签样本进行分词处理，得到样本分词；
获取所述样本分词的同义词，并通过所述同义词对所述样本分词进行随机替换，得到第一样本；
将所述同义词随机***所述样本分词中，得到第二样本；
对所述样本分词进行随机交换，得到第三样本；
对所述样本分词进行随机删除，得到第四样本；
组合所述第一样本、所述第二样本、所述第三样本和所述第四样本，得到所述增广样本。
4.如权利要求2所述的文本分类的方法，其特征在于，所述通过预设的数据增广方法对分类后的无标签样本进行数据增广，得到增广样本的步骤，具体包括：
对分类后的无标签样本进行分词处理，得到样本分词；
对所述样本分词进行随机删除，并将完成随机删除后的样本分词导入预先训练好的文本生成模型，生成增广样本。
5.如权利要求1所述的文本分类的方法，其特征在于，所述初始文本分类模型包括嵌入层、卷积层和全连接层，所述将所述第二训练样本导入所述初始文本分类模型进行模型训练，生成样本分类结果的步骤，具体包括：
通过所述嵌入层对所述第二训练样本进行向量特征转换处理，得到初始向量；
采用所述卷积层对所述初始向量进行卷积运算，得到所述初始向量对应的特征数据；
将所述特征数据导入所述全连接层中进行相似度计算，输出相似度最大的识别结果作为所述第二训练样本对应的样本分类结果。
6.如权利要求1所述的文本分类的方法，其特征在于，所述基于所述有监督损失项和所述无监督损失项计算所述样本分类结果与预设标准分类结果之间的误差，得到预测误差的步骤，具体包括：
基于所述有监督损失项计算所述有标签样本分类结果与所述第一标准分类结果之间的误差，得到第一误差；
基于所述无监督损失项计算所述无标签样本分类结果与所述第二标准分类结果之间的误差，得到第二误差。
7.如权利要求1至6任意一项所述的文本分类的方法，其特征在于，基于所述预测误差，使用反向传播算法对所述初始文本分类模型进行迭代更新，得到训练好的文本分类模型的步骤，具体包括：
基于所述反向传播算法在所述初始文本分类模型的网络层中传递所述预测误差；
获取所述初始文本分类模型中网络层的识别误差，并将所述识别误差与预设误差阈值进行比较；
若所述识别误差大于预设误差阈值，则对所述初始文本分类模型进行迭代更新，直到所述识别误差小于或等于预设误差阈值为止；
输出所述识别误差小于或等于预设误差阈值的初始文本分类模型，得到训练好的所述文本分类模型。
8.一种文本分类的装置，其特征在于，包括：
模型构建模块，用于接收分类模型训练指令，并构建初始文本分类模型，其中，初始文本分类模型的损失函数包括有监督损失项和无监督损失项；
样本获取模块，用于从预设数据库中获取第一训练样本，其中，所述第一训练样本包括有标签样本和无标签样本；
样本标注模块，用于基于预设的开源标注模型对所述无标签样本进行标注，得到所述无标签样本的伪标签，并组合所述有标签样本和携带伪标签的所述无标签样本，得到第二训练样本；
模型训练模块，用于将所述第二训练样本导入所述初始文本分类模型进行模型训练，生成样本分类结果；
损失预测模块，用于基于所述有监督损失项和所述无监督损失项计算所述样本分类结果与预设标准分类结果之间的误差，得到预测误差；
模型迭代模块，用于基于所述预测误差，使用反向传播算法对所述初始文本分类模型进行迭代更新，得到训练好的文本分类模型；
文本分类模块，用于接收文本分类指令，获取待分类文本数据，将所述待分类文本数据导入训练好的所述文本分类模型，输出分类文本结果。
9.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的文本分类的方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的文本分类的方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111436398.XA CN114117048A (zh) | 2021-11-29 | 2021-11-29 | 一种文本分类的方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111436398.XA CN114117048A (zh) | 2021-11-29 | 2021-11-29 | 一种文本分类的方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114117048A true CN114117048A (zh) | 2022-03-01 |
Family
ID=80367723
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111436398.XA Pending CN114117048A (zh) | 2021-11-29 | 2021-11-29 | 一种文本分类的方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114117048A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112115267A (zh) * | 2020-09-28 | 2020-12-22 | 平安科技（深圳）有限公司 | 文本分类模型的训练方法、装置、设备及存储介质 |
| CN115346084A (zh) * | 2022-08-15 | 2022-11-15 | 腾讯科技（深圳）有限公司 | 样本处理方法、装置、电子设备、存储介质及程序产品 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111522958A (zh) * | 2020-05-28 | 2020-08-11 | 泰康保险集团股份有限公司 | 文本分类方法和装置 |
| CN112232416A (zh) * | 2020-10-16 | 2021-01-15 | 浙江大学 | 一种基于伪标签加权的半监督学习方法 |
| CN112528029A (zh) * | 2020-12-29 | 2021-03-19 | 平安普惠企业管理有限公司 | 文本分类模型处理方法、装置、计算机设备及存储介质 |
| CN113254599A (zh) * | 2021-06-28 | 2021-08-13 | 浙江大学 | 一种基于半监督学习的多标签微博文本分类方法 |
-
2021
- 2021-11-29 CN CN202111436398.XA patent/CN114117048A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111522958A (zh) * | 2020-05-28 | 2020-08-11 | 泰康保险集团股份有限公司 | 文本分类方法和装置 |
| CN112232416A (zh) * | 2020-10-16 | 2021-01-15 | 浙江大学 | 一种基于伪标签加权的半监督学习方法 |
| CN112528029A (zh) * | 2020-12-29 | 2021-03-19 | 平安普惠企业管理有限公司 | 文本分类模型处理方法、装置、计算机设备及存储介质 |
| CN113254599A (zh) * | 2021-06-28 | 2021-08-13 | 浙江大学 | 一种基于半监督学习的多标签微博文本分类方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112115267A (zh) * | 2020-09-28 | 2020-12-22 | 平安科技（深圳）有限公司 | 文本分类模型的训练方法、装置、设备及存储介质 |
| CN115346084A (zh) * | 2022-08-15 | 2022-11-15 | 腾讯科技（深圳）有限公司 | 样本处理方法、装置、电子设备、存储介质及程序产品 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rehman et al. | A hybrid CNN-LSTM model for improving accuracy of movie reviews sentiment analysis | |
| WO2022142006A1 (zh) | 基于语义识别的话术推荐方法、装置、设备及存储介质 | |
| CN112395979B (zh) | 基于图像的健康状态识别方法、装置、设备及存储介质 | |
| CN112231569A (zh) | 新闻推荐方法、装置、计算机设备及存储介质 | |
| CN112463968B (zh) | 文本分类方法、装置和电子设备 | |
| CN113434683B (zh) | 文本分类方法、装置、介质及电子设备 | |
| CN114117048A (zh) | 一种文本分类的方法、装置、计算机设备及存储介质 | |
| CN112214601A (zh) | 一种社交短文本情感分类方法、装置及存储介质 | |
| CN113505601A (zh) | 一种正负样本对构造方法、装置、计算机设备及存储介质 | |
| CN115392237B (zh) | 情感分析模型训练方法、装置、设备及存储介质 | |
| CN113420212A (zh) | 基于深度特征学习的推荐方法、装置、设备及存储介质 | |
| CN117114063A (zh) | 用于训练生成式大语言模型和用于处理图像任务的方法 | |
| CN113723077B (zh) | 基于双向表征模型的句向量生成方法、装置及计算机设备 | |
| Liu et al. | Few-shot short-text classification with language representations and centroid similarity | |
| CN114091452A (zh) | 一种基于适配器的迁移学习方法、装置、设备及存储介质 | |
| Isaac et al. | A Conceptual Enhancement of LSTM Using Knowledge Distillation for Hate Speech Detection | |
| CN116563034A (zh) | 基于人工智能的购买预测方法、装置、设备及存储介质 | |
| Huang et al. | Target-Oriented Sentiment Classification with Sequential Cross-Modal Semantic Graph | |
| CN115713386A (zh) | 一种多源信息融合的商品推荐方法及*** | |
| WO2023069244A1 (en) | System, method, and computer program product for denoising sequential machine learning models | |
| CN111459990B (zh) | 对象处理方法、***及计算机可读存储介质和计算机设备 | |
| JP2022111020A (ja) | 文書類似度学習に基づくディープラーニングモデルの転移学習方法およびコンピュータ装置 | |
| Kalangi et al. | Sentiment Analysis using Machine Learning | |
| CN114692715A (zh) | 一种样本标注方法及装置 | |
| Wang | Improved facial expression recognition method based on gan |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |