CN112597766A - 一种基于BERT-base网络的带噪半监督文本分类方法 - Google Patents
一种基于BERT-base网络的带噪半监督文本分类方法 Download PDFInfo
- Publication number
- CN112597766A CN112597766A CN202011593101.6A CN202011593101A CN112597766A CN 112597766 A CN112597766 A CN 112597766A CN 202011593101 A CN202011593101 A CN 202011593101A CN 112597766 A CN112597766 A CN 112597766A
- Authority
- CN
- China
- Prior art keywords
- model
- label
- output
- sample
- bert
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 23
- 230000006870 function Effects 0.000 claims abstract description 16
- 230000008569 process Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims abstract description 10
- 239000013598 vector Substances 0.000 claims description 39
- 238000013145 classification model Methods 0.000 claims description 9
- 238000013519 translation Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000002372 labelling Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 2
- 230000008859 change Effects 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 1
- 230000002457 bidirectional effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000013604 expression vector Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Probability & Statistics with Applications (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于BERT‑base网络的带噪半监督文本分类方法。本发明步骤:S1、用模型对无标签样本经回译后产生的新样本做出预测并构造预测标签;S2、将带标签和无标签样本再次输入模型后,在BERT中特定Transformer隐藏层做扰动和插值处理,最终得到插值模型输出;S3、构造损失函数loss=ls+lsce,第一项为针对带标签样本的交叉熵,第二项为插值标签与插值模型输出的对称交叉熵;S4、训练更新模型参数;S5、用训练好的模型对新样本进行预测分类。本发明将带噪学习领域的对称交叉熵和插值方法融合,使得带标签和无标签样本协同训练的同时,降低了标签预测过程中模型误判的影响,减少了训练过程中带标签数据的过拟合现象。
Description
技术领域
本发明应用于自然语言处理(NLP)领域,具体涉及一种基于BERT-base网络的带噪半监督文本分类方法。
背景技术
随着通信、互联网技术的发展,数据已经成为了一种工业原材料,如何挖掘并利用隐藏在数据中的信息已经形成多个产业并且创造了巨大的经济效益。文本数据因为由人的直接表达生成,故产生成本最低,数量最大,包含信息也最为丰富。
在文本数据的众多应用中,分类是一个基础性工作。传统文本分类一般基于带标签数据做监督学习,但在实际的特定工业场景中,数据大多为无标签的原始数据,数据的标注可能需要耗费大量的人力资源,且人工标注的标签质量如何也值得怀疑,实际情况下甚至可能出现“训练数据越多,训练效果越差”的情况。故仅利用少量带标签数据和大量无标签数据的半监督学习方法就成为更加实际且低成本的选择。
目前的半监督学习大多应用于图像分类,近几年的主流方法都利用了一致性正则和最小化熵的思想。一方面,若对数据输入添加噪声,一个鲁棒的模型的输出应该是相似的;另一方面,模型在无标签数据上的熵应该尽可能最小化。无标签数据通过一次或数次增强后输入模型,用模型的较低熵输出作为其预测标签。与此同时,将该无标签数据用另一种方式扰动之后输入模型,此时模型的输出应该和刚刚得到的人工标签存在相似性。衡量“较低熵”的方法一般是看模型输出的概率分布中的最大概率是否超过某个阈值。如何衡量“相似性”则取决于选择何种损失函数,一般的选择有KL散度、交叉熵、L2正则等。但在文本半监督分类中有两方面的问题。一方面,如何将图像半监督分类中的一致性正则和最小化熵的思想应用于文本处理之中。对图像进行旋转、镜像、转换灰度等简单操作就可以在样本标签不变的条件下实现数据增强。然而在NLP中,文本数据具有一定离散特性,很难通过简单的转换来生成大量语义不变的扩充样本。尤其是短文本中,对部分词语的改动很可能直接改变整体语义,故直接在词向量上添加扰动并非最佳选择。另一方面,通过设定概率阈值来判断模型的输出的置信度,这种方法较为简单而直接,但在实际操作中的问题在于:由于阈值的存在,无标签数据可能会在模型训练中期甚至后期才会加入,而此时那些早已参与训练的少量带标签数据可能已经过拟合,用过拟合的模型去预测数据的标签,这种预测势必包含错误判断,且这种错误并非均匀分散的随机噪声,而是模型“死读书”之后产出的***性噪声。故如何处理带标签和无标签数据的协同训练,如何处理模型预测中的噪声也是个问题。
发明内容
本发明提供一种基于BERT-base(BERT是一种基于Transformer架构的双向编码器)的带噪半监督文本分类方法,它对无标签样本通过回译方法产生新样本,然后通过模型预测将置信度较高的预测结果作为该新样本的预测标签;训练过程中,采用插值方法将带标签样本和无标签样本协同训练,并用梯度上升方法对无标签样本在模型中第3隐层的输出向量添加扰动,最后用改进的损失函数提高模型对于其预测标签中噪声的鲁棒性。
为实现上述目的,本发明采用的技术方案步骤如下:
S1、数据初始化阶段。将无标签样本做回译操作并产生新样本,然后将新样本输入模型,最后将其中高置信度的输出向量转化为对应one-hot标签。具体步骤如下:
S2、数据增强阶段。采用FGM(Fast Gradient Method)方法添加扰动并作插值处理,具体步骤如下:
S21、BERT-base网络主要由1个词向量编码层和12个Transformer架构的隐藏层构成,这里针对无标签样本在BERT-base第3层隐藏层的输出添加扰动rj=ε·gj/||gj||,其中即向量的L2正则对该隐藏层输出h求梯度,ε为正超参数,||·||表示求向量二范数。设无标签样本的第3层隐藏层的输出为则扰动后结果为
S22、在BERT-base网络中第7、9、12隐藏层中随机选择一层进行无标签样本和有标签样本隐藏层输出的插值操作。设和分别为样本有标签样本和无标签样本在分类模型隐藏层中第k层的输出(k∈{7,9,12}),对应的真实标签和预测标签分别为和则插值操作的步骤如下:
S221、利用Beta分布产生一个0~1之间的随机数λ。
S222、取λ1=max{λ,1-λ},λ2=min{λ,1-λ},即λ1>λ2且λ1+λ2=1。
S31、lsce=μ1lce+μ2lrce。对称交叉熵包括两部分,lce为交叉熵,lrce反交叉熵。μ1和μ2是二者的超参数权重。具体公式为:
其中i∈{1,2,…,Nl},j∈{1,2,…,Nu},因为为two-hot标签向量,标签向量中势必存在0元素,故反交叉熵的计算中存在log0,定义超参数A=log0,A<0,I{·}表示大括号内条件成立则返回1否则返回0。
S33、计算最终损失函数loss:loss=ls+lsce=ls+μ1lce+μ2lrce。
S4、模型参数更新阶段。
S41更新模型参数θ,即θ←θ-η▽θloss,η为学习率。
S42、在下一批次样本中重复步骤S1-步骤S4,每经过一批次样本的训练后验证模型预测正确率,若更新了当前最高正确率则保存该模型参数。若模型经过10批次训练后预测正确率仍未提高,则结束训练过程。
S5、用训练好的模型做文本的分类应用。
与现有方法相比,本发明有以下优点:
本发明基于如今较为流行的BERT-base模型实现了一种针对文本分类的半监督的带噪学习方法。(1)相比传统半监督学习方法,本发明更为细致地考虑到模型预测标签中的噪声问题,并引入图像带噪学习领域的对称交叉熵,降低了模型误判的影响。(2)再将其和插值方法融合,形成了全新的two-hot模式下的对称交叉熵,提升了模型泛化性能的同时将带标签和无标签样本协同训练,尽量减少了训练过程中在部分数据的过拟合现象。(3)在插值操作中,相比传统做法中将所有样本随机打乱后插值的粗犷做法,本发明较为细致地始终保持无标签样本和带标签样本间的交叉,且在权值的选择上尽量保持损失函数梯度下降时对真实标签的偏向性,这进一步减轻了模型误判带来的影响。(4)相比传统做法中直接在词向量上添加扰动,本发明选择BERT-base隐层输出向量作为扰动对象,从而尽量减少扰动操作对样本语义上的过度修改。
附图说明
图1为模型主要结构图;
图2为本发明中基于BERT-base的半监督带噪学习方法的单轮训练流程图;
图3为本发明中扰动和插值操作示意图;
具体实施方式
下面将结合附图对本发明的具体实施细节做进一步阐述。
一种基于BERT-base的半监督带噪文本分类方法,模型结构如图1所示,它由词向量编码器和12层Transformer架构的隐层构成。BERT-base通过多层运算后,取语句开始标志(CLS)的最终隐层输出向量作为整句话的语义表达向量,然后针对该语义向量用一个两层线性分类器做最终分类。
本方法主要分四个阶段:S1数据初始化阶段、S2数据增强阶段、S3损失函数的构造阶段、S4模型参数更新阶段、S5模型应用阶段。结合图2,本发明的步骤如下:
S1、数据初始化阶段。对无标签样本做回译操作并产生新样本。将新样本输入模型,将其中高置信度的输出向量转化为对应one-hot标签。具体包括:
S2、数据增强阶段。结合图3所示,采用FGM(Fast Gradient Method)方法添加扰动并作插值处理。由于文本中语义的表达并不连续,对部分关键词的改变可能导致整体语义的过度反差,而研究表明,BERT一些特定隐层输出在句法语义等信息的提取中效果较好,故在BERT中特定Transformer隐层而非词向量编码层做扰动和插值处理。步骤S2具体为:
S21、BERT-base网络主要由1个词向量编码层和12个Transformer架构的隐藏层构成,这里针对无标签样本在BERT-base第3层隐藏层的输出添加扰动rj=ε·gj/||gj||,其中即向量的L2正则对该隐藏层输出h求梯度,ε为正超参数,||·||表示求向量二范数。设无标签样本的第3层隐藏层的输出为则扰动后结果为
S22、在BERT-base网络中第7、9、12隐藏层中随机选择一层进行无标签样本和有标签样本隐藏层输出的插值操作。设和分别为样本有标签样本和无标签样本在分类模型隐藏层中第k层的输出(k∈{7,9,12}),对应的真实标签和预测标签分别为和则插值操作的步骤如下:
S221、利用Beta分布产生一个一个0-1之间的随机数λ。
S222、取λ1=max{λ,1-λ},λ2=min{λ,1-λ},即λ1>λ2且λ1+λ2=1
S3、损失函数的构造阶段。损失函数loss=ls+lsce,第一项为对带标签样本的模型输出和其真实标签求交叉熵,第二项为插值标签与插值模型输出的对称交叉熵。在训练过程中,对称交叉熵会使真实标签位置的概率增长比预测标签位置更快,而近似two-hot标签中其他错误的位置上的概率分布会随着两个正确位置上概率的增加而更快速的下降,这也符合对称交叉熵原本的思路。具体过程如下:
S31、lsce=μ1lce+μ2lrce。对称交叉熵包括两部分,lce为传统交叉熵,lrce反交叉熵。μ1和μ2是二者的超参数权重。具体公式为:
i∈{1,2,…,Nl},j∈{1,2,…,Nu},因为为two-hot标签向量,标签向量中势必存在0元素,故反交叉熵的计算中存在log0,定义超参数A=log0,A<0,I{·}表示大括号内条件成立则返回1,否则返回0。
以下为本发明中构造的two-hot模式反交叉熵的有效性的解释,以单个带标签样本和单个无标签样本为例:
lrce=-pilogλ1-pjlogλ2-(1-pi-pj)A
其中,zi和zj分别表示正确标签和预测标签所属类别处模型softmax前的输出,zc表示错误类别处模型softmax前的输出。pi和pj分别表示正确标签和预测标签所属类别处模型的最终输出,pc表示错误类别处模型的最终输出。
因为0<λ1,λ2<1,A<0,two-hot模式下pi和pj基本在0~0.5范围内,故:
即lrce的下降会使得正确类别处的输出zi和zj上升,错误类别处的输出zc下降,符合损失函数基本目的,lrce可加速loss的梯度下降。
S33、计算最终损失函数:loss=ls+lsce=ls+μ1lce+μ2lrce。
S4、模型参数更新阶段。
S41、更新模型参数θ,即θ←θ-η▽θloss,η为学习率。
S42、在下一批次样本中重复步骤S1-步骤S4,每经过一批次样本的训练后验证模型预测正确率,若更新了当前最高正确率则保存该模型参数。若模型经过10批次数据训练后预测正确率仍未提高,则结束训练过程。
S5、模型应用阶段。使用S42步骤中训练好的模型,将测试文本输入模型,模型输出向量中最大概率处对应的类别即为预测所属的分类。
综上所述,本发明将图像半监督分类的思想方法引入自然语言处理领域,提出了基于BERT-base模型的半监督带噪文本分类方法。
通过更为细致地在BERT-base隐层中做扰动和插值处理,本发明减少了由于对词向量直接改动而导致语义过度变化的情况,并使得模型在提升鲁棒性和泛化性能的同时将带标签和无标签样本协同训练,尽量减少了训练过程中在部分数据的过拟合现象。
考虑到预测标签中的噪声处理问题,本发明引入图像带噪学习领域的对称交叉熵,并将其和插值处理融合,形成了two-hot模式下的对称交叉熵。插值处理时更细致的权重选择使得训练过程总是略微偏向真实标签,这进一步减轻了预测标签中的噪声对训练过程的影响,提升了模型训练过程的鲁棒性。
Claims (7)
1.一种基于BERT-base网络的带噪半监督文本分类方法,其特征在于包括如下步骤:
S1、数据初始化阶段:将无标签样本做回译操作并产生新样本,然后将新样本输入模型,最后将其中高置信度的输出向量转化为对应one-hot标签;
S2、数据增强阶段:采用FGM方法添加扰动并作插值处理,在BERT中特定Transformer隐层而非词向量编码层做扰动和插值处理;
S4、模型参数更新阶段:
S5、模型应用阶段:使用训练好的模型,将测试文本输入模型,模型输出向量中最大概率处对应的类别即为预测所属的分类。
3.根据权利要求2所述的一种基于BERT-base网络的带噪半监督文本分类方法,其特征在于步骤S2具体实现如下:
S21、BERT-base网络主要由1个词向量编码层和12个Transformer架构的隐藏层构成,这里针对无标签样本在BERT-base第3层隐藏层的输出添加扰动rj=ε·gj/||gj||,其中即向量的L2正则对该隐藏层输出h求梯度,ε为正超参数,||·||表示求向量二范数;设无标签样本的第3层隐藏层的输出为则扰动后结果为
5.根据权利要求4所述的一种基于BERT-base网络的带噪半监督文本分类方法,其特征在于步骤S3具体实现如下:
S31、lsce=μ1lce+μ2lrce;对称交叉熵包括两部分,lce为交叉熵,lrce反交叉熵;μ1和μ2是二者的超参数权重;具体公式为:
其中i∈{1,2,…,Nl},j∈{1,2,…,Nu},因为为two-hot标签向量,标签向量中势必存在0元素,故反交叉熵的计算中存在log0,定义超参数A=log0,A<0,I{·}表示大括号内条件成立则返回1否则返回0;
S33、计算最终损失函数loss:loss=ls+lsce=ls+μ1lce+μ2lrce。
7.根据权利要求5所述的一种基于BERT-base网络的带噪半监督文本分类方法,其特征在于构造的two-hot模式反交叉熵的有效性实现如下:
lrce=-pilogλ1-pjlogλ2-(1-pi-pj)A
其中,zi和zj分别表示正确标签和预测标签所属类别处模型softmax前的输出,zc表示错误类别处模型softmax前的输出;pi和pj分别表示正确标签和预测标签所属类别处模型的最终输出,pc表示错误类别处模型的最终输出;
因为0<λ1,λ2<1,A<0,two-hot模式下pi和pj基本在0~0.5范围内,故:
即lrce的下降会使得正确类别处的输出zi和zj上升,错误类别处的输出zc下降,符合损失函数基本目的,lrce可加速loss的梯度下降;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011593101.6A CN112597766A (zh) | 2020-12-29 | 2020-12-29 | 一种基于BERT-base网络的带噪半监督文本分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011593101.6A CN112597766A (zh) | 2020-12-29 | 2020-12-29 | 一种基于BERT-base网络的带噪半监督文本分类方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112597766A true CN112597766A (zh) | 2021-04-02 |
Family
ID=75203436
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011593101.6A Pending CN112597766A (zh) | 2020-12-29 | 2020-12-29 | 一种基于BERT-base网络的带噪半监督文本分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112597766A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112765359A (zh) * | 2021-04-07 | 2021-05-07 | 成都数联铭品科技有限公司 | 一种基于少样本的文本分类方法 |
CN112966509A (zh) * | 2021-04-16 | 2021-06-15 | 重庆度小满优扬科技有限公司 | 文本质量评估方法、装置、存储介质及计算机设备 |
CN113011531A (zh) * | 2021-04-29 | 2021-06-22 | 平安科技(深圳)有限公司 | 分类模型训练方法、装置、终端设备及存储介质 |
CN113918700A (zh) * | 2021-10-15 | 2022-01-11 | 浙江百世技术有限公司 | 一种带噪的半监督意图识别模型训练方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190042952A1 (en) * | 2017-08-03 | 2019-02-07 | Beijing University Of Technology | Multi-task Semi-Supervised Online Sequential Extreme Learning Method for Emotion Judgment of User |
CN110427629A (zh) * | 2019-08-13 | 2019-11-08 | 苏州思必驰信息科技有限公司 | 半监督文本简化模型训练方法和*** |
CN111723666A (zh) * | 2020-05-20 | 2020-09-29 | 同济大学 | 一种基于半监督学习的信号识别方法和装置 |
-
2020
- 2020-12-29 CN CN202011593101.6A patent/CN112597766A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190042952A1 (en) * | 2017-08-03 | 2019-02-07 | Beijing University Of Technology | Multi-task Semi-Supervised Online Sequential Extreme Learning Method for Emotion Judgment of User |
CN110427629A (zh) * | 2019-08-13 | 2019-11-08 | 苏州思必驰信息科技有限公司 | 半监督文本简化模型训练方法和*** |
CN111723666A (zh) * | 2020-05-20 | 2020-09-29 | 同济大学 | 一种基于半监督学习的信号识别方法和装置 |
Non-Patent Citations (1)
Title |
---|
宋建国;: "基于半监督与词向量加权的文本分类研究", 软件导刊, no. 09, 15 September 2020 (2020-09-15) * |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112765359A (zh) * | 2021-04-07 | 2021-05-07 | 成都数联铭品科技有限公司 | 一种基于少样本的文本分类方法 |
CN112966509A (zh) * | 2021-04-16 | 2021-06-15 | 重庆度小满优扬科技有限公司 | 文本质量评估方法、装置、存储介质及计算机设备 |
CN112966509B (zh) * | 2021-04-16 | 2023-04-07 | 重庆度小满优扬科技有限公司 | 文本质量评估方法、装置、存储介质及计算机设备 |
CN113011531A (zh) * | 2021-04-29 | 2021-06-22 | 平安科技(深圳)有限公司 | 分类模型训练方法、装置、终端设备及存储介质 |
WO2022227214A1 (zh) * | 2021-04-29 | 2022-11-03 | 平安科技(深圳)有限公司 | 分类模型训练方法、装置、终端设备及存储介质 |
CN113011531B (zh) * | 2021-04-29 | 2024-05-07 | 平安科技(深圳)有限公司 | 分类模型训练方法、装置、终端设备及存储介质 |
CN113918700A (zh) * | 2021-10-15 | 2022-01-11 | 浙江百世技术有限公司 | 一种带噪的半监督意图识别模型训练方法 |
CN113918700B (zh) * | 2021-10-15 | 2022-07-12 | 浙江百世技术有限公司 | 一种带噪的半监督意图识别模型训练方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109284506B (zh) | 一种基于注意力卷积神经网络的用户评论情感分析***及方法 | |
CN110825845B (zh) | 一种基于字符与自注意力机制的层次文本分类方法及中文文本分类方法 | |
CN112597766A (zh) | 一种基于BERT-base网络的带噪半监督文本分类方法 | |
CN111897908A (zh) | 融合依存信息和预训练语言模型的事件抽取方法及*** | |
CN109325231B (zh) | 一种多任务模型生成词向量的方法 | |
CN112560432B (zh) | 基于图注意力网络的文本情感分析方法 | |
CN110866542B (zh) | 一种基于特征可控融合的深度表示学习方法 | |
CN110609897A (zh) | 一种融合全局和局部特征的多类别中文文本分类方法 | |
CN112487143A (zh) | 一种基于舆情大数据分析的多标签文本分类方法 | |
CN110765775A (zh) | 一种融合语义和标签差异的命名实体识别领域自适应的方法 | |
CN112163429B (zh) | 结合循环网络及bert的句子相关度获取方法、***及介质 | |
CN112163089B (zh) | 一种融合命名实体识别的高技术文本分类方法及*** | |
CN114896388A (zh) | 一种基于混合注意力的层级多标签文本分类方法 | |
CN111666406A (zh) | 基于自注意力的单词和标签联合的短文本分类预测方法 | |
CN114491024B (zh) | 一种基于小样本的特定领域多标签文本分类方法 | |
CN112395417A (zh) | 基于深度学习的网络舆情演化仿真方法及*** | |
CN114925205B (zh) | 基于对比学习的gcn-gru文本分类方法 | |
CN111339440B (zh) | 面向新闻文本基于层级状态神经网络的社会情绪排序方法 | |
CN111666752A (zh) | 一种基于关键词注意力机制的电路教材实体关系抽取方法 | |
CN114067162A (zh) | 一种基于多尺度多粒度特征解耦的图像重构方法及*** | |
Yu et al. | Policy text classification algorithm based on BERT | |
CN112989803B (zh) | 一种基于主题向量学习的实体链接预测方法 | |
CN113268592B (zh) | 基于多层次交互注意力机制的短文本对象情感分类方法 | |
CN114048314A (zh) | 一种自然语言隐写分析方法 | |
CN113779966A (zh) | 一种基于注意力的双向cnn-rnn深度模型的蒙文情感分析方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |