CN111813932B - 文本数据的处理方法、分类方法、装置及可读存储介质 - Google Patents
文本数据的处理方法、分类方法、装置及可读存储介质 Download PDFInfo
- Publication number
- CN111813932B CN111813932B CN202010556440.0A CN202010556440A CN111813932B CN 111813932 B CN111813932 B CN 111813932B CN 202010556440 A CN202010556440 A CN 202010556440A CN 111813932 B CN111813932 B CN 111813932B
- Authority
- CN
- China
- Prior art keywords
- classification
- text
- text data
- rule
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 15
- 238000013145 classification model Methods 0.000 claims abstract description 137
- 238000012549 training Methods 0.000 claims abstract description 68
- 238000000034 method Methods 0.000 claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 33
- 230000002159 abnormal effect Effects 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 10
- 238000002372 labelling Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000012550 audit Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000001914 filtration Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000005236 sound signal Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000004140 cleaning Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000009193 crawling Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000008676 import Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000746 purification Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
- G06F16/353—Clustering; Classification into predefined classes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及一种文本数据的处理方法、分类方法、装置及可读存储介质,所述方法包括:从文本分类模型的训练样本集中获取目标样本;将目标样本分别输入文本分类模型和规则模型,获得文本分类模型输出的第一分类结果和规则模型输出的第二分类结果,第一分类结果包括文本数据对应的预测分类,规则模型包含多种分类规则,每种分类规则对应相同或者不同的文本分类,第二分类结果用于指示文本数据命中的分类规则;在根据第一分类结果和第二分类结果确定出文本数据对应的目标分类、且目标分类未包括在目标样本的情况下,根据目标分类更新目标样本。由此,可以增加训练样本的数据量,保证训练样本标注的准确性,并且降低人工标注的数据量。
Description
技术领域
本公开涉及计算机技术领域,尤其涉及文本数据的处理方法、分类方法、装置及可读存储介质。
背景技术
用户可以通过各类平台发布各类文本,如可以发布新闻信息、评论信息等。但随着数据量的增加和网络环境净化的高要求,在发布文本内容时,需要对该文本内容进行审核,以确定该文本内容能否发布。相关技术中,通常通过训练一文本分类模型,基于该文本分类模型对涉敏文本或者异常文本进行分类,从而实现对文本内容进行审核。
然而在上述过程中,通常是需要人工对训练文本进行标注,若该训练文本标注错误或数量不足时,则会严重影响文本分类模型的准确度,从而无法保证基于该文本分类模型对文本内容的准确审核。
发明内容
为克服相关技术中存在的问题,本公开提供一种文本数据的处理方法、分类方法、装置及可读存储介质。
根据本公开实施例的第一方面,提供一种文本数据的处理方法,包括:
从文本分类模型的训练样本集中获取目标样本,其中,所述目标样本包括文本数据,或者包括文本数据和为所述文本数据标注的分类;
将所述目标样本分别输入文本分类模型和规则模型,获得所述文本分类模型输出的第一分类结果和所述规则模型输出的第二分类结果,其中,所述第一分类结果包括所述文本数据对应的预测分类,所述规则模型包含多种分类规则,每种所述分类规则对应相同或者不同的文本分类,所述第二分类结果用于指示所述文本数据命中的分类规则;
在根据所述第一分类结果和所述第二分类结果确定出所述文本数据对应的目标分类、且所述目标分类未包括在所述目标样本的情况下,根据所述目标分类更新所述目标样本。
可选地,所述文本数据源自于以下中的任一者:新闻信息、即时通信消息、短消息、短文本;
所述文本数据的分类包括异常文本类别。
可选地,通过如下方式确定所述目标分类:
在所述文本数据命中的分类规则的类型为目标类型的情况下,将所述命中的分类规则对应的文本分类确定为所述目标分类;
在所述命中的分类规则对应的文本分类不是所述目标类型,所述预测分类与所述命中的分类规则对应的文本分类一致,且所述预测分类的置信度大于第一置信阈值的情况下,将所述预测分类确定为所述目标分类,其中,所述第一分类结果还包括所述预测分类的置信度;
在所述预测分类的置信度大于第二置信阈值,且所述第二分类结果指示所述文本数据未命中分类规则的情况下,将所述预测分类确定为所述目标分类,其中所述第二置信阈值大于所述第一置信阈值。
可选地,所述方法还包括:
满足以下的任一条件时,输出所述目标样本,其中,对所述目标样本标注后,将所述标注后的样本作为所述文本分类模型的训练样本:
所述第二分类结果指示所述文本数据未命中分类规则,且所述第一分类结果中所述预测分类的置信度小于第三置信阈值或所述置信度属于分类边界置信范围,其中,所述第一分类结果还包括所述预测分类的置信度;
所述预测分类与所述命中的分类规则对应的文本分类不同,且所述命中的分类规则对应的文本分类不是目标类型。
可选地,所述方法还包括:
针对每种所述分类规则,确定该分类规则的命中率和误差率,其中,所述命中率为该分类规则的命中次数与规则匹配的总次数的比值,所述误差率为目标样本命中该分类规则时,该目标样本输入所述文本分类模型所得的预测分类与该分类规则对应的文本分类不同的次数、与该分类规则的命中次数的比值;
输出待更新的分类规则,其中,所述待更新的分类规则为所述命中率大于命中阈值且所述误差率大于误差阈值的分类规则;
响应于针对所述待更新的分类规则的更新指令,对所述待更新的分类规则进行更新。
可选地,所述方法还包括:
输出待处理样本,所述待处理样本为对应预测分类的置信度大于预设阈值,且对应的第二分类结果指示未命中分类规则的样本;
响应于针对所述待处理样本的规则设置指令,将所述规则设置指令指示的分类规则添加至所述规则模型中。
可选地,所述方法还包括:
在所述目标样本包括文本数据和为所述文本数据标注的分类的情况下,根据所述目标样本对应的预测分类和所述为所述文本数据标注的分类,确定所述文本分类模型的损失值;
在所述损失值大于分类阈值的情况下,根据所述损失值更新所述文本分类模型。
第二方面,提供一种文本数据的分类方法,所述方法包括:
获取待分类的文本数据;
将所述待分类的文本数据输入文本分类模型,获得所述待分类的文本数据的分类,其中,所述文本分类模型所对应的训练样本集是通过第一方面任一所述文本数据的处理方法生成的。
可选地,所述待分类的文本数据源自于以下中的任一者:新闻信息、即时通信消息、短消息、短文本;
所述文本数据的分类包括异常文本类别;
所述将所述待分类的文本数据输入文本分类模型,获得所述待分类的文本数据的分类,包括:
将所述待分类的文本数据输入所述文本分类模型,获得对应于分类为异常文本类别的所述待分类的文本数据。
第三方面,提供一种文本数据的处理装置,包括:
第一获取模块,被配置为从文本分类模型的训练样本集中获取目标样本,其中,所述目标样本包括文本数据,或者包括文本数据和为所述文本数据标注的分类;
第一输入模块,被配置为将所述目标样本分别输入文本分类模型和规则模型,获得所述文本分类模型输出的第一分类结果和所述规则模型输出的第二分类结果,其中,所述第一分类结果包括所述文本数据对应的预测分类,所述规则模型包含多种分类规则,每种所述分类规则对应相同或者不同的文本分类,所述第二分类结果用于指示所述文本数据命中的分类规则;
第一更新模块,被配置为在根据所述第一分类结果和所述第二分类结果确定出所述文本数据对应的目标分类、且所述目标分类未包括在所述目标样本的情况下,根据所述目标分类更新所述目标样本。
可选地,所述文本数据源自于以下中的任一者:新闻信息、即时通信消息、短消息、短文本;
所述文本数据的分类包括异常文本类别。
可选地,所述装置还包括:
第一确定模块,被配置为通过如下方式确定所述目标分类:
在所述文本数据命中的分类规则的类型为目标类型的情况下,将所述命中的分类规则对应的文本分类确定为所述目标分类;
在所述命中的分类规则对应的文本分类不是所述目标类型,所述预测分类与所述命中的分类规则对应的文本分类一致,且所述预测分类的置信度大于第一置信阈值的情况下,将所述预测分类确定为所述目标分类,其中,所述第一分类结果还包括所述预测分类的置信度;
在所述预测分类的置信度大于第二置信阈值,且所述第二分类结果指示所述文本数据未命中分类规则的情况下,将所述预测分类确定为所述目标分类,其中所述第二置信阈值大于所述第一置信阈值。
可选地,所述装置还包括:
第一输出模块,被配置为满足以下的任一条件时,输出所述目标样本,其中,对所述目标样本标注后,将所述标注后的样本作为所述文本分类模型的训练样本:
所述第二分类结果指示所述文本数据未命中分类规则,且所述第一分类结果中所述预测分类的置信度小于第三置信阈值或所述置信度属于分类边界置信范围,其中,所述第一分类结果还包括所述预测分类的置信度;
所述预测分类与所述命中的分类规则对应的文本分类不同,且所述命中的分类规则对应的文本分类不是目标类型。
可选地,所述装置还包括:
第二确定模块,被配置为针对每种所述分类规则,确定该分类规则的命中率和误差率,其中,所述命中率为该分类规则的命中次数与规则匹配的总次数的比值,所述误差率为目标样本命中该分类规则时,该目标样本输入所述文本分类模型所得的预测分类与该分类规则对应的文本分类不同的次数、与该分类规则的命中次数的比值;
第二输出模块,被配置为输出待更新的分类规则,其中,所述待更新的分类规则为所述命中率大于命中阈值且所述误差率大于误差阈值的分类规则;
第二更新模块,被配置为响应于针对所述待更新的分类规则的更新指令,对所述待更新的分类规则进行更新。
可选地,所述装置还包括:
第三输出模块,被配置为输出待处理样本,所述待处理样本为对应预测分类的置信度大于预设阈值,且对应的第二分类结果指示未命中分类规则的样本;
添加模块,被配置为响应于针对所述待处理样本的规则设置指令,将所述规则设置指令指示的分类规则添加至所述规则模型中。
可选地,所述装置还包括:
第三确定模块,被配置为在所述目标样本包括文本数据和为所述文本数据标注的分类的情况下,根据所述目标样本对应的预测分类和所述为所述文本数据标注的分类,确定所述文本分类模型的损失值;
第三更新模块,被配置为在所述损失值大于分类阈值的情况下,根据所述损失值更新所述文本分类模型。
第四方面,提供一种文本数据的分类装置,所述装置包括:
第二获取模块,被配置为获取待分类的文本数据;
第二输入模块,被配置为将所述待分类的文本数据输入文本分类模型,获得所述待分类的文本数据的分类,其中,所述文本分类模型所对应的训练样本集是通过上述第一方面任一所述文本数据的处理方法生成的。
可选地,所述待分类的文本数据源自于以下中的任一者:新闻信息、即时通信消息、短消息、短文本;
所述文本数据的分类包括异常文本类别;
所述第二输入模块包括:
将所述待分类的文本数据输入所述文本分类模型,获得对应于分类为异常文本类别的所述待分类的文本数据。
第五方面,提供一种文本数据的处理装置,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
从文本分类模型的训练样本集中获取目标样本,其中,所述目标样本包括文本数据,或者包括文本数据和为所述文本数据标注的分类;
将所述目标样本分别输入文本分类模型和规则模型,获得所述文本分类模型输出的第一分类结果和所述规则模型输出的第二分类结果,其中,所述第一分类结果包括所述文本数据对应的预测分类,所述规则模型包含多种分类规则,每种所述分类规则对应相同或者不同的文本分类,所述第二分类结果用于指示所述文本数据命中的分类规则;
在根据所述第一分类结果和所述第二分类结果确定出所述文本数据对应的目标分类、且所述目标分类未包括在所述目标样本的情况下,根据所述目标分类更新所述目标样本。
第六方面,提供一种文本数据的分类装置,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取待分类的文本数据;
将所述待分类的文本数据输入文本分类模型,获得所述待分类的文本数据的分类,其中,所述文本分类模型所对应的训练样本集是通过上述第一方面任一所述文本数据的处理方法生成的。
第七方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时上述第一方面或第二方面任一项所述方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:
在上述技术方案中,从文本分类模型的训练样本集中获取目标样本,将所述目标样本分别输入文本分类模型和规则模型,获得所述文本分类模型输出的第一分类结果和所述规则模型输出的第二分类结果,并在根据所述第一分类结果和所述第二分类结果确定出所述文本数据对应的目标分类、且所述目标分类未包括在所述目标样本的情况下,根据所述目标分类更新所述目标样本。由此,通过上述技术方案,该训练样本集中可以包含已标注的文本数据和未标注的文本数据,并且可以实现对部分文本数据的自动标注,既可以有效增加训练样本的数据量,可以保证训练样本标注的准确性,又可以降低人工标注的工作量。并且,还可以对训练样本集中已标注的文本数据的分类进行校验,进一步提高训练样本的准确性,保证基于该训练样本集获得的文本分类模型的准确性,从而可以为文本内容准确审核和过滤提供技术支持,实现文本内容的安全发布,净化网络环境。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是根据一示例性实施例示出的一种文本数据的处理方法的流程图。
图2是根据一示例性实施例示出的一种文本数据的处理装置的框图。
图3是根据一示例性实施例示出的一种文本数据的处理装置的框图。
图4是根据一示例性实施例示出的一种文本数据的处理装置的框图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
图1是根据一示例性实施例示出的一种文本数据的处理方法的流程图,如图1所示,可以包括以下步骤:
在步骤11中,从文本分类模型的训练样本集中获取目标样本,其中,所述目标样本包括文本数据,或者包括文本数据和为所述文本数据标注的分类。
其中,在对文本分类模型进行训练时,通常是通过人工标注的方式对文本数据进行预先标注,从而可以确定出每一文本数据对应的分类,则该包括文本数据和为文本数据标注的分类的目标样本可以直接用于该文本分类模型的训练。
示例地,所述文本数据源自于以下中的任一者:新闻信息、即时通信消息、短消息、短文本。示例地,该新闻信息可以为通过爬虫技术从新闻页面爬取获得的,或者为从新闻信息发布平台获得的。其中,该新闻信息可以为通过上述方式获得的原始文本数据,也可以是对原始文本数据进行数据处理,例如提取关键词、关键语句和关键段落所获得的文本数据。短文本可以用于表示在微博、论坛等发布的字数较少的文本。如背景技术中所述,为了净化网络环境,在进行文本数据发布时,通常需要对该文本数据进行审核,以确定该文本数据中是否包含敏感信息,示例地,该敏感信息可以是涉及时政类的部分信息,或者涉及低俗文本的信息,即审核文本是否为涉敏文本;或者还可以对例如标题党、复制内容文本等低质量内容进行审核,以提高网络环境数据的质量。因此,所述文本数据的分类可以包括异常文本类别,其中该异常文本类别可以用于表示涉敏文本类型和/或低质量内容类别,属于该涉敏文本类别的文本即包含敏感信息的文本,由此可以通过该文本分类模型对文本数据进行分类,从而准确分类出异常文本,实现文本内容审核和过滤。
然而在实际使用场景中,通过人工标注方式获得的训练样本数量有限,这会影响训练出的文本分类模型的分类结果的准确性。因此,为了提高训练样本的数量并且降低人工工作量,本公开中训练样本集中可以包括未进行标注的样本,即目标样本可以包含文本数据,其可以通过后续步骤实现对该目标样本中的文本数据的自动标注。例如,新闻信息在进行标注时由于其文本较长或内容较复杂,会导致标注工作量增大且影响标注的准确性。在本公开的实施例中,为了增加训练样本数量,可以通过部分未进行标注的新闻信息对训练样本集进行数据增强,以在一定程度上增加文本分类模型的准确度和训练速度。
在步骤12中,将目标样本分别输入文本分类模型和规则模型,获得文本分类模型输出的第一分类结果和规则模型输出的第二分类结果,其中,所述第一分类结果包括所述文本数据对应的预测分类,所述规则模型包含多种分类规则,每种所述分类规则对应相同或者不同的文本分类,所述第二分类结果用于指示所述文本数据命中的分类规则。
在该实施例中,规则模型中包含的多种分类规则可以是基于训练样本集中标注有分类的文本数据确定的。示例地,标注人员可以对标注为同一分类的文本数据进行分析,从而确定出与该类型对应的分类规则,并将该分类确定为该分类规则对应的文本分类。示例地,该分类规则可以通过关键词、关键句式等表示,也可以通过正则表达式的方式表示。因此,将目标样本输入规则模型,可以将该目标样本中的文本数据与该规则模型中的分类规则进行匹配,从而获得第二分类结果。
其中,若文本数据命中规则模型中的分类规则,则该第二分类结果中则会包含该文本数据命中的分类规则,若文本数据未命中分类规则,则该第二分类结果可以为空值,以指示该文本数据未命中分类规则。
在步骤13中,在根据第一分类结果和第二分类结果确定出文本数据对应的目标分类、且目标分类未包括在目标样本的情况下,根据目标分类更新目标样本。
其中,通过上述步骤可以确定该目标样本中的文本数据对应的第一分类结果和第二分类结果,则可以综合该第一分类结果和该第二分类结果对该文本数据对应的目标分类进行确定,可以一定程度上保证确定出的目标分类的准确度。
作为示例,该目标样本包括文本数据、未包含为该文本数据标注的分类时,该目标分类必然不会包括在目标样本中,此时可以直接根据目标分类更新目标样本,如可以为该文本数据标注该目标分类,从而实现对文本数据的自动标注,则更新后的目标样本包含该文本数据和目标分类,从而可以用于该文本分类模型的训练过程,提高文本分类模型的训练样本数据量。
作为另一示例,该目标样本包括文本数据和为该文本数据标注的分类,此时确定该目标样本中是否包含该目标分类,即确定为该文本数据标注的分类与该目标分类是否相同,若该文本数据标注的分类与该目标分类相同,则目标分类包含在目标样本中,此时表示该目标样本中为文本数据标注的分类是准确的,无需进行更新。若该文本数据标注的分类与该目标分类不同,则目标分类未包含在目标样本中,该目标样本中为文本数据标注的分类是不准确的,则可以将目标样本中为文本数据标注的分类更新为该目标分类,从而实现目标样本的更新,从而保证在文本分类模型的后续训练过程中基于该目标样本对文本分类模型进行训练时所用的训练样本的准确性,从而提高文本分类模型的准确度。
在上述技术方案中,从文本分类模型的训练样本集中获取目标样本,将所述目标样本分别输入文本分类模型和规则模型,获得所述文本分类模型输出的第一分类结果和所述规则模型输出的第二分类结果,并在根据所述第一分类结果和所述第二分类结果确定出所述文本数据对应的目标分类、且所述目标分类未包括在所述目标样本的情况下,根据所述目标分类更新所述目标样本。由此,通过上述技术方案,该训练样本集中可以包含已标注的文本数据和未标注的文本数据,并且可以实现对部分文本数据的自动标注,既可以有效增加训练样本的数据量,可以保证训练样本标注的准确性,又可以降低人工标注的工作量。并且,还可以对训练样本集中已标注的文本数据的分类进行校验,进一步提高训练样本的准确性,保证基于该训练样本集获得的文本分类模型的准确性,从而可以为文本内容准确审核和过滤提供技术支持,实现文本内容的安全发布,净化网络环境。
为了使本领域技术人员更加理解本发明实施例提供的技术方案,下面对上述步骤进行详细的说明。
可选地,通过如下方式确定所述目标分类:
第一种方式,在所述文本数据命中的分类规则的类型为目标类型的情况下,将所述命中的分类规则对应的文本分类确定为所述目标分类。
其中,在预先设置规则模型中的分类规则时,可以设置该分类规则的类型,该类型用于表征命中该分类规则时是否可以只根据分类规则确定目标分类。示例地,所述类型可以包括黑名单类型和存疑类型,其中该黑名单类型可以作为所述目标类型,即用于表征只根据分类规则对应的文本分类确定目标分类,则只要命中的分类规则的类型为黑名单类型,便可以直接将该命中的分类规则对应的文本分类确定为目标分类。针对类型为存疑类型的分类规则,则需要结合第一分类结果综合分析确定目标分类。
第二种方式,在所述命中的分类规则对应的文本分类不是目标类型,所述预测分类与所述命中的分类规则对应的文本分类一致,且所述预测分类的置信度大于第一置信阈值的情况下,将所述预测分类确定为所述目标分类,其中,所述第一分类结果还包括所述预测分类的置信度。
在该实施例中,命中的分类规则对应的文本分类不是目标类型,表述只根据该命中的分类规则对应的文本分类无法直接确定出目标分类,此时需要结合第一分类结果确定该目标分类。示例地,在预测分类与命中的分类规则对应的文本一致时,表示将该目标样本输入文本分类模型和规则模型中所确定出的分类相同,并且预测分类对应的置信度大于第一置信阈值,表示该文本分类模型输出的预测分类相对可信,此时则可以将该预测分类,也即该命中的分类规则对应的文本分类确定为目标分类。其中,该第一置信阈值可以根据实际使用场景进行设置,本公开对此不进行限定。
第三种方式,在所述预测分类的置信度大于第二置信阈值,且所述第二分类结果指示所述文本数据未命中分类规则的情况下,将所述预测分类确定为所述目标分类,其中所述第二置信阈值大于所述第一置信阈值。其中,第二置信阈值可以根据实际使用场景进行设置,本公开对此不进行限定,即在该种方式确定的预测分类的可信度要更高于第二种方式中确定出的预测分类的可信度。示例地,该第二置信阈值可以设置为较大的数值,预测分类的置信度大于第二置信阈值用于表示该预测分类的可信度较高。
在该实施例中,第二分类结果指示所述文本数据未命中分类规则,即该文本数据与规则模型中的分类规则并不匹配,在该情况下,若文本分类模型得出的预测分类的置信度大于第二置信阈值,且该第二置信阈值大于所述第一置信阈值,即文本分类模型得出的预测分类是可信的,此时,可以直接将该预测分类确定为目标分类。
因此,通过上述技术方案,可以基于文本分类模型和规则模型对文本数据对应的目标分类进行确定,可以保证确定出的目标分类的准确性,可以有效避免人工标注过程中的错误标注。并且可以对未标注的文本数据进行准确地自动标注,为已标注的文本数据的分类进行准确性判断提供数据支持。另外可以在文本分类模型训练的同时,对该文本分类模型的训练样本进行数据清洗,保证文本分类模型的训练样本的准确性,进而保证训练出的文本分类模型的准确性,便于后续基于该文本分类模型进行文本分类和文本审核。
可选地,所述方法还包括:
满足以下的任一条件时,输出所述目标样本,其中,对所述目标样本标注后,将所述标注后的目标样本作为所述文本分类模型的训练样本:
第一种条件,所述第二分类结果指示所述文本数据未命中分类规则,且所述第一分类结果中所述预测分类的置信度小于第三置信阈值或所述置信度属于分类边界置信范围,其中,所述第一分类结果还包括所述预测分类的置信度。
作为示例,该第三置信阈值小于所述第一置信阈值,第三置信阈值可以设置为较小的数值,该预测分类的置信度小于该第三置信阈值用于表示该预测分类的可信度较低,此时确定出的文本数据的预测分类并不准确;而第二分类结果指示所述文本数据未命中分类规则,即根据第二分类结果并不能确定出文本数据的分类,此时,则可以对该目标样本进行人工标注,从而确定目标样本中的文本数据对应的分类,从而根据人工标注后获得的样本对文本分类。
作为另一示例,在基于训练好的文本分类模型对文本数据进行分类时,通常可以设置对应的分类置信阈值,在通过文本分类模型获得的分类的置信度大于该分类置信阈值时,确定该文本分类模型获得的分类为该文本数据的分类。由此,在对文本分类模型进行训练时,获得的预测分类的置信度处于该分类置信阈值附近的训练样本对该文本分类模型的准确度的影响较大。因此在该实施例中,可以基于该分类置信阈值确定分类边界置信范围,如设置的分类置信阈值为75%,浮动范围为10%,则可以确定该分类边界置信范围为[70%,80%],因此,在第二分类结果表示指示所述文本数据未命中分类规则时,若确定的出预测分类的置信度为74%,属于该分类边界置信范围,则可以将该目标样本进行输出,从而对该目标样本进行人工标注。
第二种条件,所述预测分类与所述命中的分类规则对应的文本分类不同,且所述命中的分类规则对应的文本分类不是目标类型。
在该实施例中,命中的分类规则对应的文本分类不是目标类型时,表示不能只根据该命中的分类规则对应的文本分类确定该文本数据的目标分类,而预测分类与该文本分类不同,即针对同一文本数据确定出不同的分类时,可以通过人工标注确定该目标样本的目标分类。
在上述技术方案中,针对对文本分类模型的准确度具有较大影响或者无法确定出文本数据的目标分类的目标样本进行输出,以进行人工标注,从而可以保证目标样本标注的准确性,进一步提升文本分类模型的训练效率和准确度。
在实际使用场景中,在文本分类模型的训练过程中,也可以根据该文本分类模型的训练过程确定该规则模型中的分类规则是否准确,从而实现对分类规则的动态更新,以提高目标样本的准确性,同时也可以反馈提高该文本分类模型的准确度。因此,本公开还提供以下实施例。
可选地,所述方法还包括:
针对每种所述分类规则,确定该分类规则的命中率和误差率,其中,所述命中率为该分类规则的命中次数与规则匹配的总次数的比值,所述误差率为目标样本命中该分类规则时,该目标样本输入所述文本分类模型所得的预测分类与该分类规则对应的文本分类不同的次数、与该分类规则的命中次数的比值。
示例地,规则模型中存在N种分类规则,针对分类规则R1,其命中次数为C1,将目标样本输入规则模型进行规则匹配的总次数为MC,则该分类规则对应的命中率即为C1与MC的比值。并且,在本公开的实施例中,会将目标样本分别输入文本分类模型和规则模型,则目标样本在命中分类规则R1时,其必然会得出文本分类模型输出的预测分类,则在分类规则R1对应的文本分类与该预测分类不同时,表示文本分类模型和规则模型存在误差,记录误差次数W加一,其中该误差次数初始为0,则该误差率即该误差次数W与该分类规则的命中次数C1的比值。其中,每一分类规则对应的命中率和误差率均可以通过上述方式确定,在此不再赘述。
输出待更新的分类规则,其中,所述待更新的分类规则为所述命中率大于命中阈值且所述误差率大于误差阈值的分类规则。
其中,命中阈值和误差阈值均可以根据实际使用场景进行设置,本公开对此不进行限定。示例地,命中率大于命中阈值即表示训练样本集中文本数据命中该分类规则的次数较多,而误差率大于误差阈值则表示命中该分类规则时,通过文本分类模型得出的预测分类和该分类规则对应的文本分类不同的次数较多,该情况可能是由于该分类规则设置不准确所造成的,例如该分类规则对应的匹配范围过大,此时则需要对该分类规则进行更新,以提高该分类规则的准确性。
示例地,可以通过显示界面或者导出列表的形式对该待更新的分类规则进行输出,同时也可以输出命中该分类规则的文本数据,便于用户根据该文本数据对该分类规则进行进一步地分析。之后,用户可以基于显示界面输入或者导入规则的方式触发更新指令,则响应于针对所述待更新的分类规则的更新指令,对所述待更新的分类规则进行更新。示例地,可以将更新指令指示的规则替换该待更新的分类规则从而实现更新。
因此,通过上述技术方案,可以对规则模型中的分类规则进行动态更新,一方面可以提高分类规则的准确性,同时也可以进一步提高目标样本标注的准确性,为获得准确的文本分类模型提供数据支持,由此可以提高文本数据分类和审核的准确度和效率,提升用户使用体验。
可选地,所述方法还包括:
输出待处理样本,所述待处理样本为对应预测分类的置信度大于预设阈值,且对应的第二分类结果指示未命中分类规则的样本。
其中,所述预设阈值可以为所述第二置信阈值,也可以根据实际使用场景进行设置。其中,对应预测分类的置信度大于预设阈值用于表征该预测分类的置信度较高,而该样本并未命中分类规则,此时可能是由于规则模型中的分类规则不全面所导致的。
在该实施例中,可以将该待处理样本输出显示给用户,用户则可以基于处理样本进行分析,从而确定出该待处理样本中对应的分类规则。示例地,用户可以基于可视化界面输入或者导入该分类规则以触发规则设置指令,响应于针对所述待处理样本的规则设置指令,将所述规则设置指令指示的分类规则添加至所述规则模型中。
通过上述技术方案,将该分类规则添加至规则模型中,一方面可以保证规则模型中分类规则的全面性,提高该文本数据的处理方法的适用范围。同时也可以提高分类规则的命中率,提高文本数据的目标分类确定的效率,提高训练样本清洗效率。同时,也便于对训练样本集中样本进行自动标注。
可选地,所述方法还包括:
在所述目标样本包括文本数据和为所述文本数据标注的分类的情况下,根据所述目标样本对应的预测分类和所述为所述文本数据标注的分类,确定所述文本分类模型的损失值。
在所述损失值大于分类阈值的情况下,根据所述损失值更新所述文本分类模型。
在该实施例中,目标样本包括文本数据和为所述文本数据标注的分类,即该目标样本为已标注的样本,则在将目标样本输入文本分类模型得出预测分类后,可以根据该预测分类与该文本数据标注的分类对该文本分类模型进行训练。
其中,确定模型的损失值可以选择现有的损失函数进行确定,若确定出的损失值大于分类阈值,则表示文本分类模型的准确度不满足训练标准,则根据该损失值更新文本分类模型,例如可以通过梯度下降法对文本分类模型进行更新。更新后则可以重新从训练样本集中获取目标样本,执行上述步骤,以使文本分类模型可以学习到新的特征,提高文本分类模型的准确度,由此可以在损失值小于或等于该分类阈值的情况下,完成该文本分类模型的训练,从而可以基于训练后的文本分类模型对文本数据进行准确的文本分类和审核。
由此,通过上述技术方案,可以同步进行目标样本的清洗、标注以及文本分类模型的训练,既可以提高训练出的文本分类模型的效率,节省文本分类模型的训练时间,又可以有效保证目标样本的高质量和数据量,从而可以提高文本分类模型的准确度,提高文本数据处理的准确度。
本公开还提供一种文本数据的分类方法,所述方法可以包括:
获取待分类的文本数据;
将所述待分类的文本数据输入文本分类模型,获得所述待分类的文本数据的分类,其中,所述文本分类模型所对应的训练样本集是通过上文任一所述文本数据的处理方法生成的。
由此,通过上述技术方案,可以获得进行准确分类的文本分类模型,从而可以对待分类的文本数据进行准确分类,既可以保证分类结果的准确性,从而可以为文本内容准确审核和过滤提供技术支持,实现文本内容的安全发布,净化网络环境,提升用户使用体验。
可选地,所述待分类的文本数据源自于以下中的任一者:新闻信息、即时通信消息、短消息、短文本;
所述文本数据的分类包括异常文本类别;
所述将所述待分类的文本数据输入文本分类模型,获得所述待分类的文本数据的分类,包括:
将所述待分类的文本数据输入所述文本分类模型,获得对应于分类为异常文本类别的所述待分类的文本数据。
其中,获取上述文本数据的方式已在上文进行详述,在此不再赘述。示例地,以新闻信息为例,为了净化网络环境,在进行新闻信息发布时,通常需要对该新闻信息进行审核,以确定该新闻信息中是否包含异常文本。示例地,该异常文本可以是涉及时政类需要过滤的部分信息,或者涉及低俗文本的信息,即需要确定该新闻信息是否为异常文本;或者还可以对例如标题党、复制内容文本等低质量内容进行审核,以提高网络环境数据的质量。因此,在该实施例中,所述文本数据的分类可以包括异常文本类别,其中该异常文本类别可以用于表示涉敏文本类型和/或低质量内容类别,属于该涉敏文本类别的文本即包含敏感信息的文本。
因此,在上述技术方案中,可以通过将待分类的文本数据,如新闻信息输入该文本分类模型,以通过该文本分类模型对该新闻信息进行分类,在确定该新闻信息中包含异常文本,即确定该新闻信息的分类为异常文本类型时,输出该新闻信息,从而可以实现对新闻信息的文本内容的自动审核,实现文本内容审核和过滤,既可以保证文本数据的内容审核的准确性,又可以有效降低审核工作人员的工作量,提高文本数据的内容审核的效率。
本公开还提供提供一种文本数据的处理装置,如图2所示,所述装置10包括:
第一获取模块100,被配置为从文本分类模型的训练样本集中获取目标样本,其中,所述目标样本包括文本数据,或者包括文本数据和为所述文本数据标注的分类;
第一输入模块200,被配置为将所述目标样本分别输入文本分类模型和规则模型,获得所述文本分类模型输出的第一分类结果和所述规则模型输出的第二分类结果,其中,所述第一分类结果包括所述文本数据对应的预测分类,所述规则模型包含多种分类规则,每种所述分类规则对应相同或者不同的文本分类,所述第二分类结果用于指示所述文本数据命中的分类规则;
第一更新模块300,被配置为在根据所述第一分类结果和所述第二分类结果确定出所述文本数据对应的目标分类、且所述目标分类未包括在所述目标样本的情况下,根据所述目标分类更新所述目标样本。
可选地,所述文本数据源自于以下中的任一者:新闻信息、即时通信消息、短消息、短文本;
所述文本数据的分类包括异常文本类别。
可选地,所述装置还包括:
第一确定模块,被配置为通过如下方式确定所述目标分类:
在所述文本数据命中的分类规则的类型为目标类型的情况下,将所述命中的分类规则对应的文本分类确定为所述目标分类;
在所述命中的分类规则对应的文本分类不是所述目标类型,所述预测分类与所述命中的分类规则对应的文本分类一致,且所述预测分类的置信度大于第一置信阈值的情况下,将所述预测分类确定为所述目标分类,其中,所述第一分类结果还包括所述预测分类的置信度;
在所述预测分类的置信度大于第二置信阈值,且所述第二分类结果指示所述文本数据未命中分类规则的情况下,将所述预测分类确定为所述目标分类,其中所述第二置信阈值大于所述第一置信阈值。
可选地,所述装置还包括:
第一输出模块,被配置为满足以下的任一条件时,输出所述目标样本,其中,对所述目标样本标注后,将所述标注后的样本作为所述文本分类模型的训练样本:
所述第二分类结果指示所述文本数据未命中分类规则,且所述第一分类结果中所述预测分类的置信度小于第三置信阈值或所述置信度属于分类边界置信范围,其中,所述第一分类结果还包括所述预测分类的置信度;
所述预测分类与所述命中的分类规则对应的文本分类不同,且所述命中的分类规则对应的文本分类不是目标类型。
可选地,所述装置还包括:
第二确定模块,被配置为针对每种所述分类规则,确定该分类规则的命中率和误差率,其中,所述命中率为该分类规则的命中次数与规则匹配的总次数的比值,所述误差率为目标样本命中该分类规则时,该目标样本输入所述文本分类模型所得的预测分类与该分类规则对应的文本分类不同的次数、与该分类规则的命中次数的比值;
第二输出模块,被配置为输出待更新的分类规则,其中,所述待更新的分类规则为所述命中率大于命中阈值且所述误差率大于误差阈值的分类规则;
第二更新模块,被配置为响应于针对所述待更新的分类规则的更新指令,对所述待更新的分类规则进行更新。
可选地,所述装置还包括:
第三输出模块,被配置为输出待处理样本,所述待处理样本为对应预测分类的置信度大于预设阈值,且对应的第二分类结果指示未命中分类规则的样本;
添加模块,被配置为响应于针对所述待处理样本的规则设置指令,将所述规则设置指令指示的分类规则添加至所述规则模型中。
可选地,所述装置还包括:
第三确定模块,被配置为在所述目标样本包括文本数据和为所述文本数据标注的分类的情况下,根据所述目标样本对应的预测分类和所述为所述文本数据标注的分类,确定所述文本分类模型的损失值;
第三更新模块,被配置为在所述损失值大于分类阈值的情况下,根据所述损失值更新所述文本分类模型。
本公开还提供一种文本数据的分类装置,所述装置包括:
第二获取模块,被配置为获取待分类的文本数据;
第二输入模块,被配置为将所述待分类的文本数据输入文本分类模型,获得所述待分类的文本数据的分类,其中,所述文本分类模型所对应的训练样本集是通过上述第一方面任一所述文本数据的处理方法生成的。
可选地,所述待分类的文本数据源自于以下中的任一者:新闻信息、即时通信消息、短消息、短文本;
所述文本数据的分类包括异常文本类别;
所述第二输入模块包括:
将所述待分类的文本数据输入所述文本分类模型,获得对应于分类为异常文本类别的所述待分类的文本数据。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
本公开还提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开提供的文本数据的处理方法或文本数据的分类方法的步骤。
图3是根据一示例性实施例示出的一种文本数据的处理装置800的框图。例如,装置800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
参照图3,装置800可以包括以下一个或多个组件:处理组件802,存储器804,电力组件806,多媒体组件808,音频组件810,输入/输出(I/O)的接口812,传感器组件814,以及通信组件816。
处理组件802通常控制装置800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的文本数据的处理方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
存储器804被配置为存储各种类型的数据以支持在装置800的操作。这些数据的示例包括用于在装置800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电力组件806为装置800的各种组件提供电力。电力组件806可以包括电源管理***,一个或多个电源,及其他与为装置800生成、管理和分配电力相关联的组件。
多媒体组件808包括在所述装置800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当装置800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜***或具有焦距和光学变焦能力。
音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(MIC),当装置800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
I/O接口812为处理组件802和***接口模块之间提供接口,上述***接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件814包括一个或多个传感器,用于为装置800提供各个方面的状态评估。例如,传感器组件814可以检测到装置800的打开/关闭状态,组件的相对定位,例如所述组件为装置800的显示器和小键盘,传感器组件814还可以检测装置800或装置800一个组件的位置改变,用户与装置800接触的存在或不存在,装置800方位或加速/减速和装置800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件816被配置为便于装置800和其他设备之间有线或无线方式的通信。装置800可以接入基于通信标准的无线网络,如WiFi,2G或3G,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理***的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,装置800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述文本数据的处理方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由装置800的处理器820执行以完成上述文本数据的处理方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的文本数据的处理方法的代码部分。
图4是根据一示例性实施例示出的一种文本数据的处理装置1900的框图。例如,装置1900可以被提供为一服务器。参照图4,装置1900包括处理组件1922,其进一步包括一个或多个处理器,以及由存储器1932所代表的存储器资源,用于存储可由处理组件1922的执行的指令,例如应用程序。存储器1932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外,处理组件1922被配置为执行指令,以执行上述文本数据的处理方法。
装置1900还可以包括一个电源组件1926被配置为执行装置1900的电源管理,一个有线或无线网络接口1950被配置为将装置1900连接到网络,和一个输入输出(I/O)接口1958。装置1900可以操作基于存储在存储器1932的操作***,例如Windows ServerTM,MacOS XTM,UnixTM,LinuxTM,FreeBSDTM或类似。
本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
Claims (14)
1.一种文本数据的处理方法,其特征在于,包括:
从文本分类模型的训练样本集中获取目标样本,其中,所述目标样本包括文本数据,或者包括文本数据和为所述文本数据标注的分类;
将所述目标样本分别输入文本分类模型和规则模型,获得所述文本分类模型输出的第一分类结果和所述规则模型输出的第二分类结果,其中,所述第一分类结果包括所述文本数据对应的预测分类,所述规则模型包含多种分类规则,每种所述分类规则对应相同或者不同的文本分类,所述第二分类结果用于指示所述文本数据命中的分类规则;
在根据所述第一分类结果和所述第二分类结果确定出所述文本数据对应的目标分类、且所述目标分类未包括在所述目标样本的情况下,根据所述目标分类更新所述目标样本。
2.根据权利要求1所述的方法,其特征在于,所述文本数据源自于以下中的任一者:新闻信息、即时通信消息、短消息、短文本;
所述文本数据的分类包括异常文本类别。
3.根据权利要求1所述的方法,其特征在于,通过如下方式确定所述目标分类:
在所述文本数据命中的分类规则的类型为目标类型的情况下,将所述命中的分类规则对应的文本分类确定为所述目标分类;
在所述命中的分类规则对应的文本分类不是所述目标类型,所述预测分类与所述命中的分类规则对应的文本分类一致,且所述预测分类的置信度大于第一置信阈值的情况下,将所述预测分类确定为所述目标分类,其中,所述第一分类结果还包括所述预测分类的置信度;
在所述预测分类的置信度大于第二置信阈值,且所述第二分类结果指示所述文本数据未命中分类规则的情况下,将所述预测分类确定为所述目标分类,其中所述第二置信阈值大于所述第一置信阈值。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
满足以下的任一条件时,输出所述目标样本,其中,对所述目标样本标注后,将所述标注后的样本作为所述文本分类模型的训练样本:
所述第二分类结果指示所述文本数据未命中分类规则,且所述第一分类结果中所述预测分类的置信度小于第三置信阈值或所述置信度属于分类边界置信范围,其中,所述第一分类结果还包括所述预测分类的置信度;
所述预测分类与所述命中的分类规则对应的文本分类不同,且所述命中的分类规则对应的文本分类不是目标类型。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
针对每种所述分类规则,确定该分类规则的命中率和误差率,其中,所述命中率为该分类规则的命中次数与规则匹配的总次数的比值,所述误差率为目标样本命中该分类规则时,该目标样本输入所述文本分类模型所得的预测分类与该分类规则对应的文本分类不同的次数、与该分类规则的命中次数的比值;
输出待更新的分类规则,其中,所述待更新的分类规则为所述命中率大于命中阈值且所述误差率大于误差阈值的分类规则;
响应于针对所述待更新的分类规则的更新指令,对所述待更新的分类规则进行更新。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
输出待处理样本,所述待处理样本为对应预测分类的置信度大于预设阈值,且对应的第二分类结果指示未命中分类规则的样本;
响应于针对所述待处理样本的规则设置指令,将所述规则设置指令指示的分类规则添加至所述规则模型中。
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在所述目标样本包括文本数据和为所述文本数据标注的分类的情况下,根据所述目标样本对应的预测分类和所述为所述文本数据标注的分类,确定所述文本分类模型的损失值;
在所述损失值大于分类阈值的情况下,根据所述损失值更新所述文本分类模型。
8.一种文本数据的分类方法,其特征在于,所述方法包括:
获取待分类的文本数据;
将所述待分类的文本数据输入文本分类模型,获得所述待分类的文本数据的分类,其中,所述文本分类模型所对应的训练样本集是通过权利要求1-7中任一所述文本数据的处理方法生成的。
9.根据权利要求8所述的方法,其特征在于,所述待分类的文本数据源自于以下中的任一者:新闻信息、即时通信消息、短消息、短文本;
所述文本数据的分类包括异常文本类别;
所述将所述待分类的文本数据输入文本分类模型,获得所述待分类的文本数据的分类,包括:
将所述待分类的文本数据输入所述文本分类模型,获得对应于分类为异常文本类别的所述待分类的文本数据。
10.一种文本数据的处理装置,其特征在于,包括:
第一获取模块,被配置为从文本分类模型的训练样本集中获取目标样本,其中,所述目标样本包括文本数据,或者包括文本数据和为所述文本数据标注的分类;
第一输入模块,被配置为将所述目标样本分别输入文本分类模型和规则模型,获得所述文本分类模型输出的第一分类结果和所述规则模型输出的第二分类结果,其中,所述第一分类结果包括所述文本数据对应的预测分类,所述规则模型包含多种分类规则,每种所述分类规则对应相同或者不同的文本分类,所述第二分类结果用于指示所述文本数据命中的分类规则;
第一更新模块,被配置为在根据所述第一分类结果和所述第二分类结果确定出所述文本数据对应的目标分类、且所述目标分类未包括在所述目标样本的情况下,根据所述目标分类更新所述目标样本。
11.一种文本数据的分类装置,其特征在于,所述装置包括:
第二获取模块,被配置为获取待分类的文本数据;
第二输入模块,被配置为将所述待分类的文本数据输入文本分类模型,获得所述待分类的文本数据的分类,其中,所述文本分类模型所对应的训练样本集是通过权利要求1-7中任一所述文本数据的处理方法生成的。
12.一种文本数据的处理装置,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
从文本分类模型的训练样本集中获取目标样本,其中,所述目标样本包括文本数据,或者包括文本数据和为所述文本数据标注的分类;
将所述目标样本分别输入文本分类模型和规则模型,获得所述文本分类模型输出的第一分类结果和所述规则模型输出的第二分类结果,其中,所述第一分类结果包括所述文本数据对应的预测分类,所述规则模型包含多种分类规则,每种所述分类规则对应相同或者不同的文本分类,所述第二分类结果用于指示所述文本数据命中的分类规则;
在根据所述第一分类结果和所述第二分类结果确定出所述文本数据对应的目标分类、且所述目标分类未包括在所述目标样本的情况下,根据所述目标分类更新所述目标样本。
13.一种文本数据的分类装置,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器被配置为:
获取待分类的文本数据;
将所述待分类的文本数据输入文本分类模型,获得所述待分类的文本数据的分类,其中,所述文本分类模型所对应的训练样本集是通过权利要求1-7中任一所述文本数据的处理方法生成的。
14.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,该程序指令被处理器执行时实现权利要求1-9中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010556440.0A CN111813932B (zh) | 2020-06-17 | 2020-06-17 | 文本数据的处理方法、分类方法、装置及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010556440.0A CN111813932B (zh) | 2020-06-17 | 2020-06-17 | 文本数据的处理方法、分类方法、装置及可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111813932A CN111813932A (zh) | 2020-10-23 |
CN111813932B true CN111813932B (zh) | 2023-11-14 |
Family
ID=72844808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010556440.0A Active CN111813932B (zh) | 2020-06-17 | 2020-06-17 | 文本数据的处理方法、分类方法、装置及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111813932B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112966103B (zh) * | 2021-02-05 | 2022-04-19 | 成都信息工程大学 | 一种基于多任务学习的混合注意力机制文本标题匹配方法 |
CN114547317B (zh) * | 2022-04-28 | 2022-07-08 | 飞狐信息技术(天津)有限公司 | 一种文本审核方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018166499A1 (zh) * | 2017-03-17 | 2018-09-20 | 腾讯科技(深圳)有限公司 | 文本分类方法、设备和存储介质 |
CN110580290A (zh) * | 2019-09-12 | 2019-12-17 | 北京小米智能科技有限公司 | 用于文本分类的训练集的优化方法及装置 |
WO2020087974A1 (zh) * | 2018-10-30 | 2020-05-07 | 北京字节跳动网络技术有限公司 | 生成模型的方法和装置 |
CN111159412A (zh) * | 2019-12-31 | 2020-05-15 | 腾讯科技(深圳)有限公司 | 分类方法、装置、电子设备及可读存储介质 |
-
2020
- 2020-06-17 CN CN202010556440.0A patent/CN111813932B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018166499A1 (zh) * | 2017-03-17 | 2018-09-20 | 腾讯科技(深圳)有限公司 | 文本分类方法、设备和存储介质 |
WO2020087974A1 (zh) * | 2018-10-30 | 2020-05-07 | 北京字节跳动网络技术有限公司 | 生成模型的方法和装置 |
CN110580290A (zh) * | 2019-09-12 | 2019-12-17 | 北京小米智能科技有限公司 | 用于文本分类的训练集的优化方法及装置 |
CN111159412A (zh) * | 2019-12-31 | 2020-05-15 | 腾讯科技(深圳)有限公司 | 分类方法、装置、电子设备及可读存储介质 |
Non-Patent Citations (1)
Title |
---|
基于逐步优化分类模型的跨领域文本情感分类;张军;王素格;;计算机科学(07);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111813932A (zh) | 2020-10-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3173948A1 (en) | Method and apparatus for recommendation of reference documents | |
CN110874145A (zh) | 一种输入方法、装置及电子设备 | |
CN111539443A (zh) | 一种图像识别模型训练方法及装置、存储介质 | |
CN107784034B (zh) | 页面类别识别方法及装置、用于页面类别识别的装置 | |
CN114240882A (zh) | 缺陷检测方法及装置、电子设备和存储介质 | |
EP3734472A1 (en) | Method and device for text processing | |
CN111813932B (zh) | 文本数据的处理方法、分类方法、装置及可读存储介质 | |
CN111832315B (zh) | 语义识别的方法、装置、电子设备和存储介质 | |
CN111046927B (zh) | 标注数据的处理方法、装置、电子设备及存储介质 | |
CN113779257A (zh) | 文本分类模型的解析方法、装置、设备、介质及产品 | |
CN113920293A (zh) | 信息识别方法、装置、电子设备及存储介质 | |
CN110110046B (zh) | 同名实体推荐方法及装置 | |
CN111222316B (zh) | 文本检测方法、装置及存储介质 | |
CN110738267B (zh) | 图像分类方法、装置、电子设备及存储介质 | |
CN111079421B (zh) | 一种文本信息分词处理的方法、装置、终端及存储介质 | |
CN110650364B (zh) | 视频态度标签提取方法及基于视频的交互方法 | |
CN110213062B (zh) | 处理消息的方法及装置 | |
CN109145151B (zh) | 一种视频的情感分类获取方法及装置 | |
CN111832297A (zh) | 词性标注方法、装置及计算机可读存储介质 | |
CN107301188B (zh) | 一种获取用户兴趣的方法及电子设备 | |
CN108108356B (zh) | 一种文字翻译方法、装置及设备 | |
CN111428806B (zh) | 图像标签确定方法、装置、电子设备及存储介质 | |
CN111382061B (zh) | 一种测试方法、装置、介质和电子设备 | |
CN107526683B (zh) | 应用程序功能冗余度的检测方法、装置及存储介质 | |
CN111414731B (zh) | 文本标注方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |