CN109471938A - 一种文本分类方法及终端 - Google Patents
一种文本分类方法及终端 Download PDFInfo
- Publication number
- CN109471938A CN109471938A CN201811182173.4A CN201811182173A CN109471938A CN 109471938 A CN109471938 A CN 109471938A CN 201811182173 A CN201811182173 A CN 201811182173A CN 109471938 A CN109471938 A CN 109471938A
- Authority
- CN
- China
- Prior art keywords
- text
- target
- target text
- disaggregated models
- term vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本发明适用于计算机技术领域,提供了一种文本分类方法及终端,该方法包括:获取待处理的目标文本,以及获取待分类的多个文本类别标识;将目标文本转换为词向量;根据所述文本类别标识的数目确定多分类模型包含的二分类器的数目;多分类模型由循环神经网络及多个二分类器构成;基于文本样本集对多分类模型进行预训练,并将目标文本对应的词向量输入完成训练的多分类模型进行处理,输出目标文本对应的文本分类结果;文本分类结果用于标识目标文本所属的至少两个独立且不互斥的目标文本类别。通过上述方式,可在文本多类别且独立不互斥的场景下,提高分类结果的准确性。
Description
技术领域
本发明属于计算机技术领域,尤其涉及一种文本分类方法及终端。
背景技术
文本分析是指对文本的表示及其特征项的选取;文本分析是文本挖掘、信息检索的一个基本问题,它把从文本中抽取出的特征词进行量化来表示文本信息。由于文本的语义不可避免地会反映人的特定立场、观点、价值和利益,因此,由文本内容分析,可以推断文本提供者的意图和目的,从而对文本进行分类。
近年来随着深度学习和各种神经网络模型的发展,基于神经网络的文本分类方法在信息检索、电子商务、新闻门户等众多领域得到广泛应用,以有效帮助用户从海量的文本资源中发掘用户所关注的有用的特定信息。例如,基于神经网络对文本中多类别且互斥的商品进行分类。神经网络例如,卷积神经网络(Convolutional Neural Network,CNN)、循环神经网络(Recurrent Neural Network,RNN)。
然而,在文本多类别且独立不互斥的场景下,采用现有的基于神经网络的文本分类方法进行文本分析得到的分类结果不准确。
发明内容
有鉴于此,本发明实施例提供了一种文本分类方法及终端,以解决现有技术中,在文本多类别且独立不互斥的场景下,采用现有的基于神经网络的文本分类方法进行文本分析得到的分类结果不准确的问题。
本发明实施例的第一方面提供了一种文本分类方法,包括:
获取待处理的目标文本,以及获取待分类的多个文本类别标识;
将所述目标文本转换为词向量;
根据所述文本类别标识的数目确定多分类模型包含的二分类器的数目;所述多分类模型由循环神经网络以及多个所述二分类器构成,所述循环神经网络用于提取输入所述循环神经网络的文本数据的特征数据,所述二分类器用于对所述特征数据进行处理,输出分类结果;
基于文本样本集对所述多分类模型进行预训练,并将所述目标文本对应的所述词向量输入完成训练的多分类模型进行处理,输出所述目标文本对应的文本分类结果;所述文本分类结果用于标识所述目标文本所属的至少两个独立且不互斥的目标文本类别,所述目标文本类别的标识从所述多个文本类别标识中确定。
本发明实施例的第二方面提供了一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
获取待处理的目标文本,以及获取待分类的多个文本类别标识;
将所述目标文本转换为词向量;
根据所述文本类别标识的数目确定多分类模型包含的二分类器的数目;所述多分类模型由循环神经网络以及多个所述二分类器构成,所述循环神经网络用于提取输入所述循环神经网络的文本数据的特征数据,多个所述二分类器用于对所述特征数据进行处理并输出分类结果;
基于文本样本集对所述多分类模型进行预训练,并将所述目标文本对应的所述词向量输入完成训练的多分类模型进行处理,输出所述目标文本对应的文本分类结果;所述文本分类结果用于标识所述目标文本所属的至少两个独立且不互斥的目标文本类别,所述目标文本类别的标识从所述多个文本类别标识中确定。
本发明实施例的第三方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
获取待处理的目标文本,以及获取待分类的多个文本类别标识;
将所述目标文本转换为词向量;
根据所述文本类别标识的数目确定多分类模型包含的二分类器的数目;所述多分类模型由循环神经网络以及多个所述二分类器构成,所述循环神经网络用于提取输入所述循环神经网络的文本数据的特征数据,多个所述二分类器用于对所述特征数据进行处理并输出分类结果;
基于文本样本集对所述多分类模型进行预训练,并将所述目标文本对应的所述词向量输入完成训练的多分类模型进行处理,输出所述目标文本对应的文本分类结果;所述文本分类结果用于标识所述目标文本所属的至少两个独立且不互斥的目标文本类别,所述目标文本类别的标识从所述多个文本类别标识中确定。
实施本发明实施例提供的一种文本分类方法及终端具有以下有益效果:
本发明实施例,根据待分类的文本类别标识的数目确定多分类模型包含的二分类器的数目,使用完成训练的多分类模型对目标文本进行处理,输出目标文本对应的文本分类结果,文本分类结果用于标识目标文本属于多个独立且不互斥的文本类别,能够在文本多类别且独立不互斥的场景下,提高文本分类结果的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是本发明一实施例提供的一种文本分类方法的实现流程图;
图2是本发明实施例提供的一种文本分类方法中S104的具体实现流程图;
图3是本发明实施例提供的一种文本分类方法中S1041的具体实现流程图;
图4是本发明一实施例提供的一种终端的示意图;
图5是本发明另一实施例提供的一种终端的示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
请参见图1,图1是本发明实施例提供的一种文本分类方法的实现流程图。本实施例中文本分类方法的执行主体为终端。终端包括但不限于智能手机、平板电脑、可穿戴设备等移动终端,还可以是台式电脑等。如图所示的文本分类方法可包括:
S101:获取待处理的目标文本,以及获取待分类的多个文本类别标识。
终端获取用户选择的待处理的目标文本,或者终端从网络数据库中获取待处理的目标文本,例如,从网络数据库中获取某商家的网店的商品描述信息;或者终端通过网络爬虫(Crawler)技术获取网页内容,并从网页内容中获取目标文本。
其中,待分类的多个文本类别标识可以是预先设定的,也可以是终端从目标文本中提取。例如,目标文本为“儿童大号奥特曼和书包”,终端从目标文本中提取的待分类的文本类别标识为“奥特曼”、“书包”、“儿童”。待分类的多个文本类别标识包含目标文本所属的文本类别的标识,以便终端能够从中确定目标文本所属的至少两个独立且不互斥的文本类别。
由多个文本类别标识组成的文本类别标识集属于由目标文本中包含的已知的文本类别标识组成的文本类别标识集。
S102:将所述目标文本转换为词向量。
例如,终端对目标文本进行语义分析,以分析目标文本的句子结构,根据目标文本的句子结构删除目标文本中的状语成分以及部分定语成分,提取目标文本的特征数据;并对特征数据进行切词处理,得到N个单元,并对N个单元进行编码得到N个词向量。
目标文本的特征数据可以包括目标文本中的名词以及连接词,连接词例如“和”、“与”、“或”等。文本中的名词通常为目标文本对应的宾语成分,文本中的名词还可以来自目标文本中的定语成分。
S103:根据所述文本类别标识的数目确定多分类模型包含的二分类器的数目;所述多分类模型由循环神经网络以及多个所述二分类器构成,所述循环神经网络用于提取输入所述循环神经网络的文本数据的特征数据,多个所述二分类器用于对所述特征数据进行处理并输出分类结果。
终端基于待分类待识别的多个文本类别标识,统计待分类待识别的文本类别标识的数目,并基于待分类待识别的文本类别标识的数目确定多分类模型包含的二分类器的数目。输入循环神经网络的文本数据的特征数据可以是文本对应的向量,例如词向量;也可以是未经处理的文本。
循环神经网络可以包括输入层、隐含层和输出层。
输入层用于从外部接收输入数据,包括两个以上的输入层节点。其中,循环神经网络的输入层节点可以与文本类别标识的数目一一对应。例如,若某样本数据包含3个文本类别标识,分别为文本类别标识1、文本类别标识2和文本类别标识3,那么对应的循环神经网络的输入层节点的个数也应为3个,分别为输入层节点1、输入层节点2和输入层节点3,其中,输入层节点1与文本类别标识1对应,输入层节点2与文本类别标识2对应,输入层节点3与文本类别标识3对应。
隐含层用于对输入数据进行处理,包括两个以上的隐含层节点,且隐藏层之间的节点是有连接的,并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。
输出层包括一个输出层节点,用于使用预设的损失函数对隐藏层输出的数据进行处理输出处理结果。
循环神经网络的输出层节点输出的处理结果用于输入多个二分类器进行训练,多个二分类器分别输出分类结果。二分类器可以采用支持向量机(support vector machine,SVM)进行训练得到,也可以由K最近邻(k-NearestNeighbor,KNN)分类算法训练得到。SVM以及KNN算法为现有技术,采用SVM或KNN算法训练二分类器的方法为现有技术,此处不赘述。
每个二分类器用于对所述特征数据进行处理,确定文本数据对应的两个候选文本分类类别标识的概率值,聪两个候选文本分类类别标识的概率值中,选择概率值高的候选文本分类类别标识,作为文本数据对应的文本类别标识。
进一步地,S103可以包括S1031或S1032。
S1031:当所述文本类别标识的数目为N时,所述多分类模型包含的二分类器的数目为N为大于2的正整数。
例如,目标文本中包含的文本类别标识为A、B、C、D,那么多分类模型包含的二分类器的数目为具体地二分类器包括:用于对AB进行分类的二分类器C1,用于对AC进行分类的目标二分类器C2,用于对AD进行分类的二分类器C3,用于对BC进行分类的二分类器C4,用于对BD进行分类的二分类器C5,用于对CD进行分类的二分类器C6。
S1032:当所述文本类别标识的数目为N时,所述多分类模型包含的二分类器的数目M=log2N;N为大于2的正整数,M为正数;当M不为整数时,取大于M且与M最接近的正整数。
例如,当4<M<5时,二分类器的数目为5。
S104:基于文本样本集对所述多分类模型进行预训练,并将所述目标文本对应的所述词向量输入完成训练的多分类模型进行处理,输出所述目标文本对应的文本分类结果;所述文本分类结果用于标识所述目标文本所属的至少两个独立且不互斥的目标文本类别,所述目标文本类别的标识从所述候选的多个文本类别标识中确定。
终端在使用机器学习算法进行训练的过程中,多分类模型的输入为文本数据,所述多分类模型的输出为分类结果。文本样本集中的每个样本文本中包含多个标记的文本类别标签。文本样本集中的训练文本的条数可以为500、1000等,具体不做限制,在一定程度上训练的样本数量越多,使用训练得到的多分类模型进行分类时,结果越准确。
具体地,终端将文本样本集中的训练文本或训练文本各自对应的词向量,输入多分类模型的循环神经网络的输入层,通过循环神经网络对训练文本进行处理,得到每个训练文本的特征数据,并将每个训练文本的特征数据输入多个二分类器中进行预测,得到多个文本类别标识的概率值,基于多个文本类别标识的概率值确定至少两个预测的文本类别标签,通过比对预测的文本类别标签和标记的文本类别标签之间的误差,来修改或更新多分类模型的参数,例如更新循环神经网络中的各参数或权重、修改二分类器中的相关参数。
在训练预设次数(例如,1000)内,每个二分类器输出的分类结果的概率值与预设的概率值之间的差值最小时,则判定多分类模型收敛,将此时循环神经网络的各项参数(权重等)以及二分类器的各项参数作为最终参数,多分类模型完成训练。
终端使用完成训练的多分类模型对目标文本进行分类的具体实现过程如下:
终端将目标文本对应的词向量输入完成训练的多分类模型,通过完成训练的多分类模型中的循环神经网络对目标文本对应的词向量进行处理,提取目标文本的特征数据,并将目标文本的特征数据输入采用机器学习算法训练得到的多个目标二分类器中进行处理,得到每个候选文本类别的概率值,每个目标二分类器基于各自确定的两个候选文本类别的概率值确定文本数据对应的文本类别标识,基于多分类模型中每个目标二分类器确定的文本类别标识,确定至少两个独立且不互斥的目标文本类别,从而得到目标文本的文本分类结果。其中,从多个候选文本类别中确定的至少两个独立且不互斥的目标文本类别用于标识目标文本所属的至少两个独立且不互斥的目标文本类别。不互斥的文本类别是指可同时存在且不矛盾的文本类别。
其中,终端基于每个二分类器输出的两个候选文本类别的概率值,将概率值最大的候选文本类别识别为该二分类器输出的分类结果,将所有目标二分类器输出的分类结果进行汇总,得到多个独立且不互斥的分类结果。
例如,假设二分类器C1输出的结果为目标文本属于文本类别A的概率值为0.6,目标文本属于文本类别B的概率值为0.4,那么二分类器C1输出的分类结果为目标文本属于文本类别A;
假设二分类器C2输出的结果为目标文本属于文本类别A的概率值为0.6,目标文本属于文本类别C的概率值为0.4,那么二分类器C2输出的文本分类结果为目标文本属于文本类别A;
假设二分类器C3输出的结果为目标文本属于文本类别A的概率值为0.6,目标文本属于文本类别D的概率值为0.4,那么二分类器C3输出的分类结果为目标文本属于文本类别A;
假设二分类器C4输出的结果为目标文本属于文本类别B的概率值为0.7,目标文本属于文本类别C的概率值为0.3,那么二分类器C4输出的分类结果为目标文本属于文本类别B;
假设二分类器C5输出的结果为目标文本属于文本类别B的概率值为0.8,目标文本属于文本类别D的概率值为0.2,那么二分类器C5输出的分类结果为目标文本属于文本类别B;
假设二分类器C6输出的结果为目标文本属于文本类别C的概率值为0.9,目标文本属于文本类别D的概率值为0.1,那么二分类器C6输出的分类结果为目标文本属于文本类别C;
多分类模型最终输出的分类结果为目标文本属于文本类别A、文本类别B以及文本类别C。文本类别A、文本类别B以及文本类别C之间均不互斥。
进一步地,请一并参阅图2,图2是本发明实施例提供的一种文本分类方法中S104的具体实现流程图。为了提高分类结果的准确度,S104可以包括S1041~S1042,具体如下:
S1041:基于所述文本样本集采用采用机器学习算法以及预设的损失函数对所述多分类模型进行训练,得到所述完成训练的多分类模型;其中,所述预设的损失函数具体为:y为样本数据的数量,yture为标记的已知文本类别标签,ypred为预测得到的文本类别标签;λ(ytrue-ypred)=1-θ(ytrue-m)×θ(ypred-m)-θ(1-m-ytrue)×θ(1-m-ypred),θ(x)为跃阶函数,m的取值范围为(0.5,1),标识让所述多分类模型更关注分类概率在0.5到m之间的样本数据。
其中,当(ytrue-m)的值大于0时,θ(ytrue-m)=1;当(ytrue-m)的值等于0时,θ(ytrue-m)=1/2;当(ytrue-m)的值小于0时,θ(ytrue-m)=0。同理可得到,θ(ypred-m)、θ(1-m-ytrue)以及θ(1-m-ypred)各自的值。
输出层包括一个输出层节点,用于使用预设的损失函数对隐藏层输出的数据进行处理,输出处理结果。
终端将文本样本集中的文本样本转换为词向量,将文本样本的词向量输入多分类模型中的循环神经网络,并使用预设的损失函数对文本样本的词向量进行处理,得到处理结果;将处理结果输入多个二分类器,基于机器学习算法以及处理结果训练多个二分类器,并计算二分类器输出的分类结果的概率值与预设的概率值之间的差值。当训练预设次数(例如,1000)内损失函数的值基本不再降低,且每个二分类器输出的分类结果的概率值与预设的概率值之间的差值最小时,则判定多分类模型收敛,将此时循环神经网络的各项参数(权重等)以及二分类器的各项参数作为最终参数,多分类模型完成训练。
进一步地,为了提高模糊样本的分类结果的准确度,m的取值范围优选为(0.5,0.7),m=a标识多分类模型关注分类概率在0.5~a的样本。a为0.5到0.7之间的任意值。
可选地,请一并参阅图3,图3是本发明实施例提供的一种文本分类方法中S1041的具体实现流程图。为了提高分类结果的准确度,S1041可以具体包括S10411~S10412,具体如下:
S10411:将由所述目标文本对应的词向量组成的单列向量矩阵输入完成训练的多分类模型进行处理,输出所述单列向量矩阵中每个词向量的值。
其中,单列向量矩阵中每个词向量的值之和为1,每行词向量对应一文本类别。
终端将目标文本对应的所有词向量转换成单列向量矩阵,并将单列向量矩阵输入完成训练的多分类模型进行处理,输出单列向量矩阵中每个词向量对应的值。其中,终端将单列向量矩阵输入完成训练的多分类模型进行处理的方法,与上述将目标文本对应的词向量输入完成训练的多分类模型进行处理的方法类似,请参阅上述相关描述,此处不赘述。
例如,假设目标文本中待分类的文本类别标识为8个,目标文本转换成8个词向量;终端将由8个词向量组成的8行一列的向量矩阵输入完成训练的多分类模型进行处理,输出向量矩阵中每个词向量对应的值,每行的词向量对应一个文本类别,每个词向量对应的值表示目标文本属于该词向量对应的文本类别的概率值。
S10412:基于所述单列向量矩阵中每个所述词向量的值确定所述目标文本对应的文本分类结果。
终端在得到单列向量矩阵中每个词向量的值时,基于词向量的值从高到低的顺序筛选出至少两个目标词向量,并基于每行的词向量所对应的文本类别,确定目标词向量对应的目标文本类别,将筛选出的目标词向量对应的目标文本类别识别为目标文本所属的文本类别,从而得到目标文本的文本分类结果。
进一步地,S10412可以具体为:基于所述单列向量矩阵中每个所述词向量的值,确定至少两个目标词向量;将每个所述目标词向量各自对应的文本类别,识别为所述目标文本所属的目标文本类别;其中,所述目标词向量的值均大于或等于预设阈值。
终端从词向量矩阵中每个词向量对应的值中,筛选值大于预设阈值(例如,0.5)的至少两个目标词向量,并将筛选出的目标词向量各自对应的文本类别识别为目标文本所属的文本类别。
S1042:将所述目标文本对应的所述词向量输入所述完成训练的多分类模型进行处理,输出所述目标文本对应的文本分类结果。
终端将目标文本对应的词向量输入完成训练的多分类模型,通过完成训练的多分类模型中的循环神经网络对目标文本对应的词向量进行处理,提取出目标文本对应的词向量,并将目标文本的特征数据输入采用机器学习算法训练得到的多个目标二分类器中进行处理,得到每个候选文本类别的概率值,每个目标二分类器基于各自确定的两个候选文本类别的概率值确定文本数据对应的文本类别标识。终端基于多分类模型中每个目标二分类器确定的文本类别标识,确定至少两个独立且不互斥的目标文本类别,从而得到目标文本的文本分类结果。不互斥的文本类别是指可同时存在且不矛盾的文本类别。
本发明实施例,根据待分类的文本类别标识的数目确定多分类模型包含的二分类器的数目,使用完成训练的多分类模型对目标文本进行处理,输出目标文本对应的文本分类结果,文本分类结果用于标识目标文本属于多个独立且不互斥的文本类别,能够在文本多类别且独立不互斥的场景下,提高文本分类结果的准确性。
请参阅图4,图4是本发明一实施例提供的一种终端的示意图。终端包括的各单元用于执行图1~图2对应的实施例中的各步骤。具体请参阅图1~图3各自对应的实施例中的相关描述。为了便于说明,仅示出了与本实施例相关的部分。参见图4,终端4包括:
获取单元410,用于获取待处理的目标文本,以及获取待分类的多个文本类别标识;
转换单元420,用于将所述目标文本转换为词向量;
确定单元430,用于根据所述文本类别标识的数目确定多分类模型包含的二分类器的数目;所述多分类模型由循环神经网络以及多个所述二分类器构成,所述循环神经网络用于提取输入所述循环神经网络的文本数据的特征数据,多个所述二分类器用于对所述特征数据进行处理并输出分类结果;
分类单元440,用于基于文本样本集对所述多分类模型进行预训练,并将所述目标文本对应的所述词向量输入完成训练的多分类模型进行处理,输出所述目标文本对应的文本分类结果;所述文本分类结果用于标识所述目标文本所属的至少两个独立且不互斥的目标文本类别,所述目标文本类别的标识从所述多个文本类别标识中确定。
进一步地,分类单元440包括:
训练单元,用于基于所述文本样本集采用采用机器学习算法以及预设的损失函数对所述多分类模型进行训练,得到所述完成训练的多分类模型;
文本处理单元,用于将所述目标文本对应的所述词向量输入所述完成训练的多分类模型进行处理,输出所述目标文本对应的文本分类结果;
其中,所述预设的损失函数具体为:y为样本数据的数量,yture为标记的已知文本类别标签,ypred为预测得到的文本类别标签;λ(ytrue-ypred)=1-θ(ytrue-m)×θ(ypred-m)-θ(1-m-ytrue)×θ(1-m-ypred),θ(x)为跃阶函数,m的取值范围为(0.5,1),标识让所述多分类模型更关注分类概率在0.5到m之间的样本数据。
进一步地,文本处理单元包括:
计算单元,用于将由所述目标文本对应的词向量组成的单列向量矩阵输入完成训练的多分类模型进行处理,输出所述单列向量矩阵中每个词向量的值;
分类结果确定单元,用于基于所述单列向量矩阵中每个所述词向量的值确定所述目标文本对应的文本分类结果。
进一步地,分类结果确定单元具体用于:
基于所述单列向量矩阵中每个所述词向量的值,确定至少两个目标词向量;所述目标词向量的值均大于或等于预设阈值;
将每个所述目标词向量各自对应的文本类别,识别为所述目标文本所属的目标文本类别。
进一步地,确定单元430包括:当所述文本类别标识的数目为N时,所述多分类模型包含的二分类器的数目为N为大于2的正整数。
进一步地,确定单元430包括:当所述文本类别标识的数目为N时,所述多分类模型包含的二分类器的数目M=log2N;N为大于2的正整数,M为正数;当M不为整数时,取大于M且与M最接近的正整数。
图5是本发明另一实施例提供的一种终端的示意图。如图4所示,该实施例的终端5包括:处理器50、存储器51以及存储在所述存储器51中并可在所述处理器50上运行的计算机程序52。所述处理器50执行所述计算机程序52时实现上述各个终端的文本分类方法实施例中的步骤,例如图1所示的S101至S104。或者,所述处理器50执行所述计算机程序52时实现上述各装置实施例中各单元的功能,例如图4所示单元410至440功能。
示例性的,所述计算机程序52可以被分割成一个或多个单元,所述一个或者多个单元被存储在所述存储器51中,并由所述处理器50执行,以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序52在所述终端5中的执行过程。例如,所述计算机程序52可以被分割成,获取单元、转换单元、确定单元以及分类单元,各单元具体功能如上所述。
所述终端可包括,但不仅限于,处理器50、存储器51。本领域技术人员可以理解,图5仅仅是终端5的示例,并不构成对终端5的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端还可以包括输入输出终端、网络接入终端、总线等。
所称处理器50可以是中央处理单元(Central Processing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器51可以是所述终端5的内部存储单元,例如终端5的硬盘或内存。所述存储器51也可以是所述终端5的外部存储终端,例如所述终端5上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。进一步地,所述存储器51还可以既包括所述终端5的内部存储单元也包括外部存储终端。所述存储器51用于存储所述计算机程序以及所述终端所需的其他程序和数据。所述存储器51还可以用于暂时地存储已经输出或者将要输出的数据。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
Claims (10)
1.一种文本分类方法,其特征在于,包括:
获取待处理的目标文本,以及获取待分类的多个文本类别标识;
将所述目标文本转换为词向量;
根据所述文本类别标识的数目确定多分类模型包含的二分类器的数目;所述多分类模型由循环神经网络以及多个所述二分类器构成,所述循环神经网络用于提取输入所述循环神经网络的文本数据的特征数据,多个所述二分类器用于对所述特征数据进行处理并输出分类结果;
基于文本样本集对所述多分类模型进行预训练,并将所述目标文本对应的所述词向量输入完成训练的多分类模型进行处理,输出所述目标文本对应的文本分类结果;所述文本分类结果用于标识所述目标文本所属的至少两个独立且不互斥的目标文本类别,所述目标文本类别的标识从所述多个文本类别标识中确定。
2.根据权利要求1所述的文本分类方法,其特征在于,所述基于文本样本集对所述多分类模型进行预训练,并将所述目标文本对应的所述词向量输入完成训练的多分类模型进行处理,输出所述目标文本对应的文本分类结果,包括:
基于所述文本样本集采用采用机器学习算法以及预设的损失函数对所述多分类模型进行训练,得到所述完成训练的多分类模型;
将所述目标文本对应的所述词向量输入所述完成训练的多分类模型进行处理,输出所述目标文本对应的文本分类结果;
其中,所述预设的损失函数具体为:为样本数据的数量,yture为标记的已知文本类别标签,ypred为预测得到的文本类别标签;λ(ytrue-ypred)=1-θ(ytrue-m)×θ(ypred-m)-θ(1-m-ytrue)×θ(1-m-ypred),θ(x)为跃阶函数,m的取值范围为(0.5,1),标识让所述多分类模型更关注分类概率在0.5到m之间的样本数据。
3.根据权利要求2所述的文本分类方法,其特征在于,所述将所述目标文本对应的所述词向量输入所述完成训练的多分类模型进行处理,输出所述目标文本对应的文本分类结果,包括:
将由所述目标文本对应的词向量组成的单列向量矩阵输入完成训练的多分类模型进行处理,输出所述单列向量矩阵中每个词向量的值;
基于所述单列向量矩阵中每个所述词向量的值确定所述目标文本对应的文本分类结果。
4.根据权利要求3所述的文本分类方法,其特征在于,所述基于所述单列向量矩阵中每个所述词向量的值确定所述目标文本对应的文本分类结果,包括:
基于所述单列向量矩阵中每个所述词向量的值,确定至少两个目标词向量;所述目标词向量的值均大于或等于预设阈值;
将每个所述目标词向量各自对应的文本类别,识别为所述目标文本所属的目标文本类别。
5.根据权利要求1至4任一项所述的文本分类方法,其特征在于,所述根据所述文本类别标识的数目确定多分类模型包含的二分类器的数目,包括:
当所述文本类别标识的数目为N时,所述多分类模型包含的二分类器的数目为N为大于2的正整数。
6.根据权利要求1至4任一项所述的文本分类方法,其特征在于,所述根据所述文本类别标识的数目确定多分类模型包含的二分类器的数目,包括:
当所述文本类别标识的数目为N时,所述多分类模型包含的二分类器的数目M=log2N;N为大于2的正整数,M为正数;当M不为整数时,取大于M且与M最接近的正整数。
7.一种终端,其特征在于,所述终端包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如下步骤:
获取待处理的目标文本,以及获取待分类的多个文本类别标识;
将所述目标文本转换为词向量;
根据所述文本类别标识的数目确定多分类模型包含的二分类器的数目;所述多分类模型由循环神经网络以及多个所述二分类器构成,所述循环神经网络用于提取输入所述循环神经网络的文本数据的特征数据,多个所述二分类器用于对所述特征数据进行处理并输出分类结果;
基于文本样本集对所述多分类模型进行预训练,并将所述目标文本对应的所述词向量输入完成训练的多分类模型进行处理,输出所述目标文本对应的文本分类结果;所述文本分类结果用于标识所述目标文本所属的至少两个独立且不互斥的目标文本类别,所述目标文本类别的标识从所述多个文本类别标识中确定。
8.根据权利要求7所述的终端,其特征在于,所述基于文本样本集对所述多分类模型进行预训练,并将所述目标文本对应的所述词向量输入完成训练的多分类模型进行处理,输出所述目标文本对应的文本分类结果,包括:
基于所述文本样本集采用采用机器学习算法以及预设的损失函数对所述多分类模型进行训练,得到所述完成训练的多分类模型;
将所述目标文本对应的所述词向量输入所述完成训练的多分类模型进行处理,输出所述目标文本对应的文本分类结果;
其中,所述预设的损失函数具体为:为样本数据的数量,yture为标记的已知文本类别标签,ypred为预测得到的文本类别标签;λ(ytrue-ypred)=1-θ(ytrue-m)×θ(ypred-m)-θ(1-m-ytrue)×θ(1-m-ypred),θ(x)为跃阶函数,m的取值范围为(0.5,1),标识让所述多分类模型更关注分类概率在0.5到m之间的样本数据。
9.根据权利要求8所述的终端,其特征在于,所述将所述目标文本对应的所述词向量输入所述完成训练的多分类模型进行处理,输出所述目标文本对应的文本分类结果,包括:
将由所述目标文本对应的词向量组成的单列向量矩阵输入完成训练的多分类模型进行处理,输出所述单列向量矩阵中每个词向量的值;
基于所述单列向量矩阵中每个所述词向量的值确定所述目标文本对应的文本分类结果。
10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述方法的步骤。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811182173.4A CN109471938B (zh) | 2018-10-11 | 2018-10-11 | 一种文本分类方法及终端 |
PCT/CN2018/124300 WO2020073507A1 (zh) | 2018-10-11 | 2018-12-27 | 一种文本分类方法及终端 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811182173.4A CN109471938B (zh) | 2018-10-11 | 2018-10-11 | 一种文本分类方法及终端 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109471938A true CN109471938A (zh) | 2019-03-15 |
CN109471938B CN109471938B (zh) | 2023-06-16 |
Family
ID=65664843
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811182173.4A Active CN109471938B (zh) | 2018-10-11 | 2018-10-11 | 一种文本分类方法及终端 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN109471938B (zh) |
WO (1) | WO2020073507A1 (zh) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110163252A (zh) * | 2019-04-17 | 2019-08-23 | 平安科技(深圳)有限公司 | 数据分类方法及装置、电子设备、存储介质 |
CN110362677A (zh) * | 2019-05-31 | 2019-10-22 | 平安科技(深圳)有限公司 | 文本数据类别的识别方法及装置、存储介质、计算机设备 |
CN110377748A (zh) * | 2019-06-13 | 2019-10-25 | 北京百度网讯科技有限公司 | 实体关注点挖掘方法、装置、计算机设备及存储介质 |
CN110516041A (zh) * | 2019-08-28 | 2019-11-29 | 深圳勇艺达机器人有限公司 | 一种人机对话***的文本分类方法 |
CN110597985A (zh) * | 2019-08-15 | 2019-12-20 | 重庆金融资产交易所有限责任公司 | 基于数据分析的数据分类方法、装置、终端及介质 |
CN110659367A (zh) * | 2019-10-12 | 2020-01-07 | 中国科学技术信息研究所 | 文本分类号的确定方法、装置以及电子设备 |
CN110852082A (zh) * | 2019-10-23 | 2020-02-28 | 北京明略软件***有限公司 | 同义词的确定方法及装置 |
CN111177388A (zh) * | 2019-12-30 | 2020-05-19 | 联想(北京)有限公司 | 一种处理方法及计算机设备 |
CN111611386A (zh) * | 2020-05-28 | 2020-09-01 | 北京学之途网络科技有限公司 | 文本分类方法和装置 |
CN111737436A (zh) * | 2020-06-24 | 2020-10-02 | 网易(杭州)网络有限公司 | 语料的意图识别方法及装置、电子设备、存储介质 |
CN112329823A (zh) * | 2020-10-23 | 2021-02-05 | 北京中科智加科技有限公司 | 文本分类方法及装置、设备及介质 |
CN112948575A (zh) * | 2019-12-11 | 2021-06-11 | 京东数字科技控股有限公司 | 文本数据处理方法、装置和计算机可读存储介质 |
CN113826116A (zh) * | 2019-05-15 | 2021-12-21 | 北京嘀嘀无限科技发展有限公司 | 用于多类分类的对抗性多二元神经网络 |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113626587B (zh) * | 2020-05-08 | 2024-03-29 | 武汉金山办公软件有限公司 | 一种文本类别识别方法、装置、电子设备及介质 |
CN111696636B (zh) * | 2020-05-15 | 2023-09-22 | 平安科技(深圳)有限公司 | 一种基于深度神经网络的数据处理方法及装置 |
CN111814538B (zh) * | 2020-05-25 | 2024-03-05 | 北京达佳互联信息技术有限公司 | 目标对象的类别识别方法、装置、电子设备及存储介质 |
CN111737464B (zh) * | 2020-06-12 | 2024-07-23 | 网易(杭州)网络有限公司 | 文本分类方法、装置和电子设备 |
CN111753091A (zh) * | 2020-06-30 | 2020-10-09 | 北京小米松果电子有限公司 | 分类方法、分类模型的训练方法、装置、设备及存储介质 |
CN112101042A (zh) * | 2020-09-14 | 2020-12-18 | 平安科技(深圳)有限公司 | 文本情绪识别方法、装置、终端设备和存储介质 |
CN112182214B (zh) * | 2020-09-27 | 2024-03-19 | 中国建设银行股份有限公司 | 一种数据分类方法、装置、设备及介质 |
CN112115268B (zh) * | 2020-09-28 | 2024-04-09 | 支付宝(杭州)信息技术有限公司 | 基于特征编码器的训练方法及装置、分类方法及装置 |
CN112182229A (zh) * | 2020-11-05 | 2021-01-05 | 江西高创保安服务技术有限公司 | 一种文本分类模型构建方法、文本分类方法及装置 |
CN113361787A (zh) * | 2021-06-11 | 2021-09-07 | 上海跨境电子商务公共服务有限公司 | 商品归类***、方法、存储介质及终端 |
CN113704467B (zh) * | 2021-07-29 | 2024-07-02 | 大箴(杭州)科技有限公司 | 基于数据模板的海量文本监控方法及装置、介质、设备 |
CN113849640A (zh) * | 2021-09-14 | 2021-12-28 | 支付宝(杭州)信息技术有限公司 | 一种数据处理方法、装置、设备及介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103246655A (zh) * | 2012-02-03 | 2013-08-14 | 腾讯科技(深圳)有限公司 | 一种文本分类方法、装置及*** |
CN106909654A (zh) * | 2017-02-24 | 2017-06-30 | 北京时间股份有限公司 | 一种基于新闻文本信息的多级分类***及方法 |
CN108090503A (zh) * | 2017-11-28 | 2018-05-29 | 东软集团股份有限公司 | 多分类器的在线调整方法、装置、存储介质及电子设备 |
CN108304364A (zh) * | 2017-02-23 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 关键词提取方法和装置 |
CN108491406A (zh) * | 2018-01-23 | 2018-09-04 | 深圳市阿西莫夫科技有限公司 | 信息分类方法、装置、计算机设备和存储介质 |
CN108509484A (zh) * | 2018-01-31 | 2018-09-07 | 腾讯科技(深圳)有限公司 | 分类器构建及智能问答方法、装置、终端及可读存储介质 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170140042A1 (en) * | 2015-11-12 | 2017-05-18 | GM Global Technology Operations LLC | Extracting content from multilingual diagnostic records |
CN108228622A (zh) * | 2016-12-15 | 2018-06-29 | 平安科技(深圳)有限公司 | 业务问题的分类方法及装置 |
CN108334605B (zh) * | 2018-02-01 | 2020-06-16 | 腾讯科技(深圳)有限公司 | 文本分类方法、装置、计算机设备及存储介质 |
CN108416032B (zh) * | 2018-03-12 | 2021-06-08 | 腾讯科技(深圳)有限公司 | 一种文本分类方法、装置及存储介质 |
CN108197337B (zh) * | 2018-03-28 | 2020-09-29 | 北京搜狐新媒体信息技术有限公司 | 一种文本分类方法及装置 |
-
2018
- 2018-10-11 CN CN201811182173.4A patent/CN109471938B/zh active Active
- 2018-12-27 WO PCT/CN2018/124300 patent/WO2020073507A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103246655A (zh) * | 2012-02-03 | 2013-08-14 | 腾讯科技(深圳)有限公司 | 一种文本分类方法、装置及*** |
CN108304364A (zh) * | 2017-02-23 | 2018-07-20 | 腾讯科技(深圳)有限公司 | 关键词提取方法和装置 |
CN106909654A (zh) * | 2017-02-24 | 2017-06-30 | 北京时间股份有限公司 | 一种基于新闻文本信息的多级分类***及方法 |
CN108090503A (zh) * | 2017-11-28 | 2018-05-29 | 东软集团股份有限公司 | 多分类器的在线调整方法、装置、存储介质及电子设备 |
CN108491406A (zh) * | 2018-01-23 | 2018-09-04 | 深圳市阿西莫夫科技有限公司 | 信息分类方法、装置、计算机设备和存储介质 |
CN108509484A (zh) * | 2018-01-31 | 2018-09-07 | 腾讯科技(深圳)有限公司 | 分类器构建及智能问答方法、装置、终端及可读存储介质 |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110163252A (zh) * | 2019-04-17 | 2019-08-23 | 平安科技(深圳)有限公司 | 数据分类方法及装置、电子设备、存储介质 |
CN110163252B (zh) * | 2019-04-17 | 2023-11-24 | 平安科技(深圳)有限公司 | 数据分类方法及装置、电子设备、存储介质 |
CN113826116A (zh) * | 2019-05-15 | 2021-12-21 | 北京嘀嘀无限科技发展有限公司 | 用于多类分类的对抗性多二元神经网络 |
WO2020238053A1 (zh) * | 2019-05-31 | 2020-12-03 | 平安科技(深圳)有限公司 | 基于神经网格模型的文本数据类别的识别方法及装置、非易失性可读存储介质、计算机设备 |
CN110362677A (zh) * | 2019-05-31 | 2019-10-22 | 平安科技(深圳)有限公司 | 文本数据类别的识别方法及装置、存储介质、计算机设备 |
CN110377748A (zh) * | 2019-06-13 | 2019-10-25 | 北京百度网讯科技有限公司 | 实体关注点挖掘方法、装置、计算机设备及存储介质 |
CN110597985A (zh) * | 2019-08-15 | 2019-12-20 | 重庆金融资产交易所有限责任公司 | 基于数据分析的数据分类方法、装置、终端及介质 |
CN110516041A (zh) * | 2019-08-28 | 2019-11-29 | 深圳勇艺达机器人有限公司 | 一种人机对话***的文本分类方法 |
CN110659367A (zh) * | 2019-10-12 | 2020-01-07 | 中国科学技术信息研究所 | 文本分类号的确定方法、装置以及电子设备 |
CN110659367B (zh) * | 2019-10-12 | 2022-03-25 | 中国科学技术信息研究所 | 文本分类号的确定方法、装置以及电子设备 |
CN110852082B (zh) * | 2019-10-23 | 2023-08-11 | 北京明略软件***有限公司 | 同义词的确定方法及装置 |
CN110852082A (zh) * | 2019-10-23 | 2020-02-28 | 北京明略软件***有限公司 | 同义词的确定方法及装置 |
CN112948575A (zh) * | 2019-12-11 | 2021-06-11 | 京东数字科技控股有限公司 | 文本数据处理方法、装置和计算机可读存储介质 |
CN112948575B (zh) * | 2019-12-11 | 2023-09-26 | 京东科技控股股份有限公司 | 文本数据处理方法、装置和计算机可读存储介质 |
CN111177388A (zh) * | 2019-12-30 | 2020-05-19 | 联想(北京)有限公司 | 一种处理方法及计算机设备 |
CN111177388B (zh) * | 2019-12-30 | 2023-07-21 | 联想(北京)有限公司 | 一种处理方法及计算机设备 |
CN111611386A (zh) * | 2020-05-28 | 2020-09-01 | 北京学之途网络科技有限公司 | 文本分类方法和装置 |
CN111611386B (zh) * | 2020-05-28 | 2024-03-29 | 北京明略昭辉科技有限公司 | 文本分类方法和装置 |
CN111737436A (zh) * | 2020-06-24 | 2020-10-02 | 网易(杭州)网络有限公司 | 语料的意图识别方法及装置、电子设备、存储介质 |
CN112329823A (zh) * | 2020-10-23 | 2021-02-05 | 北京中科智加科技有限公司 | 文本分类方法及装置、设备及介质 |
Also Published As
Publication number | Publication date |
---|---|
CN109471938B (zh) | 2023-06-16 |
WO2020073507A1 (zh) | 2020-04-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109471938A (zh) | 一种文本分类方法及终端 | |
CN110069709B (zh) | 意图识别方法、装置、计算机可读介质及电子设备 | |
Shamantha et al. | Sentiment analysis using machine learning classifiers: evaluation of performance | |
CN109471944B (zh) | 文本分类模型的训练方法、装置及可读存储介质 | |
CN111160350B (zh) | 人像分割方法、模型训练方法、装置、介质及电子设备 | |
Beikmohammadi et al. | SWP-LeafNET: A novel multistage approach for plant leaf identification based on deep CNN | |
Sridhar et al. | Fake news detection and analysis using multitask learning with BiLSTM CapsNet model | |
Adib et al. | A deep hybrid learning approach to detect bangla fake news | |
CN111460783B (zh) | 一种数据处理方法、装置、计算机设备及存储介质 | |
CN112183672A (zh) | 图像分类方法、特征提取网络的训练方法和装置 | |
CN111831826A (zh) | 跨领域的文本分类模型的训练方法、分类方法以及装置 | |
CN112966072A (zh) | 案件的预判方法、装置、电子装置和存储介质 | |
Zhao et al. | Finding critical users in social communities via graph convolutions | |
CN115757991A (zh) | 一种网页识别方法、装置、电子设备和存储介质 | |
WO2022148108A1 (en) | Systems, devices and methods for distributed hierarchical video analysis | |
Mahmud et al. | Deep learning based sentiment analysis from Bangla text using glove word embedding along with convolutional neural network | |
CN113408282B (zh) | 主题模型训练和主题预测方法、装置、设备及存储介质 | |
Atif et al. | Emojis pictogram classification for semantic recognition of emotional context | |
Jan et al. | Semi-supervised labeling: a proposed methodology for labeling the twitter datasets | |
CN115544212A (zh) | 文档级事件要素抽取方法、设备及介质 | |
Xu et al. | Estimating similarity of rich internet pages using visual information | |
Wang et al. | Comparison of four text classifiers on movie reviews | |
KR20220105792A (ko) | 동적 텍스트 소스를 활용한 ai 기반 의사결정지원 시스템 | |
Shanto et al. | Binary vs. Multiclass Sentiment Classification for Bangla E-commerce Product Reviews: A Comparative Analysis of Machine Learning Models | |
Parkar et al. | Analytical comparison on detection of Sarcasm using machine learning and deep learning techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |