CN109902178A - 一种多级文本分类方法及*** - Google Patents

Abstract

本发明公开的多级文本分类方法及***，涉及数据处理技术领域，通过将当前待分类的文本分别输入训练过的多个文本分类模型，计算各个层文本的概率，根据公式Pn＝p_A×p_A1×p_A11×…×p_A11…1，分别计算第n层文本中各个叶子节点的概率，选取概率大于设定阈值的第n层文本并对第n层文本对应的概率进行归一化处理，得到文本的分类结果，能够简单快速地实现对多级文本的分类，简化了多级文本分类的难度，提高了多级文本分类的效率及准确率，解决了现有技术存在的对多级文本分类困难、效率低及准确率低的缺陷。

Description

一种多级文本分类方法及***

技术领域

本发明涉及数据处理技术领域，具体涉及一种多级文本分类方法及***。

背景技术

在数据处理技术领域，经常需要用到文本分类技术。文本分类是指计算机***根据文本的内容与特征，将其自动归档到某个或某些类别。它的应用非常广泛，例如垃圾邮件过滤、新闻分类、微博或者评论情感分析、意图识别等。

与普通的文本分类问题不同，多级文本分类要考虑的类别总数比较多，而这众多的类别之间往往还存在着一定的依赖关系，因此，它可以构成一个复杂的层次化的类别体系。多层文本分类是对大规模文本信息进行组织、查询与检索的关键技术，如数字图书馆、专利管理、新闻出版业等领域。这种多级分类体系一般是首先分为几大类，每一大类下分许多小类，每一小类下再分小类。最后，每一个文本都可以分到某一个类目下。

目前流行的是以下两种解决方法：第一种是不考虑类别之间层级关系，就将多级分类转换为普通的无层级的文本分类。第二种是构建复杂的多层级分类模型，通过复杂的算法和模型来实现。

上述两种方案存在的缺陷：第一种虽然实现比较简单，但是分类准确率不太高；第二种模型和算法实现比较复杂。

发明内容

为解决现有技术的不足，本发明实施例提供了一种多级文本分类方法及***。

第一方面，本发明实施例提供了一种多级文本分类方法，该方法包括：

将当前待分类的文本分别输入训练过的多个文本分类模型，计算各个层文本的概率，其中，所述多个文本分类模型包括第一层文本分类模型、第二层文本分类模型…第n层文本分类模型，n为所述文本的层数；

根据公式Pn＝p_A×p_A1×p_A11×…×p_A11…1，分别计算第n层文本中各个叶子节点的概率，其中，p_A、p_A1、p_A11…p_A11…1分别为第一层的文本的节点经所述第一层文本分类模型计算得到的概率、第二层的文本的节点经所述第二层文本分类模型计算得到的概率…第n层的文本的节点经所述第n层文本分类模型计算得到的概率，p_A1为p_A11的父亲节点，p_A为p_A1的父亲节点；

选取概率大于设定阈值的第n层文本并对所述第n层文本对应的概率进行归一化处理，得到所述文本的分类结果。

进一步地，所述多个文本分类模型的创建方法包括：

根据当前待分类文本的类别，确定所述文本的第一层文本的类别并根据所述第一层文本的类别，为所述第一层文本设置相应的标签；

根据所述第一层文本的类别，获取所述文本的第二层文本的类别，依次类推，直至获取到所文本的末级文本的类别并根据所述第二层文本的类别，为所述第二层文本设置相应的标签；

重复上述步骤，直止为所述第n层文本设置相应的标签；

利用所述第一层文本、第二层文本…第n层文本，对所述文本分类模型进行训练，生成第一层文本分类模型、第二层文本分类模型…第n层文本分类模型。

进一步地，所述文本分类模型包括：朴素贝叶斯模型、支持向量机模型及神经网络模型。

第二方面，本发明实施例提供了一种多级文本分类***，该***包括：

计算模块，用于计算各个层文本的概率，其中，所述多个文本分类模型包括第一层文本分类模型、第二层文本分类模型…第n层文本分类模型，n为所述文本的层数；

计算模块，还用于根据公式Pn＝p_A×p_A1×p_A11×…×p_A11…1，分别计算各个文本中各个叶子文本的概率，其中，p_A、p_A1、p_A11…p_A11…1分别为第一层的文本的节点经所述第一层文本分类模型计算得到的概率、第二层的文本的节点经所述第二层文本分类模型计算得到的概率…第n层的文本的节点经所述第n层文本分类模型计算得到的概率，p_A1为p_A11的父亲节点，p_A为p_A1的父亲节点；

选取模块，用于选取概率大于设定阈值的第n层文本并对所述第n层文本对应的概率进行归一化处理，得到所述文本的分类结果。

进一步地，所述***还包括：

设置模块，用于为所述第一层文本设置相应的标签；

设置模块，还用于为所述第二层文本设置相应的标签；

设置模块，还用于为所述第n层文本设置相应的标签；

训练模块，用于利用所述第一层文本、第二层文本…第n层文本，对所述文本分类模型进行训练，生成第一层文本分类模型、第二层文本分类模型…第n层文本分类模型。

本发明实施例提供的多级文本分类方法及***具有以下有益效果：

能够简单快速地实现对多级文本的分类，简化了多级文本分类的难度，提高了多级文本分类的效率及准确率。

附图说明

图1是本发明实施例提供的多级文本分类方法的流程示意图；

图2是本发明实施例提供的一个具体的多级文本分类***的体系结构示意图；

图3是本发明实施例提供的多级文本分类***的结构示意图。

具体实施方式

以下结合附图和具体实施例对本发明作具体的介绍

参照图1，本发明实施例提供的多级文本分类方法包括以下步骤：

S101，将当前待分类的文本分别输入训练过的多个文本分类模型，计算各个层文本的概率，其中，所述多个文本分类模型包括第一层文本分类模型、第二层文本分类模型…第n层文本分类模型，n为所述文本的层数。

作为一个具体的实施例，如图2所示，A、B第一层文本的节点，A1、A2、B1、B2为第二层文本的节点，A11、A12、A21、A22、B11、B12、B21及B22为第三层文本的节点，A是A1、A2的父亲节点，B为B1、B2的父亲节点，B为B1、B2的父亲节点，A1为A11、A12的父亲节点，A2为A21、A22的父亲节点，B1为B11、B12的父亲节点，B2为B21、B22的父亲节点。

S102，根据公式Pn＝p_A×p_A1×p_A11×…×p_A11…1，分别计算第n层文本中各个叶子节点的概率，其中，p_A、p_A1、p_A11…p_A11…1分别为第一层文本的节点经所述第一层文本分类模型计算得到的概率、第二层文本的节点经所述第二层文本分类模型计算得到的概率…第n层文本的节点经所述第n层文本分类模型计算得到的概率，p_A1为p_A11的父亲节点，p_A为p_A1的父亲节点。

作为一个具体的实施例，如图2所示，A、B对应的文本分类模型为第一层文本分类模型，A1、A2、B1、B2对应的文本分类模型为第二层文本分类模型，A11、A12、A21、A22、B11、B12、B21及B22对应的文本分类模型为第三层文本分类模型。

进一步地，假设叶子A11经第三层文本分类模型计算得到的概率为0.5，其父亲节点A1经第二层文本分类模型计算得到的概率为0.6，其爷爷节点A经第一层文本分类模型计算得到的概率为0.8，则叶子节点A11的概率为0.5×0.6×0.8＝0.24。

S103，选取概率大于设定阈值的第n层文本并对所述第n层文本的概率进行归一化处理，得到所述文本的分类结果。

作为一个具体的实施例，可以设定概率大于0.2的叶子节点的概率进行归一化处理。

可选地，所述多个文本分类模型的创建方法包括：

根据当前待分类文本的类别，确定所述文本的第一层文本的类别并根据所述第一层文本的类别，为所述第一层文本设置相应的标签；

根据所述第一层文本的类别，获取所述文本的第二层文本的类别，依次类推，直至获取到所文本的末级文本的类别并根据所述第二层文本的类别，为所述第二层文本设置相应的标签；

重复上述步骤，直止为所述第n层文本设置相应的标签；

利用所述第一层文本、第二层文本…第n层文本，对所述文本分类模型进行训练，生成第一层文本分类模型、第二层文本分类模型…第n层文本分类模型。

可选地，所述文本分类模型包括：朴素贝叶斯模型、支持向量机模型及神经网络模型。

如图3所示，本发明实施例提供的多级文本分类***包括：计算模块和选取模块，其中，

计算模块用于计算各个层文本的概率，其中，所述多个文本分类模型包括第一层文本分类模型、第二层文本分类模型…第n层文本分类模型，n为所述文本的层数；

计算模块还用于根据公式Pn＝p_A×p_A1×p_A11×…×p_A11…1，分别计算各个文本中各个叶子文本的概率，其中，p_A、p_A1、p_A11…p_A11…1分别为第一层的文本的节点经所述第一层文本分类模型计算得到的概率、第二层的文本的节点经所述第二层文本分类模型计算得到的概率…第n层的文本的节点经所述第n层文本分类模型计算得到的概率，p_A1为p_A11的父亲节点，p_A为p_A1的父亲节点；

选取模块用于选取概率大于设定阈值的第n层文本并对所述第n层文本对应的概率进行归一化处理，得到所述文本的分类结果。

进一步地，所述***还包括：

设置模块，用于为所述第一层文本设置相应的标签；

设置模块，还用于为所述第二层文本设置相应的标签；

设置模块，还用于为所述第n层文本设置相应的标签；

训练模块，用于利用所述第一层文本、第二层文本…第n层文本，对所述文本分类模型进行训练，生成第一层文本分类模型、第二层文本分类模型…第n层文本分类模型。

本发明实施例提供的多级文本分类方法及***，通过将当前待分类的文本分别输入训练过的多个文本分类模型，计算各个层文本的概率，根据公式Pn＝p_A×p_A1×p_A11×…×p_A11…1，分别计算第n层文本中各个叶子节点的概率，选取概率大于设定阈值的第n层文本并对第n层文本对应的概率进行归一化处理，得到文本的分类结果，能够简单快速地实现对多级文本的分类，简化了多级文本分类的难度，提高了多级文本分类的效率及准确率。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的***，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟***或者其它设备固有相关。各种通用***也可以与基于在此的示教一起使用。根据上面的描述，构造这类***所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、***或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (5)

1.一种多级文本分类方法，其特征在于，包括：

将当前待分类的文本分别输入训练过的多个文本分类模型，计算各个层文本的概率，其中，所述多个文本分类模型包括第一层文本分类模型、第二层文本分类模型…第n层文本分类模型，n为所述文本的层数；

根据公式P_n＝p_A×p_A1×p_A11×…×p_A11…1，分别计算第n层文本中各个叶子节点的概率，其中，p_A、p_A1、p_A11…p_A11…1分别为第一层的文本的节点经所述第一层文本分类模型计算得到的概率、第二层的文本的节点经所述第二层文本分类模型计算得到的概率…第n层的文本的节点经所述第n层文本分类模型计算得到的概率，p_A1为p_A11的父亲节点，p_A为p_A1的父亲节点；

选取概率大于设定阈值的第n层文本并对所述第n层文本对应的概率进行归一化处理，得到所述文本的分类结果。

2.根据权利要求1所述的文本分类方法，其特征在于，所述多个文本分类模型的创建方法包括：

根据当前待分类文本的类别，确定所述文本的第一层文本的类别并根据所述第一层文本的类别，为所述第一层文本设置相应的标签；

根据所述第一层文本的类别，获取所述文本的第二层文本的类别，依次类推，直至获取到所文本的末级文本的类别并根据所述第二层文本的类别，为所述第二层文本设置相应的标签；

重复上述步骤，直止为所述第n层文本设置相应的标签；

利用所述第一层文本、第二层文本…第n层文本，对所述文本分类模型进行训练，生成第一层文本分类模型、第二层文本分类模型…第n层文本分类模型。

3.根据权利要求2所述的文本分类方法，其特征在于，所述文本分类模型包括：朴素贝叶斯模型、支持向量机模型及神经网络模型。

4.一种文本分类***，其特征在于，包括：

计算模块，用于计算各个层文本的概率，其中，所述多个文本分类模型包括第一层文本分类模型、第二层文本分类模型…第n层文本分类模型，n为所述文本的层数；

计算模块，还用于根据公式P_n＝p_A×p_A1×p_A11×…×p_A11…1，分别计算各个文本中各个叶子文本的概率，其中，p_A、p_A1、p_A11…p_A11…1分别为第一层的文本的节点经所述第一层文本分类模型计算得到的概率、第二层的文本的节点经所述第二层文本分类模型计算得到的概率…第n层的文本的节点经所述第n层文本分类模型计算得到的概率，p_A1为p_A11的父亲节点，p_A为p_A1的父亲节点；

选取模块，用于选取概率大于设定阈值的第n层文本并对所述第n层文本对应的概率进行归一化处理，得到所述文本的分类结果。

5.根据权利要求4所述的文本分类***，其特征在于，所述***还包括：

设置模块，用于为所述第一层文本设置相应的标签；

设置模块，还用于为所述第二层文本设置相应的标签；

设置模块，还用于为所述第n层文本设置相应的标签；

训练模块，用于利用所述第一层文本、第二层文本…第n层文本，对所述文本分类模型进行训练，生成第一层文本分类模型、第二层文本分类模型…第n层文本分类模型。