CN102332012B - 基于类别之间相关性学习的中文文本分类方法 - Google Patents
基于类别之间相关性学习的中文文本分类方法 Download PDFInfo
- Publication number
- CN102332012B CN102332012B CN201110268825.8A CN201110268825A CN102332012B CN 102332012 B CN102332012 B CN 102332012B CN 201110268825 A CN201110268825 A CN 201110268825A CN 102332012 B CN102332012 B CN 102332012B
- Authority
- CN
- China
- Prior art keywords
- classification
- document
- lexical item
- training
- index
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明公开了一种基于类别之间相关性学习的中文文本分类方法,首先对文档进行分词,通过统计词频进行特征粗选择,然后根据词项和类别之间的辨别指数进一步确定具有代表性的词项构成精选择后的特征词项。根据特征词项索引,训练文档采用tfidf权重和辨别指数权重共同表示。接着,分别构建一组对应于不同投影向量的两类分类器,并训练得到表示两两类别之间相关性的码矩阵。最后,将新文档的多向量表示投影到所有两类分类器,引入码矩阵,计算每个类别与文档的相似度,将相似度最大输出作为新文档的类别判定结果。本发明基于类别之间的相关性学习结果进行新文档的分类,在保证分类性能的同时,提升算法的运行效率。
Description
技术领域
本发明属于中文文本分类算法研究领域,特别涉及一种采用词项与类别之间的辨别指数选取特征、基于类别之间相关性学习的中文文本分类方法。
背景技术
随着中国出版业的迅速发展,电子格式的中文文档数量不断攀升。文档分类的工作愈发繁琐,因此,利用先进的机器学习和模式分类方法辅助传统的人工分类变得十分必要。
中文文本分类方法主要有特征选择和分类算法两部分构成。文档集的特征一般采用词袋模型(Bag-of-Words)和文档向量模型(Vector Space Model)的形式表示,其关键区别在于权重的计算方式不同,词袋模型的权重是用概率表示由词生成文档的概率,文档向量模型的权重可以看作是词项频率统计的函数映射。文档的表示必须选取具有代表性的词项作为特征索引。词项的粒度可以选择字、词、短语、概念、N-Gram以及其它规律性模式,根据频率统计选择特征,并对剩余特征项计算不同权重用于文档表示。将文档集中所有文档的表示向量接连起来即可构成文档集的特征表示,但是此类特征表示方法容易遭遇维数灾难,同时也面临着小样本问题。因此,在文本分类中,常采用概念索引(Concept Index)、互信息量(Mutual Information)、信息增益(Information Gain)、交叉熵(Cross Entropy)、CHI统计(CHI Statistics)和几率比(Odds Ratio)等方法来降低特征向量的维数。常用的分类方法有贝叶斯、K近邻、决策树和SVM方法。但是,以上现有的方法效果仍不尽如人意。其原因除了客观上训练样本的不均匀分布和样本文档类别间的复分性之外,更可能的原因有以下:特征选择的硬判决割断了文档连续词项之间的语义关联;文本分类算法中大多忽略了不同类别文档之间的相关性,而类别之间的相关性对于改善文本分类性能有着积极作用。
目前,最新的主流算法主要有以下几种:
(1)Z.Guo等(Z.Guo,L.Lu,S.Xi and F.Sun,An effective dimensionreduction approach to Chinese document classification using genetic algorithm.Lecture Notes in Computer Science,5552/2009:480-489,2008)提出基于遗传算法的中文文档分类方法;
(2)M.Y.Jia等(M.Y.Jia,D.Q.Zheng,B.R.Yang and Q.X.Chen,Hierarchical text categorization based on multiple feature selection and fusion ofmultiple classifiers approaches.International Conference on Fuzzy Systems andKnowledge Discovery,2009)提出基于多特征选择和多分类器的层次文本分类方法;
(3)Cheng等(X.Cheng,S.Tan and L. Tang,Using dragpushing to refineconcept index for text categorization,Journal of Computer Science and Technology,21(4):592-596,2006)采用Concept Index方法进行文本分类。
以上算法均需采用SVM等方法训练构造分类器,算法运行量大,运行所需时间很长,在实际应用中存在诸多局限。
因此,研究如何在考虑同类别文档之间的相关性的情况下提高分类精确度且同时降低算法复杂度的中文文本分类算法是一个极具实际意义的课题。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足,提供一种基于类别之间相关性学习的中文文本分类方法。该方法在特征选择环节,分别统计全部词项与类别的辨别指数并将其作为权重筛选特征词项,同时在一对多分类框架下,计算出不同类别文档之间的相关性矩阵,对于新文本的分类精确度提高,同时计算复杂度降低,运行所需时间减少,具有很好的应用前景。
本发明的目的通过以下的技术方案实现:基于类别之间相关性学习的中文文本分类方法,具体包括以下步骤:
(1)训练过程:
(1-1)特征选择:对于所有的中文词项,存在一本标准词典,词典中包含完备的词项集合,词项集合的全部词项依据拼音音序的先后顺序构成词项索引。特征选择的目标即是从词典中挑选具有代表性的词项构成特征词项,同样依据拼音音序构成特征索引。具体过程是:读入所有的训练文档,对文档进行分词。将训练文档分词后,根据标准词典中的词项索引顺序依次统计出每个词项的词频。挑选出训练文档中出现频繁的词项,构成粗选择后的特征子集,根据粗选择特征子集中各个词项与类别之间有关概率的指数,进一步确定精选择后的代表性词项,所有类别中的代表性词项构成特征集合,并且根据拼音音序构成特征索引;
(1-2)训练文档的表示:将每一个训练文档用一个向量表示,向量的维数即特征选择后词项索引大小,向量中的每一个元素由tfidf(termfrequency-inverse document frequency,词频-逆向文本频率)权重和辨别指数权重的乘积构成,tfidf是文档中词项的词频和类别中词项的文频的统计表示,辨别指数权重是根据步骤(1-1)所述的有关频率的指数所做的一个平滑函数,值在0-1之间;
(1-3)训练文档类别之间的相关性学习:首先将多类之间的文本分类问题分解为多个两类文本分类问题,即对于某一类别ck,将属于类别ck的训练样本作为正样本,不属于类别ck的训练样本作为负样本,然后采用脊回归方法训练两类分类器;对所有类别文档分别训练即得到一组两类分类器,同时计算类别之间的相关性构成已知样本训练码矩阵CM,其中码矩阵的第k行第k′列表示类别ck和ck′之间的相关性;
(2)新文档的类别判定过程:
(2-1)新文档的表示:假设语料中的文档分为K个类别,对于一个新文档,它的类别未知,将其投影到所有的K个类别,并对应于步骤(1-1)提取的特征词项按拼音音序构成的特征词项索引,将新文档用矩阵形式表示,矩阵的行表示所有可能K个类别的索引,矩阵的列代表特征词项索引,元素值采用步骤(1-2)所述训练文档中值的计算方法表示;
(2-2)新文档的类别判定:将步骤(2-1)中得到的表示新文档的矩阵投影到步骤(1-3)所得到的那组两类分类器中,并根据已知样本训练码矩阵CM计算新文档属于每个类别的相似度,将相似度最大的类别赋予新文档,作为其判定类别。
所述步骤(1-1)具体包括以下步骤:
(1-1-1)特征粗选择:读入全部训练文档,对于词项tj,将出现tj的文档数量除以训练集合中所有文档数量得到tj在整个训练集合中的相对文频Total-Rel-DFj,当Total-Rel-DFj大于阈值α,则说明tj在全部文档中出现频繁,将tj归入集合Term1;然后对于已知类别的某一类ck,将该类中包含tj的文档个数除以该类总的文档数量得到tj在该类中的相对文频Class-Rel-DFjk,当Class-Rel-DFjk大于阈值β,则说明tj在该类中出现频繁,将tj归入集合Term2;取Term1和Term2的交集,即得到特征粗选择后的词项子集:Term′={Term1,Term2};
(1-1-2)特征精选择:设t是步骤(1-1-1)得到的特征粗选择后词项子集Term′中的一个候选词项,对于一个已知的类别g,计算t与g之间的辨别指数W(t,g),W(t,g)的计算公式如下:
其中:P(t∈g)表示词项t在类别g中的发生概率,表示词项t在除类别g之外的其他所有类别中发生概率的最大值,P(t∈g)由以下公式表示:
其中tf(t∈g)表示词项t出现在属于类别g的文档中的频率,词项t′∈Term′且t′≠t,∑t′tf(t′∈g)表示所有词项t′出现在属于类别g的文档中的频率的总和;
同样,由以下公式表示:
若得到的W(t,g)大于阈值γ,则判定在g类中词项t是代表性词项,记录该词项,按照上述方法,从所有类别中提取代表性词项,最终构成特征集合。
为了排除不可能作为特征的词项,节省计算时间,所述步骤(1-1)中的阈值α、β、γ以最终选出完全词项集合中10%-20%的词项为确定标准,从而通过阈值α、β控制特征粗选择后的输出词项数目,通过阈值γ控制特征精选择后的输出词项数目。
所述步骤(1-1-2)中辨别指数的有效阈值范围在0.6-0.9之间,阈值选择需以分类性能做一个参照,取最高分类性能的对应阈值控制输出特征词项的数目。
所述步骤(1-2)中训练文档的表示方法具体如下:设所有训练文档共有K个类别,每个类别ck对应有Nk个文档(1≤k≤K),则类别ck中的第i(1≤i≤Nk)个文档Dk,i用以下方式表示:
Dk,i=<dk,i,1,dk,i,2,...,dk,i,n>
其中:n表示特征索引的大小,即是步骤(1-1-2)中得到的代表性词项的个数;dk,i,j由以下公式表示:
dk,i,j=tfidf(tj,Dk,i)·F(W(tj,g(Dk,i)))
其中:
tf(tj,Dk,i)为词项tj在文档Dk,i中出现的次数,df(tj,ck)是在类别为ck的文档集合中至少出现过一次词频tj的文档个数;F(W(·))是一个平滑函数,用于将词项权重分布转换到0与1之间的固定区间,其中W(·)为步骤(1-1-2)所得到的辨别指数,ζ是一个小于等于0.1的常数,用于控制辨别指数高低的比例。
所述步骤(1-3)具体方法如下:
(1-3-1)对于某一类别ck,将属于类别ck的训练文档作为正样本,类别标记记为1,反之作为负样本,类别标记记为-1,根据步骤(1-2)所得到的表示每个训练文档的向量,将所有的训练文档接连起来构成矩阵X,而对应的转变后的类别标记可以构成向量y;
(1-3-2)每一类中最佳投影采用脊回归方法求得:
其中θ是一个正数,用于控制pk的估计方差,可在实验中具体调整。以上最小化问题中,pk表示每个类别的投影向量,是通过问题求解后获得的pk的最佳形式。对上式求导使结果为0可得最佳投影为:其中I表示全1的矩阵。
(1-3-3)设全部训练文档共有K个类别,构造码矩阵CM记录它们之间的相关性学习结果,具体如下:根据上述步骤,K个类别可得到一组投影向量假设属于类别ck的有Nk个训练样本xl,其中1≤l≤Nk,则类别ck和类别ck′之间的相关性即码矩阵中的元素CMkk′计算如下:
其中是对应于类别ck′两类分类器的投影向量,<·,·>表示两个向量的内积运算,函数sgn是返回整型变量,如果大于0则返回1;否则返回0;将所有的元素CMkk′(1≤k≤K,1≤k′≤K)堆叠起来即构造出表示类别之间相关性的码矩阵。
所述步骤(2-1)新文档的表示方法具体如下:对于给定新文档A,在类别未知的前提下,对应于某可能类别ck,新文档表示如下:
Ak=<ak,1,ak,2,...,ak,n>
其中,n是步骤(1-2)中特征词项索引的大小,对应于所有可能的类别1≤k≤K,新文档被表示成为K×n大小的矩阵,其中第k行的第j个元素ak,j的值由以下公式计算:
其中各项的含义和计算同步骤(1-2),每个元素均计算完成后即得到新文档A相对于该类的矩阵表示。
所述步骤(2-2)中新文档类别判定的算法具体如下:根据步骤(2-1),新文档A表示为A={A1,A2,...,AK},给定一组投影向量和码矩阵CM,新文档的表示和判定通过以下步骤实现:
(2-2-1)将新文档中的K个向量表示分别投影于对应的两类分类器,得到变换向量集合Q={Q1,Q2,...,Qk,...,QK},其中,对于类别ck有:
(2-2-2)计算新文档A属于类别ck的相似度,如下:
其中CMkk′表示类别ck和类别ck′之间的相关性,Qk′表示新文档A对应的第ck′个向量表示Ak′投影到第ck′个两类分类器的输出;
(2-2-3)根据步骤(2-2-2)分别计算新文档与每个类别ck的相似度,将相似度最大的类别作为新文档的最后判定类别,如下:
本发明与现有技术相比,具有如下优点和有益效果:
1、传统的文本分类方法是对文档进行分词并统计各词项的文频和词频等,根据阈值硬判决选定特征词项,因此,阈值的选定将对特征词项的构成有决定性的影响,阈值选择不当容易导致特征词项集合的错选和漏选。
本发明提出的方法将传统方法中的文频和词频统计作为特征选择的粗阶段,减小阈值选定所带来的影响,通过计算词项与类别之间的辨别指数进一步筛选出代表性词项构成特征词项集合。辨别指数以在某类别文档中该词项出现概率与其它词项的比值作为统计对象,比值较高代表该词项与此类别的依赖性强,将其作为特征选择标准,比传统方法得到更具辨别性的特征词项集合。
2、文本分类方法属于多类分类问题,传统的解决方案是构造多层次分类器进行分类,但由于中文文本的不同类别之间很可能存在着某种意义上的相关性,甚至有着复分的可能,因此忽略类别之间的这种相关性会导致分类精度的下降。
本发明将多类的文本分类问题分解为多个两类文本分类问题,并计算不同类别之间的相关性构成相似码矩阵,基于不同类别之间的相关性计算结果将两类文本分类组合起来,解决多类文本分类下的新文档的类别判定问题。基于类别之间相关性的文本分类相比多层次分类方法,能够提升分类性能,减少类别之间的错检。
3、传统的分类算法在训练分类模型中往往需要调整多个参数,模型训练也可能出现过拟合或欠拟合的问题。而在本发明中仅依据两类分类器的训练和相关性学习结果,从而构造简单的判决函数,通过向量之间的乘法和最大值判断即可判定新文档所属类别,避免分类模型中的复杂问题,同时大幅度地缩短了运算时间。
附图说明
图1是本发明方法的算法流程图;
图2是实施例1中特征粗选择时训练集合中相对文频的阈值α的选择示意图;
图3是实施例1中特征粗选择时类别文档中相对文频的阈值β的选择示意图;
图4是实施例1中特征精选择中辨别指数的阈值γ的选择示意图;
图5是阈值γ与分类性能之间关系的示意图;
图6是表示类别之间相关性的码矩阵的示意图;
图7是TanCorp数据库中第一层次12类文本分类结果的表格示意图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例1
如图1所示,基于类别之间相关性学习的中文文本分类方法,具体包括以下步骤:
(1)训练过程:
(1-1)特征选择:对于所有的中文词项,存在一本标准词典,词典中包含完备的词项集合,词项集合的全部词项依据拼音音序的先后顺序构成词项索引。特征选择的目标即是从词典中挑选具有代表性的词项构成特征词项,同样依据拼音音序构成特征索引。具体过程是:读入所有的训练文档,对文档进行分词。将训练文档分词后,根据词典中的词项索引顺序依次统计出每个词项的词频。挑选出训练文档中出现频繁的词项,构成粗选择后的特征子集,根据粗选择特征子集中各个词项与类别之间有关概率的指数,进一步确定精选择后的代表性词项,所有类别中的代表性词项构成特征集合,并且根据拼音音序构成特征索引;
(1-2)训练文档的表示:将每一个训练文档用一个向量表示,向量的维数即特征选择后词项索引大小,向量中的每一个元素由tfidf权重和辨别指数权重的乘积构成,tfidf是文档中词项的词频和类别中词项的文频的统计表示,辨别指数权重是根据步骤(1-1)所述的有关频率的指数所做的一个平滑函数,值在0-1之间;
(1-3)训练文档类别之间的相关性学习:首先将多类之间的文本分类问题分解为多个两类文本分类问题,即对于某一类别ck,将属于类别ck的训练样本作为正样本,不属于类别ck的训练样本作为负样本,然后采用脊回归方法训练两类分类器;对所有类别文档分别训练即得到一组两类分类器,同时计算类别之间的相关性构成已知样本训练码矩阵CM,其中码矩阵的第k行第k′列表示类别ck和ck′之间的相关性;
(2)新文档的类别判定过程:
(2-1)新文档的表示:假设语料中的文档分为K个类别,对于一个新文档,它的类别未知,可以将其投影到所有可能的K个类别,并对应于步骤(1-2)提取的特征词项按拼音音序构成的特征词项索引,,将新文档用矩阵形式表示,矩阵的行表示所有K个可能类别的索引,矩阵的列代表特征词项索引,元素值采用步骤(1-2)所述训练文档中值的计算方法表示;
(2-2)新文档的类别判定:将步骤(2-1)中得到的表示新文档的矩阵投影到步骤(1-3)所得到的那组两类分类器中,并根据已知样本训练码矩阵CM计算新文档属于每个类别的相似度,将相似度最大的类别赋予新文档,作为其判定类别。
所述步骤(1-1)具体包括以下步骤:
(1-1-1)特征粗选择:读入全部训练文档,对于词项tj,将出现tj的文档数量除以训练集合中所有文档数量得到tj在整个训练集合中的相对文频Total-Rel-DFj,当Total-Rel-DFj大于阈值α,则说明tj在全部文档中出现频繁,将tj归入集合Term1;然后对于已知类别的某一类ck,将该类中包含tj的文档个数除以该类总的文档数量得到tj在该类中的相对文频Class-Rel-DFjk,当Class-Rel-DFjk大于阈值β,则说明tj在该类中出现频繁,将tj归入集合Term2;取Term1和Term2的交集,即得到特征粗选择后的词项子集:Term′{Term1,Term2}.
本实施例中文档集合分词后得到的词项总数是72641,根据图2和图3所示,为了包括尽可能多的特征词项,根据阈值与筛选词项数量的比例关系,我们选择α=0.01、β=0.1,筛选后得到词项个数为9868,特征粗选择的目的是排除不可能作为特征的词项,对计算效率的贡献大于计算性能。
(1-1-2)特征精选择:设t是步骤(1-1-1)得到的特征粗选择后词项子集Term′中的一个候选词项,对于一个已知的类别g,计算t与g之间的辨别指数W(t,g),W(t,g)的计算公式如下:
其中:P(t∈g)表示词项t在类别g中的发生概率,表示词项t在除类别g之外的其他所有类别中发生概率的最大值,P(t∈g)由以下公式表示:
其中tf(t∈g)表示词项t出现在属于类别g的文档中的频率,词项t′∈Term′且t′≠t,∑t′tf(t′∈g)表示所有词项t′出现在属于类别g的文档中的频率的总和;
同样,由以下公式表示:
若得到的W(t,g)大于阈值γ,则判定在g类中词项t是代表性词项,记录该词项,按照上述方法,从所有类别中提取代表性词项,最终构成特征集合。如图4所示,辨别指数的有效阈值范围在0.6-0.9之间,阈值选择需以分类性能做一个参照,取最高分类性能的对应阈值控制输出特征词项的数目,一般对应于完备词项集合中10%-20%的词项数目。为找到最高分类性能所对应的阈值,在阈值范围内每隔0.05对阈值大小和分类性能之间的关系做了一个统计,如图5,γ=0.85时能够覆盖89.76%的正确分类率,将其作为阈值从所有类别中采集代表性词项最终构成特征集合,特征集合中共包含1177项特征词项。
所述步骤(1-2)中训练文档的表示方法具体如下:设所有训练文档共有K个类别,每个类别ck对应有Nk个文档(1≤k≤K),则类别ck中的第i(1≤i≤Nk)个文档Dk,i用以下方式表示:
Dk,i=<dk,i,1,dk,i,2,…,dk,i,n>
其中:n表示特征索引的大小;dk,i,j由以下公式表示:
dk,i,j=tfidf(tj,Dk,i)·F(W(tj,g(Dk,i)))
其中:
tf(tj,Dk,i)为词项tj在文档Dk,i中出现的次数,df(tj,ck)是在类别为ck的文档集合中至少出现过一次词频tj的文档个数;F(W(·))是一个平滑函数,用于将词项权重分布转换到0与1之间的固定区间,其中W(·)为步骤(1-1-2)所得到的辨别指数,ζ是一个很小的常数,范围小于等于0.1,用于控制辨别指数高低的比例,实例中可取ζ=0.1。
所述步骤(1-3)具体方法如下:
(1-3-1)文本分类是一个典型的多类分类问题,ck∈C,1≤k≤K,假设有K个需要分类的类别,可以将其分解为K个一对多的两类分类问题。对于某一类别ck,将属于类别ck的训练文档作为正样本,类别标记记为1,反之作为负样本,类别标记记为-1,假定每个训练文档均可以使用步骤(1-2)所述的向量表示,则所有的训练文档可以接连起来构成矩阵X,而对应的转变后的类别标记也可以根据训练文档的顺序构成向量y。
(1-3-2)对于类别ck,给定文档矩阵X和类别向量y,每一类中最佳投影采用脊回归方法求得:
其中θ是一个经验确定的正数,用于控制pk的估计方差,在本实例中θ=0.02。对上式求导使结果为0可得pk的最佳形式:其中I表示全1的矩阵。
(1-3-3)设全部训练文档共有K个类别,构造码矩阵CM记录它们之间的相关性学习结果,具体如下:根据上述步骤,K个类别可得到一组投影向量假设属于类别ck的有Nk个训练样本xl,其中1≤l≤Nk,则类别ck和类别ck′之间的相关性即码矩阵中的元素CMkk′计算如下:
其中是对应于类别ck′两类分类器的投影向量,<·,·>表示两个向量的内积运算,函数sgn是返回整型变量,如果大于0则返回1;否则返回0;将所有的元素CMkk′(1≤k≤K,1≤k′≤K)堆叠起来即构造出表示类别之间相关性的码矩阵,码矩阵的图像示意图如图6所示。
所述步骤(2-1)新文档的表示方法具体如下:对于给定新文档A,在类别未知的前提下,对应于某可能类别ck,新文档表示如下:
Ak=<ak,1,ak,2,...,ak,n>
其中,n是步骤(1-2)中特征词项索引的大小,对应于所有可能的类别1≤k≤K,新文档被表示成为K×n大小的矩阵,其中第k行的第j个元素ak,j的值可以由tfidf权重和辨别指数权重的乘积构成:
新文档A可以根据特征词项索引统计词频tf(tj,A),而上式中的最后两项可以由步骤(1-2)计算得到,从而可以得到每个元素的计算值,形成新文档A的矩阵表示。
所述步骤(2-2)中新文档类别判定的算法具体如下:根据步骤(2-1),新文档A表示为A={A1,A2,...,AK},给定一组投影向量和码矩阵CM,新文档的表示和判定通过以下步骤实现:
(2-2-1)将新文档中的K个向量表示分别投影于对应的两类分类器,得到变换向量集合Q={Q1,Q2,...,Qk,...,QK},其中,对于类别ck有:
(2-2-2)计算新文档A属于类别ck的相似度,如下:
其中CMkk′表示类别ck和类别ck′之间的相关性,Qk′,表示新文档A对应的第ck′个向量表示Ak′投影到第ck′个两类分类器的输出;
(2-2-3)根据步骤(2-2-2)分别计算新文档与每个类别ck的相似度,将相似度最大的类别作为新文档的最后判定类别,如下:
当输入一个新文档,首先根据(5-1)得到其K个向量表示,并且投影到对应的K个两类分类器,引入类别之间的相关性学习结果——码矩阵,计算每个类别与文档的相似度,将最大相似度输出作为新文档的类别判定结果。
图7给出了本发明在中文语料库TanCorp-12中的实验结果。TanCorp共收集文本14150篇,第一层有12个类别,含人才、体育、卫生、地域、娱乐、房产、教育、汽车、电脑、科技、艺术、财经。实验将语料大致平分为三份,两份用于训练,一份用于测试,取三次交叉验证的平均值作为最后统计。表格中对角元素分别表示12个类别的正确分类率,而其它元素则表示一类错分为另一类的结果统计。科技、艺术和地域的正确分类率相对较低,是由语料库中“类别不平衡”的训练样本造成。
在TanCorp-12语料库中,本发明获得MicroF1=94.60%和MacroF1=83.29%的最终结果统计。其中,微平均MicroF1是合并所有的分类结果由此统计基于文本的均值,宏平均MacroF1是分别对每类的分类结果进行度量由此统计基于类别的均值。Z.Guo等提出基于遗传算法的中文文档分类方法,最高的识别性能是90.50%;M.Y.Jia等提出基于多特征选择和多分类器的层次文本分类方法,最高的分类性能是MicroF1=86.80%和MacroF1=80.30%;Cheng等采用Concept Index方法进行文本分类,获得MicroF1=93.89%和MacroF1=90.58%。以上算法均需采用SVM等方法训练构造分类器,算法运行量大。与已有方法相比,基于类别之间相关性学习的中文文本分类精确度相当,但计算复杂度大幅度降低,运行所需时间少,具有很好的应用前景。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。
Claims (8)
1.基于类别之间相关性学习的中文文本分类方法,其特征在于,具体包括以下步骤:
(1)训练过程:
(1-1)特征选择:对于所有的中文词项,存在一本标准词典,词典中包含完备的词项集合,词项集合的全部词项依据拼音音序的先后顺序构成词项索引,特征选择的目标即是从词典中挑选具有代表性的词项构成特征词项,同样依据拼音音序构成特征索引,具体过程是:读入所有的训练文档,对文档进行分词,将训练文档分词后,根据标准词典中的词项索引顺序依次统计出每个词项的词频;挑选出训练文档中出现频繁的词项,构成粗选择后的特征子集,根据粗选择特征子集中各个词项与类别之间有关概率的指数,进一步确定精选择后的代表性词项,所有类别中的代表性词项构成特征集合,并且根据拼音音序构成特征索引;
(1-2)训练文档的表示:将每一个训练文档用一个向量表示,向量的维数即特征选择后词项索引大小,向量中的每一个元素由tfidf权重和辨别指数权重的乘积构成,tfidf是文档中词项的词频和类别中词项的文频的统计表示,tfidf权重是指词频-逆向文本频率权重,辨别指数权重是根据步骤(1-1)所述的有关概率的指数所做的一个平滑函数,向量中每一个元素的值在0-1之间;
(1-3)训练文档类别之间的相关性学习:首先将多类之间的文本分类问题分解为多个两类文本分类问题,即对于某一类别ck,将属于类别ck的训练样本作为正样本,不属于类别ck的训练样本作为负样本,然后采用脊回归方法训练两类分类器;对所有类别文档分别训练即得到一组两类分类器,同时计算类别之间的相关性构成已知样本训练码矩阵CM,其中码矩阵的第k行第k'列表示类别ck和ck'之间的相关性;
(2)新文档的类别判定过程:
(2-1)新文档的表示:假设语料中的文档分为K个类别,对于一个新文档,它的类别未知,将其投影到所有的K个类别,并对应于步骤(1-1)提取的特征词项按拼音音序构成的特征索引,将新文档用矩阵形式表示,矩阵的行表示所有可能K个类别的索引,矩阵的列代表特征索引,元素值采用步骤(1-2)所述训练文档中值的计算方法表示;
(2-2)新文档的类别判定:将步骤(2-1)中得到的表示新文档的矩阵投影到步骤(1-3)所得到的那组两类分类器中,并根据已知样本训练码矩阵CM计算新文档属于每个类别的相似度,将相似度最大的类别赋予新文档,作为其判定类别。
2.根据权利要求1所述的基于类别之间相关性学习的中文文本分类方法,其特征在于,所述步骤(1-1)具体包括以下步骤:
(1-1-1)特征粗选择:读入全部训练文档,对于词项tj,将出现tj的文档数量除以训练集合中所有文档数量得到tj在整个训练集合中的相对文频Total-Rel-DFj,当Total-Rel-DFj大于阈值α,则将tj归入集合Term1;然后对于已知类别的某一类ck,将该类中包含tj的文档个数除以该类总的文档数量得到tj在该类中的相对文频Class-Rel-DFjk,当Class-Rel-DFjk大于阈值β,则将tj归入集合Term2;取Term1和Term2的交集,即得到特征粗选择后的特征子集:Term'={Term1,Term2};
(1-1-2)特征精选择:设t是步骤(1-1-1)得到的特征粗选择后特征子集Term'中的一个候选词项,对于一个已知的类别g,计算t与g之间的辨别指数W(t,g),W(t,g)的计算公式如下:
其中:P(t∈g)表示词项t在类别g中的发生概率,表示词项t在除类别g之外的其他所有类别中发生概率的最大值,P(t∈g)由以下公式表示:
其中tf(t∈g)表示词项t出现在属于类别g的文档中的频率,词项t'∈Term'且t'≠t,∑t'tf(t'∈g)表示所有词项t'出现在属于类别g的文档中的频率的总和;
同样,由以下公式表示:
若得到的W(t,g)大于阈值γ,则判定在g类中词项t是代表性词项,记录该词项,按照上述方法,从所有类别中提取代表性词项,最终构成特征集合。
3.根据权利要求2所述的基于类别之间相关性学习的中文文本分类方法,其特征在于,所述步骤(1-1)中的阈值α、β、γ以最终选出完全词项集合中10%-20%数量的词项为确定标准。
4.根据权利要求2所述的基于类别之间相关性学习的中文文本分类方法,其特征在于,所述步骤(1-1-2)中辨别指数的有效阈值范围在0.6-0.9之间,阈值选择需以分类性能做一个参照,取最高分类性能的对应阈值控制输出特征词项的数目。
5.根据权利要求2所述的基于类别之间相关性学习的中文文本分类方法,其特征在于,所述步骤(1-2)中训练文档的表示方法具体如下:设所有训练文档共有K个类别,每个类别ck对应有Nk个文档(1≤k≤K),则类别ck中的第i(1≤i≤Nk)个文档Dk,i用以下方式表示:
Dk,i=<dk,i,1,dk,i,2,...,dk,i,n>
其中:n表示特征索引的大小,即是步骤(1-1-2)中得到的代表性词项的个数;dk,i,j由以下公式表示:
dk,i,j=tfidf(tj,Dk,i)·F(W(tj,g(Dk,i)))
其中:
tf(tj,Dk,i)为词项tj在文档Dk,i中出现的次数,df(tj,ck)是在类别为ck的文档集合中至少出现过一次词频tj的文档个数;F(W(·))是一个平滑函数,用于将词项权重分布转换到0与1之间的固定区间,其中W(·)为步骤(1-1-2)所得到的辨别指数,ζ是一个小于等于0.1的常数,用于控制辨别指数高低的比例。
6.根据权利要求1所述的基于类别之间相关性学习的中文文本分类方法,其特征在于,所述步骤(1-3)具体方法如下:
(1-3-1)对于某一类别ck,将属于类别ck的训练文档作为正样本,类别标记记为1,反之作为负样本,类别标记记为-1,根据步骤(1-2)所得到的表示每个训练文档的向量,将所有的训练文档接连起来构成矩阵X,而对应的转变后的类别标记可以构成向量y;
(1-3-2)每一类中最佳投影采用脊回归方法求得,它的目标函数表达为:
其中θ是一个正数,用于控制pk的估计方差,pk表示每个类别的投影向量,对上式求导后使结果为0,得到pk的最佳形式为:其中I表示全1的矩阵;
(1-3-3)设全部训练文档共有K个类别,构造码矩阵CM记录它们之间的相关性学习结果,具体如下:根据上述步骤,K个类别可得到一组投影向量假设属于类别ck的有Nk个训练样本xl,其中1≤l≤Nk,则类别ck和类别ck'之间的相关性即码矩阵中的元素CMkk'计算如下:
其中是对应于类别ck'两类分类器的投影向量,<·,·>表示两个向量的内积运算,函数sgn是返回整型变量,如果大于0则返回1;否则返回0;将所有的元素CMkk'(1≤k≤K,1≤k'≤K)堆叠起来即构造出表示类别之间相关性的码矩阵。
7.根据权利要求5所述的基于类别之间相关性学习的中文文本分类方法,其特征在于,所述步骤(2-1)新文档的表示方法具体如下:对于给定新文档A,在类别未知的前提下,对应于某可能类别ck,新文档表示如下:
Ak=<ak,1,ak,2,...,ak,n>
其中,n是步骤(1-2)中的特征索引的大小,对应于所有可能的类别1≤k≤K,新文档表示成为K×n大小的矩阵,其中第k行的第j个元素ak,j的值由以下公式计算:
其中各项的含义和计算同步骤(1-2),每个元素均计算完成后即得到新文档A相对于该类的矩阵表示。
8.根据权利要求1所述的基于类别之间相关性学习的中文文本分类方法,其特征在于,所述步骤(2-2)中新文档类别判定的算法具体如下:根据步骤(2-1),新文档A表示为A={A1,A2,...,AK},给定一组投影向量和码矩阵CM,新文档的表示和判定通过以下步骤实现:
(2-2-1)将新文档中的K个向量表示分别投影于对应的两类分类器,得到变换向量集合Q={Q1,Q2,...,Qk,...,QK},其中,对于类别ck有:
其中,函数sgn是返回整型变量,如果大于0则返回1;否则返回0;
(2-2-2)计算新文档A属于类别ck的相似度,如下:
其中CMkk'表示类别ck和类别ck'之间的相关性,Qk'表示新文档A对应的第ck'个向量表示Ak'投影到第ck'个两类分类器的输出;
(2-2-3)根据步骤(2-2-2)分别计算新文档与每个类别ck的相似度,将相似度最大的类别作为新文档的最后判定类别,如下:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110268825.8A CN102332012B (zh) | 2011-09-13 | 2011-09-13 | 基于类别之间相关性学习的中文文本分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201110268825.8A CN102332012B (zh) | 2011-09-13 | 2011-09-13 | 基于类别之间相关性学习的中文文本分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102332012A CN102332012A (zh) | 2012-01-25 |
CN102332012B true CN102332012B (zh) | 2014-10-22 |
Family
ID=45483788
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201110268825.8A Expired - Fee Related CN102332012B (zh) | 2011-09-13 | 2011-09-13 | 基于类别之间相关性学习的中文文本分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102332012B (zh) |
Families Citing this family (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102651034B (zh) * | 2012-04-11 | 2013-11-20 | 江苏大学 | 一种基于核函数的文档相似检测方法 |
CN103116647A (zh) * | 2013-02-27 | 2013-05-22 | 武汉虹旭信息技术有限责任公司 | 基于移动互联网有害信息的数据挖掘***及其方法 |
CN103279556B (zh) * | 2013-06-09 | 2016-08-24 | 南方报业传媒集团 | 基于自适应子空间学习的迭代文本聚类方法 |
CN104424279B (zh) * | 2013-08-30 | 2018-11-20 | 腾讯科技(深圳)有限公司 | 一种文本的相关性计算方法和装置 |
CN106294307B (zh) * | 2015-05-15 | 2019-05-31 | 北京国双科技有限公司 | 语料筛选方法及装置 |
CN106815593B (zh) * | 2015-11-27 | 2019-12-10 | 北京国双科技有限公司 | 中文文本相似度的确定方法和装置 |
CN106250934B (zh) * | 2016-08-12 | 2019-11-01 | 南方电网科学研究院有限责任公司 | 一种缺陷数据的分类方法及装置 |
CN106469192B (zh) * | 2016-08-30 | 2021-07-30 | 北京奇艺世纪科技有限公司 | 一种文本相关性的确定方法及装置 |
CN106528615B (zh) * | 2016-09-29 | 2019-08-06 | 北京金山安全软件有限公司 | 分类方法、装置及服务器 |
CN106570076A (zh) * | 2016-10-11 | 2017-04-19 | 深圳大学 | 一种计算机文本分类*** |
CN106570075A (zh) * | 2016-10-11 | 2017-04-19 | 深圳大学 | 一种计算机文本检索分类特征选择方法 |
CN107239552A (zh) * | 2017-06-08 | 2017-10-10 | 上海德衡数据科技有限公司 | 一种针对关键词的网络文档语义检索方法 |
CN107330052A (zh) * | 2017-06-29 | 2017-11-07 | 上海德衡数据科技有限公司 | 一种基于语义的网络文档智能检索原型 |
CN107330044A (zh) * | 2017-06-29 | 2017-11-07 | 上海德衡数据科技有限公司 | 一种基于语义的网络文档智能检索架构 |
CN107844801B (zh) * | 2017-10-19 | 2021-04-06 | 苏翀 | 一种垃圾邮件的分类方法 |
CN107844553B (zh) * | 2017-10-31 | 2021-07-27 | 浪潮通用软件有限公司 | 一种文本分类方法及装置 |
CN107908774A (zh) * | 2017-11-30 | 2018-04-13 | 云易天成(北京)安全科技开发有限公司 | 一种文件分类方法、存储介质及设备 |
CN108229588B (zh) * | 2018-02-08 | 2020-04-07 | 重庆师范大学 | 一种基于深度学习的机器学习识别方法 |
CN108647322B (zh) * | 2018-05-11 | 2021-12-17 | 四川师范大学 | 基于词网识别大量Web文本信息相似度的方法 |
US11100287B2 (en) * | 2018-10-30 | 2021-08-24 | International Business Machines Corporation | Classification engine for learning properties of words and multi-word expressions |
CN109977988A (zh) * | 2018-12-29 | 2019-07-05 | 天津南大通用数据技术股份有限公司 | 针对海量类别数据进行分批分类的机器学习方法及*** |
CN109918663B (zh) * | 2019-03-04 | 2021-01-08 | 腾讯科技(深圳)有限公司 | 一种语义匹配方法、装置及存储介质 |
CN110196974B (zh) * | 2019-06-11 | 2023-07-07 | 吉林大学 | 一种用于大数据清洗的快速数据聚合方法 |
TWI725568B (zh) * | 2019-10-08 | 2021-04-21 | 台達電子工業股份有限公司 | 資訊處理系統、資訊處理方法及非暫態電腦可讀取記錄媒體 |
CN112711940B (zh) * | 2019-10-08 | 2024-06-11 | 台达电子工业股份有限公司 | 信息处理***、信息处理法及非暂态电脑可读取记录媒体 |
CN111178060A (zh) * | 2019-12-20 | 2020-05-19 | 沈阳雅译网络技术有限公司 | 一种基于语言模型的韩语分词还原方法 |
CN111325720B (zh) * | 2020-02-11 | 2023-08-11 | 厦门风云科技股份有限公司 | 一种多视觉特征集成的无参考超分辨图像质量评价方法 |
CN111259155B (zh) * | 2020-02-18 | 2023-04-07 | 中国地质大学(武汉) | 一种基于特异性的词频加权方法及文本分类方法 |
CN111382274B (zh) * | 2020-03-23 | 2022-06-10 | 中南大学 | 有标签高维数据的最优投影集合方法及情感文本分类方法 |
CN112463972B (zh) * | 2021-01-28 | 2021-05-18 | 成都数联铭品科技有限公司 | 一种基于类别不均衡的文本样本分类方法 |
CN112883158A (zh) * | 2021-02-25 | 2021-06-01 | 北京精准沟通传媒科技股份有限公司 | 对短文本分类的方法、装置、介质以及电子设备 |
CN113627152B (zh) * | 2021-07-16 | 2023-05-16 | 中国科学院软件研究所 | 一种基于自监督学习的无监督机器阅读理解训练方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101290626A (zh) * | 2008-06-12 | 2008-10-22 | 昆明理工大学 | 基于领域知识的文本分类特征选择及权重计算方法 |
CN101593200A (zh) * | 2009-06-19 | 2009-12-02 | 淮海工学院 | 基于关键词频度分析的中文网页分类方法 |
CN101794311A (zh) * | 2010-03-05 | 2010-08-04 | 南京邮电大学 | 基于模糊数据挖掘的中文网页自动分类方法 |
CN102024045A (zh) * | 2010-12-14 | 2011-04-20 | 成都市华为赛门铁克科技有限公司 | 信息分类处理方法、装置和终端 |
-
2011
- 2011-09-13 CN CN201110268825.8A patent/CN102332012B/zh not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101290626A (zh) * | 2008-06-12 | 2008-10-22 | 昆明理工大学 | 基于领域知识的文本分类特征选择及权重计算方法 |
CN101593200A (zh) * | 2009-06-19 | 2009-12-02 | 淮海工学院 | 基于关键词频度分析的中文网页分类方法 |
CN101794311A (zh) * | 2010-03-05 | 2010-08-04 | 南京邮电大学 | 基于模糊数据挖掘的中文网页自动分类方法 |
CN102024045A (zh) * | 2010-12-14 | 2011-04-20 | 成都市华为赛门铁克科技有限公司 | 信息分类处理方法、装置和终端 |
Also Published As
Publication number | Publication date |
---|---|
CN102332012A (zh) | 2012-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102332012B (zh) | 基于类别之间相关性学习的中文文本分类方法 | |
Bansal et al. | Improved k-mean clustering algorithm for prediction analysis using classification technique in data mining | |
Santra et al. | Genetic algorithm and confusion matrix for document clustering | |
Sumathi | Grid search tuning of hyperparameters in random forest classifier for customer feedback sentiment prediction | |
Yu et al. | Learning to rank using user clicks and visual features for image retrieval | |
Xu et al. | Identifying the semantic orientation of terms using S-HAL for sentiment analysis | |
CN110674407B (zh) | 基于图卷积神经网络的混合推荐方法 | |
CN104951548B (zh) | 一种负面舆情指数的计算方法及*** | |
CN102915445B (zh) | 一种改进型的神经网络高光谱遥感影像分类方法 | |
CN107861951A (zh) | 智能客服中的会话主题识别方法 | |
CN103309953B (zh) | 一种基于多rbfnn分类器集成的多样化图像标注和检索方法 | |
Hu et al. | TW-Co-MFC: Two-level weighted collaborative fuzzy clustering based on maximum entropy for multi-view data | |
CN104285224B (zh) | 用于对文本进行分类的方法 | |
CN107451278A (zh) | 基于多隐层极限学习机的中文文本分类方法 | |
Chen et al. | Clustering-based binary-class classification for imbalanced data sets | |
Aliane et al. | A genetic algorithm feature selection based approach for Arabic sentiment classification | |
Jayashree et al. | An analysis of sentence level text classification for the Kannada language | |
Singh et al. | Feature selection based classifier combination approach for handwritten Devanagari numeral recognition | |
Zhang et al. | Research on borrower's credit classification of P2P network loan based on LightGBM algorithm | |
Ahmadi et al. | Persian text classification based on topic models | |
Kostkina et al. | Document categorization based on usage of features reduction with synonyms clustering in weak semantic map | |
Huang et al. | A Model for Legal Judgment Prediction Based on Multi-model Fusion | |
Holts et al. | Automated text binary classification using machine learning approach | |
Hirsch et al. | Evolving Lucene search queries for text classification | |
Parsafard et al. | Text classification based on discriminative-semantic features and variance of fuzzy similarity |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20141022 Termination date: 20150913 |
|
EXPY | Termination of patent right or utility model |