CN108595708A - 一种基于知识图谱的异常信息文本分类方法 - Google Patents

Abstract

本发明提出一种基于知识图谱的异常信息文本分类方法，首先构建领域知识图谱，构建出基于所述领域知识图谱的实体识别和实体链接，然后构建文本特征表示向量v_text和实体特征表示向量v_ent，最后将文本特征表示向量与实体特征表示向量拼接得到融入了知识特征的新的文本表示向量v_merge，对所述新的文本表示向量进行分类训练，得到最终的分类结果。

Description

一种基于知识图谱的异常信息文本分类方法

技术领域

本发明涉及一种分类方法，尤其涉及一种基于知识图谱的异常信息文本分 类方法。

背景技术

随着互联网的发展和网络信息的不断增长，网络技术的迅速发展使人们对 网络日益依赖，伴随着网络上不断增加的信息共享与业务宣传，网络内容的安 全问题已凸显出来。因此急需一种高准确度与强扩展性的异常信息识别方法为 社会与个人提供网络安全的保障。

现有技术中，异常信息检测主要有两类方法：一类是采用关键词过滤或是 以人工方式对异常信息进行建模的方式，人工制定过滤关键词列表匹配文本信 息；另一类是基于统计和机器学***衡。采用关键词过滤的方法对异常信息 进行识别的方式依赖人工制定过滤关键词列表，机械且扩展性差，并且网络上 的新词层出不穷，单凭人工制定关键词列表无法将异常信息完全覆盖，并且也 无法理解从语义分析的角度筛选有害信息。目前基于内容的信息过滤模型也依 赖大量人工制定的规则来完成建模，网络有害内容形式多样，人工制定的规则 无法样样穷举至尽。另外数据挖掘技术与机器学习的神经网络模型也在异常信 息的识别方面得以应用，但忽略文本中涉及的领域先验知识，大多数方法仅从 文本的表面特征入手，通过文本中词语的词频或语义向量对文本进行语义建模， 只能简单利用如共现关系等浅层特征，难以捕捉文本中蕴含的更深层的语义信 息，如文本所提及事物的共性关系、包含关系以及文本未提及的常识性质的先 验知识等。

目前，知识图谱已经成为实现大数据分析中的语义链接，实现互联网多源 异构数据到客观世界的具体事物描述的转换中的重要工具。知识图谱的建立对 数据的统一描述、有效融合、关联发现和知识推理奠定了有效的研究方法，知 识图谱用可视化技术描述知识资源及其载体，挖掘、分析、构建、绘制知识及 其间相互联系。随着WordNet、DBPedia等大规模知识库的出现与发展，大量知 识可以开放获取，从知识库中获取的知识特征也被越来越多的运用到自然语言 处理的任务中。随着基于神经网络的自然语言模型通过词嵌入(wordembedding) 方法将文本特征进行向量化表示的成功，在知识特征的表示方法上取得了同样 的显著效果，如TransE到TranR等一系列知识库实体与关系的embedding方法 研究。但现有技术的几类知识表示学习方法大多用于关系推理、链接预测等知 识库领域内部问题，且大多单独对知识信息进行建模，没有应用于异常信息文 本识别中。

发明内容

本发明提出一种基于知识图谱的异常信息文本分类方法，首先构建领域知 识图谱，构建出基于所述领域知识图谱的实体识别和实体链接模型，然后构建 文本特征表示向量v_text和实体特征表示向量v_ent，最后将文本特征表示向量与实 体特征表示向量拼接得到融入了知识特征的新的文本表示向量v_merge，对所述 新的文本表示向量进行分类训练，得到最终的分类结果。

本发明基于知识图谱的实体识别与链接和基于文本与知识图谱联合特征的 短文本分类，从而实现基于文本与知识图谱的短文本异常信息检测。本发明引 入外部知识库辅助进行文本的深层语义挖掘与特征表示。通过知识库内部丰富 的实体关系、类别、属性等扩展信息支撑文本中的深层语义关系的提取，通过 基于知识图谱的实体消歧与链接方法解决词语的歧义问题，通过知识库中完备 的简称与别名的映射关系来处理文本中的指代词，最后将链接实体的知识库信 息作为辅助特征补充到模型的训练过程中，从而提高实现异常文本分类的可靠 性。

附图说明

图1为本发明一实施例的领域实体关系体系图；

图2为本发明一实施例的属性融合与消岐流程图；

图3为本发明的实体识别模型架构；

图4为本发明的基于文本与知识图谱联合特征分类流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅 仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实 施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示针对政治类与涉税类领域的异常信息文本检测实施例，需要构 建领域知识图谱，建立领域实体库。构建过程通过抽取新闻门户网站、微博、 微信公众号和论坛中政治、经济相关数据，并结合目前互联网中主要的几类中 文百科网站(百度百科、互动百科、中文***)中的半结构化数据作补充。 网络数据具有多源性，来源于新闻门户网站、微博、微信公众号和论坛等多个 通道，不同平台上会有不同的陈述方式和数据内容结构，所以需要将多源的数 据进行处理并实现融合。首先采用基于规则的爬取工具从网络页面中提取结构 化的数据，并设计简单规则对原始数据进行清理(过滤特殊字符，简繁转换等) 与归一化(统一时间，日期等表述形式)，再将从中文百科网站中获取的与爬取 到的与政治、经济类新闻，微博相关的词条作为实体，利用百科网站数据中原 有的词条标签使用简单K-means聚类算法为每个实体的划定类别，构成分类体 系。百科中关于词条的不同方面描述用来构成实体的各项属性，百科中关于词 条描述中的超链接可以用来建立各个实体之间的关联关系，将孤立的实体连接 成图谱。基于此时从多源异质数据中已经得到初步成型的知识图谱，为后续工 作提供基础。

由于不同来源数据的表达形式与数据质量不一，需要进行知识融合。知识 融合包含实体对齐与属性的融合消岐两个主要工作，实体对齐使用实体名、实 体类别以及实体描述三个维度特征通过语义相似度算法判断找出应对齐的实体 列表，将同一实体所有待融合的实体项属性信息整理成集合，使用如图2所示 的属性融合与消岐流程，最终得到完整的实体数据存入数据库。这样知识库的 构建过程基本完成，储存介质使用neo4j图数据库，对构建完成的知识库的查 询通过调用neo4j提供的API访问接口的方式进行。

抽取出文本关联到的知识图谱信息需要通过实体识别方法对文本中涉及到 的实体词或词组进行标注，并在知识库中链接到其对应的具体实体上。实体识 别的主要任务是将自然语言文本中提到的人名、地名、组织机构名等命名实体 识别出来，并视需要进行实体名的简单分类。目前几乎所有的处理方式都是将 这个问题看作类似分词的序列标注问题，使用“BIO”标记法对句子中的每个 词进行标记，“B”代表某个实体名的开始，“I”代表某个实体名的中间或结束， “O”代表实体名以外的词语，再使用机器学习模型在标注的数据集上进行训 练，如条件随机场(CRF)或循环神经网络模型。本发明使用如图3所示的BILSTM+CRF的结合模型，先对文本使用长短期记忆神经网络(LSTM)进行 编码，文本中每个单词的词向量作为LSTM的输入，然后输出为每个单词是某

实体链接的主要工作是根据命名实体词找到在知识库中对应的实体，其间 会涉及到同名实体的消歧，如判断“张三是一个伟大的领袖”中的“张三”应 链接到领导人张三实体上还是人物传记张三实体上。本发明通过统计学习的方 式在标准的数据集下建立概率模型，完成消岐，识别出概率最高的实体，返回 实体id。在缺乏完整标注的数据集的情况下，先通过知识库检索列举出所有的 候选实体，然后利用实体知名度、实体类别与原始文本的关联度或实体信息与 原始文本的相似度等指标进行基于规则的排序与筛选。

传统文本表示方法即通过one-hot向量或TF-IDF值序列进行向量化表示， 首先对数据集所有文本分词后得到的词语进行统计，过滤低频词停用词后得到 词表，设词表大小为n，则文本的表示向量v_d∈Rⁿ第i维上的数字表征了词表 中第i个词语在文本中的出现情况，1为出现0为未出现，或使用该词语的 TF-IDF值代替以取得更好效果。但这种表示方法会带来维度过高，数据稀疏， 以及对语义相似性的编码能力较弱等显著问题。

为解决上述问题，本发明使用词嵌入方法，将单个词语进行向量化表示， 将词语之间的相似性转化成向量之间余弦距离的度量。本发明使用最近一年的 新闻数据和中文***数据，利用word2vec进行词向量训练。

文本被视为依次出现的词语序列(w₁，w₂，w₃......)，设词语w_i的word2vec 向量表示为v_wi，向量长度为k，将文本所有词语的词向量拼接起来得到文本特 征表示向量v_text∈R^s×k。

知识图谱主要的目标是用来描述真实世界中间存在的各种实体和概念，以 及它们之间的关联关系。知识图谱通过“实体-关系-实体”三元组，将现实世 界中的实体与概念映射到一个语义网络中，能够有效解决开放互联网大数据信 息价值密度低的问题，特别适用于实体相关、语义相关的信息检索任务。但实 体关系很难应用到文本分类算法中，本发明将知识库中的语义信息表示为稠密 低维实值向量，面向知识图谱中的实体和关系进行表示学习。

本发明使用TransE模型对实体和关系向量表示，将每个三元组实例(head，relation，tail)中的关系relation看做从实体head到实体tail的向量相加，通过 不断调整head、relation和tail的向量，使(h+r)与t相等，即h+r＝t。

经过TransE算法对知识图谱中的实体和关系进行表示学习后，每一个实体 和关系都可以用一个k维向量表示v_ei。于是可以得出知识特征的向量表示：基 于知识图谱的实体识别与链接的方法，文本(w₁，w₂，w₃......)能够文本链接到 的实体为(e₁,e₂,……,e_t)，将所有实体的实体向量拼接起来得到实体特征向量表示 v_ent∈R^t×k。

将文本特征表示向量与实体特征表示向量拼接得到融入了知识特征的文本 表示形式：

用新的文本表示向量v_merge代替原来基于纯文本特征的表示向量v_text， 参与到目的模型的训练中，以完成对目标文本的特征扩充，增加对深层语义信 息的支持，提高模型质量与完备性。

如图4所示为本发明的分类模型对v_merge进行分类训练。使用CNN深度 学习模型进行分类训练，v_merge将向量拼接成文本的表示矩阵，输入到CNN 层，最后将结果输入到全连接网络分类器进行模型训练，得到最终分类结果， 保证了模型对文本深层语义信息的捕捉，提高分类质量与可靠性。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限 制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员 应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中 部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本 质脱离本发明各实施例技术方案的精神和范围。

Claims (6)

1.一种基于知识图谱的异常信息文本分类方法，其特征在于，首先构建领域知识图谱，构建出基于所述领域知识图谱的实体识别和实体链接，然后构建文本特征表示向量v_text和实体特征表示向量v_ent，最后将文本特征表示向量与实体特征表示向量拼接得到融入了知识特征的新的文本表示向量v_merge，对所述新的文本表示向量进行分类训练，得到最终的分类结果。

2.如权利要求1所述的方法，其特征在于，所述构建领域知识图谱通过抽取不同平台上的多源数据进行处理并进行融合，确立实体类别与实体间关联，然后进行知识融合；所述知识融合包括实体对齐与属性的融合消岐两个步骤，所述实体对齐步骤中使用实体名、实体类别以及实体描述三个维度特征通过语义相似度算法判断找出应对齐的实体列表，将同一实体所有待融合的实体项属性信息整理成集合。

3.如权利要求1所述的方法，其特征在于，所述构建基于所述基于图谱的实体识别通过使用BILSTM+CRF的结合模型，先对文本使用LSTM算法进行编码，文本中每个单词的词向量作为LSTM的输入，然后输出为每个单词是某个标记的概率，并作为CRF的输入，随机化转移概率矩阵，根据推断算法求出概率最高的标记序列；构建基于所述基于图谱的实体链接通过统计学习的方式在标准的数据集下建立概率模型，完成消岐，识别出概率最高的实体，返回实体id。

4.如权利要求1所述的方法，其特征在于，所述构建文本特征表示向量使用词嵌入方法，将单个词语进行向量化表示，将词语之间的相似性转化成向量之间余弦距离的度量，通过神经网络对文本特征进行学习，同时降低词向量维数；设词语w_i的word2vec向量表示为v_wi，向量长度为k，将文本所有词语的词向量拼接起来得到文本特征表示向量所述s为词语的数量，所述v_text∈R^s×k。

5.如权利要求4所述的方法，其特征在于，构建所述实体特征表示向量的方法为，经过TransE算法对知识图谱中的实体和关系进行表示学习，每一个实体和关系用一个k维向量表示v_ei，文本(w₁，w₂，w₃......)能够文本链接到的实体为(e₁,e₂,……,e_t)，将所有实体的实体向量拼接起来得到所述实体特征表示向量所述t为实体的数量，v_ent∈R^t×k。

6.如权利要求5所述的方法，其特征在于，将文本特征表示向量与实体特征表示向量拼接得到融入了知识特征的新的文本表示向量v_merge的方式为然后使用CNN深度学习模型进行分类训练，将v_merge向量拼接成文本的表示矩阵，输入到CNN层，最后将结果输入到全连接网络分类器进行模型训练得到最终分类结果。