CN102087669B - 基于语义关联的智能搜索引擎*** - Google Patents

Abstract

一种通过预定义的学科本体确定学科领域概念，从而实现基于语义关联的智能搜索引擎***，使用步骤为：(1)利用语义关联编辑器创建学科本体；(2)为学科本体增加预定义关联词族；(3)确定本体相关主题及引用资源；(4)利用预定义的本体词族抽取索引文章的相关主题；(5)将抽取到的主题词保存为属性索引；(6)利用主题词或关键字对内容进行检索，并将文章聚类到相关本体下。本方法可以有效地对学科本体进行定义，提高受控环境中(如学校专业课件资源)内容检索准确性，同时提高资源间关联程度。

Description

基于语义关联的智能搜索引擎***

技术领域

本发明涉及智能搜索引擎领域，更具体地讲，涉及实现一种通过本体词族提取文本主题词，并利用主题词库辅助检索和引导搜索过程的搜索引擎***。

背景技术

搜索引擎是对文本文件进行索引，之后通过预置的倒排索引在海量数据中定位所需内容的计算机***。索引是由分词***对文本进行扫描分析后获得的。索引覆盖了文本内容所利用的相关词汇，其数据量巨大且歧义较多，在检索时只有完全匹配才能查到相关内容。这对文本内容的检索利用造成了很大的困难。在现实应用中，用户更希望将查询结果自动聚类为自己感兴趣的专业类别，再通过类别的引导获取更多有用信息。因此，需要对文本内容进行分析，通过文本的特征关键字，提取内容的主题。在索引过程中，由于计算机无法了解词汇的语义联系，因此，只能通过词汇索引提供简单的匹配搜索。

本体是关于领域知识的概念化、形式化的明确规范，由领域内的概念或词汇以及它们之间的关系构成。领域知识本体作为某学科内一组词汇的组织者，根据不同的搜索算法和匹配原则在目标内容中搜索所有相似的匹配块。目前，通过词汇相关性的同意词检索技术已经比较成熟，同意词检索算法是对利用同意词表搜索范围内的每一个分词单位进行匹配运算以得到一个最优的结果，但这种匹配无法表达词汇的上下为类及参考等复杂关系。

对于受控环境中的内容，内容类别间往往有较明确的识别词汇，所以，内容间有较强的类别归属。通过对标示数据的检索，获得文本内容的更多元数据，为海量数据***提供了更多的检索点，是建立文档知识体系的重要支撑要素。

发明内容

本发明的技术解决问题：克服现有技术的不足，提供一种预定义学科本体，通过本体词汇的相互关联，提高搜索引擎检索效果的方法及软件实现，该***可以有效地对文本内容进行领域知识提取，提高全文检索的质量，并实现概念化检索能力。

为了取得上述技术效果，本发明所采用的技术方案是：实现基于语义关联的智能搜索引擎***，其特点在于包括：

自定义概念词表模块：一个概念词表编辑器，提供用户自定义概念词汇、建立词汇间关联的界面，包括：核心概念词定义，核心概念词是一组相关词族中的标示词汇，在定义核心概念词后，可针对一个概念定义其从属词汇、相关概念及概念间关联。其输入为用户希望定义的概念***相关词汇，输出为使用OWL描述的概念体系，包括：核心概念词、概念从属词汇、概念从属关系及相关资源定位符等。

概念词表导出模块：概念词表导出模块是用户概念定义与语义搜索引擎间进行数据交换的模块，概念词表导出模块将用户定义的概念词树导出为使用XML描述的结构化文件，以提供搜索引擎模块使用。

概念索引模块是对文本进行概念化索引处理的模块，其输入为生文本文件，概念索引模块对文本文件进行概念提取，提取后的概念词形成索引文件，以备将来检索使用。包括以下三个子模块：

搜索引擎分词模块：将输入的文本分拆为中文词汇，涉及人名、地名、单位名的识别及歧义词汇的判定。分词的基础为中文分词词表，***将按分词词表中的定义对文本进行切分和词汇判定。

概念映射模块：将文本词汇与概念模型进行匹配，算法有：简单词汇匹配算法、基于关键词的匹配算法、以及基于词频同现的相关度算法。***将存储在数据库中的概念树结构常驻内存，并与分词结果进行匹配，输出匹配成功的概念词串。

概念索引生成模块：根据概念映射模块形成的概念词汇生成索引文件，索引文件结构为：文件编号、核心概念词串、文件位置链接、相关描述内容等。

概念检索模块是对概念索引进行检索的模块，用户可以通过概念树导航、概念范围收缩及关键词检索功能。

概念检索模块依然会使用分词引擎对用户输入的非规范词进行分词处理，处理结果将发送至概念映射模块进行匹配。

检索结果模块在概念索引文件中提取与概念词汇匹配的内容，并提取概念相关词与内容进行匹配进行高亮显示，将结果显示在用户界面中，显示内容有：文件位置链接、文本相关元数据、文本概念相关词汇、文本中概念相关词(蓝色高亮)、原始检索词(红色高亮)。

概念导航模块将概念树分层级进行展示，用户可展开概念树并选择某节点进行查询，是***辅助用户查询的方法。

结果集收敛模块是将用户查询结果在不同维度涉及的概念全部展现出来，用户选择某一维度的概念从而限定查询结果，是***优化查询结果的一种方法。

以上描述中主要权利要求模块为：概念定义模块、概念导出模块、概念映射模块、概念索引生成及检索模块。

本发明的原理是：领域词汇中的术语有较强的区隔关系，相关术语出现频次较多时会将文本指向特定主题，所以可以根据术语关键词与主题的对应关系，构造内容的本体概念词族，以便提升文本的标注效率，对文本内容提供基于领域本体的概念化检索。

本发明与现有技术相比的优点在于：充分利用学科本体与关键词汇的对应关系，基于词汇关联建立起内容间的松散脉络，根据相关词汇的对应关系，构造搜索核心对文本进行搜索测试，同时以搜索的已匹配内容及关联数据为起点对相似内容或概念进行扩展搜索，获取导向性查询结果，从而可以有效地提高查询质量。

附图说明

图1为本发明的***组成框图；

图2为本发明的实现流程图；

图3为本发明的搜索引擎工作原理；

图4为本发明的语义编辑器的工作示意图；

图5为本发明的语义编辑器添加关联词表的示意图；

图6为本发明的创建新概念词的示意图；

图7为本发明的导出概念词设置为XML格式的示意图；

图8为利用配置进行概念检索及元数据提取的示意图；；

图9为本发明的利用概念进行检索的示意图；

图10为本发明的利用概念进行检索的示意图；

具体实施方法

如图1所示，本发明主要利用Java语言、数据库、OWL处理引擎及搜索引擎技术实现。

自定义概念词表模块：概念词表模块的核心是一个Java语言编写的词汇本体编辑处理器。词汇本体定义了词族核心词汇、从属词汇及概念词汇间关联。自定义概念词表模块内置了本体关系处理接口，将用户的词汇输入和关联建模行为转化为OWL模型，并等待导出。用户可以使用浏览器访问该模块并进行相关操作，数据将在后台JAVA服务器进行处理。

概念词表导出模块：概念词表导出模块是用户概念定义与语义搜索引擎间进行数据交换的模块，概念词表导出模块将用户定义的概念词树导出为使用XML描述的结构化文件，该文件即可以存储在本地文件***中，同时也会存储于数据库中。

概念索引模块是对文本进行概念化索引处理的模块，当输入文本时，即可以让用户通过网络上传本地文件，也可以对某一存储空间下的文件进行批量处理。该过程调用JAVA文件API进行。其子模块处理过程为：

搜索引擎分词模块：将中文分词词表常驻内存，通过对输入文本的扫描与内存词表匹配，将输入的文本分拆为中文词汇，涉及人名、地名、单位名的识别及歧义词汇的判定。输出分词结果。

概念映射模块：将文本词汇与概念模型进行匹配，用户可以选择使用简单词汇匹配算法、基于关键词的匹配算法、以及基于词频同现的相关度算法进行概念模型匹配。简单词汇匹配算法对文本分词后，用全部分词后形成的词汇与概念词及从属词表进行匹配，只要出现相同词汇，即认为文本中有相应概念存在；关键词匹配算法为抽取文本中出现率最高的前10个有效词汇作为关键词，只将关键词与概念词表进行匹配。基于词频同现的相关度算法需要借助语料库形成词频同现数据库，即形成经常同时出现在文章中的词汇组合，***抽取关键词后，不单使用关键词进行概念匹配，同时也利用相关词汇组合进行映射。

概念索引生成模块：根据概念映射模块形成的概念词汇生成索引文件，索引文件结构为：文件编号、核心概念词串、文件位置链接、相关描述内容等。

概念检索模块依然会使用分词引擎对用户输入的非规范词进行分词处理，处理结果将发送至概念映射模块进行匹配。

检索结果模块在概念索引文件中提取与概念词汇匹配的内容，并提取概念相关词与内容进行匹配进行高亮显示，将结果显示在用户界面中，显示内容有：文件位置链接、文本相关元数据、文本概念相关词汇、文本中概念相关词(蓝色高亮)、原始检索词(红色高亮)。

概念导航模块将概念树分层级进行展示，用户可展开概念树并选择某节点进行查询，是***辅助用户查询的方法。

结果集收敛模块是将用户查询结果在不同维度涉及的概念全部展现出来，用户选择某一维度的概念从而限定查询结果，是***优化查询结果的一种方法。

以上描述中主要权利要求模块为：概念定义模块、概念导出模块、概念映射模块、概念索引生成及检索模块。

本发明涉及的具体技术有：通过本体概念定义构建文本内容主题层，通过本体方法构建词汇间的上下位类关系，通过分词后的词汇匹配建立文本的本体概念数据，并通过主题的Facet技术实现概念化检索。

传统文本描述方法使用叙词表方法进行关联元数据说明，叙词表由叙词及叙词之间关系组成，采用参照符号显示并清楚地区分叙词间基本语义关系。叙词表中包括以下3种关系：

(1)等同关系(Equivalence Relationship)，又称同一关系、用代关系，包含同义、近义以及用代关系，这种关系含有概念相同或用法相同的关系。揭示等同关系有利于增加检索入口和根据检索***需要对标引和检索的专指度进行控制。

(2)等级关系(Hierarchical Relationship)，又称属分关系，这种关系包含属种、整部和多层级关系，每种层级关系的下位词都必须与上位词的概念类型相同，即两者都必须属于同一范畴内的事物、行为或性质。揭示等级关系有助于通过它扩大和缩小查找范围，提高族性检索能力。

(3)相关关系(Associative Relationship)，又称类缘关系，是确立由标引和检索角度需要相互关联的一种关系。相关关系是揭示叙词间各种主要联系、扩大检索范围、进行相关信息查找的重要手段。

利用本体方法，可以将以上叙词方法对应到***平台上实现，利用XML文件对词汇关系进行描述，如以上的等同关系、等级关系、相关关系分别在语义编辑器中的关联词表、上级主题词表及关联主题词表中实现。

***通过自动匹配关键词获得文本的相关概念，并将这些概念词设置为文本的元数据，同时增加文本的属性索引。

***利用搜索引擎分面检索特征，可直接越过关键词，利用概念对文本进行分类或智能检索。

图2显示了本发明的整体使用过程，具体如下：

(1)利用语义编辑器创建相关本体，定义学科本体的标示名称。

(2)对某本体概念增加关联词汇，关联词汇应选取可界定类别边界的术语，编辑器可对关联词汇进行增删。

(3)也可利用语义编辑器建立起本体概念间的上下位类关系或相关关系，可以为本体概念增加参考资源。

(4)搜索引擎把定义好的学科本体加载到内存中以随时进行匹配计算。

(5)对要索引的文本进行分词。

(6)根据分词情况进行词频统计。

(7)根据词频情况计算文章关键词。

(8)当索引文本时，将概念词汇及其词族与文本分词进行匹配，当匹配成功时，将本体概念作为属性索引加入索引数据。

(9)当匹配失败时，将抽取的关键词进行保存。

(10)人工筛选关键词，将新词加入到概念词表。

(11)***可自动将提取的本体概念作为文章属性进行保存，也可以按该属性进行概念检索。

(12)用户键入查询字符串进行检索。

(13)对用户键入的查询字符串进行概念映射。

(14)映射成功时按概念模式进行检索。

(15)映射失败按普通文本匹配方式进行检索。

图3展示了语义搜索引擎的工作模型，从语义关键词抽取到学科概念节点匹配与存储，同时也展现了用户利用搜索引擎进行检索的过程。从本图中可以看出，索引和检索是对索引词进行存储和利用的双向过程。

图4展示了主题词编辑器，可以对学科主题词进行定义、修改、导入、导出等操作，还可以定义主题词的相关词族，同时定义其上下位类及相关资源。

图5说明了为主题词添加关联词汇的过程。

图6说明了新主题词的定义过程。

图7展示了定义好的主题词表的文件结构。

图8展示了主题检索的视图，对于检索到的内容，可以按各语义层面进行进一步查询，比如：相关关键词、相关年级及学科等。

图9展示了根据主题词缩小检索范围后的查询结果。

图10展示了从另一角度(年级)进行概念收敛后的查询结果。

Claims (1)

1.一种基于语义关联的智能搜索引擎***，其特征在于包括：自定义概念词表模块、概念词表导出模块、概念索引模块及概念检索模块；

自定义概念词表模块：是一个概念词表编辑器，提供用户自定义概念词汇、建立词汇间关联的界面，所述自定义概念词表模块功能包括核心概念词定义，所述核心概念词是一组相关词族中的标示词汇，在定义核心概念词后，针对一个概念定义其从属词汇、相关概念及概念间关联，概念词表编辑器输入为用户希望定义的概念***相关词汇，输出为使用OWL描述的概念体系，所述概念体系包括：核心概念词、概念从属词汇、概念从属关系及相关资源定位符；

概念词表导出模块：为自定义概念词表模块与概念索引模块间进行数据交换的模块，它采用XML描述的结构化文件，将用户定义概念词表导出为使用XML描述的结构化文件，以提供概念索引模块使用；

概念索引模块，是对文本进行概念化索引处理，其输入为文本文件，对文本文件进行概念提取，提取后的概念词形成索引文件，以备将来检索使用，它包括以下三个子模块：索引文本分词模块：将输入的文本分拆为中文词汇，涉及人名、地名、单位名的识别及歧义词汇的判定，分词的基础为中文分词词表，***将按分词词表中的定义对文本进行切分和词汇判定；索引概念映射模块:将文本词汇与概念模型进行匹配，将存储在数据库中的概念树结构常驻内存，并与分词结果进行匹配，输出匹配成功的概念词串，所述匹配包括简单词汇匹配算法、基于关键词的匹配算法及基于词频同现的相关度算法；概念索引生成模块：根据索引概念映射模块形成的概念词汇生成索引文件，所述索引文件内容包括：文件编号、核心概念词串、文件位置链接及相关描述内容；

概念检索模块，对概念索引进行检索，用户通过概念树导航、概念范围收缩及关键词实现检索功能，所述概念检索模块包括查询字符串分词模块、查询概念映射模块、概念检索结果展示模块、概念导引模块、结果集收敛模块；查询字符串分词模块对用户输入的非规范词进行分词处理，处理结果将发送至查询概念映射模块进行匹配；概念检索结果展示模块，在概念索引文件中提取与概念词汇匹配的内容，并提取概念相关词与内容进行匹配进行高亮显示，将结果显示在用户界面中，显示内容有：文件位置链接、文本相关元数据、文本概念相关词汇、文本中概念相关词、原始检索词；概念导引模块将概念树分层级进行展示，用户可展开概念树并选择某节点进行查询，是***辅助用户查询的方法；结果集收敛模块将用户查询结果在不同维度涉及的概念全部展现出来，用户选择某一维度的概念从而限定查询结果。

Images