CN101916294A - 一种利用语义分析实现精确搜索的方法 - Google Patents

Abstract

本发明公开了一种利用语义分析实现精确搜索的方法，包括如下的步骤：(1)接受用户输入的目标信息描述词，对目标信息描述词进行分词操作；(2)判断目标信息描述词是否具有完整的语义；(3)如果是则直接进行后续的检索；如果不是，则向用户提供与目标信息描述词相关联的词汇；(4)用户进行二次输入，从而确定目标信息描述词的语义，根据该语义进行后续的检索。本网络搜索方法仅仅通过增加很少的用户操作就可以实现很精确的搜索结果，在满意度上基本能覆盖尽可能多的用户需求。

Description

一种利用语义分析实现精确搜索的方法

技术领域

本发明涉及一种网络搜索方法，尤其涉及一种利用语义分析实现精确搜索的方法，属于网络搜索技术领域。

背景技术

互联网已经成为一个规模巨大、分布广泛的信息服务中心。当前，互联网中的数据总量以几百兆兆字节来计算，而且仍以很快的速度增长。为了帮助用户从这个漫无边际的数据海洋中快速获取所需的信息，搜索引擎发挥着不可替代的作用。

搜索引擎(search engine)是指根据一定的策略、运用特定的计算机程序搜集互联网上的信息，在对信息进行组织和处理后，并将处理后的信息显示给用户，从而为用户提供检索服务的信息服务***。现有的搜索引擎是根据用户输入的关键词进入自身的数据库***进行检索，并将检索的结果反馈给用户。在这个过程中，最大的问题是用户不知道应该输入什么样的关键词，才能准确表达自己需要搜索的信息。而搜索服务提供者需要根据用户输入的信息进行分析判断，并根据判断结果来提供搜索信息。因此，搜索服务提供者的判断与用户的需求之间经常是答非所问。

如图1所示，搜索服务提供者根据用户输入的信息进行搜索时，往往是根据其输入的内容进行分析，即进行分词，将输入信息分为所谓的“元词汇”后，根据这些“元词汇”来进行大规模的检索运算。当输入的信息越多时，进行的检索运算也越多，因此搜索引擎的计算能力开销较大。例如当用户一次输入两个词汇时，搜索引擎理论上要进行一次千万数量级的矩阵运算。因此，现在的搜索引擎在硬件上投入越来越大，而搜索效果并未获得明显的改善。另一方面，“元词汇”的集合，即通常所说的“词表”也在快速增加之中。目前，最大规模的词表已达到千万数量级。对于这个集合了人类信息空间中所有“元词汇”的“元词汇库”，最大的问题是词汇内容快速增加且有不可阻挡之势，因此这个“元词汇”已经很难起到作为信息空间的“元数据”的作用。如果硬性地将这个词汇库规定为某一个固定范围，又不能反映快速发展变化的社会现实，不能准确充分地满足用户的需要。

随着网络搜索技术的不断发展，出现了智能搜索的概念。所谓的智能检索是利用分词词典、同义词典、同音词典改善检索效果，进一步还可在知识层面或者概念层面上辅助查询，通过主题词典、上下位词典、相关同级词典检索处理形成一个知识体系或概念网络，给予用户智能知识提示，最终帮助用户获得最佳的检索效果。例如查询“计算机”，与“电脑”相关的信息也能检索出来；还可以进一步缩小查询范围至“微机”、“服务器”或扩大查询至“信息技术”或查询相关的“电子技术”、“软件”、“计算机应用”等范畴。另外，现有的某些搜索引擎也提供所谓的“联想”功能，即根据以前的用户选择结果进行统计分析，并根据这些分析结果进行预测，提供最可能的结果来供用户进行选择。但这实际上并不能解决网络搜索的准确性问题，因为对于大量人群来讲，存在一定的统计规律，而对于某一个具体用户的某一次搜索而言，统计规律并没有太多的意义。

在专利申请号为200910192409.7的中国发明专利申请中，提出了一种基于语义分析的智能检索***，其包括：输入模块，用于输入文字或指令；功能对象数据库，用于存储功能对象；语义分析搜索模块，用于对所述输入模块输入的文字进行语义分析，并从功能对象数据库中搜索出与该语义相关的功能对象；显示装置，用于显示语义分析搜索模块搜索出的功能对象；选择调用模块，用于根据所述输入装置输入的指令从显示装置显示的功能对象中选择目标功能对象，并调用该目标功能对象。该专利申请同时还提供了一种基于语义分析的智能检索方法，可以根据输入文字的语义来预测用户操作意图，搜索出与该语义相关联的功能对象并提供给用户备选，方便用户快速、准确地找到目标功能对象。从而不再需要用户准确地记住各级菜单，也不用操作多级菜单查找目标对象。

发明内容

本发明所要解决的技术问题在于提供一种利用语义分析实现精确搜索的方法。该方法首先对用户输入的内容进行语义分析和关联词汇检索，并由用户进行选择，从而进一步明确网络搜索的目标，使搜索引擎能够准确地从数据库中将用户心目中最想要的信息提供给用户。

为实现上述的发明目的，本发明采用下述的技术方案：

一种利用语义分析实现精确搜索的方法，其特征在于包括如下的步骤：

(1)接受用户输入的目标信息描述词，对所述目标信息描述词进行分词操作；

(2)判断所述目标信息描述词是否具有完整的语义；

(3)如果是则直接进行后续的检索；如果不是，则向用户提供与所述目标信息描述词相关联的词汇；

(4)用户进行二次输入，从而确定所述目标信息描述词的语义，根据该语义进行后续的检索。

其中在所述步骤(1)中，所述分词操作采用最大化分词算法。

所述步骤(2)中，在所述目标信息描述词中具有“本体”与“行为”，且“本体”与“行为”形成关联时，认为所述目标信息描述词具有完整的语义。

所述步骤(2)中，如果所述目标信息描述词不具有完整的语义，则首先确定所述目标信息描述词中的“本体”。然后在所述步骤(4)中，通过用户的二次输入进一步确定所述目标信息描述词对应的“行为”。

所述步骤(3)中，由元词汇关联数据库存放与所述目标信息描述词相关联的词汇。

在所述元词汇关联数据库中，对于某个元词汇S，用S{ci，dj}来存储其关联词汇，并将ci作为第一层分类，dj作为第二层分类。

所述步骤(4)中，用户以在与所述目标信息描述词相关联的词汇中选择的方式进行二次输入。

本发明所提供的网络搜索方法将现有的一步搜索分解为两步可选搜索一第一步输入词汇，再根据***提示进行第二步输入(或选择)后，检索数据库给出结果。与现有技术相比较，本网络搜索方法仅仅通过增加很少的用户操作就可以实现很精确的搜索结果，在满意度上基本能覆盖尽可能多的用户需求。

附图说明

下面结合附图和具体实施方式对本发明作进一步的详细说明。

图1为现有的搜索引擎提供网络搜索服务的流程示意图；

图2为本发明所提供的利用语义分析实现精确搜索的方法流程图。

具体实施方式

本网络搜索方法的总体思路在于将现有搜索引擎所使用的“输入-分词-检索”的处理方式转换为“输入-分词-语义判断-检索”的处理方式，即在分词操作之后进行语义判断，判断输入的词是否为具有确定语义的信息，如果是则直接进行后续的检索；如果不是，则向用户提供与输入的词相关联的词汇。用户再进行二次输入(在相关联的词汇中选择)，以便准确判断用户输入信息的真实语义，从而根据该语义获得精确的网络搜索结果。

如图2所示，本网络搜索方法在实现形式上表现为绝大多数情况下需要进行两次输入操作：在用户输入最重要的目标信息描述词(第一次输入操作)后，进行关联词汇的检索并提供给用户，由用户从中进行选择(第二次输入操作)，从而明确具体的搜索目标，使搜索引擎能够准确地从数据库中将用户心目中最想要的信息提供给用户。具体而言，本网络搜索方法在搜索引擎中增加“元词汇关联数据库”，鼓励用户在“元词汇关联数据库”中输入最能表示其搜索目标的词，而且这个词是他所需信息的最重要的目标描述。当搜索引擎接受用户输入的词并进行最大分词切分后，判断其输入信息是否具有完整语义，如果有则直接进行后续的搜索操作，如果没有则由本搜索引擎对输入的词在“元词汇关联数据库”中进行关联分析，并根据结果为用户提供一个多项选择，使得用户通过进一步的选择更准确地描述其所需要的目标信息。这个多项选择具有涵盖所有涉及第一个输入词的有关信息，这样用户的真实目的就非常准确地为搜索引擎所掌握，搜索引擎从而可以快速且低成本地将用户所需的检索结果提供给用户。

需要说明的是，本网络搜索方法并非简单地将现有的一步搜索分解为两步可选搜索，而是既抛弃通常的一步搜索法，又舍去了多步或不定步询问法。这是基于以下两项研究结果而确定的，即：

一.对于“元词汇”而言，一个相对公认的基本集为百万数量级，而当进行一步搜索的时候，百万数量级的“元词汇”又不足以表达最新的词汇发展。但如果进行的是两步搜索，则从理论上可以表达百万之平方数量级的词汇空间，即达到万亿数量级。这个数量级应该足可以表达现有信息空间中的所有可能的元数据。而且，关联库的数量级完全可以根据实用性的要求进行一定的限制或精确化，从而降低搜索引擎的计算开销，达到降低成本的目的。

二.实现本网络搜索方法需要借助语义分析。因为语义的形成需要包括两部分，即所谓的“本体”与“行为”。只有这两部分都有且形成关联时(还包括两个都是确定的“本体”等多种情况)，才能形成一个有意义的语义。因此，两步搜索法首先判断用户的输入是否形成完整语义，如不能形成则将“本体”的确定作为第一步的目标，而将第二步搜索的目标确定为“行为”。这样通过两步搜索就可以完整地构成一次有效的“语义搜索”，从而为用户提供适合其需要的信息。

在本网络搜索方法中，“元词汇关联数据库”不是以一种简单的关系数据库的一维数据来表示，而是采用一个多维的关联词汇矩阵来表示。具体而言，我们对于每个元词汇都进行统一编码，并将相关的编码作为其表示内容。具体的编码方案可以采用多种现有的技术实现，例如XML方式、N3方式和三元组方式等，在此就不详细赘述了。当某一词汇的编码确定之后，各词汇之间进行有效关联分析时，产生某个词汇的关联信息，即对于某个元词汇S，用S{ci，dj}来存储其关联词汇，并将ci作为第一层分类，dj作为第二层分类。此处的ci，dj可以根据设计者的需求选择设定，例如将ci按知识学科归属进行分类，而将dj按人们使用需求进行分类等。通过这种两层分类表示，则某个词汇就产生关联词汇库。如：汽车一词，其关联词汇的第一层分类可以表示为(车型、品牌、厂商、销售商、维修、性能、图片)等，而第二层分类如车型就包括有(小轿车、卡车、货车)等。其完整表示为：

S{车型 小轿车    卡车    货车

品牌   ...................................

厂商   ...................................

销售商 ...................................

维修   ...................................

性能.....................................

图片.....................................}

当用户使用采用本网络搜索方法的搜索引擎时，第一次如果输入的词为“汽车”，搜索引擎在检索到S＝“汽车”之后，将“汽车”的关联词汇矩阵检出，并提供(ci)所表示的文本信息，即提供关联词汇为“ci＝车型、品牌、厂商、销售商、维修、性能、图片”，而用户在进行二次确认时，如果选择的是车型一词，则搜索引擎将对所有包括{“小轿车、卡车、货车”}和“车型”等词汇的文本进行检索，从而真正将用户所需要的所有内容检索出来。

在本发明的另外一个实施例中，某用户在其家里(如北京市海淀区学院路)的电脑中通过互联网进入本搜索引擎，其目的是为了搜索离他家最近的工商银行的位置，于是他在搜索框里输入了“工商银行”一词。通常的搜索引擎会立即将互联网上有关“工商银行”这四个字有关的文本信息按照自己的排序方法陈列给用户。用户从至少数十页面的选择项中去选择可能包括自己所需信息的网页，然后点击链接进入其中，从该网页中寻找到自己所需的信息。而在使用采用本网络搜索方法的搜索引擎时，当用户输入“工商银行”四个字，首先采用最大化分词算法(如正向最大化分词算法、反向最大化分词算法或概率最大化分词算法等)确定这是一个词汇，并根据是否具有完整语义的原则，判断出这不是一个具有完整语义的输入内容，而只是一个词汇，并可理解到用户所需的信息是与工商银行有关的信息(此处的理解是基于用户是一次有效输入，而不是一个无意识输入产生的结果，因此可以根据其输入的是一个词而简单判定)。当理解到这一使用目的后，我们就可在搜索引擎的元词汇关联数据库中相对完全地列出与“工商银行”有关的所有词汇信息，并根据这些词汇与“工商银行”这个词之间的关联度来进行排列，例如“工商银行网点”、“工商银行营业时间”、“工商银行网上银行”等，也可以只将关联性最强的某一些词汇列举出来。如“股票”、“机构简介”、“最新消息”、“地址”、“服务流程”、“企业文化”等等。用户面对这些关联词汇时，可以选择“地址”。然后，搜索引擎根据用户的IP地址，就可以准确地判断用户要搜索的信息实际上就是“离该IP地址所在位置最近的工商银行的地址”。这样，搜索引擎可以准确地在自己的数据库中进行检索，并将具有“学院路工商银行地址”的网页直接显示给用户，用户即可快速获得自己真正所需的信息。

以上对本发明所提供的利用语义分析实现精确搜索的方法进行了详细的说明。对本领域的技术人员而言，在不背离本发明实质精神的前提下对它所做的任何显而易见的改动，都将构成对本发明专利权的侵犯，将承担相应的法律责任。

Claims (8)

1.一种利用语义分析实现精确搜索的方法，其特征在于包括如下的步骤：

(1)接受用户输入的目标信息描述词，对所述目标信息描述词进行分词操作；

(2)判断所述目标信息描述词是否具有完整的语义；

(3)如果是则直接进行后续的检索；如果不是，则向用户提供与所述目标信息描述词相关联的词汇；

(4)用户进行二次输入，从而确定所述目标信息描述词的语义，根据该语义进行后续的检索。

2.如权利要求1所述的利用语义分析实现精确搜索的方法，其特征在于：

所述步骤(1)中，所述分词操作采用最大化分词算法。

3.如权利要求1所述的利用语义分析实现精确搜索的方法，其特征在于：

所述步骤(2)中，在所述目标信息描述词中具有“本体”与“行为”，且“本体”与“行为”形成关联时，认为所述目标信息描述词具有完整的语义。

4.如权利要求1所述的利用语义分析实现精确搜索的方法，其特征在于：

所述步骤(2)中，如果所述目标信息描述词不具有完整的语义，则首先确定所述目标信息描述词中的“本体”。

5.如权利要求4所述的利用语义分析实现精确搜索的方法，其特征在于：

所述步骤(4)中，通过用户的二次输入进一步确定所述目标信息描述词对应的“行为”。

6.如权利要求1所述的利用语义分析实现精确搜索的方法，其特征在于：

所述步骤(3)中，由元词汇关联数据库存放与所述目标信息描述词相关联的词汇。

7.如权利要求6所述的利用语义分析实现精确搜索的方法，其特征在于：

在所述元词汇关联数据库中，对于某个元词汇S，用S{ci，dj}来存储其关联词汇，并将ci作为第一层分类，dj作为第二层分类。

8.如权利要求1所述的利用语义分析实现精确搜索的方法，其特征在于：

所述步骤(4)中，用户以在与所述目标信息描述词相关联的词汇中选择的方式进行二次输入。

Images