CN102760137A - 分布式全文检索方法以及*** - Google Patents

Abstract

本发明涉及文档库查询领域，公开了一种分布式全文检索方法以及***。全文检索方法，其特征是，包括：应用服务器发送查询请求；所述控制台接收所述查询请求，根据所述查询请求查询索引服务器，获取当前需查询的文档的索引标识；所述控制台根据所述索引标识，查询索引服务器，获取所述索引对应的文档；所述控制台向所述应用服务器返回所述索引对应的文档。

Description

分布式全文检索方法以及***

技术领域

本发明涉及文档库查询领域，尤其涉及一种全文检索方法以及***。

背景技术

参加图1所示，现有技术中基于全文检索的数据库查询***主要由数据库以及应用服务器组成。在进行全文检索时，由应用服务器101向数据库***102中的数据库服务器发送查询请求，数据库服务器根据查询请求，查询数据库，并且将查询结果返回至应用服务器，由应用服务器将查询结果提供给用户。

现有中基于全文检索的数据库查询***存在以下的缺陷，

由于来自于应用服务器的所有查询请求、查询处理反馈均有数据库服务器进行，当查询请求较多时，数据库服务器负载较大的情形下，数据库服务器的查询压力比较大，经常数据库***102由于负载过高而不能向应用服务器提供正常服务。导致查询***崩溃或者不稳定。

发明内容

本发明实施例第一目的在于提供一种全文检索方法，应用其有利于提高全文检索的速度。

本发明实施例第二目的在于提供另一种全文检索方法，应用其有利于提高全文检索的速度。

本发明实施例第三目的在于提供一种全文检索***，应用其有利于提高全文检索的速度。

本发明实施例提供的一种全文检索方法，包括：

应用服务器发送查询请求；

所述控制台接收所述查询请求，根据所述查询请求查询索引服务器，获取当前需查询的文档的索引标识；

所述控制台根据所述索引标识，查询索引服务器，获取所述索引对应的文档；

所述控制台向所述应用服务器返回所述索引对应的文档。

本发明实施例提供的一种全文检索方法，包括：

应用服务器向所述控制台发送查询请求；

所述控制台根据所述查询请求查询索引服务器，以获取当前需查询的文档的索引标识；

如果所述控制台查询获取到所述索引标识，则：所述控制台根据所述索引标识，查询索引服务器，获取所述索引对应的文档，所述控制台向所述应用服务器返回所述索引对应的文档；

如果所述控制台未查询获取到所述索引标识，则：所述控制台向所述应用服务器返回索引获取失败信息，文档所述应用服务器向文档库服务器发送查询指令，所述文档库服务器查询文档库，向所述应用服务器返回查询文档。

本发明实施例提供的一种文档检索***，包括：

应用服务器，用于向控制台发送查询请求；

控制台，连接在所述应用服务器以及索引服务器之间，包括索引搜索引擎，数据搜索引擎，其中，

所述索引搜索引擎与所述应用服务器连接，用于根据所述查询请求查询索引服务器，获取当前需查询的数据的索引标识，

所述数据搜索引擎与所述索引搜索引擎连接，用于根据所述索引标识，查询索引服务器，获取所述索引对应的文档，向所述应用服务器返回所述文档；

文档索引服务器，与所述控制台连接，用于存储所述分布式文件***中的分片索引标识以及所述索引标识对应的文档。

由上可见，应用本发明实施例的技术方案，相对于现有技术中的应用服务器直接向数据库查询的技术方案，应用本实施例技术方案，在进行全文检索时，应用服务器在接收到查询请求后，将该查询请求转发至控制台，由该控制台根据转发的查询请求，首先在索引服务器上首先查找当前查询的文档的索引标识，然后根据该索引标识快速地在索引服务器上找到需要查询的文档，然后通过应用服务器向客户端返回具体文档，其文档查询的速度可以大大提高，可以支持大量的全文检索请求，有利于提高用户的使用感受。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的不当限定，在附图中：

图1为现有技术的全文检索***；

图2为本发明实施例1提供的一种全文检索方法流程示意图；

图3为本发明实施例1提供的一种索引存储流程示意图；

图4为本发明实施例2提供的一种全文检索方法流程示意图；

图5为本发明实施例3提供的一种全文检索方法流程示意图；

图6为本发明实施例4提供的一种全文检索***的逻辑结构示意图；

图7为本发明实施例5提供的一种全文检索***的逻辑结构示意图；

具体实施方式

下面将结合附图以及具体实施例来详细说明本发明，在此本发明的示意性实施例以及说明用来解释本发明，但并不作为对本发明的限定。

实施例1：

参见图2所示，本实施例提供了一种全文检索方法。以下从应用的角度对本实施例方法流程进行示意：

步骤201：应用服务器向控制台发出查询请求。

在应用时，用户通过客户端向应用服务器发出查询请求，应用服务器接到该查询请求后，将该用户查询请求发送至控制台。

在全文检索中，该用户查询请求中除了包括查询的关键字外，还可以进一步包括应用需求，该应用需求可以但不限于为：应用端(即用户)要求按照时间先后顺序将提供查询结果，或者，按照关键词的匹配程度将查询结果提供给用户或者其他的应用需求规定等。

步骤202：控制台接收查询请求。

步骤203：控制台根据查询请求，查询索引服务器，以获取当前查询请求要查询的文档对应的索引标识(简称索引ID)。

控制台中的搜索引擎，根据查询请求中关键字在查询索引服务器中查询，以获取该文档的的索引标识。

在本实施例中，在获得索引标识后，控制台还可以根据预设的协调机制，对当前查到的索引标识进行排序，以便根据排序检索相应的具体文档。

具体的协调机制可以但不限于：比如按照关键词的匹配度或者时间先后或者应用端的需求。以便后续根据排序进行文档检索。

步骤204：控制台查询索引服务器，获取当前的索引标识对应的具体文档。

控制台根据索引标识，查询索引服务器，根据该索引标识定位到文档，读取获取这些文档。

步骤205：控制台向应用服务器返回查询到的具体文档。

控制台在步骤204获取到这些全文检索的文档后，将查询结果发送应用服务器，以便由该应用服务器将该查询结果(即具体的文档)转发至客户端，以便显示给用户。

由上可见，相对于现有技术中的应用服务器直接向文档库查询的技术方案，应用本实施例技术方案，在进行全文检索时，应用服务器在接收到查询请求后，将该查询请求转发至控制台，由该控制台根据转发的查询请求，首先在索引服务器上首先查找当前查询的文档的索引，然后根据该索引快速地在索引服务器上找到需要查询的文档，然后通过应用服务器向客户端返回具体文档，其文档查询的速度可以大大提高，可以支持大量的全文检索请求，有利于提高用户的使用感受。

另外，在本实施例的应用***的设计上可以但不限于采用图2所示以下的创建方式：

步骤S1：控制台连接外部数据库，将外部数据库中的文档创建索引。

控制台的数据导入处理器(DataImportHandle，简称DIH)获取文档行，然后将这些数据创建索引。

在进行文档导入时，可以采用以下的策略：

比如仅针对搜索几率较高的文档，创建索引；或者如果***配置足够的情况下，也可以将传统文档库中的所有文档均创建索引。

当控制台由主控制台以及多个从属控制台组成时，可以由主控制器台对创建索引。

步骤S2：控制台暂存索引标识以及所述索引标识对应的具体文档到分布式文件***中文档。

然后为文档索引分片，并存储到分布式文件***中。

步骤S3：控制台将各索引标识存储在索引服务器上。

在创建并分片索引后，将各索引标识分片存储到索引服务器上。

如果控制台由主控制台以及多个从属控制台组成时，在本步骤中，可以由从属控制器台根据主控制台的指令，将各索引标识存储到索引服务器上。

在本实施例中，为了提高存储效率，这些索引标识优选但不限于采用分片存储的方式存储在索引服务器上。

另外，可以但不限于在进行索引分片存储时，设定每个分片的大小控制在10G大小或者1500万行以内。

在分片存储索引的过程中，首先填满未满的分片，然后继续在新的分片上进行存储。

在本实施例中，该索引服务器可以为至少两台，这些索引服务器组成索引集群，共同在控制台的控制下工作。

当多台索引服务器组成索引集群时，任一索引服务器存储更新完成后，向控制台(主控制台)发布更新进程以及更新的索引。

实施例2：

参见图4所示，在本实施例中，为了进一步提高本实施例的全文检索效率，在本实施例中，可以采用分布式控制方式：本实施例的控制台由一台主控制台以及至少两个从属控制台组成。

该主控制台作为多个从属控制台之间的主控设备，主要处理应用服务器与各个从属控制台之间的指令主控。其主要流程如下：

步骤401：应用服务器向主控制台发出查询请求。

步骤402：主控制台接收查询请求，并分解该查询请求，将该主查询请求转发至从属控制台。

在主控制台内预设有控制机制，当主控制台接收到查询请求后根据预设的控制机制，将该查询请求转发至某从属控制台。

其中该控制机制可以但不限于：根据各个从属控制台当前的负荷，或者按照轮转工作的控制规则等。

分解的查询请求，分为主查询请求和详情查询请求。主查询请求只获取索引标识；详情查询请求则根据索引标识获取具体的文档。

步骤403：从属控制台根据收到的主查询请求，查询索引服务器，以获取当前查询请求要查询的文档对应的索引标识(简称索引ID)。

从属控制台中的搜索引擎，根据查询请求中关键字在查询索引服务器中进行查询，以获取当前查询文档的索引标识。

步骤403’：主控制台根据获取的索引ID，再次转发详情查询请求。

主控制台按照其控制机制，选择从属控制台，转发详情查询请求。

步骤404：从属控制台根据收到的详情查询请求，查询索引服务器，获取当前的索引标识对应的具体文档。

从属控制台根据索引标识，查询索引服务器，根据该索引标识快速定位到文档，读取获取这些文档。

步骤405：从属控制台通过主控制台向应用服务器返回查询到的具体文档。

从属控制台在步骤404获取到这些全文检索的文档后，将查询结果发送应用服务器，以便由该应用服务器将该查询结果(即具体的文档)转发至客户端，以便显示给用户。

由上可见，相对于实施例1，本实施例进一步具有以下的有益效果：

由于在本实施例的控制中采用分布式控制方式，在处理的过程中主控制器作为应用服务器到从属服务器之间的控制设备，在检索过程中主要处理接收来自于应用服务器的所有查询请求，然后，将其转发给其下的从属控制台，接到转发的查询请求指令的从属控制台作为查询处理服务器，真正处理查询操作，返回查询结果。故在全文检索的过程中应用本技术方案，由于主控制台在查询过程汇总作为相当于从属控制台的服务器，执行具体查询操作分布到主控制台旗下的多个从属控制台执行，在查询请求量较大时，多个从属控制台可以共同应对处理不同的查询请求，这样能够大大应对大量的查询请求，进一步提高全文检索的速度，提高用户的使用感受。

实施例3

图5为本实施例提供的一种全文检索方法流程示意图。参见图示，该方法包括以下步骤：

步骤501：应用服务器向控制台发送查询请求。

与实施例1中步骤201同理。

步骤502：控制台根据查询请求查询索引服务器，以获取当前需查询的文档的索引标识。

与实施例1中步骤202同理。

步骤503：如果控制台查询获取到索引标识，则执行步骤504；否则执行步骤505。

步骤504：控制台根据所述索引标识，在索引服务器中快速定位到具体的文档，然后将查询到的具体文档发送至应用服务器。

与实施例103、104、105的步骤同理。

步骤505：控制台向应用服务器返回索引获取失败信息。

步骤506：应用服务器向数据库服务器发送查询指令。

步骤507：数据库服务器查询数据库，向应用服务器返回查询数据。

在进行***设计时，可以根据索引服务器的数据磁盘大小以及***用户的实际需求，可以将搜索几率较高的数据存储到本***的索引服务器上，也可以将数据库上所有的数据均存储到索引服务器上。当采用前者时，文件全文检索的流程如本实施流程所示，当采用后者设计时，全文检索流程如实施例1、2所示。

由上可见，在进行全文检索时，应用服务器首先将查询请求发送到控制台，只有控制台未查询到需查询文档的索引标识，即无法通过文档的索引标识快速在索引服务器快速定位找到文档时，才由应用服务器向文档库服务器发送查询请求，按照现有技术中的全文检索方式进行文档检索。这样一方面可以满足***的硬件配置限制，有保证最大化的提高全文检索的效率。

另外，在本实施例的控制台部署上，还可以但不限于采用与实施例2同理的设计方式：一主控制台与多从属控制台的分布式处理方式，以在查询请求量较大时，多个从属控制台可以共同应对处理不同的查询请求，这样能够大大应对大量的查询请求，进一步提高全文检索的速度，提高用户的使用感受，采取外部分布式的全文检索***，分担数据库的压力。

实施例4：

图6为本实施例提供的一种检索***的逻辑结构示意图。

参见图示，该***主要包括：应用服务器601、控制台602、索引服务器603。其中连接关系以及工作主要如下：

应用服务器601，用于向控制台602发送查询请求。其工作原理可以但不限于如实施例1中的步骤201，实施例2中的步骤401所示。

控制台602连接在应用服务器601以及索引服务器603之间，包括索引搜索引擎6021、文档搜索引擎6022。

索引搜索引擎6021，用于根据应用服务器601转发的查询请求，查询索引服务器603，从而获取当前需查询的文档的索引标识。详细工作原理可以但不限于如实施例1步骤203的描述。

文档搜索引擎6022与索引搜索引擎6021连接，用于根据所述索引标识，查询索引服务器603，获取索引对应的文档，向应用服务器601返回所述文档。详细工作原理可以但不限于如实施例1步骤204、105的描述。

索引服务器603，与控制台602连接，用于存储分布式文件***604中文档的索引标识以及所述索引标识对应的文档。其中的索引标识以及这些索引标识对应的文档存储流程以及存储方式可以但不限于采用实施例1中步骤S2、S3的说明。

由上可见，由于在本实施例中在已有技术的全文检索***基础上增设了用于存储索引标识以及该索引标识对应的文档的索引服务器603上，并设置一控制台602，这样在进行文档全文检索时，应用服务器601在接收到查询请求后，将该查询请求转发至控制台602，由该控制台602根据转发的查询请求，首先在索引服务器603上首先查找当前查询的文档的索引，然后根据该索引快速地在索引服务器603上找到需要查询的文档，然后通过应用服务器601向客户端返回具体文档，其文档查询的速度可以大大提高，可以支持大量的全文检索请求，有利于提高用户的使用感受。

另外，在本实施例中，该索引服务器603可以为至少两台，这些索引服务器603组成索引集群，共同在控制台602的控制下工作。

另外，在本实施例中，为了进一步提高本实施例的全文检索效率，在本实施例中，可以采用分布式控制方式：本实施例的控制台602由一台主控制台620以及至少两个从属控制台600组成。

主控制台620连接应用服务器601与各从属控制台600之间，用于接收查询请求将查询请求转发至各从属控制台600。在主控制台620内预设有控制机制，当主控制台620接收到查询请求后根据预设的控制机制，将该查询请求转发至某从属控制台600。其中该控制机制可以但不限于：根据各个从属控制台600当前的负荷，或者按照轮转工作的控制规则等。

各从属控制台600与所述主控制台620连接，在各从属控制台600上均设置有上述的索引搜索引擎6021以及文档搜索引擎6022。

从属控制台600中的索引搜索引擎6021，根据查询请求中关键字在查询索引服务器603中进行查询，以获取当前查询文档的索引标识。从属控制台600中的文档搜索引擎6022根据索引标识，查询DFS，根据该索引标识快速定位到文档，读取获取这些文档(即DFS***中的文档)。

另外，该***还可以包括分布式文件***604，该分布式文件***用于在本数据检索***创建时的索引暂存以及导入数据暂存的作用，其与控制台601连接，用于存储所述索引标识以及所述索引标识对应的文档。主要在本***创建以及数据维护时使用，具体工作原理参见实施例步骤S1-3中的描述。

由上可见，由于控制中采用分布式控制方式，在处理的过程中主控制器作为应用服务器601到从属服务器之间的控制设备，在检索过程中主要处理接收来自于应用服务器601的所有查询请求，然后，将其转发给其下的从属控制台600，接到转发的查询请求指令的从属控制台600作为查询处理服务器，真正处理查询操作，返回查询结果。故在全文检索的过程中应用本技术方案，由于主控制台620在查询过程汇总作为相当于从属控制台600的服务器，执行具体查询操作分布到主控制台620旗下的多个从属控制台600执行，在查询请求量较大时，多个从属控制台600可以共同应对处理不同的查询请求，这样能够大大应对大量的查询请求，进一步提高全文检索的速度，提高用户的使用感受。

实施例5：

参见图7所示，本实施例与实施例4所不同之处在于：本实施例为实施例4的全文检索***与现有技术中的数据***的兼容结合，其具体工作原理具体参见实施例3中的描述。

以上对本发明实施例所提供的技术方案进行了详细介绍，本文中应用了具体个例对本发明实施例的原理以及实施方式进行了阐述，以上实施例的说明只适用于帮助理解本发明实施例的原理；同时，对于本领域的一般技术人员，依据本发明实施例，在具体实施方式以及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种全文检索方法，其特征是，包括：

应用服务器发送查询请求；

所述控制台接收所述查询请求，根据所述查询请求查询索引服务器，获取当前需查询的文档的索引标识；

所述控制台根据所述索引标识，查询索引服务器，获取所述索引对应的文档；

所述控制台向所述应用服务器返回所述索引对应的文档。

2.根据权利要求1所述的全文检索方法，其特征是，在步骤：应用服务器发送查询请求之前，还包括：

所述控制台连接外部数据库，将外部数据库中的文档分别创建索引；

所述控制台将所述索引的索引标识以及所述索引标识对应的文档暂存在所述分布式文件***中；

所述控制台为暂存在所述分布式文件***中的所有索引标识以及所有索引标识对应的文档，分别存储在所述索引服务器上。

3.根据权利要求2所述的全文检索方法，其特征是，

所述控制台将所述索引标识以及所述索引标识对应的文档暂存在所述分布式文件***中，具体是：

所述控制台将各所述索引标识、以及所述索引标识对应的具体文档分片暂存在所述分布式文件***上。

4.根据权利要求1或2或3所述的全文检索方法，其特征是，

所述索引服务器为至少两台，各所述索引服务器组成索引集群，所述索引集群与所述控制台连接。

5.根据权利要求1或2或3所述的全文检索方法，其特征是，

所述控制台由主控制台、从属控制台组成；

所述控制台接收所述查询请求，查询索引服务器获取当前需查询的文档的索引标识，具体是：

所述主控制台接收所述查询请求，将所述查询请求转发至所述从属控制台，

所述从属控制台查询所述索引服务器获取当前需查询的文档的索引标识；

所述控制台根据所述索引标识，查询索引服务器，获取所述索引标识对应的文档，具体是：

所述从属控制台根据所述索引标识查询索引服务器，获取所述索引标识对应的文档。

6.一种全文检索方法，其特征是，包括：

应用服务器向所述控制台发送查询请求；

所述控制台根据所述查询请求查询索引服务器，以获取当前需查询的文档的索引标识；

如果所述控制台查询获取到所述索引标识，则：所述控制台根据所述索引标识，查询索引服务器，获取所述索引对应的文档，所述控制台向所述应用服务器返回所述索引对应的文档；

如果所述控制台未查询获取到所述索引标识，则：所述控制台向所述应用服务器返回索引获取失败信息，文档所述应用服务器向文档库服务器发送查询指令，所述文档库服务器查询文档库，向所述应用服务器返回查询文档。

7.一种文档检索***，其特征是，包括：

应用服务器，用于向控制台发送查询请求；

控制台，连接在所述应用服务器以及索引服务器之间，包括索引搜索引擎，数据搜索引擎，其中，

所述索引搜索引擎与所述应用服务器连接，用于根据所述查询请求查询索引服务器，获取当前需查询的数据的索引标识，

所述数据搜索引擎与所述索引搜索引擎连接，用于根据所述索引标识，查询索引服务器，获取所述索引对应的文档，向所述应用服务器返回所述文档；

文档索引服务器，与所述控制台连接，用于存储所述分布式文件***中的分片索引标识以及所述索引标识对应的文档。

8.根据权利要求7所示的文档搜索***，其特征是，还包括：

分布式文件***，与所述控制台连接，用于存储所述索引标识以及所述索引标识对应的文档。

9.根据权利要求7所示的文档搜索***，其特征是，

所述索引服务器为至少两台，各所述索引服务器组成索引集群。

10.根据权利要求7所述的文档搜索***，其特征是，

所述控制台包括：一个主控制台以及至少一个从属控制台，其中，

所述主控制台连接所述应用服务器与各所述从属控制台之间，用于接收所述查询请求将所述查询请求转发至各所述从属控制台，

各所述从属控制台与所述主控制台连接，在各所述从属控制台上均设置有所述索引搜索引擎以及所述文档搜索引擎。

Images