CN112256715A - 索引的更新方法、装置、电子设备以及存储介质 - Google Patents

Abstract

本申请提供一种索引的更新方法、装置、电子设备以及存储介质，该方法包括：监控数据库存储的数据是否发生更新；若发生更新，构建数据库对应的索引文档；计算索引文档的信息摘要值，并生成索引文档的版本号；将索引文档的信息摘要值与本地历史索引的信息摘要值进行比对，将索引文档的版本号与本地历史索引的版本号进行比对；若索引文档的信息摘要值与本地历史索引的信息摘要值不同，且索引文档的版本号大于等于本地历史索引的版本号，利用索引文档更新本地历史索引。该方法解决了搜索引擎索引重复更新的问题。

Description

索引的更新方法、装置、电子设备以及存储介质

技术领域

本发明涉及搜索引擎索引领域，具体而言，涉及一种索引的更新方法、装置、电子设备以及存储介质。

背景技术

搜索引擎能够提供的数据不是独立存在的，一般需要依赖外部数据库，搜索引擎将外部数据库的数据建立索引后存储在本地以便加速查询，外部数据库相当于一台计算机，而搜索引擎服务部署于另一台计算机，搜索引擎服务需要监控数据库中的数据发生变化从而更新本地索引，然后用户通过搜索引擎服务就可以查询到最新的数据。

但是现有技术为避免数据丢失，会重复读取一批数据，但是这些数据对于搜索引擎来说是重复更新。并且索引更新必须是按照时间顺序进行,如果中间顺序变更会导致新索引被老索引覆盖。比如增量监控为5秒,前一个5秒的索引还没提交,下一个5秒的索引更新已经完成,当前一个5秒索引提交时导致索引被覆盖为前一个5秒的索引,这种情况会一直持续到下次数据更新。

发明内容

本申请实施例提供了一种搜索引擎索引的更新方法，该方法解决了索引重复更新的问题。

本申请实施例提供了一种搜索引擎索引的更新方法，该方法包括：

监控数据库存储的数据是否发生更新；

若发生更新，构建所述数据库对应的索引文档；

计算所述索引文档的信息摘要值，并生成所述索引文档的版本号；

将所述索引文档的信息摘要值与本地历史索引的信息摘要值进行比对，将所述索引文档的版本号与本地历史索引的版本号进行比对；

若所述索引文档的信息摘要值与本地历史索引的信息摘要值不同，且所述索引文档的版本号大于等于本地历史索引的版本号，利用所述索引文档更新所述本地历史索引。

在一实施例中，所述数据库的数据字段包含修改时间；所述监控数据库存储的数据是否发生更新，包括：

每隔预设时间段查询是否存在所述修改时间在所述预设时间段内的数据字段，若存在，确定所述数据库的数据发生更新。

在一实施例中，还包括：

对于所述修改时间在指定时间间隔之前的数据字段，不参与数据库是否更新的判断；所述指定时间间隔大于所述预设时间段。

在一实施例中，所述监控数据库存储的数据是否发生更新，包括：

监听消息队列中的数据库更新日志，在所述消息队列存入新的数据库更新日志时，确定所述数据库的数据发生更新。

在一实施例中，所述监控数据库存储的数据是否发生更新，包括：

删除所述消息队列中创建时间在指定时间间隔之前的数据库更新日志。

在一实施例中，所述若发生更新，构建所述数据库对应的索引文档，包括：

将所述数据库中预设的感兴趣字段构建索引文档。

在一实施例中，生成所述索引文档的版本号，包括：

根据所述数据库中所述预设的感兴趣字段所在数据表的修改时间，生成所述索引文档的版本号。

本申请实施例还提供了一种搜索引擎索引的更新装置，包括：

监控模块，用于监控数据库存储的数据是否发生更新；

计算模块，用于计算所述索引文档的信息摘要值和生成所述索引文档的版本号；

判断模块，用于将所述索引文档的信息摘要值与本地历史索引的信息摘要值进行比对，将所述索引文档的版本号与本地历史索引的版本号进行比对；

更新模块，用于在所述索引文档的信息摘要值与本地历史索引的信息摘要值不同，且所述索引文档的版本号大于等于本地历史索引的版本号时，利用所述索引文档更新所述本地历史索引。

本申请实施例还提供了一种电子设备，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行上述搜索引擎索引的更新方法。

本申请实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述搜索引擎索引的更新方法。

本申请上述实施例提供的技术方案，可以监控数据库存储的数据是否发生更新，若发生更新，构建数据库对应的索引文档。计算索引文档的信息摘要值，并生成索引文档的版本号，将索引文档的信息摘要值与本地历史索引的信息摘要值进行比对，将索引文档的版本号与本地历史索引的版本号进行比对，若索引文档的信息摘要值与本地历史索引的信息摘要值不同，且索引文档的版本号大于等于本地历史索引的版本号，利用索引文档更新本地历史索引。该方法解决了搜索引擎索引重复更新的问题。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供一种索引的更新方法的应用场景示意图；

图2为本申请实施例提供一种索引的更新方法的流程示意图；

图3为本申请实施例提供一种索引的更新方法的详细流程示意图；

图4为本申请实施例提供一种索引的更新装置的框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。

图1为本申请实施例提供一种索引的更新方法的应用场景示意图。如图1所示，该应用场景包括服务端110和客户端120，服务端110可以设有数据库，客户端120可以根据本地存储的索引文档，从服务端110的数据库中获取数据，客户端120中可以安装搜索引擎，便于从服务端110查询数据。

在一实施例中，客户端120可以监控服务端110中数据库存储的数据是否发生更新，若发生更新，重新构建数据库对应的索引文档，并计算索引文档的信息摘要值，并生成所述索引文档的版本号，将所述索引文档的信息摘要值与本地历史索引的信息摘要值进行比对，将所述索引文档的版本号与本地历史索引的版本号进行比对，若所述索引文档的信息摘要值与本地历史索引的信息摘要值不同，且所述索引文档的版本号大于等于本地历史索引的版本号，利用所述索引文档更新本地历史索引。

本申请实施例还提供一种电子设备。所述电子设备可以是图1所示的客户端120。如图1所示，客户端120包括处理器101，用于存储处理器101可执行指令的存储器102；其中，该处理器101被配置为执行本申请提供的索引的更新方法。

其中，存储器102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random Access Memory，简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，简称EEPROM)，可擦除可编程只读存储器(Erasable Programmable Read Only Memory，简称EPROM)，可编程只读存储器(Programmable Red-Only Memory，简称PROM)，只读存储器(Read-OnlyMemory，简称ROM)，磁存储器，快闪存储器，磁盘或光盘。

本申请还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序可由处理器101执行以完成本申请实施例提供的一种索引的更新方法。

图2为本申请实施例提供一种索引的更新方法的流程示意图。如图2所示，该方法包括以下步骤S210-S250。

步骤S210：监控数据库存储的数据是否发生更新。

其中，所述数据库是按照数据结构来组织、存储和管理数据的仓库，是一个长期存储在计算机内的、有组织的、可共享的、统一管理的大量数据的集合。数据库是以一定方式储存在一起、能与多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合，可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据进行新增、查询、更新、删除等操作。数据库存储的数据存在新增、删除或修改，就意味着发生了更新。

在一实施例中，所述数据库的数据字段包含修改时间；当数据字段变更时，会更新修改时间。上述步骤S210监控数据库存储的数据是否发生更新可以采用基于增量监控的方式，具体通过：每隔预设时间段查询是否存在所述修改时间在所述预设时间段内的数据字段，若存在，确定所述数据库的数据发生更新。

举例来说，客户端的搜索引擎可以每隔单位时间t查询当前时间T到过去t秒时间之间发生变更的数据，并取到数据的唯一id,然后根据这批数据的唯一id反查数据库，构建索引。

其中，对于修改时间在指定时间间隔之前的数据字段，不参与数据库是否更新的判断；所述指定时间间隔大于所述预设时间段。

举例来说，单位时间t可以是5秒，指定时间间隔可以是1分钟，每隔5秒钟获取在这5秒内发生变更的数据，如果不存在，则认为没有发生数据更新。对于修改时间超过1分钟的数据，则可以不参与判断。从而减少异常情况下的不必要更新。

在其他实施例中，上述步骤S210监控数据库存储的数据是否发生更新，可以采用基于消息队列的方式，具体通过：监听消息队列中的数据库更新日志，在所述消息队列存入新的数据库更新日志时，确定所述数据库的数据发生更新。

“消息队列”是在消息的传输过程中保存消息的容器。消息队列管理器在将消息从它的源中继到它的目标时充当中间人。队列的主要目的是提供路由并保证消息的传递；如果发送消息时接收者不可用，消息队列会保留消息，直到可以成功地传递它。数据库的更新日志可以作为消息推送到消息队列中进行存储，故客户端的搜索引擎可以监听消息队列中的消息，一旦有消息进来就认为数据库发生更新，记录数据的唯一id，根据这批数据的唯一id反查数据库组装索引文档。

在一实施例中，可以删除所述消息队列中创建时间在指定时间间隔之前的数据库更新日志。举例来说，指定时间间隔可以是1分钟，将消息队列中1分钟之前的数据库更新日志删除。从而减少异常情况下的不必要更新。

步骤S220：若数据库存储的数据发生更新，构建所述数据库对应的索引文档。

所谓搜索引擎，就是根据用户需求与一定算法，运用特定策略从互联网检索出指定信息反馈给用户的一门检索技术。而索引是指搜索引擎存储的数据文档。索引可以看成是目录，通过索引可以提高查询效率。

在一实施例中，若数据库存储的数据发生更新，构建所述数据库对应的索引文档，包括：将所述数据库中预设的感兴趣字段构建索引文档。

其中，搜索引擎内的文档与数据库中的字段不一定完全一致，如：数据库里存的是a、b、c、d字段，其中任意一个字段更新时都会更新修改时间，而搜索引擎可能只需要a、b两个字段，对于c、d的变更是不关心的，而通过增量监控还是消息队列监控都无法知道当前变更的字段是否为搜索引擎所关心的，故将搜索引擎所关心的字段设置为所述数据库中预设的感兴趣字段，从而将所述数据库中预设的感兴趣字段构建索引文档。即所述索引文档对应数据库中预设的感兴趣字段。

步骤S230：计算所述索引文档的信息摘要值，并生成所述索引文档的版本号。

其中，索引文档的信息摘要值，即是索引文档的唯一校验值，可以是由字母和数字组成的字符串，在一实施例中，信息摘要值可以是MD5值。

其中，对于一个索引文档，可以使用一个快速判断索引文档内容是否一致的方法，就是计算索引文档的MD5，然后比较MD5值是否一致。由于数据多为关键值和值的一个映射集，类似：{“a”:1,”b”:3}；

将值也就是1、3进行排序后转换为字符串，根据字符串计算出这个字符串的MD5就是该文档的MD5值，假设为abc123，得到{“a”:1,”b”:3,“md5”:”abc123”}。其中，需要特殊说明的是，如果对应值为数组类型，则需要将数组也进行排序。

在一实施例中，生成索引文档的版本号可以包括：根据所述数据库中所述预设的感兴趣字段所在数据表的修改时间，生成所述索引文档的版本号。

也就是说，索引文档的版本号可以用修改时间表示。修改时间早可以认为是旧版本，修改时间晚的可以认为是老版本。根据需要，版本号也可以是数字1,2,3…表示，先生成的索引文档的版本号小，后生成的索引文档的版本号大。

其中，索引文档的版本号可以使用索引文档对应的数据库主表的修改时间。比如索引文档可以使用a,b字段所在数据库表的修改时间的时间戳,从而得到{“a”:1,”b”:3,“md5”:”abc123”,”version”:1234567}。即字段为a，b，MD5值为“abc123”，版本号为“1234567”。

步骤S240：将所述索引文档的信息摘要值与本地历史索引的信息摘要值进行比对，将所述索引文档的版本号与本地历史索引的版本号进行比对。

其中，本地历史索引可以认为是本地已存在的旧的索引文档。举例来说，索引文档的MD5值与本地历史索引的MD5值进行比对，判断是否一致。其中，默认新索引的版本号大于旧索引的版本号，故索引文档的版本号与本地历史索引的版本号进行比对，判断索引文档的版本号是否大于本地历史索引的版本号。

步骤S250：若所述索引文档的信息摘要值与本地历史索引的信息摘要值不同，且所述索引文档的版本号大于等于本地历史索引的版本号，利用所述索引文档更新所述本地历史索引。

信息摘要值不同且版本号变大，表示索引确实需要进行更新，从而用新生成的索引文档替换本地历史索引。

判断MD5是否相同，可以确定本次更新的文档是否有变更,可以过滤掉很多重复更新的操作；判断版本号是否变大，可以保证更新有序,版本号严格按照递增进行更新,从而保证了新的索引文档不会被旧文档所覆盖。通过md5限制和版本号限制可以将传统的索引更新操作的效率提升50％以上。

图3为本申请实施例提供一种索引的更新方法的详细流程示意图。如图3所示，包括步骤S310-S370。

步骤S310：通过增量监控或基于消息队列的实时监控方式，监控数据库是否发生更新；

步骤S320：若数据库发生更新，则执行步骤S330，若没有发生更新，返回步骤S310进行下一轮监控；

步骤S330：构建索引文档；

步骤S340：生成索引文档的信息摘要值和版本号；

步骤S350：判断索引文档的版本号是否大于本地历史索引，且索引文档的MD5值不等于本地历史索引的MD5值。如果是，执行步骤S360，如果否，执行步骤S370放弃更新索引。

步骤S360：利用索引文档更新本地历史索引。

图4为本申请实施例提供一种索引的更新装置的框图示意图。如图4所示，该装置包括：监控模块410、计算模块420、判断模块430和更新模块440。

监控模块410，用于监控数据库存储的数据是否发生更新；

计算模块420，用于计算所述索引文档的信息摘要值和生成所述索引文档的版本号；

判断模块430，用于将所述索引文档的信息摘要值与本地历史索引的信息摘要值进行比对，将所述索引文档的版本号与本地历史索引的版本号进行比对；

更新模块440，用于在所述索引文档的信息摘要值与本地历史索引的信息摘要值不同，且所述索引文档的版本号大于等于本地历史索引的版本号时，利用所述索引文档更新所述本地历史索引。

上述装置中各个模块的功能和作用的实现过程具体详见上述索引的更新方法中对应步骤的实现过程，在此不再赘述。

在本申请所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的***来实现，或者可以用专用硬件与计算机指令的组合来实现。

再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

需要说明的是，功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种索引的更新方法，其特征在于，包括：

监控数据库存储的数据是否发生更新；

若发生更新，构建所述数据库对应的索引文档；

计算所述索引文档的信息摘要值，并生成所述索引文档的版本号；

将所述索引文档的信息摘要值与本地历史索引的信息摘要值进行比对，将所述索引文档的版本号与本地历史索引的版本号进行比对；

若所述索引文档的信息摘要值与本地历史索引的信息摘要值不同，且所述索引文档的版本号大于等于本地历史索引的版本号，利用所述索引文档更新所述本地历史索引。

2.根据权利要求1所述的方法，其特征在于，所述数据库的数据字段包含修改时间；所述监控数据库存储的数据是否发生更新，包括：

每隔预设时间段查询是否存在所述修改时间在所述预设时间段内的数据字段，若存在，确定所述数据库的数据发生更新。

3.根据权利要求1所述的方法，其特征在于，还包括：

对于所述修改时间在指定时间间隔之前的数据字段，不参与数据库是否更新的判断；所述指定时间间隔大于所述预设时间段。

4.根据权利要求1所述的方法，其特征在于，所述监控数据库存储的数据是否发生更新，包括：

监听消息队列中的数据库更新日志，在所述消息队列存入新的数据库更新日志时，确定所述数据库的数据发生更新。

5.根据权利要求4所述的方法，其特征在于，所述监控数据库存储的数据是否发生更新，包括：

删除所述消息队列中创建时间在指定时间间隔之前的数据库更新日志。

6.根据权利要求1所述的方法，其特征在于，所述若发生更新，构建所述数据库对应的索引文档，包括：

将所述数据库中预设的感兴趣字段构建索引文档。

7.根据权利要求6所述的方法，其特征在于，生成所述索引文档的版本号，包括：

根据所述数据库中所述预设的感兴趣字段所在数据表的修改时间，生成所述索引文档的版本号。

8.一种索引的更新装置，其特征在于，包括：

监控模块，用于监控数据库存储的数据是否发生更新；

计算模块，用于计算所述索引文档的信息摘要值和生成所述索引文档的版本号；

判断模块，用于将所述索引文档的信息摘要值与本地历史索引的信息摘要值进行比对，将所述索引文档的版本号与本地历史索引的版本号进行比对；

更新模块，用于在所述索引文档的信息摘要值与本地历史索引的信息摘要值不同，且所述索引文档的版本号大于等于本地历史索引的版本号时，利用所述索引文档更新所述本地历史索引。

9.一种电子设备，其特征在于，所述电子设备包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1-7任意一项所述索引的更新方法。

10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成权利要求1-7任意一项所述的索引的更新方法。

Images